Vai al contenuto
SilktideAiuto

Misurare la visibilità

Secondo una pianificazione, Silktide pone ogni attivo agli assistenti IA abilitati, archivia ogni risposta testualmente e la analizza: ogni marchio nominato, l'ordine in cui appare, quanto favorevolmente ogni menzione descrive il marchio e ogni URL di fonte usato come prova.

Poiché le risposte dell'IA variano da un'esecuzione all'altra, una singola risposta significa poco e le tendenze significano tutto. Le misurazioni ripetute rendono affidabili il tasso di menzione, la posizione e il sentiment. La barra laterale di Presence mostra quando questa area di lavoro è stata testata l'ultima volta. Testa ora (oppure Ripeti test, dopo il primo passaggio) avvia una misurazione senza attendere la successiva esecuzione pianificata.

Frequenza delle misurazioni

La maggior parte dei piani misura ogni prompt ogni giorno. Alcuni piani effettuano le misurazioni con una frequenza diversa, da due volte al giorno a una volta alla settimana, mentre i piani con controllo della frequenza possono assegnare a singoli prompt una pianificazione propria: una domanda cruciale per il marchio può quindi essere posta ogni giorno, mentre una domanda di coda lunga può essere posta settimanalmente.

Misurare meno spesso comporta un compromesso tra dimensione del campione e copertura: la rilevazione di ogni giorno si basa su meno risposte, quindi i singoli giorni sono più rumorosi, mentre la tendenza nell'arco di settimane rimane altrettanto affidabile. Le metriche sono progettate affinché questo compromesso possa essere adottato in sicurezza:

  • Ogni prompt conta una sola volta. La visibilità calcola la media del tasso di menzione di ciascun prompt, quindi un prompt misurato quattordici volte in una finestra ha esattamente lo stesso peso di uno misurato due volte. Modificare la frequenza di misurazione non cambia i punteggi, ma solo la rapidità con cui si stabilizzano.
  • I punti sono medie, non singoli giorni. Per impostazione predefinita, ogni punto di una tendenza giornaliera calcola la media dei 7 giorni precedenti (puoi modificarla nel grafico, da nessuna media fino a 28 giorni, oppure passare a punti settimanali). Una pianificazione di misurazione più lenta produce comunque una rilevazione completa e comparabile in ogni punto.

Affidabilità, mostrata con trasparenza

Passa il cursore su qualsiasi linea di una tendenza di visibilità e dietro di essa apparirà una fascia ombreggiata: l'intervallo di confidenza del 95% per quella rilevazione, in base al numero di risposte su cui si fonda. La fascia è ampia quando le evidenze sono limitate, ad esempio per un'area di lavoro misurata per la prima volta ieri o con una breve finestra di media, e si restringe man mano che si accumulano risposte. Non scompare mai completamente, perché anche una finestra completa rappresenta evidenze finite.

La fascia consente di distinguere i movimenti dal rumore: un'oscillazione che rimane al suo interno è ciò che ci si aspetta da campionamenti ripetuti di una realtà invariata, mentre uno spostamento che ne esce indica un cambiamento reale che vale la pena analizzare.

Assistenti che misuriamo

Silktide interroga le interfacce consumer che le persone usano effettivamente. Ogni risultato registra il modello sottostante che l'ha prodotto:

  • ChatGPT (OpenAI)
  • Google AI Overviews - il blocco di risposta IA all'interno di Google Search (diverso dall'app Gemini)
  • Google AI Mode - la risposta IA in stile chat di Google all'interno di Search (diversa da AI Overviews e da Gemini)
  • Gemini (Google)
  • Microsoft Copilot
  • Perplexity
  • Claude (Anthropic), se incluso nel tuo piano

Vengono sempre misurati anche i risultati di ricerca di Google: Google visualizza la sua risposta IA nella pagina dei risultati, quindi misurare entrambi non costa più che misurarne uno solo; alcuni piani aggiungono anche Bing. Gli assistenti misurati da un'area di lavoro vengono scelti autonomamente: consulta Impostazioni → Piattaforme.

Consulta Gli assistenti IA che misuriamo per dettagli sui singoli assistenti e Quota di mercato degli assistenti IA per capire perché queste interfacce sono importanti.

Modifiche dei modelli

Le aziende di IA modificano regolarmente i modelli consumer. Quando accade, la tua visibilità può cambiare da un giorno all'altro senza alcuna tua azione. Silktide registra il modello esatto alla base di ogni misurazione e indica le modifiche dei modelli nei grafici delle tendenze: nel giorno in cui il modello di un assistente cambia appare un indicatore verticale e, passando il cursore sopra di esso, vengono mostrati l'assistente e i due modelli; un calo inspiegabile diventa un evento spiegato.

Come vengono raccolte le risposte

Le risposte vengono misurate tramite l'API di ciascun assistente, con la ricerca web in tempo reale abilitata dove disponibile. Ciò si avvicina molto, ma non è identico, alle app consumer, che aggiungono personalizzazione e contesto della sessione. Nessuno strumento può riprodurre perfettamente una chat personalizzata; per l'ottimizzazione, ciò che conta è una misurazione coerente e comparabile nel tempo.

Google AI Overviews e Google AI Mode sono casi particolari: vengono visualizzati all'interno di Search anziché in un'API di chat. Il testo delle panoramiche ricevuto da Silktide può occasionalmente omettere una parola o interrompersi a metà frase. Le misurazioni frequenti rendono comunque affidabili le tendenze: consulta quelle pagine per i dettagli.

Quando una risposta non riesce

Una risposta può terminare in uno di tre stati, e due di questi sono normali:

  • Risposta ottenuta. L'assistente ha risposto e Silktide ha analizzato la risposta.
  • Nessuna risposta mostrata. L'assistente non ha deliberatamente mostrato nulla. Si tratta di un risultato reale, più comune in Google AI Overviews e AI Mode, e viene misurato come assenza anziché come errore.
  • Non riuscita. Silktide non è riuscito a ottenere alcuna risposta.

Un errore significa che la misurazione non è avvenuta: l'assistente non era raggiungibile, ha rifiutato la richiesta o ha impiegato troppo tempo. Non viene registrato nulla, pertanto una risposta non riuscita viene esclusa dai dati sulla visibilità anziché essere conteggiata come assenza. Non riduce i tuoi punteggi.

Occasionali errori sono previsti. Alcuni assistenti sono abbastanza lenti da causare il timeout di una piccola quota delle richieste, e tutti possono subire interruzioni del servizio. Silktide riprova alla successiva misurazione pianificata, quindi un errore isolato non richiede alcuna azione da parte tua.

Ciò che vale la pena segnalare è un andamento: un assistente che non riesce per la maggior parte dei prompt, giorno dopo giorno. Ciò suggerisce un problema dalla nostra parte, anziché un loro momento negativo. Silktide registra il motivo tecnico sottostante per ogni risposta non riuscita, quindi comunica al supporto quale prompt e quale assistente sono coinvolti e potremo dirti esattamente cosa è successo senza ripetere alcuna esecuzione.

Cosa significa 'costo' per i clienti

In linea generale, quanto misuri dipende da prompt attivi × assistenti abilitati × frequenza delle domande. I marchi e i prompt eliminati non moltiplicano allo stesso modo. Le aree di lavoro sì: ogni argomento appartiene a un'area di lavoro, quindi due aree di lavoro che coprono lo stesso soggetto implicano due argomenti e due serie di domande poste. Eliminare i prompt poco efficaci e focalizzare gli assistenti ti consente di mantenere misurazioni precise senza essere sommerso dal rumore.

Correlati

Ultimo aggiornamento

Questa pagina è stata utile?