Avançar para o conteúdo
SilktideAjuda

Medir a visibilidade

Segundo uma programação, a Silktide faz cada ativo em todos os assistentes de IA que ativou, armazena cada resposta na íntegra e analisa-a: cada marca mencionada, a ordem em que aparece, quão favoravelmente cada menção descreve a marca e todos os URLs de fontes usados como prova.

Como as respostas de IA variam de execução para execução, uma única resposta significa pouco e as tendências significam tudo. A medição repetida é o que torna fiáveis a taxa de menções, a posição e o sentimento. A barra lateral de Presença mostra quando este espaço de trabalho foi testado pela última vez. Testar agora (ou Testar novamente, após a primeira execução) inicia uma medição sem esperar pela próxima execução programada.

Com que frequência medimos

A maioria dos planos mede cada prompt diariamente. Alguns planos medem com uma frequência diferente — entre duas vezes por dia e semanalmente — e os planos com controlo de frequência podem atribuir uma programação própria a prompts individuais, para que uma pergunta crítica para a marca possa ser feita diariamente enquanto outra de cauda longa é feita semanalmente.

Medir com menos frequência troca o tamanho da amostra pela cobertura: a leitura de cada dia baseia-se em menos respostas, pelo que dias individuais têm mais ruído, enquanto a tendência ao longo de semanas continua igualmente fiável. As métricas foram concebidas para que esta troca seja segura:

  • Cada prompt conta uma vez. A visibilidade calcula a média da própria taxa de menções de cada prompt, pelo que um prompt medido catorze vezes numa janela tem exatamente o mesmo peso que um medido duas vezes. Alterar a frequência com que algo é medido não altera as suas pontuações — apenas a rapidez com que estabilizam.
  • Os pontos são médias, não dias individuais. Por predefinição, cada ponto numa tendência diária calcula a média dos 7 dias anteriores (pode alterar isto no gráfico, desde nenhuma média até 28 dias, ou mudar para pontos semanais). Uma programação de medição mais lenta continua a produzir uma leitura completa e comparável em todos os pontos.

Confiança apresentada de forma honesta

Passe o cursor sobre qualquer linha numa tendência de visibilidade e aparecerá uma faixa sombreada atrás dela: o intervalo de confiança de 95% dessa leitura, tendo em conta o número de respostas em que se baseia. A faixa é larga quando há pouca evidência — num espaço de trabalho medido pela primeira vez ontem, ou numa janela de cálculo de média curta — e estreita à medida que as respostas se acumulam. Nunca desaparece por completo, porque mesmo uma janela completa representa evidência finita.

A faixa permite distinguir movimentos de ruído: uma oscilação que permanece dentro dela é o aspeto da amostragem repetida de uma realidade inalterada, enquanto uma mudança que sai dela é uma alteração real que vale a pena investigar.

Assistentes que medimos

A Silktide consulta as interfaces de consumidor que as pessoas realmente utilizam. Cada resultado regista o modelo subjacente que o produziu:

  • ChatGPT (OpenAI)
  • Google AI Overviews — o bloco de respostas de IA no Google Search (diferente da aplicação Gemini)
  • Google AI Mode — a resposta de IA em estilo de chat da Google no Search (diferente do AI Overviews e do Gemini)
  • Gemini (Google)
  • Microsoft Copilot
  • Perplexity
  • Claude (Anthropic), quando o seu plano o inclui

Os próprios resultados de pesquisa da Google são sempre medidos em simultâneo — a Google apresenta a sua resposta de IA na página de resultados, pelo que medir ambos não custa mais do que medir um — e alguns planos adicionam o Bing. Os assistentes que um espaço de trabalho mede são uma escolha própria: consulte Definições → Plataformas.

Consulte Assistentes de IA que medimos para obter detalhes por assistente e Quota de mercado dos assistentes de IA para saber porque estas interfaces são importantes.

Alterações de modelos

As empresas de IA alteram regularmente os modelos de consumidor. Quando isso acontece, a sua visibilidade pode mudar de um dia para o outro sem qualquer ação da sua parte. A Silktide regista o modelo exato por detrás de cada medição e assinala as alterações de modelos nos gráficos de tendências: aparece um marcador vertical no dia em que o modelo de um assistente mudou e, ao passar o cursor sobre ele, vê o nome do assistente e ambos os modelos — uma queda inexplicada passa a ser um evento explicado.

Como as respostas são recolhidas

As respostas são medidas através da API de cada assistente, com pesquisa na Web em direto ativada quando disponível. Isto aproxima-se bastante — mas não é idêntico — às aplicações de consumidor, que adicionam personalização e contexto de sessão. Nenhuma ferramenta consegue reproduzir perfeitamente um chat personalizado; o importante para a otimização é uma medição consistente e comparável ao longo do tempo.

Google AI Overviews e Google AI Mode são casos especiais: aparecem no Search, em vez de numa API de chat. O texto do Overview que a Silktide recebe pode ocasionalmente omitir uma palavra ou terminar a meio de uma frase. A medição frequente continua a tornar as tendências fiáveis — consulte essas páginas para mais detalhes.

Quando uma resposta falha

Uma resposta pode terminar num de três estados, e dois deles são normais:

  • Respondida. O assistente respondeu e a Silktide analisou a resposta.
  • Nenhuma resposta apresentada. O assistente optou deliberadamente por não apresentar nada. Este é um resultado real, mais comum no Google AI Overviews e no AI Mode, e é medido como uma ausência, e não como um erro.
  • Falhou. A Silktide não conseguiu obter uma resposta.

Uma falha significa que a medição não ocorreu: não foi possível contactar o assistente, este recusou o pedido ou demorou demasiado tempo. Nada é registado, pelo que uma resposta falhada é excluída dos seus valores de visibilidade em vez de ser contada como uma ausência. Não reduz as suas pontuações.

São esperadas falhas ocasionais. Alguns assistentes são suficientemente lentos para que uma pequena percentagem dos pedidos exceda o tempo limite, e todos têm indisponibilidades. A Silktide tenta novamente na próxima medição programada, pelo que uma falha isolada não exige qualquer ação da sua parte.

O que vale a pena comunicar é um padrão: um assistente falhar na maioria dos prompts, dia após dia. Isto sugere um problema do nosso lado, e não um mau momento do lado deles. A Silktide regista o motivo técnico subjacente de cada resposta falhada, por isso diga ao apoio qual o prompt e qual o assistente, e podemos dizer-lhe exatamente o que aconteceu sem executar nada novamente.

O que significa «custo» para os clientes

Em termos gerais, a quantidade que mede é determinada por prompts ativos × assistentes ativados × frequência das perguntas. As marcas e os prompts eliminados não multiplicam da mesma forma. Os espaços de trabalho, sim: cada tópico pertence a um espaço de trabalho, pelo que dois espaços de trabalho que abranjam o mesmo assunto significam dois tópicos e dois conjuntos de perguntas feitas. Eliminar prompts fracos e concentrar-se nos assistentes é a forma de manter a medição precisa sem se afogar em ruído.

Relacionado

Última atualização

Esta página foi útil?