可視性の測定

Silktideは定期的に、有効になっているすべてのを、設定済みのAIアシスタントに対して実行します。各回答をそのまま保存し、名前が挙がったすべてのブランド、表示順、各言及がブランドをどの程度好意的に説明しているか、証拠として使用されたすべての出典URLを分析します。

AIの回答は実行ごとに異なるため、単一の回答にはほとんど意味がなく、重要なのはトレンドです。言及率、順位、センチメントを信頼できるものにするのは、繰り返し測定することです。Presenceのサイドバーには、このワークスペースが最後にテストされた日時が表示されます。今すぐテスト（初回実行後は再テスト）を選ぶと、次回の定期実行を待たずに測定を開始します。

測定頻度

ほとんどのプランでは、各プロンプトを毎日測定します。一部のプランでは、1日2回から週1回まで異なる頻度で測定します。また、頻度を設定できるプランでは、個々のプロンプトに独自のスケジュールを設定できます。そのため、ブランドにとって重要な質問は毎日、ロングテールの質問は毎週実行できます。

測定頻度を下げると、サンプル数とカバレッジのトレードオフが生じます。各日の測定値はより少ない回答に基づくため、単日の値はばらつきやすくなりますが、数週間にわたるトレンドの信頼性は変わりません。このトレードオフを安全に行えるよう、指標は設計されています。

各プロンプトは1回としてカウントされます。 可視性は各プロンプト固有の言及率を平均するため、期間内に14回測定されたプロンプトも2回測定されたプロンプトも、まったく同じ重みを持ちます。測定頻度を変更してもスコアは変わらず、安定するまでの速さだけが変わります。
ポイントは単日ではなく平均です。 デフォルトでは、日次トレンド上の各ポイントは直近7日間の平均です（グラフ上で、平均なしから最大28日間まで変更するか、週次ポイントに切り替えられます）。測定スケジュールが遅くても、すべてのポイントで完全かつ比較可能な測定値が得られます。

信頼度を正直に表示

可視性トレンドの任意の線にカーソルを合わせると、その背後に網掛けの帯が表示されます。これは、その測定値が基づく回答数を考慮した95%信頼区間です。証拠が少ない場合、たとえばワークスペースを昨日初めて測定した場合や、平均期間が短い場合には帯は広くなり、回答が蓄積されるにつれて狭くなります。完全な期間でも証拠は有限であるため、帯が完全になくなることはありません。

この帯を見れば、変動とノイズを区別できます。帯の内側にとどまる揺れは、現実が変わっていない状態で繰り返しサンプリングしたときに見られるものです。一方、帯の外側へ移行する変化は、調査する価値のある実際の変化です。

測定対象のAIアシスタント

Silktideは、人々が実際に利用しているコンシューマー向けの画面をクエリします。各結果には、どの基盤モデルが生成したかが記録されます。

ChatGPT（OpenAI）
Google AI Overviews - Google検索内のAI回答ブロック（Geminiアプリとは異なります）
Google AI Mode - Google検索内のチャット形式のAI回答（AI OverviewsおよびGeminiとは異なります）
Gemini（Google）
Microsoft Copilot
Perplexity
ご利用のプランに含まれる場合はClaude（Anthropic）

Googleの検索結果自体も常にあわせて測定されます。Googleは検索結果ページにAI回答を表示するため、両方を測定しても片方だけを測定するよりコストはかかりません。一部のプランではBingも追加されます。ワークスペースがどのAIアシスタントを測定するかは、それぞれで選択できます。設定 → プラットフォームをご覧ください。

AIアシスタントごとの詳細は測定対象のAIアシスタントを、これらの画面が重要である理由はAIアシスタントの市場シェアをご覧ください。

モデルの変更

AI企業はコンシューマー向けモデルを定期的に変更します。そうした変更が起きると、あなたが何もしなくても、可視性が一夜にして変化することがあります。Silktideはすべての測定の基盤となる正確なモデルを記録し、トレンドグラフ上でモデル変更を示します。AIアシスタントのモデルが変更された日には縦のマーカーが表示され、それにカーソルを合わせるとAIアシスタント名と両方のモデル名が表示されます。説明のつかない急落が、説明可能な出来事になります。

回答の収集方法

回答は、利用可能な場合はライブウェブ検索を有効にして、各AIアシスタントのAPI経由で測定されます。これは、パーソナライズやセッションコンテキストが追加されるコンシューマー向けアプリに近似していますが、同一ではありません。パーソナライズされたチャットを完全に再現できるツールはありません。最適化において重要なのは、時間の経過とともに一貫して比較可能な測定です。

Google AI OverviewsとGoogle AI Modeは特殊なケースです。これらはチャットAPIではなく検索内に表示されます。Silktideが受け取るOverviewのテキストでは、まれに単語が欠落したり、文の途中で切れたりすることがあります。それでも、頻繁な測定によりトレンドの信頼性は維持されます。詳細については該当ページをご覧ください。

応答が失敗した場合

応答は次の3つの状態のいずれかで終了します。そのうち2つは正常です。

回答済み。 AIアシスタントが回答し、Silktideがその回答を分析しました。
回答が表示されませんでした。 AIアシスタントが意図的に何も表示しませんでした。これは実際の結果であり、Google AI OverviewsやAI Modeで最も多く見られます。エラーではなく、回答がないものとして測定されます。
失敗。 Silktideがまったく回答を取得できませんでした。

失敗は、測定が行われなかったことを意味します。AIアシスタントに接続できなかった、リクエストを拒否した、または応答に時間がかかりすぎた場合です。何も記録されないため、失敗した応答は回答がないものとしてカウントされるのではなく、可視性の数値から除外されます。スコアが下がることはありません。

時折失敗することは想定されています。一部のAIアシスタントは遅く、少数のリクエストがタイムアウトすることがあります。また、すべてのAIアシスタントで障害が発生する可能性があります。Silktideは次回の定期測定で再試行するため、単発の失敗に対してあなたが行う必要はありません。

報告すべきなのは、パターンです。1つのAIアシスタントが、毎日ほとんどのプロンプトで失敗する場合です。これは、相手側の一時的な問題ではなく、当社側の問題を示している可能性があります。Silktideは失敗した各応答について根本的な技術的理由を記録しているため、どのプロンプトとどのAIアシスタントかをサポートにお知らせください。再実行することなく、何が起きたかを正確にお伝えできます。

顧客にとっての「コスト」の意味

大まかに言うと、測定量は有効なプロンプト数 × 有効なAIアシスタント数 × 質問頻度によって決まります。ブランドと削除済みプロンプトは、同じようには増加しません。ワークスペースは増加します。各トピックは1つのワークスペースに属するため、同じテーマを2つのワークスペースで扱う場合、2つのトピックと2組の質問が実行されます。弱いプロンプトを削除し、AIアシスタントを絞り込むことで、ノイズに埋もれずに測定の精度を保てます。