Przejdź do treści
SilktidePomoc

Dostęp robotów indeksujących AI

Asystenci AI, tacy jak ChatGPT, Claude i Perplexity, odczytują internet za pomocą własnych zautomatyzowanych robotów indeksujących. Silktide sprawdza, czy Twoja witryna nakazuje tym robotom pozostanie poza nią, co zwykle oznacza, że asystenci AI nie mogą odczytywać, cytować ani polecać Twoich treści.

Witryny kontrolują dostęp robotów indeksujących za pomocą pliku . Pojedyncza reguła w tym pliku może wykluczyć każdy główny system AI:

# Blokuje robot indeksujący OpenAI w całej witrynie
User-agent: GPTBot
Disallow: /

Blokowanie może być celowym wyborem, na przykład aby zrezygnować z trenowania modeli. Ponieważ czasami jest to zamierzone, Silktide zgłasza to jako ostrzeżenie, które możesz zatwierdzić, a nie jako potwierdzony błąd.

Dlaczego to ważne

Coraz więcej osób pyta asystenta AI zamiast korzystać z wyszukiwarki. Asystenci ci mogą opisywać, cytować i linkować tylko do witryn, które ich roboty indeksujące mogą odczytać. Jeśli Twoja witryna je blokuje, odpowiedzi są wypełniane treściami konkurencji, a Ty tracisz odwiedzających, nie widząc żadnego błędu.

Wiele plików robots.txt blokuje roboty indeksujące AI przypadkowo: reguły zostały skopiowane z szablonu lub przewodnika po wzmacnianiu zabezpieczeń i nikt nie zauważył, co wykluczają. Ta kontrola ujawnia taki przypadek, aby blokada była decyzją, a nie przeoczeniem.

Jak to naprawić

  1. Otwórz plik robots.txt swojej witryny (pod adresem https://yoursite.com/robots.txt) i znajdź reguły wskazujące zablokowane roboty indeksujące albo regułę User-agent: * z Disallow: /, która blokuje wszystko.
  2. Jeśli blokada jest niezamierzona, usuń te reguły lub ogranicz je do ścieżek, które rzeczywiście chcesz zachować jako prywatne, a następnie opublikuj plik ponownie:
# Przed: blokuje całą witrynę
User-agent: GPTBot
Disallow: /

# Po: zezwala na dostęp do witryny, zachowuje prywatność jednego obszaru
User-agent: GPTBot
Disallow: /internal/
  1. Jeśli blokada jest celowa — na przykład nie chcesz, aby Twoje treści były używane do trenowania AI — wynik. Pamiętaj, że niektóre roboty indeksujące służą do trenowania, a inne do tworzenia odpowiedzi na żywo, więc możesz również blokować je selektywnie: zezwolenie na OAI-SearchBot przy jednoczesnym blokowaniu GPTBot pozwala zachować widoczność w wyszukiwarce ChatGPT bez udziału w trenowaniu.

Jak Silktide to testuje

  1. Pobiera plik robots.txt z katalogu głównego Twojej witryny.
  2. Jeśli plik nie istnieje lub nie można go pobrać, kontrola kończy się powodzeniem: brak pliku robots.txt oznacza, że żaden robot indeksujący nie jest zablokowany.
  3. Analizuje reguły i testuje każdego z listy około 20 znanych agentów użytkownika robotów indeksujących AI (w tym GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended, Applebot-Extended i CCBot) względem katalogu głównego Twojej witryny.
  4. Wyświetla ostrzeżenie, gdy co najmniej jeden z tych robotów indeksujących jest zablokowany w katalogu głównym, i wymienia zablokowane roboty indeksujące.

Rozwiązywanie problemów

Kontrola kończy się powodzeniem, ale asystenci AI nadal nie mogą odczytać mojej witryny

Ta kontrola odczytuje tylko reguły robots.txt. Robot indeksujący, który ma zezwolenie na papierze, może być nadal blokowany w praktyce przez zaporę sieciową lub ochronę przed botami — zobacz Roboty indeksujące AI blokowane w praktyce. Treści, które pojawiają się dopiero po uruchomieniu , mogą również być niewidoczne dla robotów indeksujących AI — zobacz Treści dostępne bez JavaScript.

Celowo blokuję roboty indeksujące AI

To uzasadniony wybór. Zatwierdź wynik, a nie będzie on obciążać oceny Twojej witryny. Zastanów się, czy chcesz blokować wszystkie roboty indeksujące AI, czy tylko te używane do trenowania modeli.

Dowiedz się więcej

Ostatnio zaktualizowano

Czy ta strona była pomocna?