Przejdź do treści
SilktidePomoc

Polityka dostępu robotów indeksujących AI

Polityka dostępu robotów indeksujących AI to świadoma konfiguracja pliku (a czasem także zapory sieciowej), która określa, jakie systemy AI mogą pobierać Twoje strony publiczne — i w jakim celu. Jest zależna od sytuacji, ponieważ „właściwa” odpowiedź zależy od tego, czy bardziej zależy Ci na cytowaniu w odpowiedziach asystentów AI, ochronie treści przed szkoleniem modeli, czy na obu tych celach. To, co nie jest zależne od sytuacji, to traktowanie wklejonego szablonu „zablokuj całe AI” tak, jakby był neutralnym działaniem wzmacniającym zabezpieczenia. Ten wybór ma konsekwencje marketingowe.

Na tej stronie załóżmy, że Fernwood chce pojawiać się w odpowiedziach ChatGPT i Claude na temat zarządzania wydatkami, ale jego zespół prawny woli nie udostępniać nowych stron zbiorom danych szkoleniowych modeli bazowych.

Ta technika dotyczy dostępu. Gdy robot indeksujący zostanie wpuszczony, nadal musi otrzymać rzeczywisty HTML — zobacz Treść czytelna bez JavaScript — a opcjonalna, starannie przygotowana mapa jest omówiona osobno w llms.txt.

Dlaczego zależy to od sytuacji

Produkty AI nie używają już jednego „bota AI”. Główni dostawcy dzielą roboty indeksujące według zadań:

ZadanieTypowe botySkutek blokowania
Szkolenie modeliOpenAI GPTBot, Anthropic ClaudeBot, Common Crawl CCBot, Google Google-Extended (kontrola szkolenia / uziemiania Gemini — nie Googlebot)Sygnalizuje, że treść nie powinna być używana do szkolenia (lub, w przypadku Google-Extended, do szkolenia Gemini / zasilania określonych funkcji AI). Samo w sobie nie usuwa Cię z klasycznej wyszukiwarki Google.
Indeksowanie na potrzeby wyszukiwania / odpowiedziOpenAI OAI-SearchBot, Anthropic Claude-SearchBot, PerplexityBotOgranicza lub usuwa możliwość wyświetlania i cytowania w odpowiedziach tego produktu w stylu wyszukiwarki.
Pobieranie uruchamiane przez użytkownikaOpenAI ChatGPT-User, Anthropic Claude-User, podobni agenci „użytkownik poprosił o ten URL”Kontroluje pobieranie na żywo, gdy osoba wskazuje asystentowi AI stronę. Zasady dostawców różnią się co do tego, czy robots.txt jest honorowany przez tych agentów — przed założeniem, że Disallow zadziała, sprawdź aktualną dokumentację dostawcy.

Własna dokumentacja robotów indeksujących OpenAI wyraźnie stwierdza tę niezależność: administrator witryny może zezwolić na działanie OAI-SearchBot, aby pojawiać się w funkcjach wyszukiwania ChatGPT, jednocześnie blokując GPTBot, aby pobrana treść nie była używana do szkolenia generatywnych modeli bazowych. Anthropic dokumentuje taki sam trójstronny podział dla ClaudeBot (szkolenie), Claude-SearchBot (jakość wyszukiwania) i Claude-User (pobieranie kierowane przez użytkownika).

Pytanie dotyczące polityki nie brzmi więc „AI: włączone czy wyłączone?”. Są to trzy odrębne decyzje, które powinny odpowiadać tolerancji ryzyka i celom AEO firmy Fernwood.

Zwykle zezwalaj na roboty indeksujące wyszukiwanie / odpowiedzi, gdy:

  • Chcesz, aby asystenci AI cytowali dokumentację, badania i strony porównawcze Fernwood.
  • Konkurenci pojawiają się już w tych odpowiedziach, a Ty nie.
  • Kontrola Dostęp robotów indeksujących AI w Silktide wyświetla ostrzeżenie, ponieważ szablon przypadkowo zablokował wszystko.

Często blokuj lub ograniczaj roboty szkoleniowe, gdy:

  • Polityka prawna lub dotycząca marki zabrania przekazywania treści witryny do szkolenia modeli stron trzecich.
  • Publikujesz zastrzeżone badania, logikę cenową lub materiały zbliżone do treści ograniczonych dostępem, które muszą pozostać poza zbiorami szkoleniowymi, nawet jeśli nadal chcesz uzyskiwać cytowania na żywo.

Blokuj szeroko, gdy:

  • Witryna nie jest publiczna, jest środowiskiem testowym lub nie ma marketingowego powodu, by pojawiać się w odpowiedziach asystentów AI (intranet, wyłącznie interfejs aplikacji, portal partnerów).
  • Podjęto świadomą decyzję produktową, aby całkowicie nie pojawiać się w odpowiedziach AI — i akceptujesz utratę tego kanału.

Jak podjąć decyzję (arkusz Fernwood)

Przejdź przez te pytania w podanej kolejności. Zapisz odpowiedzi; plik robots.txt jest jedynie zakodowaniem tego arkusza.

  1. Czy w ogóle chcemy być cytowani w odpowiedziach AI? Jeśli nie, zablokuj główne boty wyszukiwania / odpowiedzi i zatwierdź ostrzeżenie Silktide. Jeśli tak, kontynuuj.
  2. Którzy asystenci AI są ważni? ChatGPT, Claude, Perplexity, funkcje AI Google i inni mają własnych agentów. Nadaj priorytet tym, których faktycznie używają Twoi kupujący.
  3. Czy wymagane jest wyłączenie ze szkolenia? Jeśli dział prawny mówi „tak”, zablokuj agentów szkoleniowych (GPTBot, ClaudeBot, Google-Extended, CCBot i podobnych), zachowując zezwolenie dla agentów wyszukiwania tam, gdzie dostawca obsługuje ten podział.
  4. Czy istnieją ścieżki, które w każdym przypadku muszą pozostać prywatne? \/app\/, \/internal\/, adresy URL podglądu wersji roboczych — zablokuj je dla * (i potwierdź, że uwierzytelnianie nadal je chroni; robots.txt nie jest kontrolą dostępu).
  5. Czy HTML można faktycznie pobrać? Zezwalający robots.txt z pustą powłoką SPA nadal nie spełnia wymagań AEO — w następnej kolejności napraw renderowanie.

Wdrażanie polityki w robots.txt

Plik robots.txt znajduje się pod adresem https://fernwood.example/robots.txt. Reguły są określane dla każdej grupy user-agentów. Bardziej szczegółowe grupy zastępują regułę ogólną dla danego agenta. Preferuj nazwanych agentów zamiast liczyć, że User-agent: * wyrazi Twoją politykę AI — szablony ustawiające Disallow: \/ w sekcji * ograniczają również Googlebota i wszystkich innych.

Wzorzec A — widoczność w odpowiedziach, bez szkolenia (częsty w witrynach nastawionych na AEO)

# OpenAI: cytowanie w wyszukiwaniu ChatGPT, bez użycia do szkolenia modeli bazowych
User-agent: OAI-SearchBot
Allow: \/

User-agent: GPTBot
Disallow: \/

# Anthropic: zezwól na indeksowanie wyszukiwania; zablokuj pobieranie do szkolenia
User-agent: Claude-SearchBot
Allow: \/

User-agent: ClaudeBot
Disallow: \/

# Google: Googlebot (wyszukiwarka) jest oddzielny; Google-Extended kontroluje szkolenie Gemini / funkcje AI
User-agent: Google-Extended
Disallow: \/

# Zachowaj zamknięty dostęp do prywatnych ścieżek aplikacji dla wszystkich
User-agent: *
Disallow: \/app\/
Disallow: \/internal\/

OpenAI zaznacza, że zmiany w robots.txt dotyczące wyszukiwania mogą zacząć obowiązywać po około 24 godzinach. Sprawdź ponownie po publikacji.

Wzorzec B — całkowicie otwarty (maksymalny zasięg w silnikach odpowiedzi)

Pomiń reguły Disallow specyficzne dla AI. Upewnij się, że nic w sekcji User-agent: * przypadkowo nie blokuje całej witryny. Nadal chroń prywatne ścieżki.

Wzorzec C — całkowicie zamknięty dla produktów AI

User-agent: GPTBot
Disallow: \/

User-agent: OAI-SearchBot
Disallow: \/

User-agent: ClaudeBot
Disallow: \/

User-agent: Claude-SearchBot
Disallow: \/

User-agent: Claude-User
Disallow: \/

User-agent: PerplexityBot
Disallow: \/

User-agent: Google-Extended
Disallow: \/

User-agent: CCBot
Disallow: \/

Używaj tego wyłącznie jako świadomego wyboru. Następnie ostrzeżenie Silktide dotyczące robotów indeksujących AI, aby ustalenie przestało być uwzględniane na niekorzyść witryny.

Zweryfikuj, kto faktycznie odwiedza Twoją witrynę

Ciągi User-Agent są trywialne do sfałszowania. Gdy potrzebujesz pewności, preferuj listy adresów IP publikowane przez dostawców:

Blokowanie wyłącznie na podstawie adresu IP, bez sygnału w robots.txt, jest zawodne — Anthropic zaznacza, że blokady IP mogą uniemożliwić botowi odczytanie robots.txt i prawidłowe zakończenie rezygnacji.

Czego robots.txt nie rozwiązuje

  • Fałszywe alarmy zapory sieciowej / zarządzania botami. Zapora aplikacji internetowej (WAF) — warstwa filtrowania, którą usługi takie jak Cloudflare umieszczają przed witryną — może wyświetlać wyzwania lub zwracać 403 klientom „niebędącym przeglądarką” i blokować GPTBot nawet wtedy, gdy robots.txt na to zezwala. Silktide testuje to osobno w kontroli Roboty indeksujące AI blokowane w praktyce.
  • Puste powłoki JavaScript. Zezwolenie robotowi indeksującemu na dostęp do <div id="root"></div> nikomu nie pomaga. Połącz tę technikę z Treść czytelna bez JavaScript.
  • Magiczne zwiększenie pozycji. Zezwolenie robotom indeksującym sprawia, że cytowanie staje się możliwe. Strony nadające się do cytowania, daty, tożsamość i dowody nadal decydują o tym, czy zostaniesz wybrany — zobacz Struktura strony nastawiona na odpowiedzi oraz Znaczniki tożsamości organizacji.
  • llms.txt jako zamiennik. Plik indeksu nie może zastąpić Disallow. Zobacz llms.txt.

Jak pomaga Silktide

  • Dostęp robotów indeksujących AI analizuje robots.txt względem listy dobrze znanych user-agentów AI i ostrzega, gdy katalog główny witryny jest zablokowany — jest to ostrzeżenie, które możesz zatwierdzić, gdy blokada jest zamierzona.
  • Roboty indeksujące AI blokowane w praktyce pobiera strony jako te roboty indeksujące, aby wykrywać blokady zapory sieciowej i warstwy brzegowej, których robots.txt nie wyjaśnia.
  • Treść bez JavaScript wykrywa tryb awarii „dozwolone, ale puste”.

Powiązane

Ostatnio zaktualizowano

Czy ta strona była pomocna?