Blokowanie robotów indeksujących AI

Silktide sprawdza, czy żądania identyfikujące się jako najważniejsze roboty indeksujące AI rzeczywiście docierają do Twojej witryny. Witryna może formalnie zezwalać tym robotom na dostęp, podczas gdy zapora sieciowa lub produkt zabezpieczający blokuje je już na wejściu.

Plik może wskazywać, że są mile widziane, podczas gdy zapora sieciowa je odrzuca. i produkty zabezpieczające oferują przełączniki „blokuj boty AI” dostępne jednym kliknięciem — niektóre są domyślnie włączone — które odrzucają każde żądanie identyfikujące się jako GPTBot, ClaudeBot, PerplexityBot lub podobnie, niezależnie od tego, co deklaruje robots.txt. Właściciele witryn często nie wiedzą, że ta opcja jest włączona: dla Ciebie witryna działa bez zarzutu, ale dla każdego asystenta AI nie istnieje.

Dlaczego to ma znaczenie

Asystenci AI mogą cytować i polecać wyłącznie treści, które ich roboty indeksujące mogą pobrać. Blokada na poziomie zapory sieciowej jest niewidoczna podczas zwykłego korzystania — Twoja witryna ładuje się poprawnie w każdej przeglądarce, analityka wygląda dobrze — jednak silniki odpowiedzi po cichu nie odczytują Twoich treści i zamiast tego cytują konkurencję. Ponieważ nie pojawia się żaden widoczny błąd, jest to jeden z najtrudniejszych do zauważenia problemów z widocznością bez bezpośredniego testowania.

Oddzielna kontrola dostępu robotów indeksujących AI w Silktide obejmuje deklaracje w pliku robots.txt. Ta kontrola obejmuje to, co rzeczywiście dzieje się w sieci. Często występuje między nimi rozbieżność, a gdy tak się dzieje, decydująca jest zapora sieciowa.

Jak to naprawić

Sprawdź panel CDN lub zabezpieczeń pod kątem blokowania botów AI. W Cloudflare poszukaj w sekcji Security opcji „AI bots” lub „Bot Fight Mode”; inni dostawcy, tacy jak Akamai, Imperva i DataDome, mają równoważne przełączniki. Są one czasami domyślnie włączone.
Jeśli blokada jest niezamierzona, wyłącz przełącznik lub dodaj określone roboty indeksujące, na które chcesz zezwolić, do listy dozwolonych.
Jeśli masz własne reguły zapory sieciowej lub serwera dopasowujące agentów użytkownika botów, usuń wpisy robotów indeksujących AI, które chcesz dopuścić.
Jeśli celowo blokujesz roboty indeksujące AI, ustalenie — jest to uzasadniony wybór.

Jak Silktide to testuje

Wysyła żądanie do Twojej strony głównej z normalną tożsamością przeglądarki. Jeśli to żądanie samo zostanie odrzucone lub poddane weryfikacji, kontrola nie ma zastosowania — niczego nie można przypisać dyskryminacji robotów indeksujących.
Ponownie wysyła żądanie do strony głównej, identyfikując się jako każdy główny robot indeksujący AI (GPTBot, ClaudeBot, PerplexityBot i CCBot), używając ciągów User-Agent publikowanych przez ich operatorów. Wszystkie żądania pochodzą z tego samego miejsca, więc każda różnica w odpowiedzi wynika z tożsamości robota indeksującego.
Uznaje robota indeksującego za zablokowanego, gdy jego żądanie otrzyma status jednoznacznej odmowy (na przykład 403 Forbidden, 429 Too Many Requests lub 503), stronę weryfikacyjną albo stronę , której robot indeksujący nie może rozwiązać, lub nie otrzyma odpowiedzi w ogóle, podczas gdy żądanie z przeglądarki zakończyło się powodzeniem.
Wyświetla ostrzeżenie, gdy którykolwiek robot indeksujący zostanie odrzucony, z listą tych robotów.

Wszystkie żądania dotyczą wyłącznie strony głównej i są wykonywane raz na test.

Rozwiązywanie problemów

Weryfikujemy roboty indeksujące na podstawie ich sieci, a nie tylko nazwy

Niektóre witryny dopuszczają wyłącznie żądania pochodzące ze zweryfikowanych adresów sieciowych operatora robota indeksującego. Sonda Silktide wysyła opublikowaną tożsamość robota indeksującego z własnej sieci, więc taka witryna może odrzucić sondę, jednocześnie dopuszczając prawdziwego robota indeksującego. Taka konfiguracja występuje znacznie rzadziej niż ogólne blokowanie na podstawie tożsamości; jeśli potwierdzisz, że jej używasz, zatwierdź ustalenie.

Kontrola przechodzi pomyślnie, ale asystenci nadal pomijają moje treści

Przejście przez wejście jest konieczne, ale niewystarczające. Sprawdź, czy plik robots.txt zezwala robotom indeksującym AI (Dostęp robotów indeksujących AI) oraz czy Twoje treści nie wymagają , aby się wyświetlić (Treść bez JavaScript).