Ekran możliwości indeksowania

Możliwość indeksowania odpowiada na inne pytanie niż Widoczność: nie na to, czy asystenci AI wspominają o Tobie, lecz czy roboty indeksujące odczytujące Twoją witrynę mają na to zezwolenie i czy faktycznie mogą przez nią przejść.

Silktide sprawdza własne adresy internetowe marki. Aby ten ekran działał, nie potrzebujesz połączonej witryny ani Analytics.

Co sprawdza

Dla każdego adresu internetowego marek, które śledzisz, Presence odczytuje pliki robots.txt i llms.txt, a następnie testuje roboty indeksujące śledzone przez Silktide:

• Wyszukiwarki takie jak Googlebot, Bingbot i Applebot
• Roboty AI takie jak GPTBot, ClaudeBot, PerplexityBot i CCBot

Blokowanie robota wyszukiwarki jest poważniejsze niż blokowanie bota AI: może usunąć witrynę z wyników tej wyszukiwarki, a nie tylko z odpowiedzi AI.

Zadeklarowany a faktyczny dostęp

Dwa ustalenia są rozdzielone:

• Zablokowano w robots.txt oznacza, że opublikowane reguły witryny na to nie zezwalają.
• Zablokowano w praktyce oznacza, że serwer odmówił dostępu robotowi indeksującemu, mimo że robots.txt na to zezwalał. Często wskazuje to na regułę zapory sieciowej lub CDN, której konfiguracji nikt już nie pamięta.

Gdy Silktide nie może wysłać bieżącego żądania jako robot indeksujący, ekran pokazuje deklaracje robots.txt, nie twierdząc, że przeprowadzono bieżące testowanie.

Gdy wszędzie widnieje „Nie oceniono”

Każda kontrola zaczyna się od testu kontrolnego: Silktide pobiera stronę jako zwykła przeglądarka internetowa. Jeśli witryna odrzuca nawet takie żądanie, nie można przypisać wyniku żadnemu pojedynczemu robotowi indeksującemu, dlatego w całej kolumnie wyświetlane jest Nie oceniono.

Zwykle oznacza to, że witryna znajduje się za usługą ochrony przed botami (taką jak Cloudflare), która weryfikuje automatycznych odwiedzających, których nie rozpoznaje, w tym kontrole Silktide. Nie oznacza to, że roboty indeksujące są zablokowane. Główne roboty wyszukiwarek i AI potwierdzają swoją tożsamość za pomocą adresu sieciowego, a usługi ochrony przed botami rutynowo przepuszczają zweryfikowane roboty, odrzucając wszystkich pozostałych. Silktide nie może użyć tych adresów, dlatego informuje o tym, czego nie mógł sprawdzić, zamiast zgadywać.

Szybki sposób, aby się upewnić: jeśli strony witryny pojawiają się w wynikach Google lub są cytowane przez asystentów AI, prawdziwe roboty indeksujące je odczytują.

Harmonogram i Zbadaj teraz

Witryny są sprawdzane co tydzień, aby zachować uprzejmość wobec serwerów wysyłających żądania. Zbadaj teraz uruchamia nowe sprawdzenie, gdy właśnie zmieniono robots.txt i nie chcesz czekać.

Niedawne zmiany reguł pojawiają się na liście Zmiany z ostatnich kilku tygodni.

Konkurenci

Gdy śledzisz konkurentów, ta sama tabela pokazuje ich adresy internetowe obok Twoich, dzięki czemu możesz zobaczyć, czy rywal udostępnia robotom indeksującym to, co u Ciebie jest zablokowane, albo odwrotnie.

Powiązane

• Analytics — wizyty wysyłane przez te roboty indeksujące i platformy, gdy mogą już do Ciebie dotrzeć
• Raporty AEO — oceny gotowości dla poszczególnych stron, w tym dostępu robotów indeksujących
• Presence i AEO — gotowość, widoczność i ruch z odesłań