Skärm för genomsökningsbarhet

Genomsökningsbarhet besvarar en annan fråga än synlighet: inte huruvida AI-assistenter omnämner dig, utan huruvida sökrobotarna som läser din webbplats får göra det och faktiskt kan ta sig fram.

Silktide kontrollerar varumärkets egna webbadresser. Du behöver ingen länkad webbplats eller Analytics för att den här skärmen ska fungera.

Vad den kontrollerar

För varje webbadress för ditt eget varumärke läser Presence robots.txt och llms.txt och testar sedan de sökrobotar som Silktide följer:

• Sökmotorer som Googlebot, Bingbot och Applebot
• AI-sökrobotar som GPTBot, ClaudeBot, PerplexityBot och CCBot

Att blockera en sökrobot från en sökmotor är allvarligare än att blockera en AI-bot: det kan ta bort webbplatsen från den sökmotorn, inte bara från AI-svar.

Deklarerad kontra faktisk åtkomst

Två resultat hålls isär:

• Blockerad i robots.txt innebär att webbplatsens publicerade regler säger nej.
• Blockerad i praktiken innebär att servern nekade sökroboten trots att robots.txt tillät den. Det tyder ofta på en brandväggs- eller CDN-regel som ingen kommer ihåg att ha konfigurerat.

När Silktide inte kan skicka en aktiv begäran som en sökrobot visar skärmen vad robots.txt deklarerar utan att påstå att en aktiv testning har skett.

När allt visar "Inte bedömt"

Varje kontroll börjar med en kontrollåtgärd: Silktide hämtar sidan som en vanlig webbläsare. Om webbplatsen även avvisar den kan inget utlåtande knytas till någon enskild sökrobot, så hela kolumnen visar i stället Inte bedömt.

Detta innebär vanligtvis att webbplatsen ligger bakom en tjänst för botskydd, till exempel Cloudflare, som utmanar automatiserade besökare som den inte känner igen, inklusive Silktides kontroller. Det betyder inte att sökrobotar blockeras. Stora sök- och AI-sökrobotar bevisar vilka de är genom sin nätverksadress, och tjänster för botskydd släpper rutinmässigt igenom dessa verifierade sökrobotar samtidigt som de avvisar alla andra. Silktide kan inte använda dessa adresser och rapporterar därför vad det inte kunde se i stället för att gissa.

Ett snabbt sätt att försäkra dig: om webbplatsens sidor visas i Googles resultat eller citeras av AI-assistenter läser riktiga sökrobotar dem.

Schema och Testa nu

Arbetsytor kontrolleras varje vecka för att utgående begäranden ska förbli hänsynsfulla. Testa nu kör en ny kontroll när du precis har ändrat robots.txt och inte vill vänta.

Nyliga regeländringar visas i en lista över Ändringar från de senaste veckorna.

Konkurrenter

När du följer konkurrenter visar samma rutnät deras webbadresser bredvid dina, så att du kan se om en konkurrent är öppen för sökrobotar som du har blockerat, eller tvärtom.

Relaterat

• Analytics - besök som dessa sökrobotar och plattformar skickar efter att de kan nå dig
• AEO-rapporter - bedömningar av varje sidas beredskap, inklusive åtkomst för sökrobotar
• Presence och AEO - beredskap, synlighet och hänvisad trafik