Skærmbilledet Crawlbarhed

Crawlbarhed besvarer et andet spørgsmål end Synlighed: ikke om AI-assistenter omtaler dig, men om de crawlere, der læser dit site, har tilladelse til det, og om de rent faktisk kan komme igennem.

Silktide tjekker brandets egne webadresser. Du behøver ikke en tilknyttet website eller Analytics, for at dette skærmbillede fungerer.

Hvad det tjekker

For hver webadresse på dit identitetsbrand læser Presence robots.txt og llms.txt og undersøger derefter de crawlere, Silktide sporer:

• Søgemaskiner såsom Googlebot, Bingbot og Applebot
• AI-crawlere såsom GPTBot, ClaudeBot, PerplexityBot og CCBot

At blokere en søgecrawler er mere alvorligt end at blokere en AI-bot: Det kan fjerne sitet fra den pågældende søgemaskine, ikke kun fra AI-svar.

Angivet kontra faktisk adgang

To fund holdes adskilt:

• Blokeret i robots.txt betyder, at sitets offentliggjorte regler siger nej.
• Blokeret i praksis betyder, at serveren afviste crawleren, selvom robots.txt tillod den. Det peger ofte på en firewall- eller CDN-regel, som ingen husker at have konfigureret.

Når Silktide ikke kan sende en liveanmodning som en crawler, viser skærmbilledet, hvad robots.txt angiver, uden at påstå, at der blev foretaget en liveundersøgelse.

Når alt viser "Ikke vurderet"

Hvert tjek starter med en kontrol: Silktide henter siden som en almindelig webbrowser. Hvis sitet også afviser den, kan der ikke fastslås en vurdering for en enkelt crawler, så hele kolonnen viser i stedet Ikke vurderet.

Det betyder normalt, at sitet ligger bag en botbeskyttelsestjeneste (såsom Cloudflare), der udfordrer automatiserede besøgende, den ikke genkender, herunder Silktides tjek. Det betyder ikke, at crawlere er blokeret. Store søge- og AI-crawlere beviser, hvem de er, via deres netværksadresse, og botbeskyttelsestjenester lader rutinemæssigt disse verificerede crawlere passere, mens alle andre afvises. Silktide kan ikke bruge disse adresser, så det rapporterer det, det ikke kunne se, frem for at gætte.

En hurtig måde at berolige dig selv på: Hvis sitets sider vises i Googles resultater eller citeres af AI-assistenter, læser rigtige crawlere dem.

Tidsplan og Undersøg nu

Arbejdsområder tjekkes efter en ugentlig tidsplan, så udgående anmodninger forbliver hensynsfulde. Undersøg nu kører et nyt tjek, når du netop har ændret robots.txt og ikke vil vente.

Seneste regelændringer vises i en Ændringer-liste for de seneste par uger.

Konkurrenter

Når du sporer konkurrenter, viser det samme gitter deres webadresser ved siden af dine, så du kan se, om en konkurrent er åben for crawlere, som du har blokeret, eller omvendt.

Relateret

• Analytics - besøg, som disse crawlere og platforme sender, efter de kan nå dig
• AEO-rapporter - vurderinger af parathed pr. side, herunder crawleradgang
• Presence og AEO - parathed, synlighed og henvist trafik