Skjermbildet for gjennomsøkbarhet
Gjennomsøkbarhet besvarer et annet spørsmål enn synlighet: ikke om assistenter omtaler deg, men om crawlerne som leser nettstedet ditt, har tillatelse til det, og om de faktisk kommer gjennom.
Silktide kontrollerer egne nettadresser. Du trenger ikke et tilknyttet nettsted eller Analytics for at dette skjermbildet skal fungere.
Hva det kontrollerer
For hver nettadresse på identitetsmerkevaren din leser Presence robots.txt og llms.txt, og tester deretter crawlerne Silktide følger:
- Søkemotorer som Googlebot, Bingbot og Applebot
- KI-crawlere som GPTBot, ClaudeBot, PerplexityBot og CCBot
Å blokkere en søkecrawler er mer alvorlig enn å blokkere en KI-bot: Det kan fjerne nettstedet fra den aktuelle søkemotoren, ikke bare fra KI-svar.
Angitt kontra faktisk tilgang
To funn holdes atskilt:
- Blokkert i robots.txt betyr at nettstedets publiserte regler sier nei.
- Blokkert i praksis betyr at serveren avviste crawleren selv om robots.txt tillot den. Det peker ofte på en brannmur- eller CDN-regel som ingen husker å ha konfigurert.
Når Silktide ikke kan sende en direkte forespørsel som en crawler, viser skjermbildet hva robots.txt angir, uten å påstå at en direkte test ble utført.
Når alt viser «Ikke vurdert»
Hver kontroll starter med en kontrollmåling: Silktide henter siden som en vanlig nettleser. Hvis nettstedet avviser selv den, kan ingen vurdering knyttes til en enkelt crawler, så hele kolonnen viser Ikke vurdert i stedet.
Dette betyr vanligvis at nettstedet ligger bak en botbeskyttelsestjeneste (som Cloudflare) som utfordrer automatiserte besøkende den ikke gjenkjenner, inkludert Silktides kontroller. Det betyr ikke at crawlere er blokkert. Store søke- og KI-crawlere beviser hvem de er gjennom nettverksadressen sin, og botbeskyttelsestjenester slipper rutinemessig gjennom disse verifiserte crawlerne samtidig som de avviser alle andre. Silktide kan ikke bruke disse adressene, så det rapporterer hva det ikke kunne se, i stedet for å gjette.
En rask måte å berolige deg selv på: Hvis nettstedets sider vises i Googles resultater eller siteres av KI-assistenter, leser ekte crawlere dem.
Tidsplan og Undersøk nå
Arbeidsområder kontrolleres ukentlig, slik at utgående forespørsler forblir hensynsfulle. Undersøk nå kjører en ny kontroll når du nettopp har endret robots.txt og ikke vil vente.
Nylige regelendringer vises i en Endringer-liste for de siste ukene.
Konkurrenter
Når du følger konkurrenter, viser det samme rutenettet nettadressene deres ved siden av dine, slik at du kan se om en konkurrent er åpen for crawlere du har blokkert, eller omvendt.
Relatert
- Analytics – besøk som disse crawlerne og plattformene sender etter at de kan nå deg
- AEO-rapporter – vurderinger av hvor klar hver side er, inkludert crawlers tilgang
- Presence og AEO – beredskap, synlighet og henvist trafikk