Crawlbaarheidsscherm

Crawlbaarheid beantwoordt een andere vraag dan Zichtbaarheid: niet of assistenten u noemen, maar of de crawlers die uw site lezen dit mogen doen en of ze er daadwerkelijk doorheen komen.

Silktide controleert de eigen webadressen van het merk. U hebt geen gekoppelde website of Analytics nodig om dit scherm te gebruiken.

Wat het controleert

Voor elk webadres van uw identiteitsmerk leest Presence robots.txt en llms.txt en test vervolgens de crawlers die Silktide bijhoudt:

• Zoekmachines zoals Googlebot, Bingbot en Applebot
• AI-crawlers zoals GPTBot, ClaudeBot, PerplexityBot en CCBot

Een zoekcrawler blokkeren is ernstiger dan een AI-bot blokkeren: hierdoor kan de site uit die zoekmachine verdwijnen, niet alleen uit AI-antwoorden.

Opgegeven versus daadwerkelijke toegang

Twee bevindingen worden apart gehouden:

• Geblokkeerd in robots.txt betekent dat de gepubliceerde regels van de site nee zeggen.
• In de praktijk geblokkeerd betekent dat de server de crawler weigerde, ook al stond robots.txt dit toe. Dit wijst vaak op een firewall- of CDN-regel waarvan niemand zich herinnert die te hebben ingesteld.

Wanneer Silktide geen live verzoek als crawler kan versturen, toont het scherm wat robots.txt opgeeft zonder te beweren dat er een live test heeft plaatsgevonden.

Wanneer alles 'Niet beoordeeld' aangeeft

Elke controle begint met een controlemeting: Silktide haalt de pagina op als een gewone webbrowser. Als de site zelfs die weigert, kan er geen oordeel aan een afzonderlijke crawler worden toegeschreven. Daarom toont de hele kolom in plaats daarvan Niet beoordeeld.

Dit betekent meestal dat de site achter een botbeschermingsservice (zoals Cloudflare) staat die geautomatiseerde bezoekers die deze niet herkent, aan een controle onderwerpt, inclusief de controles van Silktide. Het betekent niet dat crawlers worden geblokkeerd. Grote zoek- en AI-crawlers bewijzen wie ze zijn via hun netwerkadres, en botbeschermingsservices laten deze geverifieerde crawlers doorgaans door terwijl ze alle anderen weigeren. Silktide kan die adressen niet gebruiken, dus het rapporteert wat het niet kon zien in plaats van te gokken.

Een snelle manier om uzelf gerust te stellen: als de pagina's van de site in de resultaten van Google verschijnen of door AI-assistenten worden aangehaald, lezen echte crawlers ze.

Planning en Nu testen

Werkruimten worden wekelijks gecontroleerd, zodat uitgaande verzoeken beperkt blijven. Nu testen voert een nieuwe controle uit wanneer u robots.txt net hebt gewijzigd en niet wilt wachten.

Recente regelwijzigingen verschijnen gedurende de laatste paar weken in een lijst met Wijzigingen.

Concurrenten

Wanneer u concurrenten bijhoudt, toont hetzelfde raster hun webadressen naast die van u, zodat u kunt zien of een concurrent openstaat voor crawlers die u hebt geblokkeerd, of andersom.

Gerelateerd

• Analytics - bezoeken die deze crawlers en platforms sturen nadat ze u kunnen bereiken
• AEO-rapporten - beoordelingen van de gereedheid per pagina, inclusief crawlertoegang
• Presence en AEO - gereedheid, zichtbaarheid en doorverwezen verkeer