Robots.txt

Webbplatser bör tillhandahålla en robots.txt-fil som talar om för sökmotorernas sökrobotar vilka delar av webbplatsen de får besöka. Silktide kontrollerar att din webbplats tillhandahåller en sådan fil.

En -fil finns i webbplatsens rotmapp – för example.com måste den finnas på example.com\/robots.txt. Om du vill tillåta sökrobotar överallt kan filen vara så enkel som:

# Tillåt alla sökrobotar att komma åt allt
User-agent: *
Disallow:

Varför detta är viktigt

Sökrobotar begär robots.txt innan de gör något annat, och om filen saknas har du inget standardiserat sätt att styra dem bort från sökresultatsidor, filter med flera val eller andra URL:er som slösar på genomsökningsbudgeten. Det är också här du anger var din finns, med en Sitemap:-rad.

Även för en webbplats som vill att allt ska genomsökas visar en uttrycklig robots.txt tydligt denna avsikt, i stället för att låta sökrobotarna dra slutsatsen utifrån ett felsvar.

Så åtgärdar du problemet

Skapa en oformaterad textfil med namnet robots.txt och placera den i rotmappen för din webbplats, så att den visas på https:\/\/example.com\/robots.txt.
Börja med att tillåta allt (som i exemplet ovan) och lägg bara till Disallow-regler för områden som sökrobotarna ska hoppa över.
Lägg till en Sitemap:-rad som pekar på din XML-webbplatskarta:

User-agent: *
Disallow: \/search\/

Sitemap: https:\/\/example.com\/sitemap.xml

Bekräfta att filen läses in i en webbläsare och returneras normalt i stället för att visa en felsida. Många innehållshanteringssystem kan generera och visa filen åt dig.

Så testar Silktide detta

Ta startsidans URL för varje på din webbplats.
Begär \/robots.txt i roten för den värden.
Kontrollera som godkänd om begäran returnerar HTTP-status 200 (OK); flagga sektionen om filen saknas, returnerar ett fel eller inte kan laddas ned.

Felsökning

Jag har en robots.txt, men kontrollen misslyckas

Filen måste levereras med HTTP-status 200. Vissa servrar returnerar en ”mjuk” felsida – en sida som ser ut som ett fel men som har en omdirigerings- eller felstatus – eller blockerar automatiserade begäranden helt. Testa URL:en direkt och kontrollera statuskoden, helst med webbläsarens utvecklarverktyg eller från ett annat nätverk.

Håller robots.txt sidor borta från sökresultaten?

Inte på ett tillförlitligt sätt. Disallow stoppar genomsökningen, men en sida kan fortfarande indexeras via länkar på andra platser. Om du vill hålla en sida borta från resultaten använder du i stället – se Sidan har angetts som noindex.