Robots.txt

Nettsteder bør ha en robots.txt-fil som forteller søkemotorenes crawlere hvilke deler av nettstedet de kan besøke. Silktide kontrollerer at nettstedet ditt har en slik fil.

En -fil ligger i roten av nettstedet – for example.com må den ligge på example.com/robots.txt. For å tillate crawlere overalt kan filen være så enkel som dette:

# Tillat alle crawlere å få tilgang til alt
User-agent: *
Disallow:

Hvorfor dette er viktig

Crawlere ber om robots.txt før de gjør noe annet, og hvis filen mangler, har du ingen standardmåte å styre dem bort fra sider med søkeresultater, fasetterte filtre eller andre URL-er som sløser med crawlbudsjettet. Det er også her du angir plasseringen til nettstedets med en Sitemap:-linje.

Selv for et nettsted som ønsker at alt skal crawles, gjør en eksplisitt robots.txt denne hensikten tydelig, i stedet for å overlate til crawlerne å utlede den fra et feilsvar.

Slik løser du det

Opprett en ren tekstfil med navnet robots.txt, og plasser den i rotmappen på nettstedet ditt, slik at den leveres på https://example.com/robots.txt.
Start med en tillatende konfigurasjon (som i eksempelet ovenfor), og legg bare til Disallow-regler for områder crawlere skal hoppe over.
Legg til en Sitemap:-linje som peker på XML-sitemapet ditt:

User-agent: *
Disallow: /search/

Sitemap: https://example.com/sitemap.xml

Bekreft at filen lastes inn i en nettleser og returnerer normalt, i stedet for en feilsiden. Mange innholdsstyringssystemer kan generere og levere den for deg.

Slik tester Silktide dette

Hent start-URL-en til hver på nettstedet ditt.
Be om /robots.txt i roten av dette vertsområdet.
Bestå hvis forespørselen returnerer HTTP-status 200 (OK). Flagg seksjonen hvis filen mangler, returnerer en feil eller ikke kan lastes ned.

Feilsøking

Jeg har en robots.txt, men kontrollen mislykkes

Filen må leveres med HTTP-status 200. Noen servere returnerer en «myk» feilsiden – en side som ser ut som en feil, men som har en omdirigerings- eller feilstatus – eller blokkerer automatiserte forespørsler helt. Test URL-en direkte og kontroller statuskoden, helst med utviklerverktøyene i nettleseren din eller fra et annet nettverk.

Vil robots.txt holde sider ute av søkeresultatene?

Ikke pålitelig. Disallow stopper crawling, men en side kan fortsatt indekseres fra lenker andre steder. For å holde en side ute av resultatene kan du bruke i stedet – se Page set to noindex.