Robots.txt

Verkkosivustojen tulisi tarjota robots.txt-tiedosto, joka kertoo hakukoneiden indeksointiroboteille, missä verkkosivuston osissa ne saavat vierailla. Silktide tarkistaa, että verkkosivustosi tarjoaa sellaisen.

-tiedosto sijaitsee verkkosivuston juuressa – osoitteessa example.com sen on oltava polussa example.com/robots.txt. Jos haluat sallia indeksointirobottien käytön kaikkialla, tiedosto voi olla näin yksinkertainen:

# Salli kaikkien indeksointirobottien käyttää kaikkea
User-agent: *
Disallow:

Miksi tämä on tärkeää

Indeksointirobotit pyytävät robots.txt-tiedostoa ennen mitään muuta, ja sen puuttuminen jättää sinut ilman vakiintunutta tapaa ohjata niitä pois hakutulossivuilta, suodattimilta tai muista URL-osoitteista, jotka kuluttavat indeksointibudjettia. Tässä tiedostossa ilmoitat myös sijainnin Sitemap:-rivillä.

Vaikka verkkosivusto haluaisikin kaiken indeksoitavan, nimenomainen robots.txt ilmaisee tämän tarkoituksen selkeästi sen sijaan, että indeksointirobottien pitäisi päätellä se virhevastauksesta.

Näin korjaat sen

Luo pelkkää tekstiä sisältävä tiedosto nimeltä robots.txt ja sijoita se verkkosivustosi juurikansioon, jotta se on saatavilla osoitteessa https://example.com/robots.txt.
Aloita sallivalla asetuksella (yllä oleva esimerkki) ja lisää Disallow-sääntöjä vain alueille, jotka indeksointirobottien tulee ohittaa.
Lisää XML-sivustokarttaasi osoittava Sitemap:-rivi:

User-agent: *
Disallow: /search/

Sitemap: https://example.com/sitemap.xml

Varmista, että tiedosto latautuu selaimessa ja palautuu normaalisti virhesivun sijaan. Monet sisällönhallintajärjestelmät voivat luoda ja tarjota sen puolestasi.

Näin Silktide testaa tämän

Hae verkkosivustosi jokaisen etusivun URL-osoite.
Pyydä /robots.txt kyseisen isäntänimen juuresta.
Tarkistus onnistuu, jos pyyntö palauttaa HTTP-tilan 200 (OK); osio merkitään, jos tiedosto puuttuu, palauttaa virheen tai sitä ei voi ladata.

Vianmääritys

Minulla on robots.txt, mutta tarkistus epäonnistuu

Tiedoston on palautettava HTTP-tila 200. Jotkin palvelimet palauttavat ”pehmeän” virhesivun – sivun, joka näyttää virheeltä mutta sisältää uudelleenohjauksen tai virhetilan – tai estävät automaattiset pyynnöt kokonaan. Testaa URL-osoite suoraan ja tarkista tilakoodi, mieluiten selaimesi kehitystyökaluilla tai toisesta verkosta.

Pitääkö robots.txt sivut poissa hakutuloksista?

Ei luotettavasti. Disallow estää indeksoinnin, mutta sivu voidaan silti indeksoida muualla olevien linkkien perusteella. Jos haluat pitää sivun poissa tuloksista, käytä sen sijaan -asetusta – katso Sivu on asetettu noindex-tilaan.