Robots.txt

Vefsíður ættu að bjóða upp á robots.txt-skrá sem segir skriðlum leitarvéla hvaða hluta síðunnar þeir mega heimsækja. Silktide kannar hvort vefsíðan þín birti slíka skrá.

-skrá er í rót vefsins — fyrir example.com verður hún að vera á example.com/robots.txt. Til að leyfa öllum skriðurum aðgang að öllu getur skráin verið eins einföld og þetta:

# Leyfa öllum skriðurum aðgang að öllu
User-agent: *
Disallow:

Hvers vegna þetta skiptir máli

Skriðlar óska eftir robots.txt áður en þeir gera nokkuð annað og ef skrána vantar hefurðu ekki staðlaða leið til að beina þeim frá leitarniðurstöðusíðum, síum með mörgum eiginleikum eða öðrum vefslóðum sem sóa skriðfjármagni. Þar lýsirðu einnig staðsetningu með Sitemap:-línu.

Jafnvel fyrir vefsvæði sem vill að allt sé skriðið sýnir skýr robots.txt-skrá þann ásetning greinilega, í stað þess að láta skriðla túlka hann út frá villusvari.

Hvernig á að laga þetta

Búðu til einfalda textaskrá sem heitir robots.txt og settu hana í rótarmöppu vefsíðunnar þinnar þannig að hún sé aðgengileg á https://example.com/robots.txt.
Byrjaðu með opnar reglur (eins og í dæminu hér að ofan) og bættu aðeins við Disallow-reglum fyrir svæði sem skriðlar ættu að sleppa.
Bættu við Sitemap:-línu sem vísar á XML-vörpunarskrána þína:

User-agent: *
Disallow: /search/

Sitemap: https://example.com/sitemap.xml

Gakktu úr skugga um að skráin hlaðist í vafra og skili eðlilegu svari í stað villusíðu. Mörg vefumsjónarkerfi geta búið skrána til og birt hana fyrir þig.

Hvernig Silktide prófar þetta

Sækir upphafsslóð hvers vefsíðunnar þinnar.
Óskar eftir /robots.txt í rót þess hýsils.
Prófunin stenst ef beiðnin skilar HTTP-stöðukóðanum 200 (OK); hluti er merktur ef skrána vantar, hún skilar villu eða ekki er hægt að hlaða henni niður.

Úrræðaleit

Ég er með robots.txt en prófunin stenst ekki

Skráin verður að vera birt með HTTP-stöðukóðanum 200. Sumir netþjónar skila „mjúkri“ villusíðu — síðu sem lítur út eins og villa en ber tilvísunar- eða villustöðukóða — eða loka alfarið á sjálfvirkar beiðnir. Prófaðu slóðina beint og athugaðu stöðukóðann, helst með þróunartólum vafrans eða frá öðru netkerfi.

Kemur robots.txt í veg fyrir að síður birtist í leitarniðurstöðum?

Ekki með áreiðanlegum hætti. Disallow stöðvar skrið, en síða getur samt verið skráð í leitarvél út frá tenglum annars staðar. Til að halda síðu utan leitarniðurstaðna skaltu nota í staðinn — sjá Síða stillt á noindex.