Virðir Silktide robots.txt?

Sjálfgefið er svarið nei. Silktide lítur viljandi ekki á robots.txt (eða dæmigerðar noindex- og nofollow-vísbendingar) sem algjör takmörk á því hvað það má prófa.

Leitarvélar nota þessar skrár til að ákveða hvað þær eiga að skrá. Hlutverk Silktide er annað: að finna vandamál sem raunverulegt fólk getur lent í, þar á meðal á síðum sem robots.txt hindrar aðgang að. Margar robots.txt-skrár fela notendasýnilegt efni óvart fyrir venjulegum vefskriðlum.

Þú stjórnar samt hvað Silktide prófar:

• Reglur um inniföldun og útilokun undir Hvað við prófum
• Heimild fyrir síður og takmarkanir á PDF-skrám
• Hraði vefskriðs og stillingar fyrir samhliða beiðnir í Ítarlegum stillingum

Ef þú þarft sérstaklega að reglur robots.txt séu framfylgdar fyrir vefsvæði skaltu hafa samband við þjónustudeild Silktide – það er hægt að stilla slíkt þegar skýr ástæða er fyrir hendi.