Noudattaako Silktide robots.txt-tiedostoa?

Oletusarvoisesti ei. Silktide ei tarkoituksellisesti käsittele robots.txt-tiedostoa (tai tavanomaisia noindex- ja nofollow-vihjeitä) ehdottomina rajoina sille, mitä se saa testata.

Hakukoneet käyttävät näitä tiedostoja päättääkseen, mitä ne indeksoivat. Silktiden tehtävä on erilainen: löytää ongelmia, joihin oikeat ihmiset voivat törmätä, mukaan lukien sivut, jotka robots.txt sattuu estämään. Monet robots.txt-tiedostot piilottavat käyttäjille tarkoitetun sisällön vahingossa tavallisilta indeksoijilta.

Voit silti hallita sitä, mitä Silktide testaa:

• Sisällytys- ja poissulkusäännöt kohdassa Mitä testaamme
• Sivuvara ja PDF-rajoitukset
• Indeksointinopeus ja rinnakkaisten pyyntöjen asetukset kohdassa Lisäasetukset

Jos tarvitset robots.txt-sääntöjen noudattamista tietylle verkkosivustolle, ota yhteyttä Silktiden tukeen – tämä voidaan määrittää, kun siihen on selkeä syy.