Indeksointi

Ennen kuin Silktide voi testata mitään, sen on haettava se. Indeksointirobotti aloittaa verkkosivustosi etusivulta, lukee löytämänsä sisällön, seuraa linkkejä ja jatkaa, kunnes se on kattanut kaiken laajuuden mukaisen sisällön.

Useimmiten tämä tapahtuu huomaamatta, ja näet vain tulokset Inventaarissa. Tässä osiossa kerrotaan, miten haku toimii – ja mitä tehdä, kun verkkosivusto vastaa hitaasti, kieltäytyy pyynnöistä tai tarjoaa Silktidelle muuta sisältöä kuin sinulle.

Näin indeksointi toimii

• Näin Silktide indeksoi - testaus oikealla selaimella, sivut ja tiedostot sekä yleinen hakumalli.
• Löytäminen - miten URL-osoitteita lisätään jonoon linkeistä, sivustokartoista ja pakotetuista sivuista.
• Laajuussäännöt - sallitut, estetyt ja pakotetut säännöt sekä se, miksi koko verkkosivusto perustuu vain URL-osoitteisiin.

Yhdistäminen ja lataaminen

• Mistä Silktide muodostaa yhteyden - AWS:n IP-osoitteet, välityspalvelimet ja käyttäjäagentti.
• Sivun lataaminen - aikakatkaisut, evästeilmoitukset, vieritys, häivetila ja muut lisäasetukset.

Kun jokin menee pieleen

• Nopeusrajoitus ja uudelleenyritykset - mitä tapahtuu, kun sivusto kieltäytyy liian nopeasti saapuvista pyynnöistä.
• Kun indeksointi epäonnistuu - bottisuojaus, todennus, väärä sisältö ja muut yleiset esteet.

Aiheeseen liittyvää

• Testauksen laajuus - miten Silktide päättää, mitä sisältöä löydetään ja analysoidaan.
• Mitä testaamme - määritä sallitut, estetyt ja pakotetut URL-säännöt.
• Lisäasetukset - rinnakkaiset pyynnöt, sivujen aikakatkaisut, välityspalvelin ja muut latauksen hallintaominaisuudet.
• Inventaarion kattavuus - miksi Silktiden löytämä sisältö voi poiketa CMS:n luettelosta.