Crawléir

Is clár é crawléir a léann suíomhanna gréasáin go huathoibríoch trí naisc a leanúint ó leathanach go leathanach. Úsáideann innill chuardaigh crawlóirí chun a n-innéacsanna a thógáil, úsáideann cúntóirí IS iad chun an gréasáin a léamh, agus úsáideann Silktide ceann chun leathanaigh do shuíomh gréasáin a aimsiú agus a thástáil.

Luchtaíonn crawléir Silktide leathanaigh i bhfíorbhrabhsálaí seachas HTML amh amháin a léamh - féach Conas a dhéanann Silktide crawláil. Rialaíonn suíomhanna crawlóirí le robots.txt agus rialacha balla dóiteáin, agus sin an fáth gur féidir leathanach a oibríonn i do bhrabhsálaí a bheith dofheicthe do chrawléir fós.

Tuilleadh eolais

• Cad é Googlebot - crawléir Google féin, mar shampla tagartha
• Crawláil
• Crawlóirí IS
• robots.txt