Vefskriðill

Vefskriðill er forrit sem les vefsíður sjálfkrafa með því að fylgja tenglum frá einni síðu til annarrar. Leitarvélar nota vefskriðla til að byggja upp atriðaskrár sínar, aðstoðarmenn nota þá til að lesa vefinn og Silktide notar einn til að finna og prófa síður vefsíðunnar þinnar.

Vefskriðill Silktide hleður síðum í raunverulegum vafra í stað þess að lesa eingöngu hrátt HTML – sjá Hvernig Silktide skriður vefinn. Vefsíður stjórna vefskriðlum með robots.txt og eldveggsreglum, þess vegna getur síða sem virkar í vafranum þínum samt verið ósýnileg vefskriðli.

Frekari upplýsingar

• Hvað er Googlebot – dæmi um vefskriðil Google
• Vefskrið
• Vefskriðlar gervigreindar
• robots.txt