Rastreador

Um rastreador é um programa que lê sites automaticamente, seguindo ligações de página em página. Os motores de busca usam rastreadores para construir os seus índices, os assistentes de IA usam-nos para ler a web, e a Silktide utiliza um para descobrir e testar as páginas do seu site.

O rastreador da Silktide carrega as páginas num navegador real, em vez de ler apenas o HTML bruto - veja Como a Silktide faz o rastreio. Os sites controlam os rastreadores com o robots.txt e regras de firewall, razão pela qual uma página que funciona no seu navegador pode ainda assim ser invisível para um rastreador.

Saiba mais

• O que é o Googlebot - o próprio rastreador do Google, como exemplo de referência
• Rastreamento
• Rastreadores de IA
• robots.txt