Czy Silktide przestrzega pliku robots.txt?

Domyślnie nie. Silktide celowo nie traktuje pliku robots.txt (ani typowych wskazówek noindex / nofollow) jako bezwzględnych ograniczeń tego, co może testować.

Wyszukiwarki używają tych plików, aby zdecydować, co indeksować. Zadanie Silktide jest inne: znajdować problemy, na które mogą natrafić prawdziwi ludzie, w tym na stronach blokowanych przez robots.txt. Wiele plików robots.txt przypadkowo ukrywa treści przeznaczone dla użytkowników przed zwykłymi robotami indeksującymi.

Nadal kontrolujesz to, co testuje Silktide:

• Reguły uwzględniania i wykluczania w sekcji Co testujemy
• Limit stron i limity plików PDF
• Ustawienia szybkości indeksowania i równoległych żądań w Ustawieniach zaawansowanych

Jeśli potrzebujesz, aby reguły robots.txt były egzekwowane dla witryny, skontaktuj się z pomocą techniczną Silktide — można to skonfigurować, gdy istnieje ku temu wyraźny powód.