Robots.txt

Witryny powinny udostępniać plik robots.txt, który informuje roboty wyszukiwarek, które części witryny mogą odwiedzać. Silktide sprawdza, czy Twoja witryna go udostępnia.

Plik znajduje się w katalogu głównym witryny — dla example.com musi znajdować się pod adresem example.com/robots.txt. Aby zezwolić robotom na dostęp wszędzie, plik może być tak prosty jak:

# Zezwól wszystkim robotom na dostęp do wszystkiego
User-agent: *
Disallow:

Dlaczego to jest ważne

Roboty żądają pliku robots.txt przed wszystkim innym, a jego brak pozbawia Cię standardowego sposobu kierowania ich z dala od stron wyników wyszukiwania, filtrów fasetowych lub innych adresów URL, które marnują budżet indeksowania. To również miejsce, w którym deklarujesz lokalizację swojej za pomocą wiersza Sitemap:.

Nawet w przypadku witryny, której właściciel chce, aby cała została przeskanowana, jawny plik robots.txt wyraźnie określa ten zamiar, zamiast pozostawiać robotom wnioskowanie o nim na podstawie odpowiedzi z błędem.

Jak to naprawić

Utwórz plik tekstowy o nazwie robots.txt i umieść go w katalogu głównym swojej witryny, aby był dostępny pod adresem https://example.com/robots.txt.
Zacznij od ustawień zezwalających (przykład powyżej) i dodawaj reguły Disallow tylko dla obszarów, które roboty powinny pomijać.
Dodaj wiersz Sitemap: wskazujący na Twoją mapę witryny XML:

User-agent: *
Disallow: /search/

Sitemap: https://example.com/sitemap.xml

Potwierdź, że plik ładuje się w przeglądarce i zwraca prawidłową odpowiedź, a nie stronę błędu. Wiele systemów zarządzania treścią może wygenerować i udostępnić go za Ciebie.

Jak Silktide to testuje

Pobiera główny adres URL każdej Twojej witryny.
Wysyła żądanie /robots.txt w katalogu głównym tego hosta.
Kontrola zostaje zaliczona, jeśli żądanie zwraca status HTTP 200 (OK); sekcja zostaje oznaczona, jeśli plik nie istnieje, zwraca błąd lub nie można go pobrać.

Rozwiązywanie problemów

Mam plik robots.txt, ale kontrola kończy się niepowodzeniem

Plik musi być udostępniany ze statusem HTTP 200. Niektóre serwery zwracają „miękką” stronę błędu — stronę, która wygląda jak błąd, ale ma status przekierowania lub błędu — albo całkowicie blokują automatyczne żądania. Przetestuj adres URL bezpośrednio i sprawdź kod statusu, najlepiej za pomocą narzędzi programistycznych przeglądarki lub z innej sieci.

Czy robots.txt zapobiegnie wyświetlaniu stron w wynikach wyszukiwania?

Nie zawsze. Disallow zatrzymuje indeksowanie, ale strona może nadal zostać zaindeksowana na podstawie linków z innych miejsc. Aby nie wyświetlać strony w wynikach, użyj zamiast tego — zobacz Strona ustawiona jako noindex.