robots.txt

robots.txt to plik zwykłego tekstu znajdujący się w katalogu głównym witryny (na przykład https://example.com/robots.txt), który informuje automatyczne roboty indeksujące, które części witryny mogą pobierać.

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Każda reguła wskazuje robota indeksującego (lub * dla wszystkich) i wymienia ścieżki, które może albo których nie może odwiedzać. Wyszukiwarki i roboty indeksujące AI sprawdzają ten plik przed pobraniem stron, więc pojedyncza linia Disallow może sprawić, że cała witryna będzie niewidoczna dla asystenta AI — czasem celowo, lecz często przez przypadek. Plik robots.txt kontroluje indeksowanie przez roboty, a nie umieszczanie w indeksie: zablokowanie tutaj strony nie usuwa jej z wyników wyszukiwania tak jak noindex, a nawet może przynieść odwrotny skutek, ukrywając sam znacznik noindex.

Dowiedz się więcej

• Wprowadzenie do robots.txt i przewodnik — praktyczny przewodnik Google
• RFC 9309: Robots Exclusion Protocol — formalny standard IETF
• Roboty indeksujące AI
• Noindex