Sitemap-pagina ingesteld op noindex
De sitemap van een website vraagt zoekmachines om de pagina's die erin staan te indexeren. Een pagina die in de sitemap staat en zoekmachines tegelijkertijd vertelt deze niet te indexeren, spreekt zichzelf dus tegen. Silktide rapporteert pagina's die in deze tegenstrijdigheid terechtkomen.
De vermelding in de zegt: "indexeer deze URL alstublieft." Een -instructie op de pagina zegt: "indexeer deze pagina niet." Wanneer beide op dezelfde URL van toepassing zijn, ontvangen zoekmachines tegenstrijdige instructies:
<!-- Deze pagina staat in sitemap.xml, maar bevat de volgende declaratie: -->
<meta name="robots" content="noindex">
Waarom dit belangrijk is
Deze combinatie is vrijwel altijd een ongeluk: een noindex-instelling voor een testomgeving die na de lancering is blijven staan, of een sitemapgenerator die pagina's opneemt die je als verborgen markeert. Zoekmachines lossen de tegenstrijdigheid onvoorspelbaar op: meestal wint noindex en verdwijnt de pagina stilletjes uit de zoekresultaten, ondanks dat je sitemap erom vraagt.
Het conflict verspilt ook crawlbudget en vervuilt rapporten in Search Console met fouten zoals "ingediende URL gemarkeerd als noindex", waardoor echte problemen moeilijker te vinden zijn.
Zo los je het op
Bepaal wat je daadwerkelijk wilt voor elke gemarkeerde pagina:
- Als de pagina in de zoekresultaten moet verschijnen, verwijder je de noindex-instructie (controleer de robots-metatag, de
X-Robots-Tag-responsheader en eventuelenone-instructie). - Als de pagina uit de zoekresultaten moet blijven, verwijder je deze uit de sitemap, meestal door de instellingen van de sitemapgenerator aan te passen zodat verborgen pagina's worden uitgesloten.
Zo test Silktide dit
- Zoek pagina's waarvan een noindex-instructie de enige reden is dat ze van indexering zijn uitgesloten.
- Controleer of de URL van de pagina, of de ervan, in de XML-sitemap van de website staat.
- Markeer de pagina wanneer beide waar zijn.
Noindex-pagina's die niet in de sitemap staan, worden afzonderlijk met een lagere ernst gerapporteerd door Pagina ingesteld op noindex. Doordat ze ontbreken in de sitemap, is het aannemelijker dat de noindex-instelling bewust is gekozen.