Robots.txt

Dylai gwefannau ddarparu ffeil robots.txt, sy'n dweud wrth ymlusgwyr peiriannau chwilio pa rannau o'r wefan y cânt ymweld â nhw. Mae Silktide yn gwirio bod eich gwefan yn darparu un.

Mae ffeil wrth wraidd y wefan - ar gyfer example.com rhaid iddi fod yn example.com/robots.txt. I ganiatáu ymlusgwyr ym mhobman, gall y ffeil fod mor syml â:

# Caniatáu i bob ymlusgwr gyrchu popeth
User-agent: *
Disallow:

Pam mae hyn yn bwysig

Mae ymlusgwyr yn gofyn am robots.txt cyn unrhyw beth arall, ac mae ei habsenoldeb yn eich gadael heb y ffordd safonol o'u cyfeirio - oddi wrth dudalennau canlyniadau chwilio, hidlwyr agweddog, neu URLau eraill sy'n gwastraffu cyllideb ymlusgo. Dyma hefyd lle rydych yn datgan lleoliad eich gyda llinell Sitemap:.

Hyd yn oed ar gyfer gwefan sydd am i bopeth gael ei ymlusgo, mae robots.txt penodol yn datgan y bwriad hwnnw'n glir yn hytrach na gadael i ymlusgwyr ei gasglu o ymateb gwall.

Sut i'w drwsio

Crëwch ffeil testun plaen o'r enw robots.txt a'i rhoi yng nghyfeiriadur gwraidd eich gwefan, fel ei bod yn cael ei darparu yn https://example.com/robots.txt.
Dechreuwch yn ganiataol (yr enghraifft uchod) ac ychwanegwch reolau Disallow ar gyfer ardaloedd y dylai ymlusgwyr eu hepgor yn unig.
Ychwanegwch linell Sitemap: sy'n pwyntio at eich map o'r wefan XML:

User-agent: *
Disallow: /search/

Sitemap: https://example.com/sitemap.xml

Cadarnhewch fod y ffeil yn llwytho mewn porwr ac yn dychwelyd fel arfer yn hytrach na thudalen gwall. Gall llawer o systemau rheoli cynnwys ei chynhyrchu a'i darparu ar eich rhan.

Sut mae Silktide yn profi hyn

Cymerwch URL cartref pob o'ch gwefan.
Gofynnwch am /robots.txt wrth wraidd y gwesteiwr hwnnw.
Pasio os yw'r cais yn dychwelyd statws HTTP 200 (OK); nodwch yr adran os yw'r ffeil ar goll, yn dychwelyd gwall, neu os na ellir ei lawrlwytho.

Datrys problemau

Mae gennyf robots.txt ond mae'r gwiriad yn methu

Rhaid darparu'r ffeil â statws HTTP 200. Mae rhai gweinyddion yn dychwelyd tudalen gwall "feddal" - tudalen sy'n edrych fel gwall ond sy'n cario ailgyfeiriad neu statws gwall - neu'n rhwystro ceisiadau awtomataidd yn gyfan gwbl. Profwch yr URL yn uniongyrchol a gwiriwch y cod statws, yn ddelfrydol gan ddefnyddio offer datblygwr eich porwr neu o rwydwaith gwahanol.

A fydd robots.txt yn cadw tudalennau allan o ganlyniadau chwilio?

Ddim yn ddibynadwy. Mae Disallow yn atal ymlusgo, ond gall tudalen gael ei mynegeio o hyd o ddolenni mewn mannau eraill. I gadw tudalen allan o'r canlyniadau, defnyddiwch yn lle hynny - gweler Tudalen wedi'i gosod i noindex.