Robots.txt

Ba cheart do shuíomhanna gréasáin comhad robots.txt a sholáthar, a insíonn do chrawléirí inneall cuardaigh cé na codanna den suíomh ar féidir leo cuairt a thabhairt orthu. Seiceálann Silktide go bhfreastalaíonn do shuíomh gréasáin ar cheann.

Tá comhad suite ag fréamh an tsuímh — i gcás example.com, ní mór dó a bheith ag example.com/robots.txt. Chun crawléirí a cheadú i ngach áit, is féidir leis an gcomhad a bheith chomh simplí leis seo:

# Ceadaigh do gach crawléir rochtain a fháil ar gach rud
User-agent: *
Disallow:

Cén fáth a bhfuil sé seo tábhachtach

Iarrann crawléirí robots.txt roimh aon rud eile, agus mura bhfuil sé ann, ní bheidh an bealach caighdeánach agat chun iad a threorú — ar shiúl ó leathanaigh torthaí cuardaigh, scagairí gnéithe, nó URLanna eile a chuireann buiséad crawlála amú. Is ann freisin a dhearbhaíonn tú suíomh do le líne Sitemap:.

Fiú i gcás suímh ar mian leis go gcraolfar gach rud, léiríonn robots.txt follasach an rún sin go soiléir seachas crawléirí a fhágáil chun é a bhaint as freagra earráide.

Conas é a cheartú

Cruthaigh comhad gnáth-théacs darb ainm robots.txt agus cuir i bhfillteán fréimhe do shuímh gréasáin é, ionas go bhfreastalófar air ag https://example.com/robots.txt.
Tosaigh go ceadaitheach (an sampla thuas) agus ná cuir rialacha Disallow leis ach do limistéir ar cheart do chrawléirí gan bacadh leo.
Cuir líne Sitemap: leis a dhíríonn ar do léarscáil láithreáin XML:

User-agent: *
Disallow: /search/

Sitemap: https://example.com/sitemap.xml

Deimhnigh go lódálann an comhad i mbrabhsálaí agus go dtugann sé gnáthfhreagra ar ais seachas leathanach earráide. Is féidir le go leor córas bainistíochta inneachair é a ghiniúint agus freastal air duit.

Conas a dhéanann Silktide tástáil air seo

Tóg URL baile gach de do shuíomh gréasáin.
Iarr /robots.txt ag fréamh an ósta sin.
Éiríonn leis má thugann an iarraidh stádas HTTP 200 (OK) ar ais; cuirtear bratach ar an rannóg má tá an comhad ar iarraidh, má thugann sé earráid ar ais, nó mura féidir é a íoslódáil.

Fabhtcheartú

Tá robots.txt agam ach teipeann ar an seiceáil

Ní mór freastal ar an gcomhad le stádas HTTP 200. Tugann roinnt freastalaithe leathanach earráide "bog" ar ais — leathanach a bhfuil cuma earráide air ach a iompraíonn stádas atreoraithe nó earráide — nó cuireann siad bac iomlán ar iarratais uathoibrithe. Déan tástáil dhíreach ar an URL agus seiceáil an cód stádais, le huirlisí forbróra do bhrabhsálaí nó ó líonra eile, más féidir.

An gcoimeádfaidh robots.txt leathanaigh as torthaí cuardaigh?

Ní go hiontaofa. Cuireann Disallow stop le crawláil, ach is féidir leathanach a innéacsú fós ó naisc in áiteanna eile. Chun leathanach a choinneáil as torthaí, bain úsáid as ina ionad — féach Leathanach socraithe ar noindex.