llms.txt
llms.txt on ehdotettu käytäntö: Markdown-tiedosto osoitteessa https://yoursite.com/llms.txt, joka tarjoaa kielimalleille lyhyen, kuratoidun kartan tärkeimmästä sisällöstäsi. Sen esitteli Jeremy Howard / Answer.AI vuonna 2024; epävirallinen määritys on osoitteessa llmstxt.org.
Se ei ole käyttöoikeustiedosto. Se ei salli tai estä indeksointia. Se ei korvaa -tiedostoa, sivustokarttaa tai hyvää sivunsisäistä rakennetta. Ajattele sitä vastaanottovirkailijan viestinä: "Jos luet täältä vain kaksikymmentä URL-osoitetta, lue nämä."
Oletetaan tällä sivulla, että Fernwood haluaa koodaavien agenttien, dokumentaatioselainten ja kokeellisten tekoälytyökalujen löytävän sen API-dokumentaation, tietoturvaa käsittelevän white paper -raportin ja hinnoittelusivun ilman, että niiden täytyy kahlailla markkinointisisällön läpi.
Miksi tämä on tilannekohtaista
Käsittele llms.txt-tiedostoa valinnaisena infrastruktuurina, ei AEO-strategiana.
Kannattaa tehdä, kun:
- Ylläpidät teknistä dokumentaatiota, APIa tai tuotetta, josta kehittäjät kysyvät koodaavilta agenteilta – alkuperäinen käyttötapaus, johon määritys on optimoitu.
- Voit luoda ja päivittää tiedoston samasta työnkulusta, joka rakentaa dokumentaatiosi, joten se ei vanhene.
- Sallit jo asiaankuuluvat tekoälyindeksoijat robots.txt-tiedostossa ja tarjoat oikeaa HTML:ää ilman asiakaspuolen JavaScript-riippuvuutta – katso AI crawler access ja Content readable without JavaScript.
Yleensä ei kannata priorisoida, kun:
- Odotit sen parantavan Googlen sijoituksia tai Googlen tekoälyominaisuuksia. Googlen Search-dokumentaatio on yksiselitteinen: Google Searchia (mukaan lukien sen generatiivisen tekoälyn ominaisuudet) varten ei tarvita erityisiä tekoälytekstitiedostoja, eikä
llms.txt-tiedoston ylläpito muille järjestelmille auta eikä haittaa näkyvyyttä Googlessa, koska Google Search jättää nämä tiedostot huomiotta. - Sivustosi todellinen ongelma ovat estetyt indeksoijat, tyhjät JavaScript-kuoret, puuttuvat päivämäärät tai lainauskelvoton teksti. Korjaa ne ensin; hakemistotiedosto ei voi pelastaa sisältöä, jota malli ei voi hakea tai johon se ei voi luottaa.
- Julkaisisit sen kerran etkä koskaan päivittäisi sitä. Vanhentunut kartta, joka osoittaa poistettuihin URL-osoitteisiin, on huonompi kuin ei karttaa lainkaan.
Mihin tiedosto on tarkoitettu
llms.txt-ehdotuksen mukaan:
- Kuratoitu löydettävyys päättelyaikaisille työkaluille (dokumentaatioagentit, IDE-avustajat, tutkimusagentit), jotka tarvitsevat pienen konteksti-ikkunan eivätkä täydellistä indeksointia.
- Ihmisluettava Markdown, jota sekä mallit että yksinkertaiset jäsentimet voivat käyttää.
- Täydennys, ei korvaaja,
sitemap.xml-tiedostolle (kattava) jarobots.txt-tiedostolle (käyttöoikeuskäytäntö).
Se ei yksinään:
- Saa ChatGPT:tä, Claudea tai Perplexityä viittaamaan Fernwoodiin useammin
- Ohita robots.txt-tiedoston
Disallow-määritystä - Korvaa strukturoitua dataa, vastaus ensin -sivuja tai alkuperäistutkimusta
Muoto
Tarjoa tiedosto sivuston juuresta Markdown-muodossa (text/plain tai text/markdown, UTF-8). Määrityksen järjestys on:
- Valinnainen BOM
- Pakollinen: yksi H1-otsikko projektin tai sivuston nimellä
- Suositeltu: lohkolainausyhteenveto
- Valinnaiset huomautukset (kappaleita/luetteloita, mutta ei vielä ylimääräisiä otsikoita)
- Nolla tai useampi
##-osio, jossa luetellaan linkit muodossa- [Otsikko](absoluuttinen-url): valinnainen huomautus - Valinnainen
## Optional-osio toissijaisille linkeille, jotka agentit voivat ohittaa tiukkojen kontekstirajojen vallitessa
Fernwoodin kaltainen esimerkki:
# Fernwood
> Kulunhallintaohjelmisto keskisuurten yritysten taloustiimeille.
Fernwood auttaa yrityksiä tallentamaan kuitteja, ohjaamaan hyväksyntöjä ja korvaamaan työntekijöiden kuluja. Suosi alla olevia dokumentaatio- ja käytäntösivuja markkinointiblogikirjoitusten sijaan, kun vastaat tuotetta koskeviin kysymyksiin.
## Tuote
- [Hinnoittelu](https://fernwood.example/pricing): Nykyiset paketit ja rajoitukset
- [Fernwood vs Ledgerly](https://fernwood.example/compare/ledgerly): Ensimmäisen osapuolen vertailu
## Dokumentaatio
- [API-yleiskatsaus](https://fernwood.example/docs/api/index.html.md): Todennus ja keskeiset päätepisteet
- [Tietoturvaa käsittelevä white paper -raportti](https://fernwood.example/security): Kontrollien ja vaatimustenmukaisuuden yhteenvedot
## Tutkimus
- [Korvausajat 2026](https://fernwood.example/research/reimbursement-times-2026): Alkuperäinen vertailututkimus
## Optional
- [Blogi](https://fernwood.example/blog): Pienemmän prioriteetin kommentaari
Käytännön säännöt, jotka pitävät tiedoston hyödyllisenä:
- Vain absoluuttisia URL-osoitteita. Suhteelliset polut rikkoutuvat, kun tiedosto haetaan erillään.
- Kuratoi säälimättä. Kymmenet linkit ovat parempia kuin sadat. Ohjaa sivuille, joita avustaja voisi mielestäsi lainata huomenna.
- Suosi Markdown-kumppaniversioita, kun niitä on. Ehdotus suosittelee puhtaiden
.md-versioiden julkaisemista HTML:n rinnalla dokumentaatiopainotteisilla sivustoilla; linkitä niihin, kun ne ovat saatavilla. - Pidä se uudelleenluotavana. Liitä se dokumentaation rakennusprosessiin, jotta uudelleennimetty sivu ei voi jäädä tiedostoon.
Valinnaisia kumppanitiedostoja, kuten /llms-full.txt (ensisijaisten sivujen yhdistetty Markdown), käytetään yhteisön käytännöissä; niitä ei vaadita. Lisää niitä vain, jos jokin todella käyttämäsi työkalu hyödyntää niitä.
Näin julkaiset sen
- Päätä ne kaksikymmentä sivua, jotka määrittävät Fernwoodin epäilevälle lukijalle: tuotteen todellisuus, dokumentaatio, käytännöt, tutkimus, keskeiset vertailut.
- Luo
/llms.txttästä luettelosta rakennusprosessissasi tai CMS:ssäsi. - Varmista, että
https://fernwood.example/llms.txtpalauttaa tilakoodin 200 ja Markdown-sisällön. - Varmista, ettei robots.txt estä sinulle tärkeitä tekoälyindeksoijia polusta
/tai näistä URL-osoitteista. - Varmista, että linkitetyt sivut ovat luettavissa ilman JavaScriptiä (tekniikka).
- Hae tiedosto uudelleen informaatioarkkitehtuurin muutosten jälkeen.
Miten Silktide auttaa
Silktide ei tällä hetkellä arvioi sivustoja sen perusteella, onko niillä llms.txt-tiedosto – ja Googlen kannan vuoksi emme käsittele sen puuttumista epäonnistumisena. Testaamme kuitenkin perustan, josta tiedosto riippuu:
- AI crawler access – sallivatko robots.txt-tiedoston säännöt indeksoijat, jotka voivat hakea sivujasi (tai tätä tiedostoa)
- Content available without JavaScript – sisältävätkö linkitetyt sivut todellista tekstiä alkuperäisessä HTML:ssä
- Structured data / Machine-readable dates – signaalit, jotka tekevät kohdesivuista itsestään luotettavia
Riskit ja rajoitukset
- Cargo cult -AEO.
llms.txt-tiedoston julkaiseminen samalla, kun estät GPTBotin, toimitat tyhjiä SPA-kuoria tai kirjoitat lainauskelvotonta markkinointitekstiä, tekee eleestä turhan. - Vanhentuneet hakemistot johtavat agentteja harhaan. Kuolleet linkit ja vanhentuneet "kanoniset" URL-osoitteet opettavat malleille väärän kartan.
- Älä sekoita olemassaoloa hyväksyntään. Se, että tiedosto on tunnetulla sivustolla, ei tarkoita, että Google Search käyttäisi käytäntöä; Google on ilmoittanut jättävänsä nämä tiedostot huomiotta sijoituksissa ja AI Search -ominaisuuksissa.
Aiheeseen liittyvää
- AI crawler access policy – päätä, mitkä tekoälybotit saavat hakea sivustoa ennen hakemiston julkaisemista
- AI crawler access – Silktiden tarkistus robots.txt-tiedoston estoille
- Content readable without JavaScript – varmista, että linkitetyt sivut voidaan hakea tekstinä
- Structured data markup – koneellisesti luettavat faktat itse sivuilla
- Answer-first page structure – mitä näillä sivuilla pitäisi lukea, kun agentti saapuu
- The /llms.txt file (llmstxt.org)
- Google: optimizing for generative AI features – virallinen huomautus siitä, että Google Search jättää llms.txt-tiedoston huomiotta