llms.txt
llms.txt is een voorgestelde conventie: een Markdown-bestand op https://yoursite.com/llms.txt dat taalmodellen een korte, zorgvuldig samengestelde kaart van je belangrijkste content geeft. Het werd in 2024 geïntroduceerd door Jeremy Howard / Answer.AI; de informele specificatie staat op llmstxt.org.
Het is geen toestemmingsbestand. Het verleent of weigert geen crawltoegang. Het vervangt , een sitemap of een goede structuur op de pagina niet. Zie het als een briefje van de receptionist: "Als je hier maar twintig URL's leest, lees dan deze."
Stel je op deze pagina voor dat Fernwood wil dat codeeragents, documentatiebrowsers en experimentele AI-tools de API-documentatie, het beveiligingswhitepaper en de prijzenpagina vinden zonder zich door marketingfranje heen te hoeven worstelen.
Waarom dit situationeel is
Beschouw llms.txt als optionele infrastructuur, niet als een AEO-strategie.
De moeite waard wanneer:
- Je technische documentatie, een API of een product onderhoudt waarover ontwikkelaars codeeragents vragen — de oorspronkelijke use case waarvoor de specificatie is geoptimaliseerd.
- Je het bestand kunt genereren en bijwerken via dezelfde pijplijn waarmee je documentatie wordt gebouwd, zodat het niet veroudert.
- Je de relevante AI-crawlers al toestaat in robots.txt en echte HTML aanbiedt zonder afhankelijk te zijn van JavaScript aan de clientzijde — zie Toegang voor AI-crawlers en Content leesbaar zonder JavaScript.
Meestal geen prioriteit wanneer:
- Je verwachtte dat het Google-rankings of AI-functies van Google zou beïnvloeden. De documentatie van Google Zoeken is duidelijk: je hebt geen speciale AI-tekstbestanden nodig voor Google Zoeken (inclusief de generatieve AI-mogelijkheden), en het onderhouden van een
llms.txtvoor andere systemen helpt noch schaadt de zichtbaarheid in Google, omdat Google Zoeken deze bestanden negeert. - Het werkelijke probleem van je site geblokkeerde crawlers, lege JavaScript-shells, ontbrekende datums of niet-citeerbare tekst is. Los die eerst op; een indexbestand kan content die het model niet kan ophalen of vertrouwen niet redden.
- Je het een keer zou publiceren en nooit zou bijwerken. Een verouderde kaart die naar verwijderde URL's wijst, is erger dan geen kaart.
Waar het bestand voor dient
Volgens het llms.txt-voorstel:
- Zorgvuldig samengestelde ontdekking voor tools tijdens inferentie (documentatie-agents, IDE-assistenten, onderzoeksagents) die een klein contextvenster nodig hebben, geen volledige crawl.
- Voor mensen leesbare Markdown die zowel modellen als eenvoudige parsers kunnen verwerken.
- Een aanvulling op, geen vervanging voor,
sitemap.xml(uitputtend) enrobots.txt(toegangsbeleid).
Op zichzelf zal het niet:
- Ervoor zorgen dat ChatGPT, Claude of Perplexity Fernwood vaker citeert
- Een
Disallowin robots.txt omzeilen - Een vervanging zijn voor gestructureerde gegevens, pagina's met het antwoord eerst of origineel onderzoek
Indeling
Bied het bestand aan in de hoofdmap van de site als Markdown (text/plain of text/markdown, UTF-8). De volgorde in de specificatie is:
- Optionele BOM
- Vereist: één H1 met de project- of sitenaam
- Aanbevolen: een samenvatting in een blockquote
- Optionele notities (alinea's/lijsten, maar nog geen extra koppen)
- Nul of meer
##-secties met links als- [Titel](absolute-url): optionele notitie - Optionele
## Optional-sectie voor secundaire links die agents bij krappe contextlimieten mogen overslaan
Voorbeeld in Fernwood-stijl:
# Fernwood
> Software voor onkostenbeheer voor financiële teams in het middensegment.
Fernwood helpt bedrijven bonnetjes vast te leggen, goedkeuringen door te sturen en werknemers terug te betalen. Geef bij het beantwoorden van productvragen de voorkeur aan de onderstaande documentatie- en beleidspagina's boven marketingblogberichten.
## Product
- [Prijzen](https://fernwood.example/pricing): Huidige abonnementen en limieten
- [Fernwood vs Ledgerly](https://fernwood.example/compare/ledgerly): Vergelijking door de eerste partij
## Documentatie
- [API-overzicht](https://fernwood.example/docs/api/index.html.md): Authenticatie en kernendpoints
- [Beveiligingswhitepaper](https://fernwood.example/security): Samenvattingen van beheersmaatregelen en compliance
## Onderzoek
- [Vergoedingstijden 2026](https://fernwood.example/research/reimbursement-times-2026): Originele benchmarkstudie
## Optional
- [Blog](https://fernwood.example/blog): Commentaar met lagere prioriteit
Praktische regels om het bestand nuttig te houden:
- Alleen absolute URL's. Relatieve paden werken niet wanneer het bestand afzonderlijk wordt opgehaald.
- Stel streng samen. Tientallen links zijn beter dan honderden. Wijs naar pagina's die je graag zou zien als een assistent ze morgen citeerde.
- Geef de voorkeur aan Markdown-varianten wanneer je die hebt. Het voorstel suggereert om voor sites met veel documentatie schone
.md-versies naast HTML te publiceren; link daarnaar wanneer ze bestaan. - Blijf het regenereren. Koppel het aan de documentatiebuild zodat een hernoemde pagina niet kan blijven hangen.
Optionele begeleidende bestanden zoals /llms-full.txt (aaneengeschakelde Markdown van prioriteitspagina's) komen in de praktijk in de community voor; ze zijn niet vereist. Voeg ze alleen toe als een tool die je daadwerkelijk gebruikt ze verwerkt.
Zo publiceer je het
- Bepaal de twintig pagina's die Fernwood definiëren voor een sceptische lezer: productwaarheid, documentatie, beleid, onderzoek, belangrijke vergelijkingen.
- Genereer
/llms.txtvanuit die lijst in je build of CMS. - Bevestig dat
https://fernwood.example/llms.txt200 retourneert met een Markdown-body. - Bevestig dat robots.txt de AI-crawlers die je belangrijk vindt niet blokkeert voor
/of voor die URL's. - Bevestig dat de gekoppelde pagina's leesbaar zijn zonder JavaScript (techniek).
- Haal het bestand opnieuw op na wijzigingen in de informatiearchitectuur.
Hoe Silktide helpt
Silktide beoordeelt sites momenteel niet op de vraag of er een llms.txt bestaat — en gezien het standpunt van Google zullen we afwezigheid niet als een fout behandelen. Wat we wel testen, is de basis waarvan het bestand afhankelijk is:
- Toegang voor AI-crawlers — of robots.txt de crawlers toestaat die je pagina's (of dit bestand) mogelijk ophalen
- Content beschikbaar zonder JavaScript — of gekoppelde pagina's echte tekst in de initiële HTML bevatten
- Gestructureerde gegevens / Machinaal leesbare datums — signalen die de doelpagina's zelf betrouwbaar maken
Risico's en beperkingen
- Cargo-cult-AEO.
llms.txtpubliceren terwijl je GPTBot blokkeert, lege SPA-shells aanbiedt of niet-citeerbare marketingtekst schrijft, maakt het gebaar zinloos. - Verouderde indexen misleiden agents. Dode links en verouderde "canonieke" URL's leren modellen de verkeerde kaart.
- Verwar aanwezigheid niet met goedkeuring. Het feit dat een bestand op een bekende site bestaat, betekent niet dat Google Zoeken de conventie gebruikt; Google heeft gezegd dat het deze bestanden voor ranking en AI-zoekfuncties negeert.
Gerelateerd
- Toegangsbeleid voor AI-crawlers — bepaal welke AI-bots de site mogen ophalen voordat je een index publiceert
- Toegang voor AI-crawlers — de Silktide-controle voor blokkades in robots.txt
- Content leesbaar zonder JavaScript — maak gekoppelde pagina's ophaalbaar als tekst
- Markup voor gestructureerde gegevens — machinaal leesbare feiten op de pagina's zelf
- Paginastuctuur met het antwoord eerst — wat die pagina's moeten zeggen wanneer een AI-agent arriveert
- Het /llms.txt-bestand (llmstxt.org)
- Google: optimaliseren voor generatieve AI-functies — officiële opmerking dat Google Zoeken llms.txt negeert