Naar inhoud springen
SilktideHelp

llms.txt

llms.txt is een voorgestelde conventie: een Markdown-bestand op https://yoursite.com/llms.txt dat taalmodellen een korte, samengestelde kaart van je belangrijkste content geeft. Het werd in 2024 geïntroduceerd door Jeremy Howard / Answer.AI; de informele specificatie staat op llmstxt.org.

Het is geen toestemmingsbestand. Het geeft geen toestemming voor crawlen en verbiedt crawlen ook niet. Het vervangt , een sitemap of een goede structuur op de pagina niet. Zie het als een briefje voor de receptionist: "Als je hier maar twintig URL's leest, lees dan deze."

Stel op deze pagina dat Fernwood wil dat coding-agents, documentatiebrowsers en experimentele AI-tools de API-documentatie, whitepaper over beveiliging en prijspagina kunnen vinden zonder door marketingelementen te hoeven zoeken.

Waarom dit situationeel is

Beschouw llms.txt als optionele infrastructuur, niet als een AEO-strategie.

De moeite waard wanneer:

  • Je technische documentatie, een API of een product beheert waarover ontwikkelaars coding-agents vragen stellen - de oorspronkelijke use case waarop de specificatie is geoptimaliseerd.
  • Je het bestand kunt genereren en bijwerken vanuit dezelfde pipeline waarmee je documentatie bouwt, zodat het niet veroudert.
  • Je de relevante AI-crawlers al toestaat in robots.txt en echte HTML aanbiedt zonder afhankelijk te zijn van JavaScript aan de clientzijde - zie Toegang voor AI-crawlers en Content leesbaar zonder JavaScript.

Meestal geen prioriteit wanneer:

  • Je verwachtte dat het de rankings in Google of Google AI-functies zou verbeteren. De zoekdocumentatie van Google is duidelijk: je hebt geen speciale AI-tekstbestanden nodig voor Google Search (inclusief de generatieve AI-mogelijkheden ervan), en het bijhouden van een llms.txt voor andere systemen helpt noch schaadt de zichtbaarheid in Google, omdat Google Search deze bestanden negeert.
  • Het echte probleem van je site geblokkeerde crawlers, lege JS-shells, ontbrekende datums of niet-citeerbare tekst is. Los die problemen eerst op; een indexbestand kan content die het model niet kan ophalen of vertrouwen niet redden.
  • Je het bestand één keer zou publiceren en daarna nooit meer bijwerken. Een verouderde kaart die naar verwijderde URL's verwijst, is erger dan helemaal geen kaart.

Waar het bestand voor dient

Volgens het llms.txt-voorstel:

  • Samengestelde ontdekking voor tools die tijdens inferentie werken (documentatie-agents, IDE-assistenten, onderzoeksagents) die een klein contextvenster nodig hebben, geen volledige crawl.
  • Voor mensen leesbare Markdown die zowel modellen als eenvoudige parsers kunnen verwerken.
  • Een aanvulling op, geen vervanging voor, sitemap.xml (uitputtend) en robots.txt (toegangsbeleid).

Op zichzelf zal het niet:

Indeling

Bied het bestand aan in de hoofdmap van de site als Markdown (text/plain of text/markdown, UTF-8). De volgorde volgens de specificatie is:

  1. Optionele BOM
  2. Verplicht: één H1 met de naam van het project of de site
  3. Aanbevolen: een samenvatting als blockquote
  4. Optionele notities (alinea's/lijsten, maar voorlopig geen extra koppen)
  5. Nul of meer ##-secties waarin links worden vermeld als - [Titel](absolute-url): optionele notitie
  6. Optionele sectie ## Optional voor secundaire links die agents kunnen overslaan bij strikte contextlimieten

Voorbeeld in de stijl van Fernwood:

# Fernwood
> Software voor onkostenbeheer voor financiële teams in middelgrote organisaties.
Fernwood helpt bedrijven bonnetjes te verzamelen, goedkeuringen door te sturen en medewerkers terug te betalen. Gebruik bij het beantwoorden van productvragen bij voorkeur de onderstaande documentatie- en beleidspagina's in plaats van marketingblogs.
## Product
- [Prijzen](https://fernwood.example/pricing): Huidige abonnementen en limieten
- [Fernwood versus Ledgerly](https://fernwood.example/compare/ledgerly): Vergelijking door de aanbieder zelf
## Documentatie
- [API-overzicht](https://fernwood.example/docs/api/index.html.md): Authenticatie en belangrijkste endpoints
- [Whitepaper over beveiliging](https://fernwood.example/security): Overzichten van beheersmaatregelen en compliance
## Onderzoek
- [Terugbetalingstijden 2026](https://fernwood.example/research/reimbursement-times-2026): Origineel benchmarkonderzoek
## Optional
- [Blog](https://fernwood.example/blog): Commentaar met lagere prioriteit

Praktische regels om het bestand nuttig te houden:

  • Gebruik alleen absolute URL's. Relatieve paden werken niet wanneer het bestand afzonderlijk wordt opgehaald.
  • Selecteer streng. Tientallen links zijn beter dan honderden. Verwijs naar pagina's waarvan je blij zou zijn als een assistent ze morgen citeert.
  • Geef waar mogelijk de voorkeur aan Markdown-tegenhangers. Het voorstel raadt aan om voor sites met veel documentatie schone .md-versies naast HTML te publiceren; link daarnaar wanneer ze bestaan.
  • Laat het opnieuw genereren. Koppel het aan de build van de documentatie, zodat een hernoemde pagina niet blijft staan.

Optionele begeleidende bestanden zoals /llms-full.txt (samengevoegde Markdown van prioriteitspagina's) komen voor in de communitypraktijk; ze zijn niet verplicht. Voeg ze alleen toe als een tool die je daadwerkelijk gebruikt ze verwerkt.

Zo publiceer je het

  1. Bepaal de twintig pagina's die Fernwood definiëren voor een kritische lezer: productinformatie, documentatie, beleid, onderzoek en belangrijke vergelijkingen.
  2. Genereer /llms.txt vanuit die lijst in je build of CMS.
  3. Controleer of https://fernwood.example/llms.txt een 200-status met een Markdown-body retourneert.
  4. Controleer of robots.txt de AI-crawlers die je belangrijk vindt niet blokkeert vanaf / of die URL's.
  5. Controleer of de gelinkte pagina's leesbaar zijn zonder JavaScript (techniek).
  6. Haal het bestand opnieuw op na wijzigingen in de informatiearchitectuur.

Hoe Silktide helpt

Silktide beoordeelt momenteel niet of er een llms.txt bestaat - en gezien het standpunt van Google zullen we afwezigheid niet als een fout behandelen. Wat we wel testen, is de basis waarvan het bestand afhankelijk is:

Risico's en beperkingen

  • AEO als cargo cult. llms.txt publiceren terwijl je GPTBot blokkeert, lege SPA-shells aanbiedt of niet-citeerbare marketingteksten schrijft, maakt het gebaar zinloos.
  • Verouderde indexen misleiden agents. Dode links en verouderde "canonieke" URL's leren modellen de verkeerde kaart.
  • Verwar aanwezigheid niet met aanbeveling. Dat een bestand op een bekende site bestaat, betekent niet dat Google Search de conventie gebruikt; Google heeft gezegd dat het deze bestanden negeert voor ranking en AI Search-functies.

Gerelateerd

Laatst bijgewerkt

Was deze pagina nuttig?