ChatGPT crawlt die llms.txt Datei

Es gibt klare Hinweise, dass ChatGPT auf Websites die Datei llms.txt abruft. Diese Datei kann als kuratierte Wegleitung für KI-Systeme dienen.

Was ist llms.txt?

• Eine Markdown-Datei im Stammverzeichnis der Website (z. B. /llms.txt).
• Dient als strukturiertes Inhaltsverzeichnis für große Sprachmodelle wie ChatGPT, um wichtige Inhalte besser zu verstehen.
• Kann mit llms-full.txt ergänzt werden – einer ausführlicheren Textversion der Website.

Warum das relevant ist

• llms.txt ist ein möglicher Standard, um KI-Suchsysteme direkt auf zentrale Inhalte aufmerksam zu machen .
• ChatGPT verwendet laut Logs den “OAI-SearchBot” und prüft die Datei alle 15 Minuten auf Updates .
• OpenAI selbst empfiehlt, den Zugriff in der robots.txt zu erlauben, um in ChatGPT-Suchergebnissen aufzutauchen.

Stand der Einführung und Kritik

• llms.txt ist noch kein offizieller Standard, gewinnt jedoch an Aufmerksamkeit.
• Einige Anbieter wie Anthropic unterstützen bereits sowohl llms.txt als auch llms-full.txt.
• Google jedoch bestätigt, dass bislang keine KI-Systeme diese Datei nutzen.

Wichtige Erkenntnisse

1. Die llms.txt-Datei ist vergleichbar mit einer Sitemap, allerdings speziell für KI-Modelle bestimmt.
2. ChatGPT crawlt diese Datei aktiv und greift sie regelmäßig ab.
3. Um in KI-Antworten präsent zu sein, sollten Websitebetreiber den Zugriff explizit erlauben.
4. Während Google sie ignoriere, zeigen andere KI-Anbieter bereits Interesse.

Websitebetreiber sollten abwägen, ob sie llms.txt bereitstellen, um besser von KI-Systemen wie ChatGPT berücksichtigt zu werden.