KI-Sichtbarkeits-Check · Polargrün Kassel

25. August 2026

llms.txt: Warum KI-Crawler die Datei kaum abrufen

Seit einigen Wochen taucht ein neuer Begriff in SEO-Newslettern auf: llms.txt. Gemeint ist eine einfache Textdatei im Stammverzeichnis einer Website, die in klarer Sprache zusammenfasst, worum es auf der Seite geht …

Abstraktes Liniennetz aus Knotenpunkten, bei dem mehrere Verbindungswege unvollständig oder unterbrochen dargestellt sind

Von unserem eigenen KI-System geschrieben. Dieser Beitrag wurde mit KI-Unterstützung erstellt und automatisiert veröffentlicht. Redaktionell verantwortlich: Polargrün, Hendrik Koch. Modell: sonnet. Was dasselbe System über Ihre Website herausfindet, zeigt der kostenlose Check.

Seit einigen Wochen taucht ein neuer Begriff in SEO-Newslettern auf: llms.txt. Gemeint ist eine einfache Textdatei im Stammverzeichnis einer Website, die in klarer Sprache zusammenfasst, worum es auf der Seite geht – gedacht als Lesehilfe für KI-Systeme, ähnlich wie die altbekannte robots.txt, die Suchmaschinen mitteilt, welche Bereiche einer Website sie lesen dürfen. Der Unterschied: robots.txt regelt Zugriff, llms.txt soll Inhalt zusammenfassen. Klingt nach einer kleinen, sinnvollen Ergänzung. Die Frage ist, ob sie in der Praxis etwas bringt.

Was seit dem 16. Juni 2026 beim W3C passiert

Am 16. Juni 2026 hat das World Wide Web Consortium (W3C) – das Gremium, das technische Web-Standards verabschiedet – einen Entwurf für llms.txt veröffentlicht und eine 90-tägige öffentliche Kommentierungsphase eröffnet. Sie läuft noch bis Mitte September 2026. Zuständig ist dieselbe Arbeitsgruppe, die auch das robots.txt-Regelwerk betreut, und als Basis dient eine Spezifikation, die das Unternehmen Answer.AI bereits im September 2024 vorgeschlagen hatte. Der aktuelle Entwurf ist also kein fertiger Standard, sondern eine Diskussionsgrundlage, die sich noch ändern kann. Genau das sorgt gerade für Aufmerksamkeit in SEO-Kreisen: „Wird bald offizieller Standard“ liest sich gut in einer Agentur-Mail, bevor jemand fragt, ob die Datei überhaupt gelesen wird.

Holen GPTBot, ClaudeBot und Perplexity die Datei überhaupt ab?

Kaum. Eine Auswertung von rund 515 Millionen Bot-Zugriffen zeigt: Anfragen für /llms.txt machen einen verschwindend kleinen Anteil des gesamten KI-Crawler-Verkehrs aus. GPTBot (OpenAI), ClaudeBot (Anthropic) und PerplexityBot fragen weit überwiegend die normalen HTML-Seiten ab – genau so, wie es klassische Suchmaschinen-Crawler seit Jahren tun. Die llms.txt-Datei liegt für die meisten dieser Systeme praktisch ungenutzt auf dem Server.

Was die Zahlen zur Verbreitung zeigen

  • 8,7 % der 1.000 meistbesuchten Websites weltweit haben Stand Juni 2026 eine llms.txt veröffentlicht; unter den tatsächlich erreichbaren Domains liegt der Anteil bei 15,8 %.
  • Bei den Fortune-500-Unternehmen hatten bis Ende März 2026 nur 7,4 % (37 von 500) eine llms.txt-Datei eingerichtet.
  • Am schnellsten verbreitet sich die Datei auf technischen Dokumentationsseiten – dort, wo Programmier-Assistenten (sogenannte Coding Agents) sie tatsächlich nachweislich auslesen, um Entwicklern beim Nachschlagen zu helfen.

Anders ausgedrückt: llms.txt hat sich bislang vor allem dort durchgesetzt, wo ein klar benennbarer Abnehmer existiert. Für die breite Masse der KI-Suchsysteme, mit denen Endkunden ganz normal chatten, ist sie bislang Nebensache.

Lohnt sich das Anlegen trotzdem?

Das Anlegen einer llms.txt kostet wenig Aufwand – eine Textdatei, ein paar Absätze, hochgeladen ins Stammverzeichnis der Website. Insofern spricht wenig dagegen, sie irgendwann anzulegen, falls der Standard sich doch durchsetzt. Aber: Aktuell gibt es keinen belegbaren Sichtbarkeitsvorteil dadurch. Wer jetzt Budget dafür einplant in der Erwartung, dadurch häufiger in KI-Antworten aufzutauchen, verwechselt eine mögliche Zukunft mit der Gegenwart. Selbst Google hat im Mai 2026 in seinem Entwickler-Tool Lighthouse eine Prüfung für llms.txt ergänzt – das zeigt, dass das Thema beobachtet wird, ist aber kein Beleg dafür, dass die Datei aktuell Wirkung auf KI-Antworten hat.

Was für die Sichtbarkeit in KI-Suchen tatsächlich zählt

Die Datei, die (noch) kaum jemand abruft, ist nicht der Hebel. Was KI-Crawler in der Praxis lesen, ist weiterhin die normale Website: das HTML, die Struktur, die Inhalte. Dort lohnt sich der Blick auf handfeste Grundlagen:

  • Erlaubt Ihre robots.txt den einzelnen KI-Crawlern überhaupt den Zugriff – oder ist versehentlich einer ausgesperrt?
  • Gibt es eine aktuelle Sitemap, damit Crawler alle relevanten Seiten finden?
  • Sind strukturierte Daten hinterlegt, die Inhalte maschinenlesbar einordnen?
  • Lässt sich die Seite auch ohne JavaScript vollständig lesen? Viele KI-Crawler führen kein JavaScript aus und sehen sonst eine leere Seite.
  • Sind Inhalte in Frage-Antwort-Form aufbereitet, wie Kunden tatsächlich fragen?

Das sind die Punkte, die heute tatsächlich beeinflussen, ob eine KI-Suche Ihre Website überhaupt vollständig erfassen kann. Ob und wie oft eine Marke dann in einer konkreten KI-Antwort genannt wird, ist damit nicht gesagt – das hängt von vielen weiteren Faktoren ab, die sich nicht pauschal prüfen lassen, und ein Vergleich mit dem Wettbewerb gehört ebenfalls nicht dazu.

Wer wissen will, wie die eigene Website bei diesen technischen Grundlagen dasteht, kann das mit dem kostenlosen KI-Sichtbarkeits-Check in wenigen Minuten prüfen lassen – ohne Anmeldung, mit konkreten Ergebnissen statt Bauchgefühl.

Und wie steht Ihre Website da?

Eine Minute, eine Zahl – ob KI-Suchen Ihre Seite abrufen dürfen, finden und verstehen können.

Schritt 1 von 2

Kostenlos, ohne Anmeldung. Die E-Mail-Adresse fragen wir erst im zweiten Schritt.