#ki-bots

Die klassische robots.txt kennen viele Webseitenbetreiber – sie gibt Suchmaschinen wie Google klare Regeln, welche Inhalte gecrawlt und indexiert werden dürfen. Doch mit dem Aufstieg von KI-Suchmaschinen und Large Language Models (LLMs) taucht eine neue Frage auf: Wie steuern wir eigentlich KI-Bots wie GPTBot, ClaudeBot oder PerplexityBot?

Genau hier kommt die llms.txt ins Spiel. Sie ist eine Art experimentelle Erweiterung zur robots.txt und richtet sich speziell an KI-Crawler. Noch ist sie kein offizieller Standard und längst nicht von allen Bots respektiert – aber sie zeigt, wohin die Reise geht: mehr Transparenz und Kontrolle für Webseitenbetreiber.

In diesem Beitrag schauen wir uns an:

- was die llms.txt genau ist, - wie du sie für deine eigene Webseite anlegen kannst, - und welche Strategien sinnvoll sind, um KI-Bots zu erlauben oder auszuschließen.

So erfährst du, ob sich der Einsatz für dich lohnt – und wie du deine GEO-Optimierung mit dieser neuen Datei einen Schritt weiterbringen kannst.

Was ist die llms.txt?

Die llms.txt ist eine einfache Textdatei, die – ähnlich wie die bekannte robots.txt – im Hauptverzeichnis deiner Webseite liegt. Darin kannst du festlegen, wie sich KI-Bots wie GPTBot, ClaudeBot oder PerplexityBot auf deiner Seite verhalten sollen.

Anders als die robots.txt, die sich an klassische Suchmaschinen richtet, geht es bei der llms.txt speziell um Large Language Models (LLMs), die Inhalte für ihre Antworten oder ihr Training nutzen.

Obwohl die Datei noch kein offizieller Standard ist und nicht von allen Bots beachtet wird, kannst du sie schon jetzt einsetzen, um deine Regeln klar zu kommunizieren.

Praxisbeispiel: meine eigene llms.txt

Um dir zu zeigen, wie so etwas in echt aussieht, hier meine aktuelle llms.txt, die automatisch von Yoast SEO generiert wird:

📄 Hier ansehen → draeger-it.blog/llms.txt

Die Datei enthält:

- einen Verweis auf die Sitemap, - wichtige Unterseiten wie Impressum oder Datenschutzerklärung, - einige meiner Hauptbeiträge, - sowie Schlagwörter wie Arduino, ESP32 oder MicroPython.

Damit liefere ich KI-Bots einen klaren Überblick, welche Inhalte auf meinem Blog besonders relevant sind.

llms.txt selbst erstellen und befüllen

Du musst nicht zwingend ein Plugin wie Yoast SEO verwenden – die llms.txt lässt sich auch ganz einfach per Hand anlegen. Alles, was du brauchst, ist ein normaler Texteditor.

Schritt-für-Schritt-Anleitung

Neue Textdatei anlegen Erstelle eine Datei mit dem Namen llms.txt (einfacher Text, keine Formatierung).

Inhalte eintragen Du kannst darin Bots gezielt Hinweise geben, zum Beispiel:

# Beispiel: llms.txt Generated manually, this is an llms.txt file for LLM crawlers. > eine optionale Beschreibung der Seite eine optionale Auflistung von Detailinformationen Sitemap: https://deine-domain.tld/sitemap_index.xml ## Seiten - https://deine-domain.tld/impressum/ - https://deine-domain.tld/datenschutzerklaerung/ ## Beiträge - https://deine-domain.tld/dein-beitrag-1/ - https://deine-domain.tld/dein-beitrag-2/ ## Schlagwörter - https://deine-domain.tld/tag/arduino/ - https://deine-domain.tld/tag/esp32/

Wichtig: Du kannst frei entscheiden, ob du nur deine Sitemap verlinkst oder zusätzlich wichtige Seiten, Artikel oder Tags aufführst.

Datei hochladen Lege die Datei in das Root-Verzeichnis deiner Webseite ab – also dort, wo auch deine robots.txt liegt. Danach ist sie über https://deine-domain.tld/llms.txt erreichbar.

Tipp

- Wenn du deine Inhalte regelmäßig änderst oder neue Beiträge hinzukommen, solltest du die Datei gelegentlich aktualisieren. - Für mehr Übersicht kannst du Schlagwörter oder Themenbereiche mit aufnehmen, um KI-Bots deine thematische Ausrichtung zu verdeutlichen. Wie viele URLs gehören in die llms.txt? - Weniger ist mehr: Die Datei sollte übersichtlich bleiben. Wenn du dort hunderte Links einfügst, wird sie für Bots (und auch dich selbst) unhandlich. - Fokus auf wichtige Inhalte: Nimm deine wichtigsten und relevantesten Seiten/Beiträge auf – also die, die dein Themenfeld am besten repräsentieren. - Faustregel: 10–30 URLs reichen in den meisten Fällen völlig aus. - Alternativ: Verlinke nur deine Sitemap in der llms.txt. Diese enthält automatisch alle Seiten und Beiträge und wird von den meisten Bots verstanden. - Hybrid-Lösung: Kombination aus Sitemap-Link + ein paar Highlights (z. B. Evergreen-Artikel, Top-Beiträge, wichtige Themenseiten).

Unterschiede zwischen robots.txt und llms.txt

Auf den ersten Blick wirkt die llms.txt wie eine Schwester der bekannten robots.txt. Beide liegen im Root-Verzeichnis der Webseite und sollen Bots Hinweise geben. Der entscheidende Unterschied liegt jedoch in der Zielgruppe und im Einsatzbereich:

robots.txtllms.txtrichtet sich an klassische Suchmaschinen (Google, Bing, etc.)richtet sich an KI-Bots (z. B. GPTBot, ClaudeBot, PerplexityBot)Standard seit Jahrzehnten, wird zuverlässig respektiertnoch experimentell, nicht von allen Bots beachtetarbeitet mit klaren Regeln wie Allow und Disallowoft eher kuratiert: Sitemap-Link, wichtige Inhalte, thematische SchwerpunkteZiel: steuern, welche Seiten indexiert werden dürfenZiel: Transparenz und Steuerung, wie Inhalte für KI-Systeme genutzt werdenvalidierbar mit gängigen SEO-Toolskeine offiziellen Validatoren, nur durch eigene Logs überprüfbar

Kurz gesagt:

- Die robots.txt ist Pflicht und etabliert. - Die llms.txt ist ein freiwilliges Zusatz-Feature – aber ein spannendes Werkzeug für GEO-Optimierung, weil du damit deine Inhalte direkt für KI-Systeme aufbereitest.

Wo wird die llms.txt abgelegt und wie kann man sie testen?

Die llms.txt ist – ähnlich wie die bekannte robots.txt – eine einfache Textdatei, die im Hauptverzeichnis (Root-Verzeichnis) deiner Webseite abgelegt wird. Das bedeutet: Sie liegt auf derselben Ebene wie deine robots.txt, also z. B.:

Ablage der Datei llms-txt auf dem Webspace

Wenn du WordPress nutzt, kannst du die Datei ganz einfach per FTP oder Dateimanager deines Hosting-Anbieters hochladen. Sie sollte anschließend unter folgender Adresse abrufbar sein:

👉 https://deinedomain.de/llms.txt

In meinem Fall also: ➡️ https://draeger-it.blog/llms.txt

Wenn du die Adresse im Browser öffnest, sollte der Inhalt der Datei direkt angezeigt werden. Das zeigt dir, dass die Datei öffentlich erreichbar ist – und somit auch für KI-Crawler und Suchmaschinen sichtbar.

Aufruf der llms-txt im Browser zum check llms.txt-Datei online testen

Neben dem manuellen Aufruf im Browser kannst du die Datei auch über Online-Validatoren prüfen. Diese Tools analysieren, ob deine llms.txt korrekt formatiert und erreichbar ist:

- Minoka LLMs.txt Test Validator - MRS Digital LLMs.txt Validator - LLMs.txt Checker

Einfach deine URL eingeben (z. B. https://deinedomain.de/llms.txt) und das Tool zeigt dir sofort, ob alles korrekt erkannt wurde. So kannst du sicherstellen, dass KI-Bots wie GPTBot, ClaudeBot oder Perplexity die Datei tatsächlich abrufen und interpretieren können.

llms.txt automatisch mit Yoast SEO erzeugen – und die aktuelle Einschränkung

Wenn du das Plugin Yoast SEO verwendest, musst du die llms.txt nicht selbst erstellen – sie wird automatisch für dich generiert. Sobald du die aktuelle Version von Yoast (ab v26.0) installiert hast, ist die Datei unter folgendem Pfad abrufbar:

👉 https://deinedomain.de/llms.txt

Yoast erzeugt dort automatisch eine Liste deiner wichtigsten Seiten, Beiträge und Schlagwörter – inklusive Link zur Sitemap. Das spart Zeit und sorgt dafür, dass deine Inhalte strukturiert für KI-Bots auffindbar sind.

Aktueller Stand: Fehlender „Quote Block“

In den Tests mit den Tools

- Minoka LLMs.txt Test Validator - MRS Digital LLMs.txt Validator - LLMs.txt Checker

hat sich gezeigt, dass die von Yoast generierte Datei im Wesentlichen valide ist, aber einen kleinen Hinweis enthält:

⚠️ Quote Block fehlt („Missing quote block with project summary“)

Dieser Abschnitt – der sogenannte Quote Block – soll laut Entwurf der LLMs.txt-Spezifikation eine kurze Zusammenfassung des Projekts oder der Website enthalten, also z. B.:

> Draeger-IT.blog ist ein deutschsprachiger Technikblog rund um Mikrocontroller, Smarthome und DIY-Projekte. > Inhalte: Arduino, ESP32, Python, Raspberry Pi, Shelly, u.v.m.

Dieser Block ist aktuell (Stand: Oktober 2025) bei Yoast noch nicht implementiert. Du hast hier zwei Möglichkeiten:

- Abwarten: Yoast arbeitet aktiv an der Weiterentwicklung – ein zukünftiges Update könnte den Block automatisch ergänzen. - Selbst ergänzen: Du kannst das Feature auch manuell umsetzen, indem du Yoasts automatische llms.txt deaktivierst und eine eigene Version in der Website-Root ablegst. Der Aufbau ist simpel – eine Textdatei mit Markdown-ähnlicher Struktur reicht.

Offizielle Spezifikation: Was llmstxt.org vorgibt – und was du anpassen solltest

Die offizielle Spezifikation der llms.txt auf llmstxt.org legt einige klare Formatregeln fest, die über die einfache Textstruktur hinausgehen. Ziel ist es, eine Datei zu schaffen, die von KI-Systemen maschinenlesbar und gleichzeitig für Menschen verständlich ist – ähnlich wie Markdown.

Wenn du die llms.txt also selbst anlegen möchtest (oder die automatisch erzeugte Version z. B. von Yoast SEO verbessern willst), solltest du folgende Punkte kennen:

1. Titelzeile ist Pflicht (H1)

Jede llms.txt muss mit einer Überschrift der Ebene 1 (# …) beginnen. Sie beschreibt in einem Satz den Namen oder das Thema deiner Website – z. B.:

# Draeger-IT.blog – Technik & Mikrocontroller

Diese erste Zeile ist verpflichtend und dient als Referenz für KI-Systeme, um den Kontext der Seite zu verstehen.

2. Quote Block mit Projektbeschreibung

Direkt unter dem Titel folgt ein sogenannter Quote Block (>), also ein kurzer beschreibender Absatz über dein Projekt oder deine Website. Dieser Abschnitt ist laut Spezifikation ebenfalls Pflicht, da er KI-Modellen eine semantische Zusammenfassung bietet.

Beispiel:

> Draeger-IT.blog ist ein deutschsprachiger Technikblog über Mikrocontroller, > Arduino, ESP32, Raspberry Pi und Smarthome-Projekte.

Wenn du das Yoast SEO Plugin nutzt, wird genau dieser Abschnitt aktuell noch als „Missing quote block with project summary“ beanstandet – weil Yoast ihn (Stand: Oktober 2025) noch nicht automatisch generiert.

3. Strukturierte Abschnitte mit H2-Überschriften

Die Datei sollte anschließend in thematische Abschnitte mit ##-Überschriften unterteilt werden – etwa:

## Seiten - (https://draeger-it.blog/impressum/) - (https://draeger-it.blog/datenschutzerklaerung/) ## Beiträge - (https://draeger-it.blog/bitaxe-gamma-v601-effizientes-bitcoin-mining-fuer-zuhause/) - (https://draeger-it.blog/esp8266-programmierung-mit-096-oled-display-von-ideaspark-eine-schritt-fuer-schritt-anleitung/)

Alle Links werden als Markdown-Links angegeben ((URL)), optionale Kommentare können mit einem Doppelpunkt angehängt werden. Diese klare Struktur erleichtert es LLMs, die Themenfelder deiner Seite zu erkennen.

4. Optional-Abschnitt für ergänzende Inhalte

Zusätzlich kann am Ende der Datei ein Abschnitt mit der Überschrift „Optional“ eingefügt werden. Hier listest du sekundäre Inhalte auf – etwa Social-Media-Profile oder experimentelle Projekte, die für die Hauptanalyse nicht zwingend relevant sind.

## Optional - (https://www.youtube.com/@draeger-it) - (https://github.com/StefanDraeger)

Laut Spezifikation dürfen KI-Systeme diesen Abschnitt ignorieren, wenn sie nur eine kompakte Inhaltsübersicht benötigen.

5. Erweiterte Formate: llms-full.txt

Neben der klassischen llms.txt beschreibt der Standard auch eine erweiterte Variante namens llms-full.txt. Diese kann zusätzlich ausführlichere Beschreibungen, Zitate oder Inhalte enthalten – also eine Art „vollständigen Kontext“ für LLMs. Sie ist vor allem für große Portale interessant, bei denen viele zusammenhängende Themengebiete existieren.

Fazit

Die llms.txt ist ein spannender, noch junger Ansatz, um Inhalte gezielt für KI-Modelle sichtbar zu machen. Auch wenn sie noch kein offizieller Standard ist, bietet sie bereits jetzt eine einfache Möglichkeit, Transparenz zu schaffen und eigene Inhalte für LLMs besser zugänglich zu machen. Wer Yoast SEO nutzt, hat es besonders leicht – die Datei wird automatisch erzeugt. Wer mehr Kontrolle möchte, kann sie manuell anpassen und so gezielt die Sichtbarkeit in KI-Systemen verbessern.

Langfristig könnte die llms.txt zu einem wichtigen Bestandteil der GEO-Optimierung werden – ähnlich wie einst die robots.txt für Suchmaschinen. Es lohnt sich also, das Thema frühzeitig im Blick zu behalten.

FAQ zur llms.txt

Frage: Was ist die llms.txt?

Antwort: Die llms.txt ist eine experimentelle Textdatei, mit der Webseiten KI-Bots wie ChatGPT, Perplexity oder Claude gezielt Informationen über ihre Inhalte bereitstellen können.

Frage: Wo wird die Datei abgelegt?

Antwort: Sie liegt im Hauptverzeichnis der Website, also unter https://deine-domain.de/llms.txt.

Frage: Wie kann ich die Datei testen?

Antwort: Einfach im Browser öffnen oder mit einem Online-Validator wie llmstxtchecker.netprüfen.

Frage: Wird die llms.txt von allen KI-Bots genutzt?

Antwort: Noch nicht. Sie ist aktuell ein offener Vorschlag und wird nach und nach von mehr Systemen unterstützt.

Frage: Erstellt Yoast SEO die Datei automatisch?

Antwort: Ja. Ab Version 26.0 generiert Yoast die Datei automatisch – sie kann aber manuell angepasst werden, wenn spezielle Inhalte ergänzt werden sollen.

Frage: Was bedeutet der Hinweis “Missing quote block”?