Die häufigste technische Ursache dafür, dass ein Unternehmen in Antwort-Suchen nicht auftaucht, ist banal: Die
zuständigen Crawler dürfen die Seite nicht lesen. Oft, ohne dass jemand das bewusst entschieden hätte, viele
Sicherheits-Plugins und Hosting-Voreinstellungen blockieren unbekannte Bots pauschal.
Dieser Artikel zeigt, was du prüfen solltest und welche Entscheidungen dahinterstehen. Die übrigen technischen
Punkte stehen in der GEO-Checkliste.
Zwei Arten von Crawlern, zwei Entscheidungen
Such-Crawler holen Inhalte, um sie in einer Antwort zu zitieren. Trainings-Crawler sammeln Inhalte für
das Training von Modellen. Wer in Antworten vorkommen will, braucht die erste Gruppe, über die zweite kann man
unabhängig davon entscheiden.
Diese Trennung ist der Kern der Sache. Wer pauschal alles sperrt, schützt seine Inhalte vor dem Training, verliert
aber gleichzeitig jede Chance auf eine Nennung. Wer pauschal alles erlaubt, trifft ebenfalls keine Entscheidung.
Die relevanten Crawler im Überblick
- OAI-SearchBot holt Inhalte für die Websuche in ChatGPT. Für Nennungen erforderlich.
- ChatGPT-User greift zu, wenn ein Nutzer aktiv nach einer Seite fragt.
- GPTBot sammelt Trainingsdaten. Hier ist eine bewusste Entscheidung angebracht.
- PerplexityBot Grundlage für Nennungen in Perplexity.
- Google-Extended steuert die Nutzung in Googles generativen Funktionen, unabhängig vom
klassischen Googlebot. - Applebot-Extended, Amazonbot, Bytespider je nach Zielgruppe
relevant.
Die Namen ändern sich gelegentlich, deshalb lohnt sich ein Blick in die Server-Logs: Dort siehst du, wer bei dir
tatsächlich anklopft.
So prüfst du deine robots.txt
Ruf deine-domain.de/robots.txt auf. Achte auf drei Dinge: ein pauschales Disallow: / für
User-agent: *, gezielte Sperren einzelner Bots und eine fehlende Sitemap-Angabe. Alle drei sind häufige
Fundstücke und alle drei kosten Sichtbarkeit.
Falls du eine Firewall oder ein Sicherheits-Plugin einsetzt: Prüfe auch dort die Bot-Regeln. Eine freundliche
robots.txt nützt nichts, wenn die Firewall den Zugriff vorher abweist. Ein 403-Fehler für einen Crawler ist genauso
wirksam wie ein Disallow.
Was llms.txt ist und was nicht
llms.txt ist eine einfache Markdown-Datei unter deine-domain.de/llms.txt. Sie beschreibt in kurzer Form,
worum es auf der Website geht, und listet die wichtigsten Seiten mit einem Satz Erklärung. Die Idee: Ein System, das
schnell einen Überblick braucht, bekommt ihn ohne die gesamte Seite zu crawlen.
Ehrlich eingeordnet: Es ist ein Community-Vorschlag, kein offizieller Standard, und keiner der großen Anbieter hat
eine verbindliche Unterstützung zugesagt. Der Aufwand liegt bei einer halben Stunde, das Risiko bei null. Wir legen
sie deshalb bei Projekten mit an, aber wir erwarten davon keine Wunder und kommunizieren das auch so.
Ein sinnvoller Aufbau
- Überschrift mit dem Firmennamen
- Ein Absatz: Was macht das Unternehmen, für wen, an welchem Ort
- Liste der wichtigsten Seiten als Links mit je einem erklärenden Halbsatz
- Kontaktmöglichkeit
Sitemap nicht vergessen
Die XML-Sitemap bleibt der zuverlässigste Weg, alle Seiten bekannt zu machen. Sie gehört in die robots.txt und sollte
nur Seiten enthalten, die tatsächlich indexiert werden sollen. Entwürfe, Dubletten und Testseiten haben dort nichts zu
suchen.
So findest du heraus, wer bei dir tatsächlich vorbeikommt
Die Server-Logs sind die ehrlichste Quelle. Such nach den bekannten Bot-Namen im User-Agent und schau dir an, welche
Statuscodes sie bekommen. Ein 200 heißt: gelesen. Ein 403 oder 429 heißt: abgewiesen, oft durch eine Firewall, von
der niemand wusste, dass sie so streng eingestellt ist.
Bei Hostern ohne Log-Zugriff hilft ein Blick in die Statistiken des Sicherheits-Plugins. Auch dort findest du in der
Regel eine Liste blockierter Zugriffe. Wenn dort regelmäßig Crawler auftauchen, hast du deine Ursache gefunden.
Eine robots.txt, die für Antwort-Suchen funktioniert
Der pragmatische Aufbau: Erst eine allgemeine Regel, die normale Crawler erlaubt und nur Bereiche wie Warenkorb,
Suche oder Admin ausschließt. Dann einzelne Regeln für die Bots, bei denen du eine bewusste Entscheidung getroffen
hast. Am Ende die Sitemap-Angabe mit vollständiger URL.
Wichtig ist die Reihenfolge der Blöcke: Eine spezifische Regel für einen einzelnen Bot gewinnt gegen die allgemeine
Regel, aber nur, wenn der Bot-Name exakt stimmt. Tippfehler im Bot-Namen sind ein häufiger und unsichtbarer Fehler, die Datei bleibt gültig, die Regel greift nur nie.
Die Entscheidung Training versus Suche
Es gibt keine allgemeingültige Empfehlung, aber eine brauchbare Faustregel. Wenn dein Geschäftsmodell darauf beruht,
gefunden zu werden, also bei praktisch jedem Dienstleister, gib die Such-Crawler frei. Ob du Trainings-Crawler
zulässt, ist eine Abwägung: Sie bringen keine direkte Sichtbarkeit, können aber dazu beitragen, dass deine Marke
langfristig im Modellwissen auftaucht.
Anders liegt der Fall bei Verlagen, Bilddatenbanken oder Anbietern, deren Inhalte selbst das Produkt sind. Dort ist
eine restriktive Haltung bei Trainings-Crawlern nachvollziehbar, die Such-Crawler sollten trotzdem Zugriff haben,
sonst verschwindet man aus den Antworten.
Was nach der Freigabe passiert
Nicht viel, jedenfalls nicht sofort. Crawler kommen in eigenen Intervallen, und eine Freigabe führt nicht dazu, dass
deine Seite am nächsten Tag zitiert wird. Rechne mit zwei bis sechs Wochen, bis sich eine Änderung in den Messungen
zeigt. Wenn nach zwei Monaten nichts passiert, liegt es meist nicht am Zugriff, sondern am Inhalt, dann hilft die
GEO-Checkliste weiter.
Häufige Fragen
Was ist llms.txt?
llms.txt ist eine Textdatei im Stammverzeichnis einer Website, die Antwort-Systemen in kompakter Form zeigt, welche Inhalte es gibt und wo sie stehen. Sie ist ein Vorschlag der Community und kein offizieller Standard, aber schnell erstellt und risikoarm.
Welche Crawler sollte ich für Antwort-Suchen freigeben?
Mindestens die Crawler, die für die Websuche der Antwort-Systeme zuständig sind, etwa OAI-SearchBot, PerplexityBot und Google-Extended. Sie sind zu unterscheiden von Crawlern, die ausschließlich Trainingsdaten sammeln.
Verliere ich Kontrolle über meine Inhalte, wenn ich Crawler zulasse?
Du entscheidest pro Crawler. Üblich ist, Such-Crawler zuzulassen, damit man in Antworten auftaucht, und Trainings-Crawler zu sperren, wenn Inhalte nicht in Modelltrainings einfließen sollen.
Über den Autor: Levin Görsoy ist Gründer und CEO von
dato.marketing, einer Full-Service-Marketing-Agentur aus Berlin. Mit seinem Team hat er
über 46 Projekte produziert und mehr als 1 Million organische Views für Kundenkanäle aufgebaut. Mehr über seinen Werdegang
findest du im Lebenslauf von Levin Görsoy.
Du willst das Thema lieber abgeben? Sieh dir unsere Pakete und Preise
an oder sichere dir ein kostenloses Erstgespräch: Antwort innerhalb von 24 Stunden,
ohne Standardpakete.
