Automatische Erstellung von llms.txt
Ein tiefer Einblick in unseren 3-Stufen-Prozess zur automatisierten Generierung von KI-Sitemaps.
Stufe 1: Dynamisches Crawling
Unser Prozess beginnt mit einem dynamischen Crawler, der wie ein menschlicher Benutzer die Website besucht. Er führt JavaScript aus, liest Texte aus und analysiert sogar verlinkte PDFs, um ein vollständiges Bild der Website zu erhalten.
Demo: Crawler-Simulation
Stufe 2: KI-Analyse & Extraktion
Die gesammelten Daten sind zu groß für eine einzelne KI-Anfrage. Wir verwenden einen zweistufigen Prozess: Zuerst klassifiziert ein LLM (Grob-Scan) die Seitenstruktur. Anschließend analysiert ein leistungsfähigeres LLM (Tiefen-Scan) den Volltext der wichtigsten Seiten, um Beschreibungen und Fakten zu extrahieren.
Demo: Grob-Scan (Klassifizierung)
INPUT (Struktur)
["/", "/produkte", "/checkout", ...]
Demo: Tiefen-Scan (Faktenextraktion für /ueber-uns)
INPUT (Volltext)
["...Team von 25 Experten..."]
Stufe 3: Generierung
Im letzten Schritt sammelt unser System alle extrahierten Informationen – die wichtigen Seiten, die irrelevanten Pfade, die Beschreibungen und die Fakten. Diese werden automatisch in das saubere, standardisierte llms.txt-Format gebracht, bereit für den Upload auf Ihren Webserver.