Du hast deine Sitemap eingereicht und fragst dich, wann dein Bot bereit ist? Da kaifox deine Website nicht einfach nur „überfliegt“, sondern den Inhalt wirklich verstehen muss, dauert dieser Prozess einen Moment.
Jede Seite durchläuft das LLM
Der Crawler ruft jede einzelne URL deiner Sitemap auf. Der Text wird dabei nicht einfach kopiert, sondern durchläuft das Large Language Model (LLM). Dieser Schritt ist notwendig, um den Kontext zu erfassen und die Daten in eine spezielle Datenbank zu überführen.
Was passiert im Hintergrund? (Die Vektordatenbank)
Die verarbeiteten Informationen werden in einer sogenannten Vektordatenbank gespeichert.
- Vektoren statt Text: Die Datenbank speichert Informationen als Vektoren – das sind numerische Darstellungen von Datenobjekten.
- Hochdimensionaler Raum: Anders als herkömmliche Datenbanken mit Zeilen und Spalten organisiert eine Vektordatenbank Datenpunkte in einem riesigen, mehrdimensionalen Raum.
- Bedeutung statt Keywords: Ähnliche Konzepte liegen in diesem Raum näher beieinander (z. B. liegen „Auto“ und „PKW“ nah zusammen). Das ermöglicht eine semantische Suche, die die Bedeutung deiner Inhalte versteht, anstatt nur nach exakten Wörtern zu suchen.
Die Faustformel für die Dauer
Aufgrund dieser komplexen Berechnung benötigt der Prozess durchschnittlich ca. 2 Sekunden pro Seite.
- Eine Website mit 100 Unterseiten benötigt etwa 30 Minuten.
Da mehrere Bots gleichzeitig in unserem System trainiert werden, kann die Wartezeit je nach Auslastung leicht variieren. Sobald die Vektoren erstellt sind, ist dein Bot bereit für intelligente Antworten.
