Retrieval Augmented Generation, kurz RAG, gilt als Königsweg, um internes Unternehmenswissen für KI-Assistenten nutzbar zu machen, ohne teure Modell-Feintunings durchführen zu müssen — statt das Modell zu trainieren, durchsucht das System bei jeder Anfrage relevante Dokumente und reicht passende Textstellen als Kontext weiter. Wir haben mit IT-Verantwortlichen aus fünf mittelständischen Unternehmen gesprochen, die eigene RAG-Systeme für interne Wissens-Bots aufgebaut haben, etwa für die Suche in Handbüchern, Verträgen oder technischer Dokumentation. Das Ergebnis: Die reinen Kosten für Modell-Anfragen machten in allen Fällen nur einen kleinen Teil der Gesamtausgaben aus — den deutlich größeren Anteil verschlangen Aufbau und Pflege der zugrunde liegenden Dateninfrastruktur.
Die unterschätzten Kostentreiber
Der erste große Kostenblock entsteht bereits bei der Aufbereitung der Dokumente: Bevor eine sinnvolle Suche möglich ist, müssen Unternehmen ihre oft über Jahre gewachsenen Bestände bereinigen, vereinheitlichen und in sinnvolle Textabschnitte zerlegen — bei einem Maschinenbauer mit mehreren tausend technischen Dokumenten nahm allein diese Phase drei Monate in Anspruch und band zwei Vollzeitstellen. Der zweite Kostentreiber ist der Betrieb der Vektordatenbank, in der die durchsuchbaren Abschnitte gespeichert werden: Zwar ist die Software oft kostenlos verfügbar, doch Wartung, Skalierung und Absicherung gegen Ausfälle kosten laufend — ein IT-Leiter aus dem Versicherungssektor bezifferte die Infrastrukturkosten auf etwa das Dreifache der ursprünglichen Schätzung.
Wartung ist kein einmaliges Projekt
Ein Aspekt, der in vielen ersten Kostenschätzungen komplett fehlt, ist die kontinuierliche Pflege der Wissensbasis: Dokumente veralten, Prozesse ändern sich, neue Produkte kommen hinzu, und ein System, das nicht regelmäßig aktualisiert wird, liefert schnell veraltete oder falsche Antworten. Mehrere Unternehmen haben deshalb feste Prozesse etabliert, bei denen Fachabteilungen monatlich die Aktualität ihrer Dokumente prüfen — ein organisatorischer Aufwand, der in Business Cases häufig übersehen wird, ebenso wie die Qualitätssicherung der Antworten selbst, für die zwei der befragten Unternehmen inzwischen eigene Feedback-Schleifen mit Nutzerbewertungen eingerichtet haben.
Lohnt sich der Eigenbau?
Trotz der teils überraschend hohen Gesamtkosten ziehen alle befragten Unternehmen ein positives Fazit: Die Zeitersparnis bei der Informationssuche rechtfertige den Aufwand, vorausgesetzt, die Erwartungen an Umfang und Zeitplan werden von Anfang an realistisch gesteckt. Wer ein RAG-System plant, sollte daher nicht nur die Modell-API kalkulieren, sondern von Beginn an ein Budget für Datenaufbereitung, Infrastrukturbetrieb und laufende Pflege einplanen — realistisch gerechnet oft das Drei- bis Fünffache der reinen Modellkosten.