KI mit den eigenen Firmendaten: was geht und was nicht

Die Frage kommt fast immer in derselben Form: Kann man so ein Sprachmodell nicht mit unseren eigenen Unterlagen füttern, damit es Auskunft gibt? Über Preise, über alte Angebote, über die Anleitung, die im Ordner Q im dritten Unterordner liegt.

Die Antwort ist ja, aber anders, als der Begriff „füttern“ nahelegt. Und der Unterschied ist nicht kleinlich, sondern entscheidet darüber, was so ein System kann, was es kostet und wo deine Daten dabei liegen.

Wer danach sucht, findet zwei Sorten von Seiten. Anbieter, die ein Abo verkaufen, und Kanzleien, die warnen. Beide haben ihren Grund, aber keine erklärt nüchtern, was da eigentlich passiert.

Was passiert da technisch?

Das Sprachmodell lernt deine Daten nicht. Es bekommt sie im Moment der Frage vorgelegt.

Der Ablauf sieht so aus:

1. Deine Dokumente werden in Abschnitte zerlegt und so abgelegt, dass man sie nach Bedeutung durchsuchen kann — nicht nur nach exakten Wörtern. Deshalb findet die Suche auch dann etwas, wenn in der Frage „Zahlungsziel“ steht und im Dokument „Fälligkeit“.
2. Kommt eine Frage, werden die passenden Abschnitte herausgesucht. Meist eine Handvoll.
3. Diese Abschnitte gehen zusammen mit der Frage an das Sprachmodell, ungefähr so: „Hier sind fünf Textstellen. Beantworte damit die folgende Frage und nenne, woher du es hast.“
4. Das Modell formuliert die Antwort und gibt die Quelle an.

Dieses Verfahren heißt RAG, ausgeschrieben retrieval-augmented generation, also sinngemäß: Antworten auf Basis von zuvor Herausgesuchtem. Das Modell bleibt dabei unverändert. Es ist ein sehr guter Formulierer, der jedes Mal aufs Neue Zettel gereicht bekommt.

Warum „trainieren“ das falsche Wort ist

Es steht trotzdem überall, auch bei Anbietern, deren eigener Fließtext danach das Richtige beschreibt.

Ein Sprachmodell wirklich zu trainieren bedeutet, ein Modell von Grund auf mit sehr großen Datenmengen und erheblichem Rechenaufwand zu erzeugen. Das machen eine Handvoll Unternehmen weltweit. Nichts davon passiert, wenn ein Betrieb seine Handbücher durchsuchbar macht.

Dazwischen gibt es noch das Nachjustieren eines bestehenden Modells auf einen bestimmten Stil oder ein Fachgebiet. Das existiert, ist aber für die Frage „Wo steht, was wir dem Kunden zugesagt haben?“ der falsche Weg: Es macht die Antworten stilistisch passender, nicht sachlich richtiger, und es lässt sich nicht wieder löschen.

Was hier gebaut wird, sind Systeme auf Basis bestehender Sprachmodelle, eigener Daten und festgelegter Abläufe. Wer etwas anderes verspricht, meint entweder dasselbe oder weiß nicht, wovon er redet.

Was so ein System gut kann

Es lohnt sich dort, wo Wissen in vielen Dokumenten verstreut liegt und Leute regelmäßig danach suchen.

• Auskunft aus Unterlagen geben, die niemand vollständig im Kopf hat: Anleitungen, Verträge, Protokolle, alte Angebote.
• Mit Quellenangabe antworten, sodass man die Stelle im Original nachlesen kann. Das ist der wichtigste Punkt überhaupt, weil erst er die Antwort überprüfbar macht.
• Neue Leute einarbeiten, die noch nicht wissen, wo etwas steht und wen sie fragen müssten.
• Längere Texte zusammenfassen oder einsortieren, etwa eingehende Nachrichten nach Thema.

Richtig nützlich wird es erst, wenn es an die Programme angebunden ist, in denen die Arbeit tatsächlich stattfindet. Ein Assistent, der nur in einem eigenen Fenster lebt, wird nach zwei Wochen nicht mehr geöffnet. Ob sich deine Programme dafür überhaupt verbinden lassen, ist deshalb die Frage vor der Frage.

Was es nicht kann

Hier wird es unangenehm, und deshalb steht es in den wenigsten Beschreibungen.

Es rechnet nicht zuverlässig. Für Summen, Auswertungen und Kennzahlen ist ein solches System das falsche Werkzeug. Zahlen holt man aus der Datenbank, nicht aus einem Formulierer.

Es erfindet weiterhin gelegentlich etwas. Der Zugriff auf echte Dokumente verringert das deutlich, weil das Modell etwas Konkretes vor sich hat. Aber die Behauptung mancher Anbieter, damit sei das Problem erledigt, ist zu stark. Wenn zu einer Frage nichts Passendes gefunden wird, neigen Modelle dazu, trotzdem etwas zu formulieren. Deshalb ist die Quellenangabe kein Zierrat, sondern die einzige Kontrolle, die du hast.

Es ist nur so gut wie die Unterlagen. Wenn drei Versionen desselben Handbuchs herumliegen, antwortet das System mal aus der einen, mal aus der anderen. Die Vorarbeit ist deshalb dieselbe wie immer: wissen, wo die Daten liegen, und aufräumen.

Es trifft keine Entscheidungen. Es kann zusammentragen, was in den Unterlagen steht. Ob daraus ein Angebot wird und zu welchem Preis, entscheidet weiterhin ein Mensch.

Es kennt Rechte nicht von allein. Wenn die Gehaltsliste im selben Ordner liegt wie die Arbeitsanweisungen, wird sie mitgefunden. Wer was sehen darf, muss ausdrücklich festgelegt werden, und das ist regelmäßig der aufwendigste Teil.

Wo liegen die Daten dabei?

Diese Frage entscheidet mehr als die Wahl des Modells, und sie hat drei mögliche Antworten.

Beim Anbieter des Modells, also in dessen Rechenzentren. Für viele Betriebe vertretbar, wenn geklärt ist, in welchem Land verarbeitet wird und ob Eingaben zur Verbesserung der Modelle verwendet werden. Bei Geschäftstarifen ist Letzteres in der Regel ausgeschlossen, bei kostenlosen Zugängen oft nicht — und genau darin liegt der Unterschied, der zählt.

In einer europäischen Umgebung eines großen Anbieters. Ein üblicher Mittelweg: gleiche Modelle, definierter Verarbeitungsort, vertragliche Zusagen.

Auf eigener Hardware. Technisch möglich, mit frei verfügbaren Modellen. Die Antworten sind meist etwas schwächer als bei den großen Anbietern, und du betreibst zusätzlich Hardware. Sinnvoll bei besonders sensiblen Unterlagen, nicht als Grundeinstellung.

Rechtlich sind vor allem fünf Punkte zu klären: der Verarbeitungsort, ein Vertrag zur Auftragsverarbeitung, die Frage nach der Verwendung der Eingaben, die Zugriffsrechte innerhalb des Betriebs und der Eintrag ins Verzeichnis der Verarbeitungstätigkeiten. Mehrere deutsche Aufsichtsbehörden haben dazu Orientierungshilfen veröffentlicht; maßgeblich ist deren jeweils aktuelle Fassung. Das ist keine Rechtsberatung, und bei sensiblen Daten gehört jemand gefragt, der das beruflich macht.

Ein Satz, der bei Anbietern häufig fällt und der so nicht stimmt: „Ihre Daten verlassen garantiert nie Ihr Haus.“ Sobald ein Modell in fremden Rechenzentren antwortet, verlässt der Ausschnitt, den es zur Beantwortung braucht, sehr wohl das Haus. Das kann völlig in Ordnung sein — aber es sollte richtig beschrieben werden.

Was kostet das?

An vier Stellen entstehen Kosten, und die Reihenfolge überrascht die meisten.

• Die Aufbereitung der Unterlagen. Zusammentragen, aussortieren, Dubletten entfernen, Rechte klären. Größter Posten, und er hat mit KI nichts zu tun.
• Die Einrichtung von Suche, Anbindung und Oberfläche.
• Die Nutzung des Modells, abgerechnet nach Textmenge pro Anfrage. Bei betriebsüblichen Fragemengen ist das meist der kleinste Posten.
• Der laufende Betrieb, also Aktualisierungen, neue Dokumente, Rechteänderungen. Dazu steht mehr im Text über das, was nach dem Projekt anfällt.

Die Prozentangaben, die in diesem Feld kursieren — soundso viel Prozent Zeitersparnis, soundso viel weniger Rückfragen — stammen fast alle von Anbietern und ohne nachvollziehbare Erhebung. Nimm sie nicht als Grundlage für eine Entscheidung.

Wann es sich nicht lohnt

Drei Fälle, in denen ich abraten würde.

Es gibt kaum Dokumente. Wenn das Wissen in fünf Dateien und in den Köpfen von drei Leuten steckt, ist Fragen schneller als jedes System.

Die Unterlagen sind veraltet oder widersprüchlich. Dann baust du eine Maschine, die falsche Auskünfte schneller verteilt. Erst aufräumen.

Es ist eigentlich eine Suchfunktion gesucht. Manchmal lautet der Wunsch „ich will Dateien schneller finden“. Dafür gibt es einfachere und billigere Mittel.

Wie du anfängst

Nimm einen einzigen abgegrenzten Bereich, in dem viel gefragt wird. Eine Produktgruppe, ein Regelwerk, die Anleitungen einer Maschine. Zwanzig bis fünfzig Dokumente reichen für einen belastbaren Eindruck.

Dann sammle zwanzig echte Fragen, die im Betrieb tatsächlich gestellt wurden, und prüf die Antworten gegen die Originale. Nicht danach, ob sie gut klingen — sie klingen immer gut. Sondern danach, ob die genannte Quelle wirklich das aussagt.

Dieser Test kostet wenig und beantwortet die einzige Frage, die zählt: ob deine Unterlagen so beschaffen sind, dass daraus verlässliche Auskünfte werden können.