KI-Wissensassistent (RAG-Chatbot) für interne Dokumente: Planung, Datenschutz und Rollout

Hinweis: Dieser Beitrag ersetzt keine Rechtsberatung, Stand: 09/2026.

Ein RAG-Chatbot (Retrieval Augmented Generation) durchsucht deine internen Dokumente und beantwortet Fragen mit Verweis auf die passende Quelle — statt dass Mitarbeitende Handbücher, Wikis oder Verträge manuell durchsuchen. Mehr zum Funktionsprinzip im Lexikon-Eintrag Was ist RAG?. Dieser Guide führt dich von der Datenauswahl über die datenschutzrechtliche Prüfung bis zum Rollout — die konkrete technische Einrichtung (Plattformwahl, Chunking, Embeddings, Retrieval) hängt stark vom gewählten Anbieter/Stack ab und ist nicht Teil dieser Checkliste.

Was du brauchst

• Zugriff auf die internen Dokumente (PDF, Word, Wiki-Export, Confluence o. Ä.)
• Ein KI-Konto mit Kapazität für Dokumenten-Uploads (Cloud oder On-Premise)
• Überblick, ob personenbezogene Daten in den Dokumenten stecken
• Admin-Rechte für Zugriffssteuerung und Nutzerfreigabe
• Grundkenntnisse in eurer Ordnerstruktur und den gängigen Dateiformaten

Zeitaufwand: Die Vorbereitung (Scope, Datenaufbereitung, Anbieterwahl) ist je nach Datenmenge in wenigen Stunden machbar; die technische Umsetzung selbst hängt vom gewählten Stack ab und variiert entsprechend. Schwierigkeitsgrad: Mittel. Benötigte Rechte: Admin-Zugang zum gewählten KI-Dienst, ggf. IT-Freigabe für neue Cloud-Dienste.

Schritt 1: Anwendungsfall und Datenquellen festlegen

Lege fest, welche Fragen der Assistent beantworten soll — z. B. „Wie beantrage ich Urlaub?” oder „Was steht in Vertrag X?” — und welche Dokumente dafür relevant sind. Grenze die erste Version bewusst ein (z. B. nur ein Team oder ein Themenbereich), statt sofort alle Unternehmensdaten einzuspeisen.

Häufiger Fehler: Zu breiter Scope von Anfang an — das macht die Qualitätsprüfung im Rollout unübersichtlich.

Danach hast du eine klar abgegrenzte Dokumentenliste und einen konkreten Testfragen-Katalog.

Schritt 2: Dokumente aufbereiten

Der Assistent zerlegt Dokumente in kleine Textabschnitte (Chunking) und wandelt sie in durchsuchbare Vektoren (Embeddings) um — das ist der technische Kern von RAG. Entferne vorher veraltete Versionen und doppelte Dateien, sonst kann der Chatbot widersprüchliche Antworten liefern. Prüfe außerdem, ob personenbezogene Daten enthalten sind, die geschwärzt oder gesondert zugriffsbeschränkt werden müssen.

Danach liegt eine bereinigte, indexierbare Dokumentenbasis vor.

Schritt 3: Architektur wählen — Cloud oder lokal

Bei einer Cloud-Lösung landen Dokumente ganz oder teilweise bei einem externen Anbieter — relevant ist dabei, ob eine Drittlandübermittlung stattfindet (z. B. in die USA) und ob der Anbieter dem Cloud Act unterliegt.

Tabelle seitlich scrollen →

Für rein lokale/selbstgehostete Lösungen (z. B. Open-Source-Vektordatenbanken) gibt es aktuell keinen Score in unserer Bewertung — Status: Noch nicht bewertet.

Danach hast du dich für einen Architektur-Typ entschieden und kennst die datenschutzrechtliche Ausgangslage.

Schritt 4: Vertrag und technische Maßnahmen prüfen (bei externem Anbieter)

Nutzt du eine Cloud-Lösung, bei der ein externer Anbieter als Auftragsverarbeiter fungiert, schließe mit ihm einen Auftragsverarbeitungsvertrag (AVV) ab und lass dir die technischen und organisatorischen Maßnahmen (TOMs) zur Zugriffskontrolle und Verschlüsselung nachweisen. Ein AVV allein klärt keine Drittlandübermittlung oder sonstige Rechtsfragen — das ggf. gesondert mit Anbieter und Datenschutzbeauftragtem klären. Bei einer rein lokalen/selbstgehosteten Lösung ohne externen Anbieter entfällt der AVV-Schritt; prüfe dann die eigenen technischen und organisatorischen Schutzmaßnahmen.

Häufiger Fehler: Rollout mit externem Anbieter ohne unterschriebenen AVV — das lässt sich später nur schwer nachholen.

Danach ist die vertragliche Grundlage geklärt (AVV bei externem Anbieter, eigene TOMs bei lokaler Lösung).

Schritt 5: DSFA-Bedarf klären

Werden sensible oder in großem Umfang personenbezogene Daten verarbeitet, kann eine Datenschutz-Folgenabschätzung (DSFA) erforderlich sein. Kläre das mit eurem Datenschutzbeauftragten, bevor der Assistent live geht.

Danach weißt du, ob eine DSFA nötig ist, und hast sie ggf. angestoßen.

Schritt 6: Zugriff und Sicherheit einrichten

Beschränke den Zugriff auf den Chatbot rollenbasiert, damit nicht jede Antwort für alle Nutzer sichtbar ist. Achte zusätzlich auf Prompt Injection — versteckte Anweisungen in hochgeladenen Dokumenten, die den Assistenten zu unerwünschtem Verhalten verleiten können. Aktiviere, falls verfügbar, eine Eingabe-Filterung.

Danach ist der Zugriff kontrolliert und ein grundlegender Schutz gegen manipulierte Dokumente aktiv.

Schritt 7: Testen und Rollout

Teste den Assistenten mit dem Fragenkatalog aus Schritt 1 an einer kleinen Nutzergruppe, sammle Feedback zu falschen oder fehlenden Antworten und erweitere die Dokumentenbasis iterativ. Erst danach für die ganze Abteilung freigeben.

Danach liegt ein getesteter, freigegebener Wissensassistent für den produktiven Einsatz vor.

Ergebnis

Du hast eine datenschutzkonform vorbereitete Grundlage für deinen RAG-Chatbot: Scope und Datenbasis abgegrenzt, Architektur und Anbieter gewählt, Vertrags- und Zugriffslage geklärt — bereit für die technische Einrichtung mit dem gewählten Anbieter/Stack, die je nach Plattform unterschiedlich abläuft.

Beispiel: Ein Steuerberatungsbüro mit 15 Mitarbeitenden nutzt den Assistenten für interne Prozess-Dokumentation. Nach den Schritten oben liegt ein AVV mit dem Cloud-Anbieter vor, der Zugriff ist auf das Büro-Team beschränkt, und neue Mitarbeitende finden Antworten zu internen Abläufen in Sekunden statt über Rückfragen bei Kolleg:innen.

Häufige Fehler und Stolperfallen

• Kein AVV vor dem Livegang: Kann den Betriebsstart nachträglich erheblich verzögern.
• Zu breiter Datenumfang von Anfang an: Kann Qualitätskontrolle und Fehlersuche deutlich erschweren.
• Ungeprüfte Dokumente mit personenbezogenen Daten: Kann zu unnötigen Datenschutzrisiken führen, wenn keine Schwärzung oder Zugriffsbeschränkung erfolgt.

Checkliste: Ist dein Wissensassistent startklar?

• Anwendungsfall und Dokumenten-Scope klar abgegrenzt
• Dokumente bereinigt (keine Duplikate, keine veralteten Versionen)
• Personenbezogene Daten identifiziert und behandelt
• Architektur (Cloud/lokal) bewusst gewählt
• AVV mit dem Anbieter unterschrieben
• TOMs des Anbieters eingesehen und dokumentiert
• DSFA-Bedarf mit Datenschutzbeauftragtem geklärt
• Rollenbasierter Zugriff eingerichtet
• Schutz gegen Prompt Injection aktiviert
• Testlauf mit kleiner Nutzergruppe durchgeführt

Häufige Fragen

Welche datenschutzrechtlichen Unterschiede gibt es zwischen Cloud- und lokaler Lösung? Bei Cloud-Diensten außerhalb der EU kann eine Drittlandübermittlung vorliegen, die zusätzliche Absicherung erfordert. Lokale Lösungen vermeiden das, brauchen aber mehr eigenen Betriebsaufwand.

Brauche ich für jeden RAG-Chatbot eine DSFA? Nicht zwingend — es hängt vom Umfang und der Sensibilität der verarbeiteten Daten ab. Kläre das im Zweifel mit eurem Datenschutzbeauftragten. Mehr dazu im Lexikon-Eintrag Was ist eine DSFA?.

Wie verhindere ich, dass der Chatbot falsche Antworten gibt? Durch saubere, aktuelle Dokumentenbasis und einen Testlauf mit realen Fragen vor dem Rollout. Iteratives Nachbessern reduziert die Zahl der Fehlantworten.

Kann ich mehrere Dokumenttypen gleichzeitig einbinden? Ja, die meisten Lösungen verarbeiten PDF, Word und Wiki-Exporte parallel — wichtig ist eine konsistente Aufbereitung vorab.

Was kostet der Aufbau eines internen Wissensassistenten? Das hängt vom gewählten Anbieter und Datenvolumen ab — konkrete Preise für nicht gelistete Tools solltest du direkt beim Anbieter prüfen.