Was muss lokal laufen – und was nicht?
„Wir wollen AI, aber unsere Daten dürfen das Haus nicht verlassen." Diesen Satz höre ich oft, und er ist in dieser Form nicht zu beantworten – weil er die Frage zu grob stellt.
„AI" ist keine Verarbeitung, sondern eine Kette aus mehreren. In einem typischen Aufbau steckt Texterkennung, Zerlegung in Abschnitte, Vektorisierung, Suche, Formulierung der Antwort. Diese Schritte haben völlig verschiedene Anforderungen an Vertraulichkeit, Qualität, Geschwindigkeit und Kosten. Man entscheidet nicht einmal für alles. Man entscheidet pro Schritt.
Vier Fragen pro Schritt
Welche Daten fließen hier tatsächlich? Nicht: welche Daten hat das Unternehmen, sondern welche sehen genau diesen Schritt. Bei einer Suche im Produktkatalog fließt der Katalog – öffentlich, steht ohnehin im Shop. Bei einer Zusammenfassung von Support-Tickets fließen Kundennamen und Beschwerden. Das ist ein anderer Fall.
Wie gut muss das Ergebnis sein? Hier ist der ehrliche Teil: Lokal betreibbare Modelle sind gut geworden, aber sie sind nicht so gut wie die großen. Für Klassifizierung, Extraktion und Vektorisierung reichen sie völlig. Für Aufgaben, bei denen die Formulierung selbst das Produkt ist, merkt man den Unterschied deutlich. Wer etwas anderes behauptet, verkauft in der Regel Hardware.
Wie oft läuft das? Ein Vorgang pro Tag ist eine andere Rechnung als zehntausend. Einen Katalog zu vektorisieren heißt, jedes Produkt durch ein Modell zu schicken – lokal kostet das Strom und Wartezeit, über eine API kostet es pro Aufruf. Bei Massenvorgängen kippt die Rechnung schnell zugunsten der eigenen Maschine.
Wie schnell muss es sein? Ein Chat, der auf Antwort wartet, verträgt keine acht Sekunden. Ein nächtlicher Import verträgt acht Stunden.
Wie ich es in meinem eigenen Aufbau gelöst habe
Mein Produktberater zeigt die Aufteilung ganz gut. Die Embeddings entstehen lokal: Es sind viele, sie sind gleichförmig, ein lokales Modell reicht dafür qualitativ locker, und über eine API wäre es der teuerste Teil des Ganzen. Die eigentliche Antwort formuliert ein großes Modell über eine API – dort zählt Sprachqualität, es ist ein Aufruf pro Frage, und die Daten sind ohnehin öffentlich, denn es ist mein eigener Produktkatalog.
Diese Grenze ist keine Ideologie, sondern das Ergebnis von vier Fragen. Bei einem Mandanten mit Personalakten läge sie an einer völlig anderen Stelle.
Die Zwischenwege, die gern übersehen werden
Zwischen „alles lokal" und „alles zur API" liegt mehr, als die Debatte vermuten lässt:
- Lokal vorverarbeiten, extern formulieren. Die Suche über die vertraulichen Dokumente läuft im Haus. Hinaus geht nur der Abschnitt, der tatsächlich gebraucht wird – nicht der Datenbestand.
- Pseudonymisieren vor dem Versand. Namen, Kundennummern und Adressen durch Platzhalter ersetzen und nach der Antwort zurücksetzen. Das lässt sich zuverlässig automatisieren und ändert die rechtliche Bewertung erheblich.
- Nach Datenklasse trennen. Der öffentliche Teil geht den schnellen Weg, der vertrauliche den lokalen. Zwei Wege sind kein Makel, sondern eine Architekturentscheidung.
Was ich Unternehmen rate
Nicht mit der Frage „lokal oder Cloud" anfangen. Anfangen mit: Welche Verarbeitungen brauchen wir überhaupt, und welche Daten fließen durch jede einzelne? Danach fällt die Entscheidung meist von allein – und häufig anders, als sie am Anfang des Gesprächs erwartet wurde.
Was dabei auch herauskommen darf: Für einen großen Teil dessen, was Unternehmen mit AI vorhaben, ist Vertraulichkeit gar nicht das Problem. Sie wird nur zuerst genannt, weil sie sich leichter aussprechen lässt als „wir wissen nicht, wo unsere Daten liegen". Das ist dann das eigentliche Projekt – und es hat mit Modellen wenig zu tun.