KI-Sprachmodelle

02Wie es funktioniert

Ein Sprachmodell arbeitet mit Tokens, kleinen Textstücken, oft einem Wort oder einem Wortteil. Zu einem gegebenen Text berechnet es, welches Token am wahrscheinlichsten als Nächstes kommt, hängt es an und wiederholt das. Die Antwort entsteht Token für Token.

Das Modell kennt nur, was es im Training gelernt hat und was ihm in der Anfrage mitgegeben wird. Auf Ihre Dateien oder Systeme hat es keinen Zugriff, solange eine Anwendung ihm diese Informationen nicht übergibt. Eine Geschäftsanwendung arbeitet deshalb meist in zwei Schritten: Zuerst sucht sie in den eigenen Daten die passenden Stellen, dann gibt sie diese Stellen zusammen mit der Frage an das Modell. Das Modell antwortet aus dem, was es bekommen hat, und kann sagen, woher jede Aussage stammt.

Von sich aus erinnert sich das Modell nicht an frühere Anfragen. Jede Anfrage wird für sich verarbeitet, und die Anwendung entscheidet, welchen Zusammenhang sie mitschickt.

03Wofür sie gut sind

Sprachmodelle sind stark bei Arbeit, für die früher jemand Texte durchlesen musste. Typische Einsätze im Unternehmen:

• Eingehende E-Mails oder Supportanfragen nach Thema und Dringlichkeit sortieren, mit einem Antwortentwurf.
• Zahlen und Aussagen aus Berichten, Verträgen oder Präsentationen herausziehen.
• Ein Dokument über seinen Inhalt finden, wenn sich niemand an den Dateinamen erinnert.
• Lange Dokumente oder Besprechungsnotizen zusammenfassen.
• Bilder auf Folien oder Fotos beschreiben, damit sie durchsuchbar werden.
• Fragen zu den eigenen Unterlagen eines Unternehmens beantworten, mit Links zur Quelle.

04Ihre Grenzen

Ein Sprachmodell kann etwas Falsches mit voller Überzeugung behaupten. Das nennt man Halluzination. Am häufigsten passiert es, wenn das Modell nach etwas gefragt wird, das ihm nicht mitgegeben wurde und das es nicht weiß.

Eine Anwendung kann das stark verringern: indem sie dem Modell die passenden Dokumente mitgibt, es anweist, nur daraus zu antworten, und neben jeder Antwort die Quelle zeigt, damit ein Mensch sie mit einem Klick prüfen kann. Bei Entscheidungen mit Folgen sollte ein Mensch das Ergebnis prüfen, bevor es verwendet wird.

Rechnen ist auch nicht ihre Stärke. Summen und Kennzahlen berechnet die Anwendung, das Modell formuliert nur das Ergebnis.

05Datenschutz und Training

Die größte Sorge von Unternehmen ist, was mit den Daten geschieht, die an ein Modell gehen. Die Antwort hängt vom Anbieter und vom Vertrag ab.

Kostenlose und private Versionen von Chat-Werkzeugen können Unterhaltungen für das Training künftiger Modelle nutzen. Die Geschäftsangebote und der API-Zugang der großen Anbieter schließen das Training mit Kundendaten vertraglich aus. Unterschiede gibt es außerdem darin, wo die Daten verarbeitet werden und wie lange Anfragen aufbewahrt werden, etwa zur Missbrauchserkennung.

Über Cloud-Anbieter lassen sich die großen Modelle mit Verarbeitung in der EU nutzen: Claude über Amazon Bedrock, die Modelle von OpenAI über Microsoft Azure, Gemini über Google Cloud. Werden personenbezogene Daten verarbeitet, ist mit dem Anbieter ein Auftragsverarbeitungsvertrag nach Art. 28 DSGVO nötig.

06Kosten

Über eine API werden Modelle nach Verbrauch abgerechnet: je Token, das an das Modell geht, und je Token, das es zurückschreibt. Größere, leistungsfähigere Modelle kosten pro Token mehr als kleinere, schnellere.

Die Kosten hängen deshalb davon ab, wie viel Text eine Anwendung verarbeitet. Nur die passenden Stellen statt ganzer Dokumente zu schicken, ein kleineres Modell zu nehmen, wo es ausreicht, und ein Dokument einmal statt bei jeder Frage zu verarbeiten, hält die Rechnungen niedrig. Wir schätzen die laufenden Kosten einer Anwendung, bevor sie gebaut wird, und setzen beim Anbieter Ausgabengrenzen.

07Wie wir sie nutzen

Wir rufen Modelle nur über Anbieter auf, die die Daten in der EU verarbeiten und das Training damit vertraglich ausschließen. Kadvern One, unser eigenes Betriebssystem, betreibt seinen Assistenten mit Claude über Amazon Bedrock in Frankfurt. Für eine Dokumentensuche, die wir für einen Kunden bauen, nutzen wir die Modelle von OpenAI über Microsoft Azure mit Verarbeitung ausschließlich in der EU.

KI-Antworten in unseren Anwendungen nennen ihre Quelle, damit die lesende Person sie prüfen kann. Der Code einer Anwendung bleibt unabhängig von einem einzelnen Anbieter, sodass sich das Modell später austauschen lässt, wenn ein besseres oder günstigeres erscheint.

Auch unseren Code schreiben wir mit KI-Agenten. Wie sie gegenseitig ihre Arbeit prüfen, steht im Abschnitt zur Arbeitsweise auf unserer Startseite.

Häufige Fragen