Was ist ein KI-Modell? Was es kann, was es nicht weiß und wer es baut

Wer sich mit KI für die Kanzlei beschäftigt, stößt schnell auf das Wort „Modell“: ChatGPT nutzt ein Modell von OpenAI, KanzKI lässt die Kanzlei zwischen zwei Modellen wählen, und alle paar Monate erscheint ein neues mit einem Namen wie GPT-5.6 Sol oder Mistral Large 3. Dieser Leitfaden erklärt, was ein KI-Modell ist, was es weiß und was nicht, wer die Modelle baut und was das für die Arbeit mit Mandantenunterlagen bedeutet.

Das Modell schreibt die Antwort, mehr nicht

Ein KI-Modell ist der Teil, der den Text schreibt. Es ist beim Training aus sehr vielen Texten entstanden und hat dabei gelernt, welches Wort auf welches folgt; eine Antwort setzt es Wort für Wort so zusammen, dass sie zur Frage und zu allem passt, was es gelesen hat. Die Bundessteuerberaterkammer (BStBK) beschreibt generative KI in ihrem FAQ als Modelle, die aus Beispieldaten Muster lernen und daraus neue Inhalte erzeugen, die den Trainingsdaten ähneln, aber nicht mit ihnen identisch sind.

Was ein Modell nicht ist, ist ebenso wichtig. Es ist keine Datenbank, in der Ihre Mandanten stehen, und es ist kein DATEV. Es weiß nichts über Ihre Kanzlei, Ihre Mandanten oder den Bescheid, der heute gekommen ist, solange man ihm nichts davon gibt.

Deshalb besteht ein KI-Assistent wie KanzKI aus zwei Teilen. Die Anwendung hält die Unterlagen auf dem Server der Kanzlei in Deutschland, sucht zu einer Frage die passenden Stellen heraus und stellt dem Modell die Frage zusammen mit diesen Stellen. Das Modell liest das und schreibt die Antwort. Angehängte Dokumente gehen dabei bis etwa 150 Seiten vollständig an das Modell; das ganze Archiv der Kanzlei verlässt den Server nie. Das Lesen gescannter Dokumente und die Suche nach den passenden Stellen erledigt in KanzKI in jedem Fall Mistral; die Wahl des Modells betrifft nur den Schritt, in dem die Antwort geschrieben wird.

Wer die Modelle baut und was die Namen bedeuten

Die großen Modelle kommen von wenigen Unternehmen. OpenAI mit Sitz in San Francisco ist das Unternehmen hinter ChatGPT; für Nutzer im Europäischen Wirtschaftsraum nennt seine Datenschutzerklärung OpenAI Ireland. Seine Modelle heißen GPT, zum Beispiel GPT-5.6 Sol, GPT-6 Luna oder GPT-6.1 Sol. Mistral AI sitzt in Paris; sein großes Modell heißt Mistral Large 3. Anthropic aus den USA, mit Anthropic Ireland als Vertragspartner für Kunden im Europäischen Wirtschaftsraum, nennt seine Modelle Claude, etwa Claude Sonnet 5.

Ein Modellname besteht meist aus drei Teilen: der Modellfamilie des Herstellers (GPT, Mistral, Claude), einer Größen- oder Reihenbezeichnung (Large, Sonnet) und einer Versionsnummer (5.6, 3, 5). Eine höhere Nummer ist eine neuere Fassung, aber nicht für jede Aufgabe die bessere: In unserem Vergleich antworteten die neueren GPT-6.1 Sol und GPT-6 Luna ohne Internet auf Fragen zu aktuellen Werten schlechter als das ältere GPT-5.6 Sol.

Neue Fassungen erscheinen laufend. Mistral Large 3 wurde am 2. Dezember 2025 veröffentlicht, Claude Sonnet 5 am 30. Juni 2026, und schon im Oktober 2026 führt Anthropic es als Vorgängermodell von Claude Sonnet 5.5. Der Name eines Modells ist also eine Momentaufnahme. Wer eine Anwendung auswählt, sollte wissen, welches Modell darin antwortet; in KanzKI steht das auf der Seite „KI-Modell“ unter Verwaltung.

Ein Modell hat einen Redaktionsschluss

Ein Modell lernt einmal, beim Training, aus Texten bis zu einem Stichtag. Danach ändert es sich nicht mehr, bis der Hersteller eine neue Fassung veröffentlicht. Das ist wie bei einem gedruckten Kommentar: Was nach dem Redaktionsschluss beschlossen wurde, steht nicht darin. OpenAI gibt für GPT-5.6 Sol den 16. Februar 2026 als Wissensstichtag an, Anthropic für Claude Sonnet 5 den Januar 2026. Für Mistral Large 3 nennt die Modellseite keinen Stichtag.

Was das in der Praxis bedeutet, zeigte unser Vergleich an der Einspruchsfrist. Nach § 355 der Abgabenordnung ist der Einspruch innerhalb eines Monats nach Bekanntgabe des Bescheids einzulegen. Kommt der Bescheid mit der Post, gilt er nach § 122 Absatz 2 Nummer 1 der Abgabenordnung bei einer Übermittlung im Inland am vierten Tag nach der Aufgabe zur Post als bekannt gegeben, außer wenn er nicht oder später zugegangen ist. Früher waren es drei Tage. Ohne Unterlage nannten Mistral Large 3 und Claude Sonnet 5 in allen sechs Antworten den dritten Tag, also die frühere Fassung; die Modelle von OpenAI nannten den vierten. Sobald der Bescheid mit seiner Rechtsbehelfsbelehrung angehängt war, lasen alle Modelle die vier Tage richtig.

Zum Stichtag passt auch das zweite Beispiel: Den Basiszinssatz, den die Bundesbank zum 1. Juli 2026 bekannt gab, kannte GPT-5.6 Sol ohne Internet nicht und hielt den 1. Juli 2026 für Zukunft; mit eingeschalteter Internetsuche stimmte die Antwort.

Daraus folgt eine einfache Regel: Bei allem, was sich ändern kann, gehört die Unterlage an die Frage oder die Frage auf die Vorschrift selbst. KanzKI hält dafür Gesetze und Urteile des Bundesfinanzhofs auf dem Server der Kanzlei bereit; mit der Internetsuche, die die Kanzlei freischalten kann, kommen aktuelle Werte dazu.

Warum eine angehängte Unterlage so viel ausmacht

Hängt man dem Modell ein Dokument an, liest es, was darin steht, und nennt die Fundstelle. In unserem Vergleich fanden alle fünf Modelle den Grundbesitzwert und den Rechenweg im Bescheid, und die Fundstelle zeigte auf die richtige Seite. Das ist der Unterschied zwischen Lesen und Erinnern: Beim Lesen steht die Antwort vor dem Modell, beim Erinnern setzt es sie aus dem zusammen, was es beim Training gesehen hat.

Dieses Erinnern hat eine Schwäche, die man kennen sollte. Die BStBK nennt sie „Halluzinationen“: Das Modell füllt inhaltliche Lücken mit plausibel klingenden, aber unrichtigen Angaben, zum Beispiel mit Zitaten zu Urteilen, die es nicht gibt. In unserem Vergleich berief sich Mistral Large 3 ohne jede Unterlage auf eine „interne Kanzleirichtlinie ‚Fristen im Steuerrecht‘“ unserer Demo-Kanzlei, samt Fußnote, obwohl es diese Richtlinie nicht gibt. Bei den Fragen zu aktuellen Werten stand in 17 von 27 Antworten eine Fußnote auf ein Dokument, das nicht existiert. Die Modelle von OpenAI und Anthropic sagten dagegen in der Regel, wenn ihnen eine Angabe fehlte.

Das Modell lügt dabei nicht, es tut, wofür es gebaut ist: einen passenden Text schreiben. Die Vorsorge ist dieselbe wie bei einem neuen Mitarbeiter: Geben Sie ihm die Unterlage, verlangen Sie die Fundstelle und sehen Sie dort nach. Die BStBK formuliert es als Pflicht: Durch KI erzeugte Arbeitsergebnisse sind vom Berufsträger stets sorgfältig auf ihre fachliche Richtigkeit zu prüfen; nennt die KI einen Paragrafen, ist er im Gesetz nachzusehen. Eine Antwort mit Fundstelle macht diese Prüfung kurz.

Training mit Ihren Daten ist etwas anderes als Speicherung

Zwei Fragen werden oft vermischt. Die erste: Lernt das Modell aus dem, was ich eingebe? Die zweite: Bewahrt der Anbieter auf, was ich eingebe?

Training heißt, dass der Hersteller Eingaben sammelt und beim Bau der nächsten Modellfassung mitverwendet. Die BStBK weist darauf hin, dass das zumindest bei kostenlosen Anwendungen oftmals geschieht und sich bei Geschäftskonten ausschließen lässt. OpenAI verwendet Eingaben über seinen Dienst für Geschäftskunden nach eigener Angabe seit dem 1. März 2023 standardmäßig nicht zum Training; bei Mistral lässt sich das beim bezahlten Zugang abschalten; Anthropic tut es standardmäßig nicht.

Speicherung ist die andere Frage. Auch ein Anbieter, der nicht trainiert, kann Anfragen eine Zeit lang aufbewahren, meist zur Kontrolle von Missbrauch: OpenAI bis zu 30 Tage, Mistral 30 Tage. Erst eine Vereinbarung namens Zero Data Retention sorgt dafür, dass Frage und Unterlagen nach der Antwort nicht aufbewahrt werden. OpenAI richtet sie nur nach vorheriger Freigabe ein, Mistral auf Antrag. Für beide Modelle, die KanzKI anbietet, ist sie eingerichtet; was sie genau bedeutet und was sie nicht abdeckt, erklärt der Leitfaden zur Zero Data Retention.

Welches Modell in KanzKI antwortet

Zero Data Retention bei KanzKI: Mistral ✅ OpenAI ✅

Die Kanzlei wählt in KanzKI unter Verwaltung → KI-Modell zwischen zwei Modellen und kann die Wahl jederzeit ändern.

Mistral Large 3 ist voreingestellt. Mistral ist ein europäisches Unternehmen mit Sitz in Paris und verarbeitet standardmäßig in der EU; eine Vertragsergänzung ist dafür nicht nötig. In unserem Vergleich war es bei einzelnen Werten und Rechenwegen aus einer Unterlage so zuverlässig wie die anderen Modelle, bei Ranglisten über viele Seiten, bei Fragen ohne Unterlage und beim Hinweis auf fehlende Seiten schwächer.

GPT-5.6 Sol von OpenAI gehörte in unserem Vergleich zu den genauesten Modellen: Es beantwortete alle 30 Fragen zu Unterlagen vollständig richtig, sagte in jeder Antwort, wenn eine Angabe fehlte, und kannte ohne Internet die meisten aktuellen Werte. KanzKI ruft es ausschließlich über die Europa-Region von OpenAI auf, so dass die Verarbeitung in Europa bleibt. Weil OpenAI seinen Sitz in den USA hat, verlangt KanzKI vor der Wahl die Zustimmung zu der Fassung des Vertrags zur Auftragsverarbeitung, die OpenAI nennt; das geschieht beim Anmelden mit einem Klick. Die Prüfung nach § 62a des Steuerberatungsgesetzes, ob der Schutz der Geheimnisse beim Dienstleister im Ausland dem im Inland vergleichbar ist, bleibt Sache der Kanzlei. Nur mit diesem Modell gibt es die Internetsuche.

Bei beiden Modellen werden Fragen und Unterlagen beim Anbieter nicht gespeichert und nicht zum Training verwendet. Anthropic bietet KanzKI nicht an; Claude Sonnet 5 stand im Test nur als dritter Anbieter zum Vergleich. Die Zahlen hinter diesen Sätzen, die Fragen, die Unterlagen und jede einzelne Antwort stehen im Leitfaden KI-Modelle im Vergleich.