Vision Language Model

Was ein Vision Language Model ist

Ein Vision Language Model, kurz VLM, ist ein KI-Modell, das Computer Vision und Sprachverständnis in einer einzigen Architektur vereint. Ein VLM behandelt Bild und zugehörigen Text nicht als zwei getrennte Aufgaben. Stattdessen nimmt es ein Dokumentenbild entgegen, kodiert das Gesehene und erschließt den Inhalt in natürlicher Sprache. So beantwortet das Modell Fragen zur Seite, extrahiert strukturierte Felder, fasst Inhalte zusammen oder markiert Auffälligkeiten, und das alles direkt aus dem Rohbild.

Für Finanzteams ist der praktische Nutzen leicht erklärt. Ein VLM betrachtet eine Rechnung, den Screenshot einer Zahlungsavis-E-Mail oder ein mehrseitiges Beleg-Paket zur Abzugsklärung und erkennt, was jedes Element ist und wie die Elemente zusammenhängen. Es liest nicht einfach nur Zeichen. Es versteht, dass die Zahl unter den Worten Total Due der Rechnungsbetrag ist, dass eine handschriftliche Notiz am Rand ein Kundenkommentar ist und dass ein Stempel in der Ecke die Freigabe des Dokuments anzeigt.

VLM vs. OCR vs. LLM

Dieser Dreiervergleich ist wichtig, weil Finanzverantwortliche diese Begriffe oft synonym verwenden, obwohl sie nicht dasselbe bezeichnen.

• OCR wandelt Pixel in Zeichen um. Es gibt reine Textzeichenfolgen aus, ohne deren Bedeutung zu erfassen. Moderne OCR arbeitet schnell und günstig, stößt aber an Grenzen, sobald Layouts variieren, Scans an Qualität verlieren oder Handschrift ins Spiel kommt.
• LLM, also Large Language Model, arbeitet ausschließlich mit Text. Es kann Wörter und Zahlen verarbeiten, sobald diese als Text vorliegen, ein Bild selbst erkennt es jedoch nicht. Um ein LLM auf eine gescannte Rechnung anzuwenden, müssen Sie diese zuerst durch OCR laufen lassen.
• VLM vereint beide Fähigkeiten. Es verarbeitet das Bild direkt, versteht räumliche Zusammenhänge und liefert fundierte Ergebnisse. Es gibt keinen separaten OCR-Schritt, keine Layout-Heuristiken, die Sie pflegen müssen, und keinen Informationsverlust zwischen den einzelnen Stufen.

Bei variablen Debitorenbelegen sprechen die Benchmark-Zahlen eine klare Sprache. Reine OCR erreicht eine Feldgenauigkeit von 75 bis 85 Prozent, und zwar bei genau den Rechnungen, Schecks und Zahlungsavis in gemischten Formaten, die Finanzteams in der Praxis erhalten. VLMs erreichen bei denselben Belegen 95 bis 99 Prozent. Bei mehrzeiligen Tabellen, in denen Positionen umbrechen oder Spalten verrutschen, fällt OCR auf 60 bis 75 Prozent, während VLMs stabil bei 95 bis 97 Prozent bleiben. Bei Handschrift wird der Abstand noch größer: OCR liegt bei rund 40 bis 60 Prozent, VLMs bei 85 bis 95 Prozent.

Wie VLMs technisch funktionieren

Ein VLM besteht im Kern aus drei Komponenten, die zusammenspielen.

• Ein visueller Encoder, meist ein Vision Transformer, zerlegt das Bild in einzelne Ausschnitte und wandelt jeden davon in ein numerisches Embedding um. So bildet das Modell ab, was es sieht.
• Ein Sprachmodell verarbeitet den jeweiligen Text-Prompt und nimmt die visuellen Embeddings parallel dazu auf. Die beiden Ströme werden nicht einfach naiv aneinandergehängt, sondern über Cross-Attention-Schichten verschmolzen. So kann die Sprachseite die visuelle Seite abfragen und umgekehrt.
• Ein Decoder erzeugt die Ausgabe, sei es strukturiertes JSON, eine Antwort in natürlicher Sprache oder einen schrittweisen Argumentationsverlauf.

Dank dieser Architektur beantwortet das Modell Fragen wie Wie hoch ist der nach Abzügen fällige Nettobetrag?: Es betrachtet die relevante Region der Seite, liest die Beschriftungen aus, führt die Rechnung durch und gibt den Wert zurück. Zu den führenden VLMs, die Unternehmen 2026 zur Verfügung stehen, zählen Claude von Anthropic, GPT-4o von OpenAI, Gemini von Google sowie Open-Source-Modelle wie LLaVA, Qwen-VL und InternVL für Teams, die eine On-Premise-Bereitstellung benötigen.

Wo VLMs in der Debitorenbuchhaltung und im Order-to-Cash den Unterschied machen

Mit VLMs lassen sich genau die Dokumente automatisieren, an denen klassische Verarbeitungsketten schon immer gescheitert sind. In der Debitorenbuchhaltung zahlen sich vor allem diese Anwendungsfälle aus:

• Rechnungen auslesen aus gescannten PDFs, auch aus schlechten Scans, Faxen und Fotos, die mit dem Smartphone aufgenommen wurden.
• Zahlungsavise auslesen aus unstrukturierten Formaten, etwa E-Mail-Texten, angehängten Tabellen, Screenshots aus Kundenportalen und gedruckten Zahlungsavisen.
• Scheckbilder verarbeiten, samt handschriftlich ausgefüllter Felder für Zahlungsempfänger, Betrag und Verwendungszweck.
• Belegpakete zu Abzügen, die einen Frachtbrief, ein Reklamationsformular, die zugehörigen Rechnungen und Fotos als Liefernachweis in einer einzigen PDF-Datei bündeln. Das VLM erkennt jeden Dokumenttyp und zieht die relevanten Felder aus jedem einzelnen heraus.
• Liefernachweise auswerten anhand von Fotos unterschriebener Belege, selbst wenn die Bilder verblasst oder schräg aufgenommen sind.
• Portal-Screenshots auslesen, wenn ein Kunde keine API bereitstellt und sich die Zahlungsdaten nur per Bildschirmaufnahme erfassen lassen.

Produktivbetrieb als gesteuertes Hybridmodell

VLMs sind leistungsstark, arbeiten aber langsamer und kosten pro Seite mehr als klassische OCR. Ein sauberes elektronisches PDF verarbeitet OCR in Millisekunden für den Bruchteil eines Cents. Über ein VLM kostet dasselbe Dokument schnell mehrere Cent und dauert Sekunden. Produktive Debitorensysteme steuern deshalb danach, wie komplex ein Beleg ist und wie sicher er erkannt wurde.

Eine typische KI-native Pipeline führt zunächst auf jeder Seite OCR aus. Ist die OCR-Konfidenz hoch und passt der Beleg zu einer bekannten Vorlage, erledigt der günstige Weg die Aufgabe. Sinkt die Konfidenz, ist das Layout neuartig, erkennt das System Handschrift oder liegt ein mehrseitiges Belegpaket vor, leitet es die Seite an das VLM weiter. Das VLM liefert strukturierte Felder samt eigener Konfidenzwerte zurück, die in die nachgelagerte Logik für automatischen Zahlungsabgleich und Rechnungsabgleich einfließen. So entsteht ein System, das den Kostenvorteil von OCR bei den einfachen 70 bis 80 Prozent des Volumens nutzt und die VLM-Fähigkeiten auf den Long Tail konzentriert, der heute tatsächlich manuelle Arbeit verursacht.

Grenzen und notwendige Leitplanken

VLMs sind kein Allheilmittel. Finanzteams sollten sie mit offenen Augen einführen.

• Kosten und Latenz sind real. Rechnen Sie mit mehreren Cent pro Seite und ein bis mehreren Sekunden Verarbeitungszeit. Stapelverarbeitung und Prompt-Caching senken beides.
• Das Halluzinationsrisiko besteht. Bei mehrdeutigen Seiten kann ein VLM eine plausible, aber falsche Zahl ausgeben. Prüfen Sie jeden extrahierten Wert deterministisch gegen: Summen müssen stimmen, Datumsangaben müssen sich einlesen lassen, Debitorennummern müssen mit dem Stammdatensatz übereinstimmen.
• Das Kontextfenster hat Grenzen. Sehr lange, mehrseitige Belegpakete müssen Sie unter Umständen aufteilen und in Teilen verarbeiten.
• Nachvollziehbarkeit ist in Finanzteams nicht verhandelbar. Jede Extraktion muss Modellversion, Prompt-Vorlage und Confidence-Score festhalten. Unterschreitet der Wert einen definierten Schwellenwert, muss das System automatisch eine manuelle Prüfung durch einen Menschen auslösen.

Richtig umgesetzt, hebt ein VLM-gestützter Debitoren-Stack die Quoten der Dunkelverarbeitung von der für reine OCR-Systeme typischen Obergrenze von 60 bis 70 Prozent auf 90 bis 95 Prozent, und das mit lückenloser Nachvollziehbarkeit für jede Entscheidung.

Häufig gestellte Fragen

Worin unterscheidet sich ein VLM von OCR?

OCR wandelt Pixel in Zeichen um, und damit hat es sich. Es versteht weder, was die Zeichen bedeuten, noch, wie sie auf der Seite zusammenhängen. Ein VLM dagegen versteht das Dokument. Es sieht das Bild und erkennt: Eine Zahl unter der Bezeichnung „Total Due“ ist der Rechnungsbetrag, eine handschriftliche Notiz ist eine Kundenanmerkung, ein Stempel signalisiert eine Freigabe. Bei variablen Debitorendokumenten erreichen VLMs eine Feldgenauigkeit von 95 bis 99 Prozent, OCR dagegen nur 75 bis 85 Prozent. Bei Tabellen und Handschrift wird der Abstand sogar noch größer.

Brauche ich OCR noch, wenn ich ein VLM habe?

Ja, in den meisten Produktivsystemen. VLMs sind pro Seite langsamer und teurer als klassische OCR. Üblich ist deshalb ein Hybridmodell mit intelligenter Weiterleitung: OCR verarbeitet den Großteil der sauberen elektronischen PDFs für einen Bruchteil eines Cents pro Seite, und das System eskaliert nur dann an ein VLM, wenn die Konfidenz niedrig ist, das Layout neu ist, Handschrift vorkommt oder ein komplexes mehrseitiges Dokumentenpaket vorliegt. So sichern Sie sich den Kostenvorteil von OCR und setzen die VLM-Genauigkeit genau dort ein, wo es darauf ankommt.

Welche VLMs setzen Unternehmen 2026 ein?

Die führenden kommerziellen VLMs sind Claude von Anthropic, GPT-4o von OpenAI und Gemini von Google. Teams, die eine On-Premise- oder selbst gehostete Bereitstellung brauchen, greifen zu Open-Source-Optionen wie LLaVA, Qwen-VL und InternVL. Welches Modell passt, hängt von der Genauigkeit bei Ihrem Dokumentenmix ab, von den Latenzanforderungen, den Vorgaben zur Datenresidenz und vom Preis pro Seite bei Ihrem erwarteten Volumen.

Kann ein VLM Handschrift lesen?

Ja, und das ist einer der größten Vorteile von VLMs. Bei handschriftlichen Scheckfeldern, unterschriebenen Liefernachweisen und Randnotizen auf Rechnungen erreichen moderne VLMs eine Genauigkeit von 85 bis 95 Prozent. Klassische OCR kommt bei denselben Inhalten meist nur auf 40 bis 60 Prozent. Der Unterschied entsteht, weil das Modell den umgebenden Kontext nutzt, um Zeichen eindeutig zuzuordnen, statt jedes Zeichen für sich zu lesen.

Was kostet ein VLM pro Seite?

Rechnen Sie bei kommerziellen VLMs mit einigen Cent pro Seite bei üblichen Debitorendokumentgrößen, gegenüber Bruchteilen eines Cents bei OCR. Die Kosten sinken durch Stapelverarbeitung, Prompt-Caching und selektive Weiterleitung. Die Rechnung geht auf, weil Sie VLMs nur den Dokumenten vorbehalten, die Sie sonst von Hand bearbeiten müssten. Und eine manuelle Prüfung kostet weit mehr als die Inferenz.

Wie verhindere ich, dass ein VLM Zahlen auf einer Rechnung halluziniert?

Behandeln Sie das VLM als Vorschlaggeber und eine deterministische Schicht als Prüfinstanz. Jede extrahierte Zahl prüfen Sie gegen Regeln: Die Positionen müssen sich zur Zwischensumme addieren, Zwischensumme plus Steuer muss dem Gesamtbetrag entsprechen, Datumsangaben müssen sich einlesen lassen, Debitorennummern müssen mit dem Stammdatensatz übereinstimmen. Für jedes Feld erfassen Sie Konfidenzwerte, und alles unterhalb des Schwellenwerts geht in die manuelle Prüfung. Modellversion, Prompt-Vorlage und Zeitstempel speichern Sie zu jeder Extraktion. So bleibt der Audit-Trail vollständig.