Technik
· 6 Min. Lesezeit

104 Sprachen im Vokabular: unsere KI in einem Browser-Tab

Von Amine Gaaliche · Entwurf mit Claude erstellt, von Hand geprüft und redigiert

Unser Erkennungsmodell für die kostenlose Browser-Anwendung enthielt bis August ein Vokabular für 104 Sprachen. Angeboten wurden in promptShield damals sieben. Wir haben die übrigen Wortstücke gestrichen, und das Modell schrumpfte von 178,5 MB auf 139,6 MB. Die Ausgabe blieb dabei identisch.

Warum das Modell im Browser liegt

Ein Server wäre bequemer gewesen, denn dort muss niemand ein Modell herunterladen. Dann müsste aber jedes Dokument zu uns. Wer personenbezogene Daten durch einen Dienstleister verarbeiten lässt, braucht nach Art. 28 DSGVO einen Auftragsverarbeitungsvertrag, einen Eintrag im Verarbeitungsverzeichnis und im Zweifel eine Erklärung gegenüber einer Landesdatenschutzbehörde oder dem BfDI.

Für Berufsgeheimnisträger gilt zusätzlich § 203 StGB, unabhängig von DSGVO und BDSG. Er erlaubt mitwirkende Dienstleister nur unter Bedingungen: sorgfältige Auswahl, eine Geheimhaltungspflicht in Textform, Beschränkung auf das Erforderliche.

Läuft die Erkennung auf Ihrem Rechner, erreicht uns der Dokumentinhalt nie, und für ihn entsteht keine Auftragsverarbeitung. Den Preis zahlt jeder Besucher mit dem Download des Modells.

Zu jeder Zahl nennen wir den Test, der sie hätte widerlegen können. Kürzen dürfen wir das Modell, weil es unser eigenes ist. Warum wir eine eigene Erkennung gebaut haben, beschreiben wir an anderer Stelle.

Was im Vokabular steckte

Ein Modell aus der BERT-Familie liest Text in Wortstücken. Aus „Mietvertrag“ wird je nach Vokabular ein Stück oder eine Folge wie „Miet“ und „##vertrag“. Jedes Stück hat einen Eintrag im Vokabular und eine Zeile Zahlen in der Einbettungstabelle. Ein mehrsprachiges Vokabular braucht Stücke für Devanagari, Hangul, Thai, Kyrillisch und Arabisch und wird dadurch groß.

promptShield bot damals sieben Sprachen: Deutsch, Englisch, Französisch, Spanisch, Italienisch, Niederländisch und Portugiesisch. Das Vokabular für die übrigen 97 lag trotzdem in jedem Download und wurde nie gelesen.

Eine Steuerberaterin in Bielefeld lud so Georgisch, Telugu und Tagalog mit herunter und bezahlte dafür mit Wartezeit und Datenvolumen. Wir hatten das Modell so ausgeliefert, wie es aus dem Training kam.

Wer ein Modell verkleinert, rechnet meist mit ungenaueren Zahlen, streicht Schichten oder trainiert ein kleineres Modell. Jeder dieser Wege kostet Genauigkeit. Nie gelesenes Vokabular lässt sich dagegen streichen, ohne dass sich die Rechnung für die übrigen Stücke ändert. Soweit die Theorie.

Der Test, der uns hätte widerlegen können

An zwei Stellen kann das Streichen doch etwas verändern. Fehlt dem Tokenizer, der den Text zerlegt, nach dem Schnitt ein Stück, zerlegt er ein Wort anders. Außerdem erhält jedes verbliebene Stück eine neue Position, und ein einziger Versatz ließe das Modell ein Wort als ein anderes lesen.

Wir haben beides geprüft, mit beiden Modellen nebeneinander auf denselben 77 Dokumenten in den sieben Sprachen. Verglichen wurde erst die Zerlegung, Stück für Stück, dann jede erkannte Entität. Es gab keine Unterschiede bei der Zerlegung und keine Unterschiede bei 2.219 erkannten Entitäten. Die Ausgabe des gekürzten Modells ist identisch.

Wir schreiben bewusst „identisch“. „Nahezu gleich“ ließe sich nicht widerlegen und legte nahe, wir hätten Genauigkeit gegen Größe getauscht. 77 Dokumente beweisen nichts über alle denkbaren Texte. Ein einziges Gegenbeispiel könnte die Messung aber widerlegen: ein Dokument in einer der sieben Sprachen, das ein gestrichenes Wortstück braucht.

Nicht abgedeckt ist Text in einer Schrift, die keine der sieben Sprachen verwendet. Einen Namen in arabischer oder thailändischer Schrift liest das gekürzte Modell schlechter. Wie gut das ursprüngliche Modell ihn gelesen hätte, haben wir nicht gemessen.

Das kleinere Modell, das wir abgelehnt haben

Wir haben auch ein kleineres Modell getestet. Ein DistilBERT derselben Familie, eine destillierte Fassung mit sechs Schichten, wäre mit rund 70 MB statt rund 100 MB übertragen worden. Auf unserem kuratierten Prüfkorpus erreichte es aber 73,5 % gegenüber 77,2 % beim ausgelieferten Modell.

Als Durchschnitt wirkt das klein. Nach Sprachen aufgeschlüsselt lag DistilBERT im Spanischen 22 Prozentpunkte zurück, im Deutschen 13. Der Mittelwert verdeckt diesen Einbruch, eine spanische Kanzlei spürt ihn bei jedem Dokument.

Außerdem stimmte DistilBERT nur bei 76 % der Funde mit dem ausgelieferten Modell überein. Es fand ungefähr gleich viele Entitäten, aber zu rund einem Viertel andere. Ein Modell, das weniger findet, kann man gezielt nachprüfen, eines mit Fehlern an unvorhersehbaren Stellen kaum.

Gespart hätten wir 30 MB beim ersten Öffnen. Bezahlt hätte das eine Kanzlei in Madrid oder Sevilla, mit fehlenden Funden. Das gestrichene Vokabular hat in unserer Messung dagegen niemand vermisst.

Was Sie davon bei der Arbeit merken

Das Modell ist nur eine Schicht der Erkennung. Präzise Muster finden Werte mit fester Form wie IBAN, Steuer-Identifikationsnummer oder Sozialversicherungsnummer, unabhängig vom Vokabular. Das Entitätenmodell sucht Namen, Firmen und Anschriften und lässt sich je Installation wählen. Eine Prüfung durch ein Sprachmodell ist möglich, ab Werk aber ausgeschaltet.

Die Ergebnisse werden zusammengeführt, bereinigt und über die Seiten übertragen, sodass ein Name von Seite 1 auch auf Seite 4 markiert wird. Danach werden Fehltreffer herausgefiltert. Kein lokales Modell erkennt jede Angabe, deshalb gehört das Überprüfen der Funde zum Ablauf.

Gescannte Seiten rendert die Desktop-Anwendung mit 300 dpi und liest sie mit Tesseract in der Dokumentsprache und zusätzlich auf Englisch. Sie deckt die Bildbereiche mit personenbezogenen Daten ab und legt darunter eine durchsuchbare Textschicht an. Sprachpakete gibt es für diese sieben Sprachen und für Polnisch, und mit dem falschen Paket liest Tesseract schlecht, ohne Warnung.

Beim Vokabular durfte weg, was niemand braucht. Für die Texterkennung muss das passende Sprachpaket da sein.

Ihr Dokument verlässt in beiden Anwendungen den Rechner nicht. Die Browser-Anwendung sendet beim Start einen anonymen Aufruf ohne Dokumentinhalt, darum gilt „100 % offline“ nur für die Desktop-Anwendung. Deren abgeschotteter Betrieb ohne Lizenzabfrage und ohne Fehlerberichte gehört zum Tarif Pro.

Die Codes der Browser-Anwendung entstehen nach demselben Verfahren wie auf dem Desktop, mit einem eigenen Schlüssel des Browsers. Sie haben also die Form, die das Produkt tatsächlich ausgibt. Das Dekodieren ist in der Desktop-Anwendung ein lokaler Aufruf an eine mitgelieferte Komponente und kein Internetdienst.

Häufige Fragen

Kostet das Kürzen des Vokabulars Genauigkeit?

Nach unserer Messung nicht. Auf 77 Dokumenten in sieben Sprachen gab es keine Unterschiede bei der Zerlegung und keine bei 2.219 erkannten Entitäten. An den Schichten des Modells hat sich nichts geändert.

Warum nicht einfach ein kleineres Modell?

Wir haben es gemessen. Ein sechsschichtiges DistilBERT wäre mit rund 70 statt rund 100 MB ausgekommen, erreichte aber 73,5 % statt 77,2 %. Es verlor im Spanischen 22 und im Deutschen 13 Prozentpunkte und stimmte nur bei 76 % der Funde mit unserem Modell überein.

Was passiert mit einer Sprache, die entfernt wurde?

Wir haben nach Schriftsystem gestrichen. Namen in Schriften wie Arabisch oder Thai werden jetzt schlechter erkannt, eine IBAN erfassen die Muster weiterhin. Achten Sie beim Überprüfen gerade auf solche Stellen.

Knapp 39 MB des Modells brauchte niemand. Dass sie sich entfernen ließen, ohne dass sich in 77 Dokumenten ein Fund änderte, haben wir gemessen. Finden Sie ein Dokument in einer der sieben Sprachen, das nach dem Schnitt anders erkannt wird, schreiben Sie uns.

War das hilfreich? Sagen Sie es uns.

Teilen