Wie viele sensible Wörter lässt ein Werkzeug lesbar stehen? Diese Zahl entscheidet, ob sich ein Dokument weitergeben lässt. Wir haben sie im Oktober 2026 für Presidio und promptShield gemessen, an 48 erfundenen Dokumenten in acht Sprachen. Jede personenbezogene Angabe darin ist Wort für Wort annotiert. Von 4.489 sensiblen Wörtern blieben bei Presidio 1.327 lesbar, bei promptShield 1.4.1 waren es 92.
Warum wir lesbare Wörter zählen
Die Zahl der Treffer sagt wenig über die Sicherheit eines Dokuments. Sie enthält echte Funde ebenso wie Fehlalarme. Aus der bloßen Zahl lässt sich das eine nicht vom anderen trennen.
Wir zählen deshalb lesbar gebliebene sensible Wörter: Angaben, die nach der Erkennung von keiner Markierung abgedeckt sind. Dazu kommt die Zahl der harmlosen Stellen, die fälschlich markiert werden. Jede davon muss ein Mensch bei der Prüfung wieder freigeben.
Unser erster Vergleich vom Mai 2026 zählte noch Treffer, ohne vorab annotierte Vergleichsdaten. Das war der falsche Maßstab. Für den neuen Lauf haben wir ein Korpus zusammengestellt, in dem jede sensible Angabe vorab annotiert ist.
So ist der Test aufgebaut
Das Korpus umfasst 48 Dokumente, je sechs auf Englisch, Französisch, Deutsch, Spanisch, Italienisch, Niederländisch, Portugiesisch und Polnisch. Zu jeder Sprache gehören ein Vertrag, eine Rechnung, ein Kontoauszug, ein Arztbrief, ein Schreiben der Personalabteilung und ein Anwaltsschreiben. Alle Dokumente sind erfunden und eigens für diesen Test geschrieben. Kundendaten enthalten sie keine.
Die Dokumente wurden von KI-Agenten geschrieben und annotiert, ein Agent pro Sprache. Grundlage war eine veröffentlichte Annotationsrichtlinie. Zugang zum Erkennungscode von promptShield hatte keiner von ihnen. Die Labels wurden per Skript geprüft, von Hand durchgesehen hat sie niemand.
Beide Werkzeuge lasen exakt denselben extrahierten Text. Presidio lief mit seinen mitgelieferten Erkennern und einem spaCy-Modell pro Sprache. Wir haben weder eigene Erkenner ergänzt noch eine Konfidenzschwelle festgelegt. promptShield lief mit den Standardeinstellungen, die auch beim Klick auf „Erkennen“ gelten.
Gemessen wurden saubere, digital erzeugte PDFs. Scans und Fehler der Texterkennung sind nicht Teil des Tests. Wie promptShield mit Scans umgeht, beschreibt unser Beitrag zu gescannten PDFs.
Wie viele Wörter lesbar blieben
Mit den großen spaCy-Modellen übersah Presidio 1.327 der 4.489 sensiblen Wörter. Das entspricht einer Erkennungsquote von 70,4 %. Mit den kleinen Modellen blieben 1.583 Wörter lesbar, erkannt wurden 64,7 %. promptShield 1.4.1 übersah 92 Wörter und erkannte 98,0 %.
Auch pro Dokument ist der Unterschied deutlich: Bei promptShield blieb in 24 der 48 Dokumente kein sensibles Wort lesbar. Bei Presidio traf das auf keines der 48 Dokumente zu.
Bei den Fehlalarmen zeigt sich dasselbe Bild. Presidio markierte mit den großen Modellen im Schnitt 9,8 harmlose Textstellen pro Dokument, mit den kleinen 13,7. Bei promptShield waren es 1,9.
Wo die Lücken liegen
Die Unterschiede verteilen sich ungleich. Bei E-Mail-Adressen liegen beide Werkzeuge gleichauf: Presidio erkannte 100 %, promptShield 99 %. Bei Namen erkannte Presidio 87 %, promptShield 98 %.
Größer wird der Abstand dort, wo das Risiko am höchsten ist. Bei Kennnummern erkannte Presidio 37 %, promptShield 95 %. In diese Gruppe fallen Ausweis- und Steuernummern, Handelsregister-, Konto- und Patientennummern. In einem deutschen Dokument sind das etwa die Steuer-Identifikationsnummer oder die Sozialversicherungsnummer.
Bei Postanschriften kam Presidio auf 50 %, bei Organisationen auf 57 %. promptShield erkannte in beiden Gruppen 98 %. Bei IBANs kam Presidio auf 79 %, promptShield auf 100 %. Bei Telefonnummern lauteten die Werte 78 % und 98 %, bei Geburtsdaten 72 % und 100 %.
Eine lesbar gebliebene IBAN oder Anschrift reicht oft, um eine Person zu identifizieren. Wer ein solches Dokument an einen externen KI-Dienst gibt, verarbeitet weiterhin personenbezogene Daten. Dann stellt sich die Frage nach dem Auftragsverarbeitungsvertrag gemäß Art. 28 DSGVO. Für Kanzleien und Arztpraxen gilt zusätzlich § 203 StGB, unabhängig von der DSGVO.
Bei einer Prüfung durch eine Landesdatenschutzbehörde oder den BfDI geht es um das konkrete Dokument, das weitergegeben wurde. Eine durchschnittliche Erkennungsquote sagt darüber wenig aus.
Polnisch ist ein Sonderfall. Presidio braucht dort eine Zuordnung der Labels, um die Entitäten der polnischen spaCy-Modelle auszuwerten. Ohne sie findet es keine polnischen Namen und erkennt insgesamt nur 20,5 % der sensiblen Wörter. Mit dieser einen Zuordnung erkennt es 64 %, promptShield 97 %.
Wie sich promptShield entwickelt hat
Die Vergleichsseite zeigt auch ältere Versionen von promptShield, gemessen an den sieben Sprachen ohne Polnisch. Polnisch kam erst mit Version 1.4.0 hinzu. Version 1.0.14 vom Juni 2026 erkannte 74,3 % und markierte 4,5 harmlose Stellen pro Dokument. Damit lag sie etwa gleichauf mit Presidio, bei weniger Fehlalarmen.
Zwischen dem 30. September und dem 2. Oktober 2026 wurde die Erkennung in vier Durchgängen überarbeitet. Mit Version 1.3.4 lag die Quote bei 98,1 %, die Fehlalarme bei 2,0 pro Dokument. Seitdem sind beide Werte auf diesem Niveau geblieben.
Die Erkennung in promptShield läuft in mehreren Stufen ab. Zuerst sucht das Programm mit festen Mustern nach Angaben, die immer gleich aufgebaut sind, etwa IBANs. Danach folgt ein Sprachmodell für Namen, Organisationen und Orte. Eine dritte Stufe mit einem großen Sprachmodell (LLM) ist optional und standardmäßig ausgeschaltet.
Die Ergebnisse werden zusammengeführt und von Doppelungen bereinigt. Ein Name, der auf Seite 1 erkannt wurde, wird auch auf Seite 4 markiert. Zum Schluss filtert ein eigener Schritt typische Fehlalarme heraus.
Auch bei 98 % bleiben einzelne Wörter unerkannt. Deshalb lässt sich ein Dokument erst herunterladen, wenn Sie die markierten Stellen geprüft haben. Warum wir die Erkennung selbst entwickelt haben, erklärt ein eigener Beitrag.
Wann Presidio die richtige Wahl ist
Presidio ist eine solide Software. Das Projekt entstand bei Microsoft und wird heute von einer Community getragen. Es ist eine Python-Bibliothek, die sich in eigene Pipelines einbauen lässt. Sie verarbeitet Textströme, lässt sich im Code genau steuern und kann über dieselbe Schnittstelle auch einen Analysedienst in der Cloud ansprechen.
Wer Daten in einer eigenen Anwendung durchsucht, ist mit Presidio oft gut bedient. Mit eigenen Erkennern und einer abgestimmten Konfidenzschwelle würde Presidio zudem besser abschneiden als in unserem Lauf. promptShield hat einen engeren Zweck: Es bearbeitet einzelne Dokumente auf einem Rechner. Gerade weil es sich darauf beschränkt, lässt sich die Erkennung genau auf solche Dokumente abstimmen.
Den Test selbst wiederholen
Unser Vergleich soll nachprüfbar sein. Die Dokumente, die Labels, die Rohausgaben beider Werkzeuge und das Auswertungsskript liegen deshalb öffentlich auf GitHub, im Repository promptshield-Inc/pii-detection-benchmarks. Mit den veröffentlichten Labels und dem Skript lässt sich der Presidio-Lauf wiederholen, ohne promptShield zu installieren.
Diagramme, die Versionsgeschichte und die Methodik finden Sie auf der Vergleichsseite zu Presidio. Alle Zahlen dort und in diesem Beitrag stammen aus dem Testlauf vom Oktober 2026. Die Desktop-App und ihre Tarife finden Sie auf der Preisseite.
Fragen und Antworten
Ist Presidio genau genug, um Dokumente zu schwärzen?
In unserem Testlauf vom Oktober 2026 übersah Presidio in der Standardinstallation 1.327 von 4.489 sensiblen Wörtern, vor allem Kennnummern und Anschriften. Ob das für Ihren Zweck genügt, hängt davon ab, wer das Dokument danach liest.
Wann sollte ich Presidio wählen?
Wenn Sie Text in einer eigenen Python-Pipeline verarbeiten und die Erkennung auf Bibliotheksebene steuern wollen. Für einzelne Dokumente, die auf einem Rechner geschwärzt und geprüft werden, ist promptShield gedacht.
Kann ich den Test selbst wiederholen?
Ja. Dokumente, Labels, Rohausgaben und Skript liegen im öffentlichen GitHub-Repository, und damit lässt sich der Presidio-Lauf auch ohne promptShield wiederholen.
Würde ein angepasstes Presidio aufholen?
Mit eigenen Erkennern und einer Konfidenzschwelle würde Presidio besser abschneiden. Um wie viel, haben wir nicht gemessen. Mit dem öffentlichen Repository können Sie das selbst ausprobieren.