Die meisten Benchmarks zur Erkennung personenbezogener Daten stellen die falsche Frage. Sie zählen, wie viele Treffer ein System markiert hat, und behandeln diese Zahl als Qualität.
Das ist sie nicht. Eine Pipeline, die jede URL, jede Ländernennung, jeden Abteilungsnamen markiert, erzeugt auf einem typischen Vertrag mehr als 70 Falsch-Positive, die der Prüfer von Hand verwerfen muss.
Die richtige Kennzahl ist Bereiche, die der Prüfer behalten würde, gegenüber Bereichen, die der Prüfer verwerfen würde.
Wir haben einen reproduzierbaren Benchmark gegen Microsoft Presidio über 14 PDF-Dokumente in 7 europäischen Sprachen (en, fr, de, es, it, nl, pt) erstellt – zwei Dokumente pro Sprache: einen Vertrag, einen Finanzausweis. Das Skript und die Dokumente sind öffentlich:{" "} github.com/promptshield-Inc/pii-detection-benchmarks .
Die wichtigsten Zahlen
Über alle 14 Dokumente zusammengenommen:
Auf den ersten Blick findet promptShield damit etwa 62 % weniger Treffer. Die naive Lesart: Presidio findet mehr, also ist es besser.
Doch diese Lesart bricht in dem Moment zusammen, in dem Sie nach Dokumentklasse aufschlüsseln.
Die Aufteilung, die zählt: Verträge gegenüber Finanzausweisen
Bei Verträgen – wo die Daten echte personenbezogene Daten über die Vertragsparteien sind – geben beide Systeme ungefähr denselben Satz an Bereichen aus.
promptShields 209 signalstarke Treffer über die 7 Verträge unseres Korpus decken sich eins zu eins mit Presidios Fängen bei den Entitäten, die tatsächlich zählen: Namen, Adressen, Telefone, E-Mails, Unternehmenskennungen.
Bei Finanzausweisen explodiert die Differenz. Allein das französische Dokument etats-financiers_beaumont: Presidio gibt 69 LOCATION-Treffer aus, davon 73 Nennungen von Frankreich, Paris oder Länder-/Städtenamen, die in juristischer Prosa auftauchen (Geschäftssitz, anwendbares Recht, Adresse der Wirtschaftsprüfungsgesellschaft).
promptShield gibt 22 Bereiche aus – von denen jeder einzelne eine echte Entität ist.
Die Differenz von 414 Treffern zwischen den beiden Systemen ist keine Leistungsfähigkeit. Es ist Rauschen, das Presidios Standardinstallation ausgibt und promptShield filtert.
Was wir filtern und Presidio nicht
Nachdem wir den Benchmark erstellt hatten, fanden wir sechs klare Rauschkategorien, in denen Standard-Presidio mit den kleinen spaCy-Modellen zu viel ausgibt.
1. URLs im Dokument-Beiwerk
Presidios UrlRecognizer markiert jede URL – Link zur Datenschutzrichtlinie in der Fußzeile, URL der Support-Seite, Kontaktformular. Etwa 8–10 Treffer pro Vertrag, die kein Prüfer schwärzen will.
2. Ländernennungen in Gerichtsstandsklauseln
„Dieser Vertrag unterliegt dem Recht Frankreichs“ – Presidio markiert Frankreich als LOCATION. Frankreich ist in diesem Satz Vertrags-Beiwerk, keine personenbezogene Angabe über die betroffene Person. Wir haben einen mehrsprachigen filter_jurisdiction_boilerplate gebaut, der mehr als 60 Gerichtsstands-Formulierungen über 7 Sprachen erkennt und jeden LOCATION-/ORG-Treffer verwirft, der in das getroffene Fenster fällt.
3. PERSON-Fragmente
Modelle zur Entitätserkennung auf Transformer- und spaCy-Basis geben dieselbe Person regelmäßig als überlappende Treffer aus: Pierre, Dubois und Pierre Dubois werden alle zu separaten PERSON-Entitäten. In unserem italienischen Vertrag: Presidio gibt 26 PERSON-Treffer für 10 verschiedene benannte Parteien aus. promptShields filter_span_coalescence verwirft enthaltene Treffer und behält pro Seite die längste Form.
4. Generischer Begriff als ORG
Marketing, Vorstand, Direction Générale, Board of Directors, Comitato di Direzione – Presidios Entitätserkennung markiert diese als ORG. Sie sind keine Organisationen, die der Prüfer schwärzen will. Wir liefern eine Stoppwortliste mit 60–90 Einträgen pro Sprache (generic_orgs_<lang>.txt), die sie filtert.
5. Funktionsbezeichnungen als PERSON markiert
Großgeschriebene Funktionsbegriffe am Zeilenanfang (CEO, Directeur, Geschäftsführer) werden manchmal fälschlich als PERSON markiert. Ein mehrsprachiges Stoppwort-Set mit 50 Einträgen und ein einziger Filter verwerfen sie.
6. Land/Stadt allein in unpersönlichem Kontext
Paris, das als Adresse der Wirtschaftsprüfungsgesellschaft in der Vertragsfußzeile genannt wird, ist keine personenbezogene Angabe über die betroffene Person – dasselbe Wort in „geboren in Paris“ schon. Wir prüfen das 40-Zeichen-Fenster vor jedem LOCATION-Treffer auf Formulierungen mit Personenbezug (born in, resident of, née à, geboren in usw.) und verwerfen die nackten.
Die ehrlichen Einschränkungen
Wir behaupten nicht, dass unsere Pipeline universell besser ist. Die Einschränkungen:
- Nur Standardinstallation. Eine abgestimmte Presidio-Installation (eigene Erkenner, Transformer-Backend zur Entitätserkennung, angepasste Konfidenzschwellen) würde den Großteil der Präzisionslücke schließen. Wir messen, was die meisten Presidio-Nutzer im ersten Monat tatsächlich einsetzen – nicht, was ein Presidio-Experte erreichen könnte.
- Keine Ground-Truth-Annotationen. Die Kennzahl „both / ours-only / presidio-only“ ist ein Näherungswert für die Präzision, keine strenge F1-Messung. 14 PDFs über 7 Sprachen von Hand zu annotieren sind etwa 40 Stunden konzentrierter Arbeit eines Muttersprachlers; das haben wir noch nicht getan. PRs willkommen.
- Zwei Dokumentklassen. Verträge + Finanzausweise. Krankenakten, HR-Formulare, Einwanderungsunterlagen würden andere Differenzen ergeben – wahrscheinlich kleinere, weil diese Dokumente ein reicheres Signal an personenbezogenen Daten haben.
- Synthetischer Korpus. Echte Kundendokumente haben OCR-Fehler, mehrspaltige Layouts und tabellenlastige Finanzanhänge, die wir hier nicht messen.
Wann Sie stattdessen Presidio einsetzen sollten
Presidio ist ein großartiges Toolkit. Es ist die richtige Wahl, wenn:
- Sie eine eigene Python-DLP-Pipeline bauen und Kontrolle auf Bibliotheksebene wollen,
- Sie Azure AI Language oder AWS Comprehend unter einer einzigen Abstraktion für personenbezogene Daten integrieren müssen, oder
- Sie Textströme (keine abgegrenzten Dokumente) verarbeiten.
Der obige Benchmark dreht sich speziell um das Verhalten der Standardinstallation auf abgegrenzten PDF-Dokumenten, was Desktop-Dokumentanonymisierung in der Praxis tatsächlich bedeutet.
Wir wurden von Presidio inspiriert. Wir behaupten nicht, es zu ersetzen.
Wir behaupten, dass unsere Pipeline für die spezielle Art von Arbeit, die promptShield leistet – Desktop-Anonymisierung von Verträgen, Finanzausweisen, Krankenakten, HR-Dokumenten – eine Ausgabe erzeugt, die weniger Prüfarbeit erfordert, mit überprüfbaren Belegen.
Den Benchmark ausführen
Der ganze Sinn dieses Beitrags ist der Beleg:
{`git clone https://github.com/promptshield-Inc/pii-detection-benchmarks
cd pii-detection-benchmarks
pip install -r requirements.txt
python benchmark.py`}
Das Presidio-Skript ist vollständig eigenständig – Sie müssen promptShield nicht installieren, um die Presidio-Seite zu überprüfen. Die veröffentlichten CSV-Dateien in results/ sind die Zahlen, die wir oben zitiert haben.
Wenn Sie ein methodisches Problem finden, öffnen Sie ein Issue oder einen PR.
