Mesuré le 2026-05-27 · promptShield 1.0.14 · Presidio 2.2.362
promptShield vs Microsoft Presidio
Comparés en duel sur 14 documents PDF dans 7 langues. Même extraction de texte, mêmes documents, aucun réglage asymétrique. Script et CSV bruts publiés — vérifiez par vous-même.
En bref
Presidio (installation par défaut)
666
détections émises · fort niveau de bruit
promptShield 1.0.14
252
détections émises · même corpus · bruit filtré
Sur les contrats (où les données sont de vraies données personnelles), promptShield remonte exactement les mêmes 209 détections à fort signal que Presidio. L'écart de 414 détections se concentre sur les états financiers, où les détections brutes sont composées de 30 à 70 % de bruit (noms de cabinets d'audit, sièges sociaux, mentions de pays à portée juridictionnelle).
Comparatif des fonctionnalités
| Fonctionnalité | promptShield | Presidio |
|---|---|---|
Reconnaisseur regex multilingue (60+ types) Presidio : EN en priorité par défaut | ◦ | |
Modèle d'entités multilingue (Davlan) Presidio : nécessite un reconnaisseur d'entités HuggingFace personnalisé | ◦ | |
Couche LLM optionnelle pour les données personnelles contextuelles | ||
Validation par somme de contrôle US NPI / ABA / DEA Presidio : NPI et MBI inclus, ABA/DEA partiels | ◦ | |
Validation par somme de contrôle AU TFN / ABN / ACN / Medicare | ||
Validation par somme de contrôle BR CPF / CNPJ | ||
Validation par somme de contrôle CH AHV | ||
Validation par somme de contrôle MX CLABE | ||
Validation par somme de contrôle NL BSN / RSIN | ||
Validation du NIR français (sécurité sociale) | ||
Filtre des formules juridictionnelles standard « régi par les lois de X » → X non signalé | ||
Fusion des détections PERSON au sein d'une page « Pierre Dubois » conservé, « Pierre » seul écarté | ||
Filtre des noms de services génériques (ORG) | ||
Filtre des intitulés de fonction (PERSON) | ||
Application desktop aboutie avec GUI de revue | ||
Tokenisation réversible (encode / decode) Presidio : couche d'anonymisation séparée | ◦ | |
100 % hors ligne (aucune dépendance cloud) | ||
Reconnaisseurs personnalisés via API | ||
Bibliothèque Python pour intégration sur mesure | ||
Intégration Azure AI Language |
✓ = inclus par défaut · ◦ = disponible via configuration personnalisée · ✗ = absent
Catégories de bruit que Presidio (installation par défaut) émet et que promptShield supprime
URL dans les pieds de page de contrats
Lien vers la politique de confidentialité, URL de la page de support, contact juridique générique. ~8 à 10 détections par contrat, dont quasiment aucune n'est une donnée personnelle que l'examinateur souhaite masquer.
UrlRecognizerMentions isolées de pays / villes en prose juridictionnelle
« régi par les lois de France », « siège social à Paris », « société constituée en Allemagne ». Dans un état financier français, Presidio émet 73 détections LOCATION ; presque toutes ne sont que du décor contractuel.
filter_jurisdiction_boilerplate + filter_standalone_countryFragments PERSON
Le même nom apparaît en trois détections distinctes : « Pierre », « Dubois », « Pierre Dubois ». Sur un contrat italien, Presidio émet 26 détections PERSON — les mêmes noms répétés et fragmentés en prénom, nom et nom complet.
filter_span_coalescenceNoms génériques de services tagués ORG
« Marketing », « Vorstand », « Direction Générale », « Board of Directors », « Comitato di Direzione ». Ce ne sont pas des organisations que l'examinateur souhaite masquer.
filter_generic_org (liste de 90 entrées × 7 langues)Intitulés de fonction tagués PERSON
« CEO », « Directeur », « Geschäftsführer » avec majuscule en début de ligne, parfois mal tagués comme PERSON par le modèle d'entités.
filter_role_titlesQuand choisir Presidio plutôt
Presidio est le bon choix quand :
- Vous bâtissez un pipeline DLP Python sur mesure et voulez un contrôle au niveau de la bibliothèque.
- Vous devez intégrer des services cloud (Azure AI Language, AWS Comprehend) sous une seule abstraction de données personnelles.
- Vous voulez affiner vos propres reconnaisseurs pour des types d'entités propriétaires.
- Vous traitez des flux de texte (et non des documents bornés) et cherchez une bibliothèque pensée comme un service.
Presidio (par Microsoft) et promptShield partagent tous deux l'esprit MIT. À chaque besoin son outil.
Quand choisir promptShield
- Vous anonymisez des documents PDF/DOCX/XLSX bornés sur le poste de travail.
- Vous voulez des sommes de contrôle propres à chaque pays clés en main (TFN, CPF, NPI, IBAN, etc.) sans avoir à les écrire vous-même.
- Vous voulez un workflow GUI abouti (revue, masquage, tokenisation, export) plutôt qu'une bibliothèque à intégrer.
- Vos clients ne peuvent pas envoyer leurs documents à un service cloud pour des raisons de conformité.
Reproduisez-le vous-même
Chaque chiffre de cette page provient du script publié dans le dépôt public. Aucun chiffre ne sort d'une exécution interne et invérifiable.
git clone https://github.com/promptshield-Inc/pii-detection-benchmarks
cd pii-detection-benchmarks
pip install -r requirements.txt
python benchmark.pySorties : results/presidio_counts_<date>.csv + results/presidio_entities_<date>.csv. Le script Presidio est totalement autonome — pas besoin d'installer promptShield pour vérifier le côté Presidio.
Mises en garde honnêtes
- Installation par défaut uniquement. Une installation Presidio affinée (reconnaisseurs personnalisés + backend d'entités à transformer + seuils de confiance ajustés) comblerait l'essentiel de l'écart de précision. Nous mesurons ce que la plupart des utilisateurs de Presidio déploient le premier mois.
- Corpus synthétique. Les vrais documents clients comportent un bruit plus riche (erreurs OCR, originaux scannés, mises en page multicolonnes) que nous ne mesurons pas ici.
- Pas de vérité terrain étiquetée. Les chiffres « les deux / nous seuls / Presidio seul » sont un indicateur indirect de précision, pas une mesure F1 stricte. Étiqueter à la main 14 PDF sur 7 langues représente ~40 heures de travail ; nous ne l'avons pas encore fait.
- Deux classes de documents. Contrats + états financiers. Dossiers médicaux, formulaires RH et dossiers d'immigration feraient apparaître des écarts différents.
