Pour juger un outil de détection, comptez les mots sensibles qu'il laisse lisibles. Nous l'avons fait pour Presidio et promptShield en octobre 2026, sur 48 documents fictifs en 8 langues. Sur 4 489 mots sensibles étiquetés, Presidio en a laissé 1 327 lisibles. promptShield 1.4.1 en a laissé 92.
Les deux chiffres qui comptent
Un outil de caviardage se juge sur deux chiffres. Le premier est le nombre de mots sensibles qu'il laisse lisibles. Le second est le nombre de passages anodins qu'il marque à tort, et qu'une personne devra retirer à la main.
En revanche, le nombre total de détections mêle les détections justes et les fausses alertes, sans permettre de les distinguer. Notre premier essai, en mai 2026, comptait les détections sans les comparer à des étiquettes de référence : ce n'était pas le bon critère.
Comment le test a été construit
Le corpus compte six documents par langue : anglais, français, allemand, espagnol, italien, néerlandais, portugais et polonais. Chaque langue a son contrat, sa facture, son relevé bancaire, son courrier médical, sa lettre RH et sa correspondance juridique. Tous ont été écrits pour ce test. Aucun ne contient de données de clients réels.
Des agents d'IA, un par langue, ont rédigé et étiqueté ces documents à partir d'une spécification publiée. Ils n'avaient pas accès au code de détection de promptShield. Les étiquettes ont été contrôlées par un script, et aucun annotateur humain ne les a relues.
Les deux outils ont analysé le même texte, extrait des mêmes fichiers. Presidio fonctionnait avec ses modules de reconnaissance intégrés et un modèle spaCy par langue, sans module personnalisé ni seuil de confiance. Avec un paramétrage adapté, Presidio ferait mieux, et le dépôt public du test permet de le vérifier.
Les documents sont des PDF natifs : les documents numérisés et les erreurs de reconnaissance optique de caractères (OCR) sortent donc du cadre de cette mesure. Nous traitons ce sujet dans un article sur les PDF numérisés.
Les mots sensibles restés lisibles
Avec les grands modèles spaCy, Presidio a laissé 1 327 mots sensibles lisibles sur 4 489. Il en a donc couvert 70,4 %. Avec les petits modèles, il en a laissé 1 583 et n'en couvre plus que 64,7 %. Avec ses réglages par défaut, promptShield 1.4.1 en a laissé 92 : il en couvre 98,0 %.
Le détail par document confirme cet écart. promptShield n'a rien laissé de lisible dans 24 documents sur 48. Presidio a laissé au moins un mot sensible lisible dans chacun des 48 documents.
Le constat est le même pour les fausses alertes. Presidio marque en moyenne 9,8 passages anodins par document avec les grands modèles, et 13,7 avec les petits. promptShield en marque 1,9. Chaque passage marqué à tort impose une correction de plus au relecteur.
Où se concentrent les oublis
Voici la part des mots sensibles couverts par catégorie, sur les 48 documents, en octobre 2026 :
| Catégorie | Presidio (grands modèles) | promptShield 1.4.1 |
|---|---|---|
| Noms | 87 % | 98 % |
| Organisations | 57 % | 98 % |
| Adresses postales | 50 % | 98 % |
| Numéros d'identification | 37 % | 95 % |
| IBAN | 79 % | 100 % |
| Téléphones | 78 % | 98 % |
| Dates de naissance | 72 % | 100 % |
| Adresses e-mail | 100 % | 99 % |
Les écarts les plus nets touchent les données les plus risquées. Les numéros d'identification regroupent ici les numéros de sécurité sociale, les identifiants fiscaux et d'entreprise, les numéros de compte et de dossier patient. Presidio n'en couvre que 37 %. Il ne repère par ailleurs que la moitié des adresses postales et 57 % des organisations.
Presidio fait mieux sur un point : les adresses e-mail, couvertes à 100 % contre 99 %. Il ne couvre en revanche que 79 % des IBAN (les numéros de compte inscrits sur un RIB). Or un nom oublié se remarque souvent à la relecture, alors qu'un numéro de sécurité sociale perdu dans un tableau passe plus facilement inaperçu.
Le cas du polonais appelle une précision. Sans réglage, Presidio ne reconnaît pas les étiquettes d'entités des modèles spaCy polonais : il ne trouve aucun nom et couvre 20,5 % des mots sensibles. Il faut lui fournir une table de correspondance entre ces étiquettes et les siennes. Une fois cette table ajoutée, il couvre 64 % des mots sensibles polonais, contre 97 % pour promptShield.
Ce que Presidio fait bien
Presidio a été conçu chez Microsoft, puis confié à une gouvernance communautaire. C'est un logiciel solide, qui reste le bon choix pour plusieurs usages.
Il s'insère dans une chaîne de traitement Python qui analyse des flux de texte. Il permet de régler séparément chaque module de reconnaissance, directement dans la bibliothèque. Il peut aussi fonctionner comme un service d'analyse hébergé dans le cloud, accessible par une seule API.
Le champ de promptShield est plus restreint : traiter des documents sur un seul poste de travail. C'est ce cadre qui permet d'ajuster la détection aux contrats, aux factures et aux relevés. La détection procède par couches : des motifs de recherche très précis, puis un modèle de reconnaissance d'entités nommées, enfin une couche d'IA facultative, désactivée par défaut. Un nom repéré en page 1 est ensuite marqué partout où il réapparaît, en page 4 par exemple. Un dernier filtre écarte les détections parasites.
D'une version à l'autre
promptShield n'a pas toujours atteint ce niveau. Sur sept langues, polonais exclu, la version 1.0.14 de juin 2026 couvrait 74,3 % des mots sensibles, à peu près autant que Presidio. Elle marquait toutefois moins de texte anodin : 4,5 passages par document.
Quatre séries de travaux sur la détection ont suivi, entre le 30 septembre et le 2 octobre 2026. Avec la version 1.3.4, le taux de couverture est passé à 98,1 % et le nombre de fausses alertes est tombé à 2,0 par document. Ce niveau s'est maintenu depuis. Le polonais est absent de cet historique, car il n'a été ajouté qu'avec la version 1.4.0.
La relecture reste obligatoire
Aucun outil local ne repère tous les identifiants : même à 98 %, 92 mots sont restés lisibles. Dans promptShield, un fichier qui contient des zones à protéger ne peut être téléchargé qu'une fois ces zones vérifiées dans l'écran Réviser. Si vous cliquez trop tôt sur Télécharger, une fenêtre vous explique ce qui bloque et vous propose de passer à la révision.
Le cadre français
Confier un document à un service en ligne fait de son éditeur un sous-traitant au sens de l'article 28 du RGPD. Il faut alors un contrat, des garanties et de quoi répondre à la CNIL. Pour un avocat ou un expert-comptable, le secret professionnel pèse autant que le RGPD.
Or Presidio peut, comme promptShield, fonctionner en local. Dès lors que l'outil tourne sur le poste, la question qui reste est de savoir ce qu'il laisse lisible avant que le fichier ne quitte le cabinet.
Relancer le test vous-même
Tout est public : les 48 documents, les étiquettes, les sorties brutes des deux outils et le script de calcul. Ils sont réunis dans le dépôt GitHub promptshield-Inc/pii-detection-benchmarks. Avec les étiquettes et le script publiés, vous pouvez relancer Presidio sans installer promptShield.
Les graphiques, l'historique des versions et la méthode se trouvent sur la page de notre comparaison avec Presidio. Ces chiffres datent d'octobre 2026 et valent pour Presidio 2.2.364 et promptShield 1.4.1. Les raisons qui nous ont poussés à développer notre propre moteur sont expliquées dans un article distinct. Les offres sont détaillées sur la page des tarifs.
Questions fréquentes
Presidio est-il assez fiable pour anonymiser des documents ?
Dans sa configuration par défaut, avec les grands modèles spaCy, Presidio a couvert 70,4 % des mots sensibles de notre corpus d'octobre 2026. Il a laissé au moins une donnée lisible dans chacun des 48 documents. Une relecture complète reste indispensable, quel que soit l'outil.
Quand faut-il choisir Presidio ?
Choisissez Presidio pour analyser des flux de texte dans une chaîne Python, en réglant séparément chaque module de reconnaissance. Il convient aussi si vous voulez proposer un service d'analyse hébergé dans le cloud, accessible par une API unique.
Puis-je relancer ce test moi-même ?
Oui. Les documents, les étiquettes, les sorties brutes des deux outils et le script de calcul sont publiés sur GitHub. Vous pouvez relancer Presidio sans installer promptShield.
Presidio ferait-il mieux une fois paramétré ?
Probablement. Nous l'avons testé sans module de reconnaissance personnalisé ni seuil de confiance, avec un modèle spaCy par langue. Le dépôt permet de mesurer une configuration ajustée sur les mêmes étiquettes.