Em outubro de 2026, rodamos o Presidio e o promptShield nos mesmos 48 documentos, em oito idiomas. Cada dado pessoal estava rotulado palavra por palavra. Na instalação padrão, com os modelos grandes do spaCy, o Presidio deixou legíveis 1.327 das 4.489 palavras sensíveis, e o promptShield 1.4.1 deixou 92. Os documentos, os rótulos, as saídas brutas e o script que calcula os resultados são públicos, e você pode refazer o teste.
Por que contar palavras legíveis
A pergunta útil sobre uma ferramenta de anonimização é esta: o que ainda dá para ler depois que ela processa o documento? Uma contagem bruta de detecções não responde a isso. Ela soma achados reais e marcações indevidas sem distinguir uns dos outros.
Por isso medimos duas coisas. A primeira é quantas palavras sensíveis ficam legíveis. A segunda é quantos trechos inofensivos a ferramenta marca por engano, já que alguém precisa desfazer cada marcação indevida na revisão.
A LGPD (Lei nº 13.709/2018) exige que o controlador demonstre medidas eficazes de proteção (art. 6º, X). Um CPF que fica legível num documento compartilhado continua sendo dado pessoal. Então o número que importa é quanto a ferramenta deixa passar.
A primeira rodada deste teste, em maio de 2026, contava detecções sem gabarito. Era a medida errada, e seus números não são comparáveis aos atuais.
Como o teste foi montado
O corpus tem 48 documentos em PDF, seis por idioma. Cada idioma tem um contrato, uma fatura, um extrato bancário, um relatório médico, uma carta de RH e uma correspondência jurídica. Todos são fictícios e foram escritos para este teste. Nenhum vem de dados de clientes.
Agentes de IA escreveram os documentos e os rótulos a partir de uma especificação de rotulagem publicada, um idioma por agente. Eles não tinham acesso ao código de detecção do promptShield. Um script conferiu os rótulos, e nenhum anotador humano revisou o resultado.
As duas ferramentas leram exatamente o mesmo texto extraído. O Presidio rodou com seus reconhecedores padrão e um modelo spaCy por idioma, sem reconhecedores personalizados e sem limiar mínimo de confiança. O promptShield rodou com as configurações padrão do botão Detectar.
O resultado em números
Com os modelos grandes do spaCy, o Presidio deixou legíveis 1.327 das 4.489 palavras sensíveis, ou seja, detectou 70,4%. Com os modelos pequenos, deixou 1.583 palavras legíveis e detectou 64,7%. O promptShield 1.4.1 deixou 92, ou seja, detectou 98,0%.
A diferença se concentra nos dados de maior risco. A tabela mostra a parcela detectada em cada categoria.
| Categoria | Presidio (modelos grandes) | promptShield 1.4.1 |
|---|---|---|
| Nomes | 87% | 98% |
| Organizações | 57% | 98% |
| Endereços postais | 50% | 98% |
| Números de identificação | 37% | 95% |
| IBAN | 79% | 100% |
| Telefones | 78% | 98% |
| Datas de nascimento | 72% | 100% |
| E-mails | 100% | 99% |
A categoria de números de identificação inclui documentos de identidade, números fiscais, registros de empresas, contas e prontuários. Num documento brasileiro, essa categoria corresponde ao CPF, ao CNPJ e aos dados bancários. Um endereço com CEP ou um CPF legível costuma bastar para identificar alguém.
O e-mail é o único caso em que o Presidio fica à frente, por um ponto percentual. Também contamos os documentos sem nenhuma palavra sensível legível. O promptShield chegou a 24 dos 48; o Presidio, a nenhum.
Os falsos positivos também têm custo
A segunda medida é o número de marcações indevidas por documento. Cada uma é um trecho inofensivo que o revisor precisa desmarcar. Com os modelos grandes, o Presidio gerou 9,8 por documento; com os pequenos, 13,7. O promptShield gerou 1,9.
O polonês merece um comentário à parte. Sem ajuste, o Presidio não encontra nomes em polonês e detecta 20,5%. Basta um ajuste, o mapeamento dos rótulos de entidade do modelo spaCy polonês, para que ele chegue a 64%. O promptShield detecta 97% nos documentos poloneses.
Como o promptShield chegou a esse número
A versão 1.0.14, de junho de 2026, detectava 74,3% nos sete idiomas originais, com 4,5 marcações indevidas por documento. Era mais ou menos a taxa do Presidio, com menos ruído. O polonês fica fora dessa série porque só foi incluído na versão 1.4.0.
Entre 30 de setembro e 2 de outubro de 2026, quatro rodadas de melhorias na detecção levaram a taxa a 98,1%, com 2,0 marcações indevidas. Esse resultado chegou com a versão 1.3.4 e se manteve desde então.
A detecção funciona em camadas. Primeiro vêm padrões de alta precisão e, depois, um modelo de entidades; há ainda uma camada de IA opcional, desligada por padrão. Os resultados são combinados sem duplicatas, e um nome encontrado na página 1 é marcado também na página 4.
Quando o Presidio é a escolha certa
O Presidio é um bom software. Foi criado na Microsoft e hoje é mantido pela comunidade. Atende bem quem desenvolve um pipeline em Python para processar texto, porque permite controlar cada componente diretamente na biblioteca e integrar um analisador em nuvem por meio de uma única interface.
Se esse é seu caso, o Presidio provavelmente é a ferramenta certa. E um Presidio ajustado, com reconhecedores próprios e limiares de confiança, teria resultados melhores que os da instalação padrão que medimos.
O promptShield tem um objetivo mais específico: anonimizar um documento, num único computador, antes de compartilhá-lo. O documento não sai do seu computador. Você revisa as marcações, e o arquivo só pode ser baixado depois que você confirma cada região protegida.
O que este teste não mede
O corpus é feito de PDFs nativos e limpos. Digitalizações e erros de OCR ficaram de fora. Para esse caso, veja como anonimizar PDFs digitalizados e imagens.
Os documentos são fictícios e foram conferidos por script, sem anotador humano. Os números valem para a rodada de outubro de 2026 e para as versões testadas. Nenhuma ferramenta local detecta todos os identificadores, e a revisão continua necessária.
Refaça o teste
Tudo está no repositório público promptshield-Inc/pii-detection-benchmarks, no GitHub. Lá estão os documentos, os rótulos, as saídas brutas das duas ferramentas e o script que calcula os resultados. Você pode rodar o Presidio de novo sem instalar o promptShield.
Os gráficos, o histórico de versões e a metodologia estão na página de comparação com o Presidio. Para saber por que desenvolvemos nosso próprio mecanismo de detecção, veja este artigo. Os planos estão na página de preços.
Perguntas frequentes
O Presidio é preciso o bastante para anonimizar documentos?
Na nossa rodada de outubro de 2026, a instalação padrão do Presidio detectou 70,4% das palavras sensíveis. As maiores falhas ficaram nos números de identificação e nos endereços. Para um documento que será compartilhado, isso exige uma revisão longa ou um Presidio ajustado.
Quando vale escolher o Presidio?
Quando você precisa de uma biblioteca Python dentro de um pipeline de texto, com controle fino de cada reconhecedor. Ou quando quer integrar um analisador em nuvem por meio de uma única interface.
Posso refazer esse teste por conta própria?
Sim. Os documentos, os rótulos, as saídas brutas e o script que calcula os resultados estão no repositório público no GitHub. Dá para rodar o Presidio sem instalar o promptShield.
Um Presidio ajustado eliminaria a diferença?
Teria um resultado melhor que o da instalação padrão, mas não medimos quanto. Reconhecedores próprios para os identificadores do seu país seriam o primeiro passo.