Removemos do nosso modelo de detecção o vocabulário de 97 idiomas que o produto não oferecia na época. O arquivo passou de 178,5 MB para 139,6 MB. Em 77 documentos, a saída ficou idêntica à do modelo original.
Um modelo treinado para todo mundo
Pense numa advogada num corredor de fórum no Recife, com o 4G oscilando. Ela abre o aplicativo gratuito do promptShield no navegador para conferir um contrato. Antes da primeira página, o navegador baixa o modelo que reconhece nomes, empresas e endereços. Até agosto de 2026, esse modelo trazia o vocabulário de 104 idiomas para ler um contrato em português.
Um modelo multilíngue é treinado uma vez, para todos. Um único conjunto de pesos lê 104 idiomas, do húngaro ao malaio. Para quem treina, isso reduz o custo. Para quem só precisa de sete idiomas, é peso a mais.
Cada visitante paga esse peso em megabytes e em segundos de espera. O custo pesa no primeiro acesso, quando a pessoa ainda decide se a ferramenta vale o tempo dela. Quem paga mais é quem tem a pior conexão: o plano pré-pago, o Wi-Fi do hotel, o escritório do interior com um link para dez computadores.
Distribuímos o modelo assim por um bom tempo, porque ele vinha desse jeito e ninguém tinha olhado dentro do arquivo. Só pudemos mudar isso porque o modelo é nosso. As razões para manter nosso próprio motor de detecção estão em outro texto.
Onde está o peso
Um modelo da família BERT não lê palavras inteiras, e sim peças. Um tokenizador corta o texto em fragmentos tirados de um vocabulário fixo. Cada fragmento corresponde a uma linha de uma grande tabela de números, a tabela de embeddings. Essa linha vira o vetor que as camadas seguintes processam.
Para cobrir 104 idiomas, o vocabulário precisa de peças de dezenas de sistemas de escrita: cirílico, árabe, devanágari, hangul, ideogramas chineses. Cada peça ocupa uma linha da tabela, e o navegador baixa a tabela inteira.
Num texto em português, o tokenizador nunca escolhe uma peça em tailandês. A linha dessa peça é baixada, carregada na memória e nunca consultada. Em tese, retirá-la reduz o arquivo sem mudar nenhum cálculo nos sete idiomas. Mantivemos as peças que esses idiomas usam e descartamos as outras.
O risco está no “em tese”. Uma peça não pertence a um idioma só, e um contrato brasileiro pode citar uma sócia polonesa ou uma marca com um acento que o português não usa. Se faltasse uma peça, o tokenizador dividiria o texto de outro jeito. A detecção pioraria sem nenhum aviso.
Como medimos
Um corte de cerca de 22% no tamanho sem efeito no resultado merece desconfiança, inclusive a nossa. Por isso montamos a medição para falhar facilmente se algo estivesse errado. Ela tem duas partes.
A primeira compara a segmentação. Passamos 77 documentos, nos sete idiomas, pelo tokenizador original e pelo reduzido, e conferimos peça por peça. Se uma peça descartada fizesse falta, a divergência apareceria aqui primeiro. Não houve nenhuma diferença.
A segunda compara as entidades detectadas pelos dois modelos, uma a uma, com tipo e posição. Foram 2.219 no total, sem nenhuma diferença. A saída é idêntica, e não “praticamente igual” ou “com perda desprezível”.
Se o tokenizador produz as mesmas peças, o modelo recebe os mesmos vetores e devolve o mesmo resultado. O caso em que isso falharia é um texto num alfabeto retirado, tratado na última pergunta abaixo. Esses números estão no nosso registro interno de decisões, com data de 11 de agosto de 2026. Se o modelo for podado de novo, o registro muda primeiro e este texto depois.
O modelo menor que testamos e recusamos
Havia uma opção mais óbvia: trocar de modelo. Um DistilBERT de seis camadas, da mesma família, ocupa cerca de 70 MB pela rede, contra nossos 100. Nós o testamos no mesmo conjunto de avaliação, selecionado à mão, que usamos para o modelo em produção.
Na média, ele marcou 73,5% contra 77,2%, uma diferença que parece pequena. Por idioma, a queda foi de 22 pontos em espanhol e de 13 em alemão. Os idiomas em que ele vai bem escondem, na média, aqueles em que vai mal. Quem revisa contratos em espanhol recebe o resultado do espanhol.
O DistilBERT também concordou com o modelo em produção em apenas 76% dos achados. Ele encontrou um conjunto diferente de entidades, do mesmo tamanho. Para quem revisa, isso é pior do que uma perda uniforme, porque os erros mudam de lugar a cada documento.
O modelo menor economiza mais e perde precisão, de forma desigual entre idiomas. A poda economiza um pouco menos e mantém a mesma saída nos documentos medidos. Ficamos com a poda.
O que muda para quem usa
No aplicativo gratuito, o primeiro download é menor. Depois, o navegador usa a cópia em cache e não baixa o modelo de novo.
O modelo de entidades é uma das camadas da detecção. Antes dele, padrões de alta precisão tratam valores de formato fixo: CPF, CNPJ, CEP, dados bancários. No desktop, você pode ligar uma camada com modelo de linguagem, que vem desligada por padrão. O desktop traz pacotes de reconhecimento de texto para esses sete idiomas e para o polonês, e uma digitalização lida com o pacote errado sai ruim, sem aviso.
Os resultados são combinados e deduplicados, e o ruído é filtrado. Um nome encontrado na página 1 é marcado também na página 4. Nenhuma camada acerta todo identificador, por isso o produto pede revisão antes do download.
Rodar o modelo no navegador tem outra vantagem: o documento não sai da sua máquina. O aplicativo do navegador envia um sinal anônimo ao ser aberto, por isso não o chamamos de 100% offline, selo que vale só para o desktop. O aplicativo gratuito gera códigos no mesmo formato do desktop, com uma chave própria do navegador.
Na LGPD, um serviço externo que trata os dados em nome do escritório é operador, e o escritório continua controlador (art. 5º, VI e VII da Lei nº 13.709/2018). O controlador precisa demonstrar as medidas que adotou (art. 6º, X). Um documento que não é enviado não cria operador a contratar, auditar ou explicar à ANPD.
Perguntas frequentes
Podar o vocabulário custa precisão?
Nos documentos que medimos, não. Em 77 documentos nos sete idiomas, a segmentação e as 2.219 entidades foram idênticas. As peças retiradas nunca eram escolhidas para esses textos, então o modelo recebe a mesma entrada.
Por que não usar simplesmente um modelo menor?
Porque testamos, e não compensou. Um DistilBERT economizaria mais 30 MB, mas marcou 73,5% contra 77,2%, perdeu 22 pontos em espanhol e 13 em alemão. Ele concordou com o modelo atual em só 76% dos achados.
O que acontece com um idioma removido?
O tokenizador usa o marcador de peça desconhecida, e o modelo de entidades quase não lê o trecho. Os padrões continuam reconhecendo valores de formato fixo, como um e-mail. Um nome em cirílico ou árabe num contrato em português é um caso real, e mais um motivo para revisar.
O documento é enviado para algum servidor durante a detecção?
Não. No navegador, a detecção roda na sua máquina com o modelo em cache, e o conteúdo do documento não é transmitido. No desktop, Decodificar também é uma chamada local, e não um serviço na nuvem.
O que se paga sem ver
Muito software no navegador carrega peso desse tipo: bibliotecas inteiras para usar uma função, fontes com milhares de caracteres, modelos treinados para o mundo todo. Ninguém cobra por isso de forma explícita, então ninguém confere. O custo aparece em segundos de espera e nos dados móveis de quem tem menos.
No nosso caso, conferir saiu barato. O corte, medido de um jeito que poderia desmenti-lo, não mudou nada do que o modelo entrega. O DistilBERT mostrou que nem toda redução é assim, e isso só apareceu porque olhamos idioma por idioma.