Ingénierie
· 6 min de lecture

Réduire un modèle BERT pour le navigateur : 39 Mo en moins

Par Amine Gaaliche · brouillon rédigé avec Claude, relu et corrigé à la main

Nous avons réduit notre modèle de détection de 178,5 Mo à 139,6 Mo, sans le réentraîner. Son vocabulaire couvrait en effet 104 langues, alors que promptShield n'en proposait que sept. Nous avons donc retiré les écritures inutiles, et les résultats mesurés sont restés identiques.

Ce que pèse un vocabulaire multilingue

Un modèle multilingue de la famille BERT ne lit pas des mots entiers. Il découpe le texte en fragments de mots, tirés d'un vocabulaire fixé lors de l'entraînement. Chaque fragment occupe une ligne dans une table : un vecteur de nombres que le modèle consulte quand il rencontre ce fragment.

Or, pour couvrir 104 langues, ce vocabulaire contient aussi des syllabes thaïes, des idéogrammes chinois ou des caractères devanagari. La table s'alourdit d'autant. Dans notre modèle, les lignes réservées à des écritures que nous ne proposons pas pesaient 38,9 Mo, soit plus d'un cinquième du fichier.

Ce choix se comprend : le modèle a été entraîné une fois pour tout le monde, et son éditeur ignore où il servira. Mais le coût retombe sur celui qui l'utilise. Chaque visiteur de l'application téléchargeait ainsi le vocabulaire de 97 langues dans lesquelles il n'ouvrirait jamais un document.

Ce coût, c'est nous qui l'avons imposé. La première version mise en ligne pesait 178,5 Mo, que chaque nouvel utilisateur devait télécharger, sur la fibre d'un cabinet comme sur un téléphone en déplacement. Personne ne s'était demandé ce que contenait ce fichier.

Pourquoi le modèle tourne sur votre poste

La taille du fichier compterait peu si le modèle tournait sur un serveur. Mais il tourne sur votre poste, pour que le document n'ait pas à en sortir. En effet, un cabinet qui envoie une pièce à un service de détection en ligne fait de ce service un sous-traitant au sens de l'article 28 du RGPD. Il lui faut alors le contrat et les garanties que cela suppose.

Le cabinet expose en outre des informations couvertes par le secret professionnel, dont la violation est punie par l'article 226-13 du code pénal. Avec un modèle local, au contraire, le bail, le numéro de sécurité sociale d'un salarié ou le RIB d'un client restent sur la machine.

L'application gratuite pour navigateur envoie un signal anonyme à son lancement : nous ne la disons donc pas « 100 % hors ligne ». Comme avec l'application de bureau, le document, lui, ne quitte pas la machine. Seule l'application de bureau porte la mention « 100 % hors ligne », et son mode isolé, sans appel de licence ni rapport d'erreur, relève de l'offre Pro.

Nous pouvons élaguer ce modèle parce qu'il nous appartient, pour les raisons données dans notre article sur notre propre moteur de détection.

Élaguer sans réentraîner

L'opération est simple. Nous avons listé les écritures qu'emploient nos sept langues, puis retiré du vocabulaire tous les autres fragments, avec leurs lignes dans la table. Il n'y a eu ni réentraînement ni poids recalculé. Les lignes gardées sont celles d'origine, et les couches qui traitent le texte n'ont pas changé.

En principe, une ligne que le modèle ne consulte jamais ne peut pas changer ce qu'il produit. Un fragment thaï n'est lu que si le texte contient du thaï, ce qui n'arrive pas dans un bail français. Un risque demeurait pourtant. Avec un vocabulaire réduit, le modèle pourrait découper un mot autrement, et un découpage différent décale tout ce qui suit. Il fallait donc le vérifier.

La mesure

Une réduction de 22 % présentée comme gratuite appelle le doute. Nous avons donc fait tourner les deux modèles sur le même corpus de 77 documents, répartis entre nos sept langues. Nous avons comparé le découpage en fragments, puis les entités, une à une.

Les deux sorties sont identiques : aucune différence de découpage sur les 77 documents, aucune différence sur les 2 219 entités détectées. « Identique » s'entend ici au sens strict, sans « presque » ni « perte négligeable ».

Une perte « négligeable » obligerait à dire où elle se trouve et qui la subit. Une égalité stricte, mesurée sur un corpus dont nous donnons la taille, est au contraire vérifiable : n'importe qui peut la contester, documents à l'appui. Or la plupart des optimisations se paient en précision, en latence ou en mémoire. Celle-ci ne coûte rien, du moins sur ce que mesure le corpus.

Ce corpus a ses limites. Il porte sur nos sept langues et ne dit rien d'un nom en cyrillique dans une pièce française, un cas que nous n'avons pas mesuré. Il ne dit rien non plus de la qualité de la détection en elle-même : il montre seulement qu'elle n'a pas changé. Or aucun modèle local ne repère tous les identifiants. Ne sautez donc pas l'étape Réviser.

Le modèle plus petit, essayé puis refusé

Il existait une voie plus simple. Un DistilBERT à six couches, de la même famille, pèse environ 70 Mo à télécharger, contre 100 pour le nôtre. Le gain de taille est comparable, sans écrire une ligne de code d'élagage. Mais sur notre jeu de référence, il obtient 73,5 %, contre 77,2 % pour le modèle livré.

En moyenne, l'écart semble faible. Cette moyenne cache pourtant une baisse de 22 points en espagnol et de 13 points en allemand. Pour un cabinet madrilène ou un service juridique de Francfort, ce n'est plus le même produit.

De plus, le petit modèle ne s'accorde avec le modèle livré que sur 76 % de ses résultats. Il ne trouve donc pas simplement un peu moins : il trouve d'autres entités, en nombre comparable. Impossible, dès lors, de le traiter comme une version dégradée dont on connaîtrait les manques. La mesure a tranché.

Ce que l'élagage ne touche pas

Ce modèle n'est d'ailleurs qu'une couche de la détection. Les valeurs au format reconnaissable, comme l'IBAN, le RIB ou le numéro de sécurité sociale, relèvent de la couche Motifs, qui repose sur des expressions régulières très précises. Le vocabulaire du modèle n'y joue aucun rôle.

Dans l'application de bureau, la Reconnaissance d'entités peut aussi être complétée par l'Analyse approfondie, facultative et désactivée par défaut. Les résultats de toutes les couches sont ensuite fusionnés, dédoublonnés et filtrés. Ils sont en outre propagés d'une page à l'autre : un nom repéré en page 1 peut ainsi être retrouvé en page 4.

Une page numérisée, elle, n'est qu'une image. Elle est donc rendue à 300 dpi, puis lue par Tesseract dans la langue du document et en anglais. Les données personnelles y sont repérées comme des zones de l'image, et ces pixels sont masqués. Une couche de texte interrogeable est ensuite reconstruite dessous.

Pour cette lecture, des packs de langue sont livrés pour nos sept langues et pour le polonais. Un scan lu avec le mauvais pack se lit mal, et sans avertissement.

Ce que nous en retenons

Personne ne choisira un outil d'anonymisation parce que son modèle pèse 139,6 Mo plutôt que 178,5. Mais un juriste qui ouvre l'application depuis un hôtel, sur une connexion partagée, attend moins longtemps avant de traiter sa première pièce.

Un modèle publié pour tout le monde embarque ce dont tout le monde pourrait avoir besoin. C'est donc à celui qui le déploie de faire le tri, car l'utilisateur ne voit pas ce qu'il télécharge. Nous aurions dû faire ce tri avant la première mise en ligne. Si nous élaguons de nouveau ce modèle, nous referons la mesure sur le même corpus avant de le publier.

Questions fréquentes

Élaguer le vocabulaire fait-il perdre en précision ?

Non, sur ce que nous avons mesuré : même découpage et mêmes 2 219 entités sur 77 documents. En revanche, les textes qui mêlent plusieurs écritures n'ont pas été mesurés.

Pourquoi ne pas prendre simplement un modèle plus petit ?

Nous l'avons essayé. Le DistilBERT perd 22 points en espagnol et 13 en allemand, et ne s'accorde avec notre modèle que sur 76 % des résultats.

Que devient une langue retirée ?

Aucune des sept langues mesurées n'a perdu quoi que ce soit : les fragments de leurs écritures sont tous conservés. Le produit ne livre d'ailleurs aucun pack de lecture des scans pour les écritures retirées. Pour ajouter une écriture, il faudrait repartir du modèle d'origine et refaire la mesure.

Mon document est-il envoyé sur un serveur avec la version pour navigateur ?

Non. Après un téléchargement unique du modèle, la détection s'exécute sur votre poste, et le document ne le quitte pas. L'application envoie en revanche un signal anonyme à son lancement, qui ne contient rien du document.

Cette page vous a été utile ? Dites-le-nous.

Partager