Techniek
· 6 min leestijd

Een BERT-model 39 MB kleiner maken voor de browser

Door Amine Gaaliche · concept opgesteld met Claude, met de hand nagekeken en geredigeerd

We hebben de woordenlijst van het model ingekort tot de schriften die we echt gebruiken. Het meertalige BERT-model achter de detectie in onze browserapp is getraind voor 104 talen, en de app las er toen zeven. Na het snoeien ging het model van 178,5 MB naar 139,6 MB, en de uitvoer bleef identiek.

Eén woordenlijst voor 104 talen

Een taalmodel leest stukken van woorden uit een vaste woordenlijst. Veelvoorkomende woorden blijven heel, zeldzame vallen uiteen in brokken. Elk stuk heeft een eigen rij getallen in de embeddingtabel, en die rij is het eerste wat het model van een woord ziet.

Een model voor 104 talen heeft daarom stukken Cyrillisch, Grieks, Arabisch, Hebreeuws, Devanagari en Georgisch nodig, plus duizenden Chinese en Japanse tekens. Voor de onderzoekers die het trainden, is dat de bedoeling: één model voor iedereen.

De zeven talen die promptShield toen aanbood (Nederlands, Engels, Frans, Duits, Spaans, Italiaans en Portugees), gebruiken allemaal het Latijnse schrift. Elke rij voor een ander schrift werd dus bij elke bezoeker gedownload en geladen, maar nooit gebruikt. De bezoeker betaalde daarvoor in downloadtijd, geheugen en wachttijd voordat Detecteren voor het eerst iets deed.

Wij leverden het model zelf een tijd zo uit, op 178,5 MB. Op een snelle testverbinding valt dat nauwelijks op. Op hotelwifi of een laptop met weinig geheugen wel, en daar zitten de mensen die we willen bereiken.

Waarom het model naar het document gaat

Dat we deze download vragen, heeft met de AVG te maken. Een detectiedienst in de cloud zou uw document naar onze servers halen. Dan worden wij verwerker onder artikel 28 AVG, met een verwerkersovereenkomst, afspraken over subverwerkers en de vraag waar de servers staan.

Voor advocaten en notarissen komen het beroepsgeheim en het verschoningsrecht erbij. In de browser blijft het document op uw computer. Over de inhoud, zoals het BSN of IBAN van een cliënt, hoeft u met ons dus niets vast te leggen, want wij krijgen die inhoud niet.

Of uw kantoor voor de rest iets moet regelen onder de AVG of de UAVG, is een vraag voor uw privacyjurist. Bij een onderzoek van de Autoriteit Persoonsgegevens is de vraag ‘wie heeft dit document gezien’ snel beantwoord.

De prijs is dat de bezoeker het model moet downloaden. Die download moet dus klein zijn, want voor veel mensen is de gratis browserapp de eerste kennismaking met promptShield.

Wat er uit het model ging

Wij mogen in het model snijden omdat het een eigen model is. Waarom we een eigen detectiemodel bouwden, leggen we elders uit.

Uit de woordenlijst zijn alle stukken geschrapt die alleen in niet-ondersteunde schriften voorkomen, en uit de embeddingtabel de bijbehorende rijen. De overgebleven stukken zijn opnieuw genummerd. Aan de lagen van het netwerk is niets gedaan: geen gewicht hertraind, geen laag weggehaald.

Het resultaat: 178,5 MB werd 139,6 MB op schijf. Als download is dat ruwweg 100 MB, die de browser één keer ophaalt en daarna uit de cache leest. Bijna 39 MB, ruim een vijfde van het model, was woordenschat voor talen die de app niet aanbiedt.

Wie vaker modellen verkleinde, weet dat zulke winst meestal iets kost, zoals precisie of kennis. Daarom moet juist de claim dat het niets kostte goed bewezen worden.

De test die het had kunnen weerleggen

We lieten het oude en het nieuwe model dezelfde 77 documenten lezen, in onze zeven talen. We vergeleken hoe de tekst in stukken werd geknipt en welke entiteiten werden gevonden. Er waren geen verschillen in de opdeling en geen verschillen in de 2.219 entiteiten. De uitvoer is identiek, niet ongeveer gelijk.

Dat woord kiezen we met opzet. ‘Verwaarloosbaar verlies’ valt nooit te weerleggen. Identiek wel: één afwijkend stuk tekst of één entiteit verschil, en de bewering valt om.

De uitkomst is ook te verklaren. Voor Latijnse tekst kiest de tokenizer alleen Latijnse stukken, dus de geschrapte stukken kwamen nooit in aanmerking. Wel heeft de meting grenzen: 77 documenten bewijzen niets over elke denkbare tekst, en een woord in een geschrapt schrift leest het model anders.

Het kleinere model dat we lieten liggen

Er was een goedkopere route: een DistilBERT van dezelfde familie, met zes lagen, van ongeveer 70 MB als download tegen onze 100. We hebben het gemeten en het viel af.

Op onze samengestelde testset haalde DistilBERT 73,5% en ons model 77,2%. Dat verschil lijkt klein, maar het zit vooral in een paar talen: 22 punten verlies in het Spaans en 13 in het Duits.

DistilBERT was het bovendien met ons model over maar 76% van de vondsten eens. Het vond een even grote, maar voor een kwart andere verzameling. Mist een model steeds hetzelfde, dan weet u waar u moet nakijken. Bij dit model niet.

Een kleiner model is een ander model, dat u opnieuw moet leren vertrouwen. Het gesnoeide model is hetzelfde model met een kortere woordenlijst.

Wat het model niet doet

In de browserapp vindt het gesnoeide model Entiteiten zoals namen en adressen, en patronen vinden vaste vormen zoals een BSN of IBAN. Het desktopprogramma heeft een entiteitenmodel naar keuze en een optionele taalmodellaag, die standaard uit staat.

De uitkomsten worden samengevoegd, ontdubbeld, over de pagina's doorgetrokken en gefilterd op ruis. Geen laag vangt elk persoonsgegeven, gesnoeid of niet. Daarom kijkt een mens de vondsten na in Beoordelen voordat een bestand de deur uitgaat.

De browserapp is ook niet offline zoals het desktopprogramma. Het document verlaat uw computer niet. De app stuurt bij het starten wel een anoniem signaal zonder documentinhoud. ‘100% offline’ zeggen we alleen van het desktopprogramma, en de stand zonder licentiecontrole en foutrapportage hoort bij Pro.

Codes in de gratis app zijn echte codes. De browser maakt codes op dezelfde manier als het desktopprogramma, met een eigen sleutel.

Vragen over het snoeien

Kost het snoeien van de woordenlijst nauwkeurigheid?

Niet op wat we hebben gemeten. Over 77 documenten in zeven talen gaf het gesnoeide model identieke uitvoer, met dezelfde 2.219 entiteiten. Alleen stukken die voor Latijns schrift nooit worden gekozen, zijn verwijderd.

Waarom niet simpelweg een kleiner model?

Dat hebben we geprobeerd. DistilBERT is zo'n 70 MB tegen onze 100, maar scoorde 73,5% tegen 77,2% en verloor 22 punten in het Spaans. Het was het ook over maar 76% van de vondsten met ons model eens.

Wat gebeurt er met een verwijderde taal?

Een woord in een geschrapt schrift, zoals een Russische naam, komt grotendeels als onbekend teken binnen. Die talen biedt de app niet aan. Patronen voor een IBAN of geboortedatum blijven werken, en in Beoordelen markeert u een gemiste naam met de hand.

Verlaat mijn document de computer?

Nee, het model draait in uw browser en het document blijft op uw machine. De app stuurt bij het starten alleen een anoniem signaal zonder documentinhoud. In het desktopprogramma is Decoderen een lokale aanroep, zonder dienst ertussen.

Was dit nuttig? Laat het ons weten.

Delen