Ingeniería
· 6 min de lectura

Cómo quitamos 39 MB a un modelo de IA en el navegador

Por Amine Gaaliche · borrador redactado con Claude, revisado y editado a mano

Quitamos 39 MB al modelo sin cambiar nada de lo que detecta. Nuestro modelo de detección para el navegador traía el vocabulario de 104 idiomas para leer siete, y cada visitante lo descargaba entero. Al retirar los alfabetos que no usamos, pasó de 178,5 MB a 139,6 MB con un resultado idéntico.

Ciento cuatro idiomas para leer siete

Los modelos multilingües de la familia BERT se entrenan una vez para todo el mundo. Antes de leer una frase, el modelo la trocea en piezas: palabras, raíces, sufijos o letras sueltas. Busca cada pieza en una tabla, su vocabulario, y a cada entrada le corresponde una fila de números aprendidos. En un modelo para 104 idiomas, esa tabla ocupa una parte considerable del archivo.

Hay filas para el devanagari, el hangul, el armenio o el tailandés. En un servidor eso apenas importa, porque el modelo se carga una vez para miles de usuarios. En el navegador, cada visitante paga la descarga, el disco y la espera. Todo por el vocabulario de 97 idiomas en los que nunca abrirá un documento.

Nadie decidió imponer ese coste: existe porque el modelo se entrenó para todos. La primera versión pesaba 178,5 MB. Pudimos reducirla porque el modelo es nuestro y está ajustado para esta tarea (por qué construimos nuestro propio motor de detección).

Por qué el tamaño también es una cuestión jurídica

Hay dos maneras de analizar un documento con un modelo: llevar el documento a un servidor o llevar el modelo al equipo del usuario. La primera convierte al proveedor en encargado del tratamiento según el artículo 28 del RGPD. Hace falta entonces un contrato con objeto, duración, instrucciones y medidas de seguridad, y es lo primero que pediría la AEPD. A eso se suman el deber de secreto profesional y la LOPDGDD.

La segunda manera hace innecesaria esa cuestión: si el documento no sale del equipo, no hay contenido que encargar a nadie. Su precio es la descarga. Un modelo que tarda un minuto en llegar con la wifi de un hotel empuja a subir el expediente a cualquier sitio.

La aplicación de navegador envía un aviso anónimo de arranque, sin contenido. Por eso reservamos «100 % sin conexión» al escritorio, cuyo modo aislado, sin licencia ni informes de errores, forma parte del plan Pro. En los dos productos, el documento no abandona el equipo: ni su texto, ni los nombres, ni el DNI o el IBAN.

Qué se quita y qué se queda

La poda no reentrena nada ni recorta ninguna capa. Se recorre el vocabulario y se retiran las entradas de alfabetos que la aplicación no lee, cada una con su fila. Las entradas que quedan conservan sus números intactos. Solo cambia su posición en la tabla, y el troceador se reescribe para apuntar a las nuevas posiciones.

Un texto en español, alemán o neerlandés nunca se trocea en piezas del alfabeto georgiano. Si ninguna frase de esos idiomas consulta una fila, quitarla no cambia el cálculo. En teoría, el ahorro sale gratis. Pero eso había que comprobarlo midiendo.

Cómo lo medimos

Pasamos el modelo original y el podado por 77 documentos en los siete idiomas. Primero comparamos cómo trocea cada uno el texto. Si una sola palabra hubiera usado una pieza retirada, el troceo habría cambiado. Hubo cero diferencias.

Después comparamos las entidades detectadas, una a una. Sobre 2219 entidades, ninguna diferencia. «Idéntico» significa que, sobre ese corpus, los dos modelos devuelven lo mismo. «Casi igual» sería otra afirmación, imposible de refutar porque no dice cuánto ni dónde.

Esta medición sí se puede refutar con un solo documento en el que los dos modelos discrepen. El balance es de unos 39 MB menos en disco y unos 100 MB por la red, que el navegador guarda en caché.

El modelo más pequeño que rechazamos

Para reducir un modelo BERT para el navegador, lo habitual es cambiarlo por otro más pequeño. Un DistilBERT de seis capas de la misma familia ronda los 70 MB por la red, frente a nuestros 100. Lo probamos con el conjunto de referencia revisado a mano: 73,5 % frente al 77,2 % del modelo actual.

Una diferencia de 3,7 puntos en la media parece insignificante. Por idioma, el modelo pequeño perdía 22 puntos en español y 13 en alemán. La media lo diluía entre idiomas que apenas se movían. Para un lector en España, cuentan los 22 puntos: son los contratos y las nóminas que la aplicación trata.

Además, el modelo pequeño coincidía con el actual en solo el 76 % de sus hallazgos. No devolvía una lista más pobre, sino otra lista de tamaño parecido. Quien revisara con él vería una lista de la longitud de siempre, sin saber que una cuarta parte había cambiado. Lo descartamos por lo que medimos.

Lo que el modelo no hace solo

El modelo es una capa entre varias. Los Patrones recogen lo que tiene forma fija, como un DNI 12345678Z, un número de la Seguridad Social o un IBAN. El Reconocimiento de entidades, donde trabaja el modelo podado, busca nombres, sociedades y domicilios. Una capa opcional con un modelo de lenguaje viene desactivada por defecto.

Los resultados se combinan, se eliminan duplicados y se propagan entre páginas, de modo que un nombre de la primera queda marcado en la cuarta. Después se filtra el ruido. Ninguna capa encuentra todos los identificadores, y por eso una persona revisa los hallazgos en Revisar. La poda solo garantiza que el modelo ve lo mismo que antes, aciertos y fallos incluidos.

Codificar sustituye el valor por un código reversible y Tachar lo elimina. La aplicación gratuita genera los códigos igual que el escritorio, con la clave propia del navegador. En el escritorio, Decodificar es una llamada local al componente instalado con la aplicación, sin pasar por ningún servicio.

Preguntas frecuentes

¿Podar el vocabulario cuesta precisión?

En lo que hemos medido, no. Sobre 77 documentos, los dos modelos trocean igual y devuelven las mismas 2219 entidades. Es lo esperable, porque las piezas retiradas son de alfabetos que esos idiomas no usan.

¿Por qué no usar simplemente un modelo más pequeño?

Porque lo probamos. El DistilBERT ahorraba unos 30 MB más, pero perdía 22 puntos en español y coincidía con el actual en solo el 76 % de los hallazgos.

¿Qué ocurre con un idioma retirado?

Un texto en cirílico o griego se lee como piezas desconocidas, y el Reconocimiento de entidades no encontrará nombres en él. Los Patrones siguen funcionando con lo que tiene forma fija, como un IBAN. El catalán, el gallego y el euskera conservan las piezas latinas, pero no los ofrecemos y no hemos medido su calidad.

Por qué damos las cifras

Con la red de un hotel, 39 MB deciden si alguien espera o sube el documento a otra parte. Damos las cifras porque son mediciones nuestras y cualquiera puede ponerlas a prueba. No publicamos ninguna optimización sin demostrar antes que no cuesta nada.

¿Le ha resultado útil? Háganoslo saber.

Compartir