Qué es un transformer, la idea detrás de ChatGPT

Un transformer es una arquitectura de red neuronal que procesa el lenguaje usando un mecanismo llamado atención. Fue presentada en 2017 en el artículo “Attention Is All You Need”, por investigadores de Google, y se convirtió en la base de muchos modelos de lenguaje posteriores. Su idea central es sencilla: para entender una palabra, mirar todas las demás palabras de la frase y decidir cuáles importan más.

El problema de las redes anteriores

Antes del transformer, las redes más usadas para traducir y para otras tareas de lenguaje eran las redes recurrentes. Estas leen el texto palabra por palabra, de izquierda a derecha, y mantienen una especie de memoria de lo leído. Según el artículo de 2017, esa forma secuencial impide procesar partes de la frase en paralelo.

Google lo explicó con un ejemplo. En la frase “llegué al banco después de cruzar el río”, la palabra “banco” puede significar una orilla o una institución financiera. Una red recurrente tiene que llegar hasta “río” paso a paso para decidirlo, y mientras más lejos estén las palabras clave, más difícil resulta aprender esa relación.

La atención, sin matemáticas

Imagina que lees un párrafo con un subrayador. Cuando llegas a una palabra ambigua, miras hacia atrás y hacia adelante y marcas las palabras que te ayudan a entenderla. Eso es, a grandes rasgos, la atención.

En el transformer, cada palabra se compara con todas las demás de la frase. El resultado es un puntaje de atención para cada una. Esos puntajes sirven como pesos: las palabras más relevantes influyen más en la nueva representación de la palabra que se está analizando.

En el ejemplo del banco, la palabra “río” puede recibir un puntaje alto al calcular el significado de “banco”. Por eso el modelo puede decidir el sentido en un solo paso, sin recorrer cada palabra intermedia.

La autoatención

Cuando una frase se compara consigo misma, el mecanismo se llama autoatención. Cada palabra recibe información de todo el contexto, no solo de sus vecinas inmediatas. El artículo original la describe como una forma de relacionar posiciones distintas de una misma secuencia.

Esta propiedad tiene una consecuencia práctica: no importa tanto la distancia entre dos palabras relacionadas. Supón que una frase tiene 20 palabras y la palabra clave está al principio y otra al final. Una red recurrente tendría que pasar por las 20 palabras en orden. Un transformer compara ambas palabras directamente en un mismo paso.

Cómo se organiza

El transformer original tiene dos partes principales. El codificador lee la frase de entrada y genera una representación de ella. El decodificador genera la frase de salida palabra por palabra, consultando lo que produjo el codificador. En el artículo, cada parte apila seis capas idénticas.

Cada capa combina autoatención con redes conectadas que procesan cada posición por separado. Además se usan conexiones residuales, que suman la entrada de una capa a su salida, y normalización de capas, que estabiliza los valores. Son detalles de ingeniería que ayudan a entrenar redes con muchas capas.

Dentro de cada capa, el mecanismo se repite en varias “cabezas” de atención en paralelo. Cada cabeza calcula su propia atención, y luego sus resultados se combinan.

Qué mostró el artículo

Los autores midieron la calidad de traducción con BLEU, una medida automática que compara la traducción con una de referencia. Según el artículo, el transformer logró 28,4 BLEU en inglés a alemán en la prueba WMT 2014, más de 2 puntos por encima de los mejores resultados previos, incluidos los que combinaban varios modelos.

Para inglés a francés, el artículo reporta 41,8 BLEU tras 3,5 días de entrenamiento en ocho GPU. Los autores señalan que ese costo fue una fracción del que tenían los mejores modelos de la literatura. Ese dato importa: la eficiencia fue parte del logro.

Google también mostró que la atención permite visualizar qué palabras mira el modelo. En una frase con la palabra “it”, el modelo identificó si se refería a “animal” o a “calle”, según el contexto.

Por qué sostiene a los modelos de lenguaje

Una ventaja práctica clave es la paralelización. Como no necesita leer en orden, aprovecha mejor las GPU y TPU, que hacen muchas operaciones al mismo tiempo. En 2017, Google decía que eso aceleraba el entrenamiento hasta diez veces. Esa eficiencia ayuda a entender por qué la arquitectura se volvió la base de muchos modelos de lenguaje posteriores.

Para entender cómo se usa esta arquitectura en un modelo que genera texto, lee la guía sobre qué es un modelo de lenguaje. Para ver el camino que llevó a los chatbots actuales, lee cómo funciona ChatGPT.

Más a fondo

En la formulación del artículo, la atención calcula productos punto entre consultas y claves, los divide por una escala y aplica una función que los convierte en pesos que suman uno. Esos pesos se usan para promediar los valores. No hace falta memorizar la fórmula para entender la idea, pero es útil saber que todo el proceso se resuelve con multiplicaciones de matrices, lo que lo hace eficiente en GPU.

El artículo también compara la atención con otras opciones de la época. Según los autores, la atención con producto punto es más rápida y ocupa menos espacio en la práctica que la atención aditiva, porque usa código de multiplicación de matrices muy optimizado.

Por último, el transformer no tiene un orden incorporado en la entrada, así que los autores le agregaron información de posición a cada palabra. Sin ese dato, el modelo no distinguiría una frase de sus mismas palabras en otro orden.

Si quieres ver el contexto histórico de estas redes, lee la historia de la inteligencia artificial.