Qué es un modelo de lenguaje (LLM), explicado simple

Un modelo de lenguaje es un programa que estima qué palabra o qué grupo de palabras es más probable que aparezca a continuación en un texto. Los modelos grandes, llamados LLM por sus siglas en inglés, hacen esa tarea con miles de millones de ajustes internos. No “saben” en el sentido humano: aprenden patrones de cómo se escribe el lenguaje y los usan para generar texto plausible.

La idea básica: predecir lo que sigue

Imagina la frase “Cuando escucho la lluvia en el techo, yo ___ en la cocina”. Un modelo de lenguaje asigna una probabilidad a cada posible continuación. Supón que para esa frase asigna 40 % a “preparo sopa”, 10 % a “me tomo un café” y un porcentaje menor a otras opciones.

Un programa puede elegir la opción más probable o elegir al azar entre las que superan cierto umbral. Así funciona la generación de texto. La misma idea sirve para traducir, resumir o responder preguntas, porque todas esas tareas pueden verse como completar un texto.

Qué es un token

Los modelos no trabajan siempre con palabras completas. Trabajan con tokens, que pueden ser palabras, partes de palabras o caracteres. Según el curso de Google, la mayoría de los modelos actuales dividen el texto en subpalabras, es decir, en trozos con significado.

Por ejemplo, “gatos” puede dividirse en “gato” y “s”. Una palabra larga puede necesitar varios tokens. Según el curso, en inglés un token equivale a unos cuatro caracteres, o a unas tres cuartas partes de una palabra. Por eso 400 tokens suelen corresponder a unas 300 palabras en inglés. En español la proporción cambia, porque la división depende del idioma.

Qué significa que sea “grande”

Un modelo grande tiene muchos parámetros. Puedes pensar en un parámetro como una perilla que se ajusta durante el entrenamiento. Al principio las perillas tienen valores aleatorios, y el entrenamiento las mueve poco a poco hasta que el modelo predice mejor.

GPT-3, presentado por OpenAI en 2020, tenía 175.000 millones de parámetros. Según su artículo, eran diez veces más que cualquier modelo de lenguaje anterior de su tipo. Por ese tamaño, y por haberse entrenado con enormes volúmenes de texto de internet, GPT-3 es un ejemplo típico de LLM.

El contexto importa

El contexto es la información alrededor de la palabra que se quiere predecir. Si la frase dice “naranja” después de hablar de árboles frutales, el modelo debe leer ese contexto para entender que se trata de la fruta y no del color.

Los primeros modelos estadísticos solo miraban unas pocas palabras anteriores. Las redes recurrentes podían recordar más contexto, aunque lo procesaban token por token. Los LLM actuales pueden evaluar todo el contexto a la vez, gracias a la autoatención, que se explica en la guía sobre qué es un transformer.

Supón que un modelo solo mira las dos palabras anteriores. Con “naranja es”, no tiene suficiente información para decidir si el texto habla de fruta o de color. Con un párrafo entero, la respuesta suele quedar clara.

Qué puede y qué no puede hacer

Un LLM puede escribir textos, resumir, traducir, explicar conceptos y ayudar a organizar ideas. Puede hacerlo bien cuando el tema está bien representado en sus datos de entrenamiento.

Tiene límites importantes. Como genera texto plausible, puede escribir una respuesta que suena segura y es incorrecta. No consulta por sí solo una base de datos de hechos, a menos que se le conecte a una. Tampoco tiene datos de mercado en tiempo real, así que no debe usarse para decidir compras o ventas con cifras actuales.

El artículo de GPT-3 dedica secciones a riesgos como el mal uso del modelo, los sesgos que aprende de sus datos y el consumo de energía del entrenamiento. Esos temas siguen siendo parte del debate sobre estos sistemas.

Un ejemplo para entender el límite

Supón que un modelo responde una pregunta sobre un tema poco común. Puede generar una respuesta con nombres, fechas y cifras que suenan correctos, aunque no existan. El motivo es que está prediciendo qué palabras encajan, no verificando cada dato. Por eso conviene contrastar cualquier cifra importante.

Para una mirada general de cómo se usa esta tecnología en chatbots, lee cómo funciona ChatGPT. Para ver el tipo de sistemas que generan contenido nuevo, lee qué es la IA generativa.

Más a fondo

Los modelos de n-gramas, como los de bigramas y trigramas, son una forma sencilla de estimar probabilidades. Un trigrama mira solo las dos palabras anteriores. Si se usan secuencias más largas, el modelo tiene más contexto, pero cada combinación aparece menos veces en los datos y el modelo aprende peor.

Las redes recurrentes resolvieron parte de ese problema, aunque tienen su propia limitación: leen un token a la vez y tienen dificultades para aprender dependencias muy largas. Los LLM evitaron ese cuello de botella al evaluar el contexto completo.

En el artículo de GPT-3, los autores presentan el modelo con “pocos ejemplos” dentro del propio texto de entrada, sin ajustar sus parámetros para cada tarea. Esa capacidad, llamada aprendizaje con pocos ejemplos, es la que da título al artículo.