Cómo funciona ChatGPT por dentro, sin matemáticas

ChatGPT es un chatbot de OpenAI que responde en forma de conversación. Según la propia empresa, partió de un modelo de lenguaje de la serie GPT-3.5, que ya sabía predecir texto, y luego se ajustó con conversaciones escritas por personas y con preferencias humanas sobre qué respuestas son mejores. OpenAI lo presentó el 30 de noviembre de 2022. Esta guía explica esas etapas sin fórmulas.

Primera etapa: aprender a continuar un texto

La base de ChatGPT es un modelo de lenguaje, es decir, un programa que estima qué palabras suelen seguir a otras. Si quieres la explicación completa de esa idea, lee qué es un modelo de lenguaje.

Ese modelo aprende a partir de grandes cantidades de texto. Al principio sabe continuar frases, pero no sabe mantener una conversación útil. Por eso hacen falta más etapas.

Segunda etapa: aprender de conversaciones

Según OpenAI, los entrenadores de IA escribieron conversaciones en las que jugaban los dos papeles: el usuario y el asistente de IA. Tenían acceso a sugerencias del propio modelo para componer sus respuestas. Esa mezcla de diálogos se usó para ajustar el modelo.

Piensa en un aprendiz que primero lee mucho y después observa cómo responde un profesional a preguntas reales. El modelo aprende a dar respuestas con el formato y el tono de una conversación, no solo a continuar un texto.

Tercera etapa: ordenar respuestas por calidad

En la siguiente etapa, OpenAI tomó conversaciones que los entrenadores tuvieron con el chatbot. Eligió un mensaje del modelo y generó varias respuestas alternativas. Los entrenadores las ordenaron según su calidad.

Esas comparaciones entrenan un segundo modelo, llamado modelo de recompensa, que aprende a predecir qué respuesta preferiría una persona. Después, el modelo principal se ajusta para obtener puntajes altos en ese modelo de recompensa. OpenAI usa el nombre aprendizaje por refuerzo con retroalimentación humana para este proceso.

Supón que un entrenador ve tres respuestas a la misma pregunta y las ordena de la mejor a la peor: B, A y C. Ese orden es un dato de entrenamiento. Repetido muchas veces, enseña al modelo qué tipo de respuesta suele gustar a las personas.

Qué es InstructGPT

ChatGPT es hermano de InstructGPT, otro modelo de OpenAI que se entrena para seguir instrucciones y dar respuestas detalladas. Según el artículo de 2022 de los autores de InstructGPT, un modelo de 1.300 millones de parámetros (los valores internos que el modelo ajusta al aprender) ajustado con este método fue preferido por evaluadores humanos frente a GPT-3 de 175.000 millones de parámetros, aunque tenía cien veces menos.

Ese resultado sugiere que, para que una respuesta sea útil, el ajuste con retroalimentación humana puede pesar mucho, no solo el tamaño del modelo.

Lo que OpenAI reconoce como limitaciones

OpenAI es clara sobre los límites de ChatGPT en su anuncio. Estos son los principales:

• Respuestas plausibles pero incorrectas: a veces suenan convincentes y están mal.
• Sensibilidad a la forma de preguntar: una pregunta reformulada puede recibir otra respuesta.
• Exceso de palabras: a veces el modelo es muy largo y repite ciertas frases.
• Adivinar la intención: en vez de pedir aclaraciones, a menudo supone lo que el usuario quiso decir.
• Respuestas a pedidos dañinos o con sesgo: aunque se entrenó para rechazarlos, a veces no lo logra.

OpenAI explica que parte de estos problemas viene de los datos y del propio método. Por ejemplo, los entrenadores tendían a preferir respuestas largas que parecían más completas.

Por qué la misma pregunta puede dar respuestas distintas

Un modelo como ChatGPT no busca una respuesta guardada en una base de datos. Genera el texto palabra por palabra, a partir de lo que aprendió y de lo que tiene en la conversación. Por eso una pequeña diferencia en la forma de preguntar puede cambiar el resultado.

Este comportamiento también explica por qué conviene comparar la respuesta con otra fuente antes de tomar una decisión. Lo que dice el chatbot puede ser útil como punto de partida, pero no es una prueba.

Cómo usarlo con prudencia

Para temas de dinero, ChatGPT puede ayudarte a entender un concepto, como qué es una acción o cómo funciona un ETF. Pero no es una fuente de precios actuales ni de asesoría personalizada, y sus respuestas deben contrastarse con documentos oficiales o con un profesional cuando la decisión es importante.

Si una respuesta equivocada lleva a comprar un activo sin entender su riesgo, puedes perder dinero. Una explicación bien redactada no elimina la posibilidad de pérdida, y una acción o un ETF pueden bajar de valor aunque el chatbot suene seguro.

Si quieres ver cómo se conecta esta tecnología con la IA generativa en general, lee qué es la IA generativa. Para entender la arquitectura que hace posible estos modelos, lee qué es un transformer.

Más a fondo

El ajuste con retroalimentación humana usa un método de optimización llamado Proximal Policy Optimization. En términos simples, permite cambiar el modelo poco a poco, sin alejarlo demasiado de lo que ya sabía hacer. Según OpenAI, el proceso se repitió en varias iteraciones.

Según el artículo de InstructGPT, los modelos ajustados con retroalimentación humana mostraron mejoras en veracidad y redujeron la generación de texto tóxico, con pocas pérdidas de rendimiento en otros conjuntos de datos. Ese mismo artículo aclara que el modelo todavía comete errores simples.

OpenAI también indica que ChatGPT se ajustó a partir de la serie GPT-3.5, que terminó de entrenarse a comienzos de 2022, y que se entrenó en infraestructura de Azure. Desde 2022 el producto ha cambiado mucho, según la propia empresa, así que esta guía describe el método de aquel momento.