Hinton, LeCun y Bengio: el Premio Turing del deep learning

Geoffrey Hinton, Yann LeCun y Yoshua Bengio son tres investigadores que dedicaron décadas a un enfoque de la inteligencia artificial que durante mucho tiempo fue minoritario: las redes neuronales profundas. En 2018, la ACM les otorgó el Premio Turing, considerado el “Nobel de la computación”. En 2024, Hinton recibió además el Nobel de Física, junto con John Hopfield. Esta guía explica quiénes son, qué hicieron y por qué se los asocia con el deep learning.

Qué es el Premio Turing

El Premio Turing lo entrega la ACM, una asociación internacional de computación. Lleva el nombre de Alan Turing, el matemático británico que dio las bases matemáticas de la computación. Según la ACM, en 2019 el premio era de un millón de dólares, con apoyo financiero de Google.

En marzo de 2019, la ACM anunció que el premio de 2018 se otorgaba a los tres investigadores. Lo hizo por avances conceptuales e ingenieriles que hicieron de las redes neuronales profundas un componente central de la computación.

Qué es una red neuronal, en pocas palabras

Una red neuronal es un programa formado por capas de unidades simples que se conectan entre sí. Cada conexión tiene un peso, y el sistema ajusta esos pesos para reconocer patrones. Su nombre viene de que, de forma muy simplificada, imita cómo las neuronas del cerebro se transmiten señales.

Piensa en una red como un grupo de personas que se pasan un mensaje. Cada una añade su parte, y al final el mensaje se transforma. Entrenar la red es ajustar qué tanto influye cada persona en el resultado final.

Qué aportó cada uno

Según ACM, Hinton fue clave en la retropropagación, un método que permite a una red ajustar sus pesos internos a partir del error. En un artículo de 1986 con David Rumelhart y Ronald Williams, mostró que este método permitía a las redes descubrir sus propias representaciones de los datos. En 2019, la ACM lo describía como estándar en la mayoría de las redes neuronales.

Bengio, según ACM, combinó redes neuronales con modelos probabilísticos de secuencias en los años noventa, es decir, modelos que estiman qué tan probable es una serie de datos, como una secuencia de sonidos o de letras. En el año 2000 publicó un trabajo sobre modelos de lenguaje que introdujo una forma de representar el significado de cada palabra con una lista de números. Su grupo también introdujo un mecanismo de atención, una técnica que deja a la red fijarse en las partes más relevantes de una frase, que llevó a avances en traducción automática.

LeCun, según ACM, desarrolló en los años ochenta las redes convolucionales, un tipo de red pensada para analizar imágenes por partes, que la ACM describía en 2019 como estándar en visión por computadora. A finales de esa década fue el primero en entrenar una red convolucional con imágenes de dígitos escritos a mano.

Por qué tardaron en ser aceptados

ACM explica que, aunque el uso de redes neuronales se introdujo en los años ochenta, a comienzos de los años 2000 solo un grupo pequeño seguía comprometido con ese enfoque. Sus esfuerzos para reavivar el interés fueron recibidos al principio con escepticismo.

Ese escepticismo cambió cuando los resultados llegaron. Supón que un sistema reconoce bien 9 de cada 10 fotos de prueba, mientras que el mejor método anterior acierta solo 7 de cada 10. Una diferencia así convence más que cualquier argumento teórico. Según la ACM, sus ideas terminaron produciendo grandes avances tecnológicos, como el reconocimiento de imágenes y de voz.

El artículo de Nature de 2015

En 2015, los tres investigadores publicaron en la revista Nature un artículo de revisión titulado “Deep learning”. Describe cómo las capas de una red profunda aprenden representaciones cada vez más abstractas de los datos, desde bordes en una imagen hasta partes de objetos.

El artículo señala que el método clave es la retropropagación, que indica cómo ajustar los parámetros internos de la red. También destaca avances en reconocimiento de imágenes, voz y lenguaje. Puedes ver ese enfoque técnico en la guía sobre machine learning y deep learning.

El Nobel de Física de 2024

El 8 de octubre de 2024 se anunció que el Nobel de Física era para John Hopfield y Geoffrey Hinton, por usar herramientas de la física para crear métodos que ayudaron a sentar las bases del aprendizaje automático actual. Según el comité, Hopfield creó una estructura que puede almacenar y reconstruir información. Hinton inventó un método que descubre propiedades en los datos de forma independiente, y que hoy es importante para las grandes redes neuronales.

LeCun y Bengio no recibieron ese Nobel. Es importante no confundir los dos premios: el Turing reconoció a los tres, y el Nobel de Física solo a Hinton y Hopfield.

Qué significa el título de “padres”

La expresión “padres de la revolución del deep learning” es la que usó la ACM en su anuncio. Describe a tres personas que impulsaron ideas clave, pero no es una descripción completa de la historia del campo. La propia ACM dice que eran parte de un grupo pequeño de investigadores, y que el salto dependió también de computadoras con GPU y del acceso a enormes conjuntos de datos.

Para entender el contexto más amplio de esas contribuciones, lee la historia de la inteligencia artificial. Para ver una aplicación concreta de estas redes en imágenes, lee ImageNet y el salto del aprendizaje profundo en 2012.

Lo que no dice este reconocimiento

Un premio no dice cuánto valdrá una empresa ni si su tecnología tendrá éxito comercial. Si alguien decide comprar acciones por el prestigio de una persona o de un premio, corre un riesgo real de perder dinero, porque el precio depende de muchos factores.

Más a fondo

La máquina de Boltzmann, que Hinton creó con Terrence Sejnowski (la ACM la fecha en 1983; el comité del Nobel dice que se publicó en 1985), es una de las primeras redes capaces de aprender representaciones internas en neuronas que no son ni de entrada ni de salida. Es una red que puede generar nuevos patrones, lo que la hace un antecedente de los modelos generativos.

En 2012, Hinton y sus estudiantes Alex Krizhevsky e Ilya Sutskever mejoraron las redes convolucionales con neuronas rectificadoras y regularización por abandono, y casi redujeron a la mitad el error en el concurso ImageNet, según ACM.

Por último, según la ACM, Bengio desarrolló con Ian Goodfellow las redes generativas adversarias, capaces de crear imágenes originales, que tuvieron un gran impacto en visión por computadora y en gráficos.