ImageNet y el salto del aprendizaje profundo en 2012

En 2012, una red neuronal convolucional de Alex Krizhevsky, Ilya Sutskever y Geoffrey Hinton ganó el concurso ILSVRC de reconocimiento de imágenes con un error top-5 de 15,3 %. El segundo mejor equipo tuvo 26,2 %. Los autores lo presentaron como, por mucho, el mejor resultado publicado hasta entonces en esos datos. Para entender por qué, hay que conocer dos piezas: ImageNet, el conjunto de imágenes, y el desafío que lo usó.

Qué es ImageNet

ImageNet es un conjunto de imágenes organizado según WordNet, una base de datos de palabras en inglés agrupadas por significado. Cada concepto de WordNet, que se llama “synset”, aspira a tener muchas imágenes que lo ilustren. Según la página del proyecto, cada imagen se revisa y se etiqueta a mano.

Su creación respondió a dos necesidades. La primera era tener un problema de referencia claro para la visión por computadora. La segunda era tener datos suficientes para que los métodos de aprendizaje automático generalizaran. Antes de ImageNet, muchas bases de datos de imágenes tenían decenas de miles de ejemplos, según el artículo de 2012.

Un detalle importante: según su página, ImageNet no es dueña de las imágenes. Solo compila la lista de enlaces a imágenes de la web, y da acceso con condiciones para investigación y educación no comercial.

Qué es ILSVRC

El ImageNet Large Scale Visual Recognition Challenge, o ILSVRC, es un concurso anual que se celebra desde 2010. Usa un subconjunto de ImageNet con 1000 categorías de objetos. Los participantes entrenan sus algoritmos con imágenes de entrenamiento y luego envían predicciones sobre imágenes de prueba cuyas etiquetas no conocen.

Según el artículo de Russakovsky y colaboradores, la versión de 2010 tuvo más de un millón de imágenes, mientras que su antecesor, PASCAL VOC, tenía cerca de veinte mil y solo 20 categorías. Por eso ILSVRC se volvió un referente.

Una de las medidas del concurso es el error top-5. La predicción se considera correcta si la categoría verdadera aparece entre las cinco respuestas más probables del modelo. Es una medida más flexible que exigir acertar con la primera opción.

Supón que el concurso tiene 1000 categorías y un sistema responde al azar. La probabilidad de acertar con la primera respuesta sería de 1 entre 1000, es decir, 0,1 %. Con cinco respuestas, sería de 5 entre 1000, o 0,5 %, así que su error top-5 sería de 99,5 %. Frente a eso, un error top-5 de 15,3 % significa que la categoría correcta estaba entre las cinco primeras respuestas en casi 85 de cada 100 imágenes de prueba.

La red de 2012

El artículo de Krizhevsky, Sutskever y Hinton describe una red con 60 millones de parámetros y 650.000 neuronas. Tiene cinco capas convolucionales, algunas seguidas de capas de reducción, y tres capas totalmente conectadas al final. Una capa convolucional es una capa que recorre la imagen con pequeños filtros para detectar bordes, colores y formas.

Entre los factores que destacan los autores hay tres. Primero, usaron GPU, tarjetas gráficas que hacen muchas operaciones en paralelo, con una implementación muy optimizada de la convolución. Segundo, aplicaron en las capas totalmente conectadas una técnica llamada dropout, que apaga neuronas al azar durante el entrenamiento para reducir el sobreajuste. Tercero, contaron con un conjunto grande de imágenes etiquetadas, como ImageNet.

Según el artículo, el entrenamiento tomó entre cinco y seis días en dos GPU GTX 580. Los autores también dicen que sus resultados podían mejorar al esperar GPU más rápidas y conjuntos de datos más grandes.

Por qué 2012 cambió el campo

El segundo lugar de 2012, con 26,2 %, combinaba varios clasificadores entrenados sobre características extraídas de la imagen con técnicas clásicas, no aprendidas por una red profunda. La brecha de casi 11 puntos mostró que una red profunda bien entrenada podía superar con claridad a ese tipo de enfoque.

Ese resultado conecta con el trabajo de Hinton y sus colaboradores, que la ACM reconoció en 2018. Puedes leer ese reconocimiento en la guía sobre los padres de la IA.

Para entender el contexto completo del campo, lee la historia de la inteligencia artificial.

Más a fondo

El artículo de 2012 también señala que sus autores entrenaron la red en subconjuntos de ImageNet usados en los concursos de 2010 y 2012. Con 1,2 millones de ejemplos de entrenamiento, el tamaño de la red era un problema de sobreajuste, así que usaron varias técnicas para evitarlo. Quitar cualquiera de las capas convolucionales empeoraba el resultado, lo que sugiere que la profundidad importaba.

El artículo de Russakovsky y colaboradores de 2015 describe la evolución del concurso. Trata los retos de anotar datos a esa escala, compara el rendimiento de los algoritmos con la precisión humana y reúne lecciones de los cinco primeros años del desafío.

Para distinguir el aprendizaje automático general del aprendizaje profundo, que es el que usa estas redes, lee la guía sobre machine learning y deep learning.