Llevamos años utilizando achaque las redes neuronales: en este momento sabemos cómo hacerlas inclusive 10 veces mas pequeñas carente perder rendimiento

Autor: | Posteado en Noticias Sin comentarios

Llevamos años utilizando achaque las redes neuronales: en este instante sabemos cómo hacerlas inclusive 10 veces mas pequeñas carente perder utilidad

Esta semana se ha celebrado en Nueva Orleans la séptima estampación del ICLR (International Conference 0n Learning Representations), 1 de los grandes eventos científicos mundiales en torno a la inteligencia artificial. Un aspecto destacable de esta estampación ha resultado uno de los trabajos académicos premiados en el mismo.

Escrito por Michael Carbin y Jonathan Frankle, entreambos investigadores del MIT, decreta un acierto de partida radical: todo este asamblea hemos estado utilizando redes neuronales demasiado mas grandes de lo necesario, en unos cuantos casos entre 10 y cien veces mayores. Y eso nos ha llevado a que su entrenamiento haiga resultado demasiado mas costoso de lo necesario, en términos acierto de asamblea tan de validación de cálculo.

Lo que Carbin y Frankle defienden es que, en el interior de cada alambrada neuronal existe un subconjunto demasiado mas pequeño que puede ser entrenado para lograr el semejante utilidad que el que obtenemos por la totalidad de la misma.

Pero ¿cómo trabaja una alambrada neuronal?

Las redes neuronales suelen representarse tan capas apiladas de nodos computacionales conectados entre sí con el final de calcular patrones en los datos. A dichas conexiones, en el punto la alambrada es inicializada, se les asignan aleatoriamente valores entre 0 y 1 que representan su intensidad.

Durante su entrenamiento, dichas conexiones se fortalecen o debilitan para reflejar ‘lo aprendido’, y a abrir de ese instante se quedan fijas para delegación analizar mas reciente información en principios a ese ‘conocimiento’ acumulado.

Éste es el movimiento (muy simplificado) de las redes neuronales. Ahora, el labor de estos investigadores aviso de la observación de 2 cualidades de las mismas:

1) Cuando la alambrada se inicializa previamente de que dé comienzo el proceso de entrenamiento, constantemente existe alguna posibilidad de que las conexiones establecidas al azar generen una configuración no entrenable. La posibilidad de que esto ocurra se reduce cuanta mas grande sea la alambrada (cuántas mas capas y nodos tenga). No está Claro® por qué ocurre esto, inconveniente sí sabemos que es la motivo del gran dimensión de las redes neuronales que se han venido utilizando inclusive ahora.

2) Una ocasión finalizado el proceso de entrenamiento, por lo abstracto sólo una reducida aviso de sus conexiones siguen siendo fuertes, mientras que el resto aire tan débiles que podrían eliminarse carente afectar al utilidad global de la red. Esto último no es nadie descubrimiento de Carbin y Frankle: es habitual, desde hará tiempo, disminuir el dimensión de las redes tras el proceso de entrenamiento para disminuir el precio y asamblea de su ejecución.

Entrenar una alambrada neuronal es tan jugar a la lotería

Pero nadie pensó que afuera factible disminuir el dimensión de una alambrada previamente del proceso de entrenamiento. Los autores de esta investigación decidieron cuestionar esa suposición, y revelar cómo podrían quedarse con el subconjunto útil de la alambrada carente gastar favor en intentar entrenar a todas las demás partes débiles de la red. E investigando a abrir de ahí, terminaron elaborando la ‘Hipótesis del Décimo de Lotería’.

Esta proviene a expresar la inicialización al azar de las conexiones de una alambrada neuronal es como adquirír una gran bolsa de décimos de lotería: posiblemente, en el interior de la misma, esté el décimo as (la configuración inicial que será fácil de entrenar y permita recibir un modelo exitoso). Pero eso no significa que por aprovechar redes neuronales grandes estemos aumentando la validación de las mismas.

Los autores de la investigación afirman que si logramos descubrir esa configuración inicial ganadora, deberíamos ser capaces de reutilizar una y otra vez, en lugar de “volver a jugar a la lotería“. Así, Carbin y Frankle fueron capaces de disminuir la alambrada de partida entre un 10% y un 20%, inconveniente están convencidos de que la cifra podría ser demasiado mayor.

Jason Yoskinski, investigador de Uber AI y co-autor de un paper que profundiza en los planteamientos de Frankle y Carbin, afirma que

“Si los investigadores pudieran descubrir la forma de identificar desde el 1º instante las ‘configuraciones ganadoras’, se reduciría el dimensión de las redes neuronales en un factor de 10, inclusive de 100, y se abriría un mas reciente planeta de los usos potenciales”.

Según Frankle, es factible que en el futuro contemos con bases de datos de código abierto en el que los investigadores recojan las dispares configuraciones ‘podadas’ que haigan encontrado, junto a una reseña de para qué aire buenas.

Eso aceleraría y democratizaría la investigación en inteligencia artificial, haciéndola accesible para investigadores independientes carente entrada a grandes equipos. E, indirectamente, además posibilitaría cambiar la semejante naturaleza de las App de IA, independizándolas de la nube e impulsando el edge computing.

Vía | Technology Review

También te recomendamos

Fallece Nils Nilsson, pionero de la inteligencia artificial que creó al 1º robot inteligente de la historia

Una universidad empezará a formar científicos para que no realicen experimentos… sino que logren que la IA los haga por ellos

Facebook procura aprovechar la IA para apoyar a los usuarios con discapacidad visual a acertar textos incluidos en las imágenes


La noticia Llevamos años utilizando achaque las redes neuronales: en este instante sabemos cómo hacerlas inclusive 10 veces mas pequeñas carente perder utilidad fue publicada originalmente en Xataka por Marcos Merino .

Agrega tu comentario