Curso
Introducción al Deep Learning en Python
4 h
264.6K
Quienes se inician en redes neuronales artificiales (ANN) suelen hacerse varias preguntas. Entre ellas: ¿cuántas capas ocultas conviene usar? ¿Cuántas neuronas por capa oculta? ¿Para qué sirven exactamente las capas y neuronas ocultas? ¿Añadir más capas/neuronas ocultas siempre mejora los resultados? Podemos dar respuesta a estas cuestiones. Eso sí, si el problema a resolver es complejo, la respuesta también lo será. Al finalizar este artículo, tendrás una idea clara de cómo abordar estas preguntas y podrás ponerlo a prueba con ejemplos sencillos.
Introducción
Las ANN se inspiran en las redes neuronales biológicas. Para simplificar, en informática se representan como un conjunto de capas: entrada, ocultas y salida.
Determinar el número de capas de entrada y salida y la cantidad de neuronas en ellas es lo más sencillo. Toda red tiene una capa de entrada y una de salida. El número de neuronas en la capa de entrada coincide con el número de variables de entrada de los datos. El de la capa de salida coincide con el número de salidas asociadas a cada entrada. El reto está en decidir cuántas capas ocultas usar y cuántas neuronas en cada una.
A continuación, unas pautas para estimar el número de capas ocultas y de neuronas por capa en un problema de clasificación:
- Según los datos, dibuja un posible contorno de decisión que separe las clases.
- Expresa ese contorno como un conjunto de líneas. Ten en cuenta que la combinación de esas líneas debe reproducir el contorno.
- El número de líneas elegidas representa el número de neuronas ocultas en la primera capa oculta.
- Para conectar las líneas creadas por la capa anterior, añade una nueva capa oculta. Añade una capa oculta cada vez que necesites crear conexiones entre las líneas de la capa previa.
- El número de neuronas ocultas en cada nueva capa será igual al número de conexiones a realizar.
Para verlo más claro, apliquemos estas pautas a varios ejemplos.
Ejemplo 1
Empecemos con un problema de clasificación sencillo con dos clases, como en la figura siguiente. Cada muestra tiene dos entradas y una salida que representa la etiqueta de clase. Es muy parecido al problema XOR.
La primera pregunta es si necesitamos capas ocultas o no. Una regla para decidirlo es la siguiente:
En redes neuronales artificiales, se necesitan capas ocultas solo si los datos requieren una separación no lineal.
Viendo la siguiente figura, parece claro que las clases deben separarse de forma no lineal. Una sola línea no basta. Por tanto, debemos usar capas ocultas para obtener un buen contorno de decisión. Podríamos intentarlo sin capas ocultas, pero la precisión de clasificación se resentiría. Mejor usarlas.
Sabiendo que hacen falta capas ocultas, quedan dos preguntas clave:
-
¿Cuántas capas ocultas se necesitan?
-
¿Cuántas neuronas en cada capa oculta?
Siguiendo el procedimiento, el primer paso es dibujar el contorno de decisión que separa las dos clases. Hay varias posibilidades que dividen bien los datos, como muestra la figura de abajo. Para la discusión usaremos la del lado derecho (b).
El siguiente paso, según las pautas, es expresar ese contorno como un conjunto de líneas.
La idea de representar el contorno con líneas viene de que cualquier ANN se construye a partir del perceptrón de una sola capa como bloque básico. El perceptrón es un clasificador lineal que separa clases con una línea definida por la ecuación:
y=w1x1+w2x2+ ⋯ +wixi+b
Donde xi es la entrada i-ésima, wi su peso, b el sesgo, y y la salida. Añadir neuronas ocultas incrementa el número de pesos, así que conviene usar el mínimo número de neuronas ocultas que resuelvan el problema. Usar más de las necesarias añade complejidad.
Volviendo al ejemplo, decir que la ANN se construye con varios perceptrones equivale a decir que la red se construye con varias líneas.
En este caso, sustituimos el contorno por un conjunto de líneas. Las líneas parten de los puntos en los que la curva del contorno cambia de dirección. En cada uno de esos puntos colocamos dos líneas, cada una en una dirección distinta.
Como solo hay un punto donde el contorno cambia de dirección (círculo gris en la figura), solo hacen falta dos líneas. Es decir, dos perceptrones de una capa. Cada perceptrón genera una línea.
Saber que hacen falta dos líneas para representar el contorno nos dice que la primera capa oculta tendrá dos neuronas.
Hasta aquí, tenemos una sola capa oculta con dos neuronas. Cada neurona oculta se puede ver como un clasificador lineal representado por una línea, como en la figura anterior. Habrá dos salidas, una por clasificador (es decir, por neurona oculta). Pero queremos un único clasificador con una sola salida que represente la etiqueta de clase, no dos. Por tanto, hay que combinar las salidas de esas dos neuronas en una sola. En otras palabras, conectar las dos líneas mediante otra neurona. El resultado se muestra en la figura siguiente.
Por suerte, no hace falta añadir otra capa oculta con una única neurona para esa conexión. La neurona de la capa de salida puede hacerlo. Esa neurona combinará las dos líneas generadas previamente para que la red tenga una sola salida.
Una vez definidos el número de capas ocultas y sus neuronas, la arquitectura queda completa, como se ve en la figura siguiente.
Ejemplo 2
El siguiente ejemplo de clasificación también tiene dos clases, con dos entradas y una salida por muestra. La diferencia está en el contorno de decisión, que ahora es más complejo.
Según las pautas, el primer paso es dibujar el contorno de decisión. Usaremos el de la parte izquierda de la figura siguiente (a).
Después, dividimos ese contorno en un conjunto de líneas, donde cada línea se modelará como un perceptrón en la ANN. Antes de dibujar las líneas, marcamos los puntos donde el contorno cambia de dirección, como en la parte derecha de la figura (b).
¿Cuántas líneas hacen falta? Los puntos superior e inferior tendrán dos líneas asociadas cada uno, en total 4 líneas. El punto intermedio compartirá sus dos líneas con los otros puntos. Las líneas a crear se muestran en la figura siguiente.
Como la primera capa oculta tendrá tantas neuronas como líneas, esa capa tendrá 4 neuronas. Es decir, 4 clasificadores creados con perceptrones de una capa. En este momento, la red generará 4 salidas, una por clasificador. El siguiente paso es conectarlos para que la red produzca una única salida. Dicho de otro modo, hay que conectar las líneas con capas ocultas adicionales para formar una sola curva.
El diseño final depende de quien modela. Una arquitectura viable es añadir una segunda capa oculta con dos neuronas. La primera neurona conectará las dos primeras líneas y la segunda, las dos últimas. El resultado de la segunda capa se muestra en la figura de abajo.
Hasta aquí tenemos dos curvas separadas, es decir, dos salidas. Para obtener una única salida en toda la red, podemos usar la neurona de la capa de salida para realizar la conexión final, sin necesidad de otra capa oculta. El resultado final se muestra en la figura siguiente.
Con el diseño completo, la arquitectura final de la red es la de la figura siguiente.
