Redes neuronales

1. Formas de aprendizaje y ejemplos

El ML permite resolver distintos tipos de problemas, que se reparten en dos formas de aprendizaje principales. Se presenta también una tercera forma de aprendizaje, aunque se utiliza muy poco.

a. Aprendizaje no supervisado

El aprendizaje no supervisado no es la forma de aprendizaje más común, pero su uso se ha extendido en estos últimos años. En esta forma de aprendizaje, no existe un resultado esperado. Se utiliza esta forma de aprendizaje para realizar clustering (también llamado segmentación): se parte de un conjunto de datos y se busca determinar las clases de hechos.

En realidad, existen otras aplicaciones del aprendizaje no supervisado, aunque el clustering representa la gran mayoría de aplicaciones actuales. Podemos citar, por ejemplo, los sistemas de recomendaciones, utilizados por las tiendas on-line o la publicidad.

Podemos imaginarnos una situación en la que se posee una base de datos de clientes y en la que se busca obtener distintos perfiles en función de sus compras o presupuestos. A priori, no se sabe cuántos perfiles hay ni cuáles son. Este es un problema típico de clustering.

Vamos a tratar de maximizar la coherencia de los datos en el interior de una misma clase (que podría, por ejemplo, ser "los deportistas de 20 a 25 años") y a minimizarla entre las clases.

Imaginemos que tenemos el siguiente conjunto de datos:

Si tratamos de determinar clases en estos datos, sería posible definir las tres clases siguientes:

De esta manera, se maximiza...

1. Principio

Una neurona recibe entradas y proporciona una salida, gracias a diversas características:

La neurona formal puede resumirse de la siguiente manera:

A igual que con la regresión lineal y la regresión logística, la principal dificultad será el aprendizaje de los pesos (y del umbral, que puede verse como un peso particular). Las funciones de agregación y de activación se seleccionan previamente.

Es la presencia de la función de activación, si no es lineal, la que permitirá superar la condición de linealidad de los algoritmos de Machine Learning vistos previamente, así como el número de neuronas y las conexiones entre ellas (pues, en efecto, es posible tener varias neuronas, como ocurre casi siempre).

2. Red de tipo "perceptrón"

El perceptrón es la red neuronal más simple. Un perceptrón es una red que contiene p neuronas formales. Cada una está vinculada con n entradas. Esta red permite tener p salidas.

En el caso de una tarea de regresión, se tendrá una sola salida (y, por tanto, una única neurona), que proporcionará un valor real. En el caso de una tarea de clasificación, se tendrá una salida por clase, y será la salida con el valor más grande la que indicará la clase seleccionada por la red.

Con 3 neuronas y 5 entradas, se tienen 3 salidas. He aquí...

1. Redes con capa oculta

Están compuestas de una o varias capas ocultas de neuronas, vinculadas a las entradas o a las capas anteriores, y de una capa de salida, vinculada a las neuronas ocultas. Se las denomina feed-forward pues la información no puede ir más que desde las entradas hasta las salidas, sin volver atrás.

El usuario seleccionará el número de capas ocultas y el número de neuronas de cada capa (generalmente haciendo pruebas sobre varios valores). Hablamos de Deep Learning cuando el número de capas es importante (a partir de 3 o 4 capas ocultas).

Cuantas más capas posea la red, más compleja será, permitiendo así obtener un mejor aprendizaje más rápidamente que con una o dos capas ocultas. En efecto, cada capa puede verse como una etapa suplementaria en el algoritmo (por ejemplo, para el reconocimiento de cifras, podríamos imaginar que la primera capa detecta los trazos y los bucles, que la capa siguiente permite acumular ciertas características de la primera capa, y que una tercera capa deduciría el número escrito).

He aquí un ejemplo de red con cinco entradas y tres salidas, así como dos neuronas ocultas.

En este caso, es necesario ajustar los pesos y los umbrales de todas las neuronas ocultas (aquí 12 parámetros) así como los pesos y los umbrales de las neuronas de salida (9 parámetros). El problema completo contiene, entonces, 21 valores por determinar.

Las redes que utilizan neuronas de tipo perceptrón se denominan MLP (del inglés MultiLayer Perceptron), mientras que las que utilizan neuronas con función de activación gausiana se denominan RBF (del inglés Radial Basis Function). Las redes MLP y RBF son comunes, pero están siendo reemplazadas cada vez más por redes más adaptadas para las imágenes (CNN) o para las series temporales y los sonidos (SNN). Estos dos tipos de redes se verán más adelante, aunque salen del marco de este libro.

2. Aprendizaje por retropropagación del gradiente

El algoritmo de descenso por gradiente, tal y como se ha explicado antes, solo funciona para los perceptrones, que no poseen...

1. Redes neuronales de convolución

Las redes neuronales convolutivas (o de convolución, llamadas CNN en inglés) están muy bien adaptadas para trabajar con imágenes. En efecto, los píxeles no son completamente independientes, y a menudo resulta útil trabajar con zonas de la imagen.

Estas redes están compuestas de múltiples capas, pudiendo tener diversos roles. En particular, se distinguen las capas de convolución, que procesan partes de la imagen (hay que verlas como extractores de características), las capas de pooling (que combinan las salidas de las capas de convolución para detectar características de más alto nivel) y las capas más clásicas de clasificación (a menudo con la función ReLU como función de activación).

Sin embargo, estas redes son muy difíciles de entrenar partiendo de 0. Generalmente, se utiliza una red conocida entrenada previamente, y simplemente se la entrenará sobre nuestro conjunto de datos sobre varias generaciones. Este uso de una red existente se denomina transfer learning o aprendizaje por transferencia.

Obtenemos...

1. Reconocimiento de patrones

La tarea más común realizada por las redes neuronales es el reconocimiento de patrones.

En esta tarea, se presentan distintos patrones a la red durante el aprendizaje. Cuando se deben clasificar nuevos ejemplos, pueden reconocerse los motivos: se trata de una tarea de clasificación.

De este modo, las redes neuronales pueden reconocer caracteres manuscritos o formas. Existen aplicaciones que permiten leer matrículas en una imagen incluso aunque existan defectos de claridad o en la propia placa.

2. Estimación de funciones

La estimación de funciones o regresión consiste en asignar un valor numérico a partir de entradas, generalizando el vínculo existente entre ellas. Las entradas pueden representar características o series temporales según las necesidades.

Esto permite obtener aplicaciones para la medicina. Existen redes neuronales que reciben como...

1. Puntos y conjuntos de puntos

Los problemas utilizados con las redes neuronales requieren muchos puntos para el aprendizaje. No es concebible introducirlos a mano en el código.

Se utilizarán, por lo tanto, archivos de texto con tabulaciones como separadores.

La primera clase es DataPoint, correspondiente a un ejemplo. Este contiene un array de valores considerados como entradas y un array de valores de salida. Se agregan dos propiedades que permiten recuperar estos arrays, que no pueden modificarse.

El comienzo de la clase es el siguiente:

using System;  
   
internal class DataPoint  
{  
    double[] inputs;          
    internal double[] Inputs  
    {  
           get  
           {  
                 return inputs;  
           }  
    }  
   
    double[] outputs;  
    internal double[] Outputs  
    {  
           get  
           {  
   ...