Redes neuronales

1. Formas de aprendizaje y ejemplos

El ML permite resolver diferentes tipos de problemas, que se reparten entre dos formas de aprendizaje principales. También se presenta una tercera forma de aprendizaje, aunque muy poco utilizada.

a. Aprendizaje no supervisado

El aprendizaje no supervisado no es la forma de aprendizaje más habitual, pero su utilización tiende a aumentar estos últimos años. En esta forma de aprendizaje no hay resultado esperado. Se utiliza esta forma de aprendizaje para hacer el clustering (también llamado segmentación): tenemos un conjunto de datos y buscamos determinar las clases de hechos.

En realidad, existen otras aplicaciones del aprendizaje no supervisado, pero el clustering representa la gran mayoría de las aplicaciones actuales. Por ejemplo, podemos citar a los sistemas de recomendaciones utilizados para las tiendas en línea o la publicidad.

Podemos imaginar una situación donde se tiene una base de datos de clientes y en la que buscamos obtener diferentes perfiles en función de sus compras o presupuesto. A priori no se sabe cuántos perfiles hay o cuales son. Este normalmente es un problema de clustering.

Por lo tanto, vamos a buscar maximizar la coherencia de los datos dentro de una misma clase (que por ejemplo podría ser "los deportes de los 20 a los 25 años") y a minimizarla entre las clases.

Imaginemos que tenemos el siguiente conjunto de datos:

Si buscamos determinar las clases en estos datos, sería posible definir las tres siguientes:

De esta manera, se maximiza...

1. Principio

Una neurona recibe entradas y proporciona una salida, gracias a diferentes características:

Por lo tanto, la neurona formal se puede resumir con la siguiente forma:

Como para la regresión lineal y la regresión logística, la principal dificultad será el aprendizaje de los pesos (y del umbral, que se puede ver como un peso particular). Las funciones de agregación y de activación se eligen a priori.

Es la presencia de la función de activación, si es no lineal, lo que permitirá solventar la condición de linealidad de los algoritmos de Machine Learning vistos anteriormente, así como el número de neuronas y sus conexiones entre ellas (porque podemos tener varias neuronas, que es el caso más habitual).

2. Red de tipo "perceptrón"

El perceptrón es la más sencilla de las redes neuronales. Un perceptrón es una red que contiene p neuronas formales. Cada una se relaciona con las n entradas. Esta red permite tener p salidas.

En el caso de una tarea de regresión, tendríamos una única salida (y por lo tanto, una única neurona), que dará un valor real. En el caso de una tarea de clasificación, tendremos una salida por clase y es la salida con el valor más fuerte la que indicará la clase elegida por la red.

Por lo tanto, con tres neuronas y cinco entradas...

1. Red con capa oculta

Están compuestas por una o varias capas ocultas de neuronas, relacionadas con las entradas o las capas anteriores y una capa de salida, relacionada con las neuronas ocultas. Se llaman feed-forward porque la información solo puede ir desde las entradas hasta las salidas, sin volver atrás.

El número de capas ocultas y el número de neuronas de cada capa, se seleccionan por parte del usuario (normalmente haciendo pruebas sobre varios valores). Hablamos de "Deep Learning" cuando el número de capas es importante (a partir de tres o cuatro capas ocultas).

Cuantas más capas tiene la red y más complejas son, permite un mejor aprendizaje y más rápido, que con una o dos capas ocultas. En efecto, cada capa se puede ver como una etapa adicional en el algoritmo (por ejemplo, para el reconocimiento de cifras, podemos imaginar que la primera capa detecta los trazos y los bucles, que la capa siguiente permite acumular algunas características de la primera capa y que una tercera capa, deduce de todo esto el número escrito).

A continuación se muestra un ejemplo de red con cinco entradas y tres salidas, de manera que hay dos neuronas ocultas.

En este caso, hay que ajustar los pesos y umbrales de todas las neuronas ocultas (aquí 12 argumentos), así como los pesos y umbrales de las neuronas de salida (9 argumentos). Por lo tanto, el problema completo contiene 21 valores a determinar.

Las redes que utilizan neuronas de tipo perceptrón, se llaman MLP por MultiLayer Perceptron, mientras que las que utilizan neuronas con función de activación gaussiana, se llaman RBF (por Radial BasisFunction). Las redes MLP y RBF son habituales pero cada vez más, están siendo sustituidas por redes más adaptadas para las imágenes (CNN) o para las series temporales y los sonidos (SNN). Estos dos tipos de redes se ven más adelante, pero salen del ámbito de este libro.

2. Aprendizaje por retropropagación del gradiente

El algoritmo de descenso por gradiente tal y como se ha explicado anteriormente, solo funciona para los perceptrones que no tienen capa oculta.

En el caso de las redes feed-forward...

1. Red de neuronas con consolación

Las redes neuronales consolativas (o con consolación, identificadas con CNN en inglés), están adaptadas para trabajar sobre las imágenes. En efecto, los píxeles no son completamente independientes y normalmente es útil trabajar sobre zonas de la imagen.

Estas redes están compuestas por múltiples capas, que pueden tener funciones diferentes. En particular, se distinguen las capas de consolación, que tratan las partes de la imagen (es necesario verlas como extractores de características), las capas de pooling (que combinan las salidas de las capas de convolución para detectar funcionalidades de más alto nivel) y las capas más clásicas de clasificación (normalmente con la función ReLU como función de activación).

Sin embargo, estas redes son muy difíciles de entrenar partiendo de 0. Generalmente se utiliza una red conocida pre-entrenada, y solo haremos el entrenamiento sobre nuestro dataset sobre algunas generaciones. Esta utilización de una red existente, se llama transfer learning o aprendizaje...

1. Reconocimiento de patterns

La tarea más habitual que se asigna a las redes neuronales, es el reconocimiento de patterns.

En esta tarea, diferentes patterns se presentan a la red durante el aprendizaje. Cuando se deben clasificar nuevos ejemplos, entonces se puede reconocer los motivos: se trata de una tarea de clasificación.

De esta manera, las redes neuronales pueden reconocer los caracteres manuscritos o las formas. Las aplicaciones permiten leer las matrículas en una imagen, incluso en presencia de defectos de iluminación sobre la matrícula en sí misma.

2. Estimación de funciones

La estimación de funciones o regresión consiste en asignar un valor numérico a partir de entradas, generalizando la relación existente entre ellas. Las entradas pueden representar características o series temporales, según las necesidades.

De esta manera, son posibles las aplicaciones...

1. Puntos y conjuntos de puntos

Los problemas utilizados con las redes neuronales, necesitan muchos puntos para el aprendizaje. Por lo tanto, no es conveniente introducirlos a mano en el código.

Por lo tanto, se utilizarán archivos de texto con tabulaciones como separadores.

La primera clase es PuntoND, que se corresponde con un ejemplo (que contiene N dimensiones). Este contiene una tabla de valores considerados como entradas y una tabla de valores de salida. Hacemos estos atributos públicos, pero se declaran final. De esta manera, no son modificables.

El comienzo de la clase es la siguiente:

public class PuntoND {  
   public final doble[] entradas;  
   public final doble[] salidas;  
   
   // Constructor aquí   
} 

El constructor recibe como argumentos la cadena que se corresponde con la línea del archivo de texto y el número de salidas de los ejemplos (los valores son tanto las entradas como las salidas). Inicialmente, el contenido se separa de los caracteres que se corresponde con la tecla tabulación (’\t’), gracias a la función split. A continuación, las entradas y las salidas se transforman en nombres reales.

   public PuntoND(String str, int _numSalidas) {  
       String[] contenido = str.split("\t");  
       entradas = new doble[contenido.length...