Preparar datos

1. Proporción Entrenamiento/Prueba

Durante muchos años, los textos de referencia indicaban que era necesaria una proporción de 80/20, es decir, el 80% de los datos para el entrenamiento y el 20% para las pruebas. Esto sigue siendo cierto cuando el número de muestras es pequeño, pero hoy en día, con la llegada de Big Data, esto sucede cada vez menos.

Con un dataset de 150 valores como Iris, parece importante disponer de al menos 30 registros para probar los modelos. Esto representa unas diez filas por clase.

Sin embargo, en un dataset de un millón de puntos de datos, no es necesario disponer de 200.000 muestras de prueba.

Por lo tanto, la proporción de registros en el dataset de prueba debe ser del 20% para conjuntos de datos pequeños. Cuanto mayor sea el número de registros del dataset, menor será...

1. Validar datos

La validación de datos se realiza en dos aspectos:

1. Validar datos

Al igual que los datos numéricos, los datos categoriales deben validarse a dos niveles:

Para la validación semántica, puede ser útil pedir una lista de posibles categorías y comprobar que corresponden a la realidad:

iris_df['class'].cat.categories  
 
> Index(['Iris-setosa', 'Iris-versicolor', 'Iris-virginica'], 
dtype='object') 

Como era de esperar, hay tres clases que corresponden a los tres tipos de flores del dataset Iris.

Para la validación estadística, a diferencia de lo que ocurre con los datos numéricos, no existe la noción de valores atípicos. Los valores se colocan automáticamente en una de las categorías existentes.

Sin embargo, puede detectarse un error por la presencia de categorías con índices de uso muy bajos. Así, si un dataset contiene un solo elemento, es sin duda un signo de error.

Por lo tanto, es útil, para este punto, calcular la frecuencia de cada aparición en una serie utilizando value_counts:

iris_df['class'].value_counts()  
  
> Iris-virginica     50  
  Iris-versicolor    50  
  Iris-setosa        50  
  Name: class, dtype: int64 

Como se anuncia en el dataset, cada clase está presente 50 veces (de los 150 elementos de datos).

2. Modificar categorías

Se pueden introducir varios cambios en las categorías.

1. Preparar las fechas

Las fechas pueden estar en múltiples formatos, y Pandas ofrece una serie de utilidades para trabajar con ellas. Esto simplifica las operaciones diarias.

Para ilustrar estas posibilidades, cargaremos el dataset «acc-2018», que contiene la lista de accidentes de tráfico de 2018. El dataset original, procedente de data.gouv.fr, contiene numerosas variables que aquí se han simplificado para conservar únicamente las siguientes:

Para cargar el dataset, que utiliza punto y coma como separadores, utilice el siguiente comando:

acc_df = pd.read_csv('acc-2018.csv', sep=';') 

1. Crear pipelines de tratamiento

En una fase de preparación de datos, es importante poder probar varias preparaciones para distintas variables. Del mismo modo, es necesario crear varios modelos que pueden tener diferentes restricciones en cuanto al formato de entrada. Se trata de fases muy iterativas.

Usar Pandas y Jupyter ahorra tiempo y es una combinación práctica, siempre que se lleve un registro del trabajo realizado y de las distintas iteraciones en un gestor de versiones como git.

Una vez creado e implantado el modelo, habrá que suministrarle datos reales, en tiempo real o por medio de batch (lotes). Pero estos datos también tendrán que ser preprocesados, ya que tendrán que estar en el mismo formato que los datos de entrenamiento utilizados para crear el modelo.

Se trata del pipeline (canal o tubería) de preparación: la secuencia de todos los pasos necesarios para pasar de un archivo en bruto (o de un único dato en bruto en tiempo real) al formato esperado por el modelo.

Esta canalización garantizará que todos los datos pasen por las mismas etapas y puedan supervisarse. De este modo, el modelo en producción será utilizable y ofrecerá resultados coherentes.

2. Parámetros de las operaciones y código Pandas

Algunos pasos no dependen de los datos utilizados, como cambiar el texto a minúsculas, convertir un número a otro formato, etc. Pero hay varios pasos que dependen en gran medida del dataset de entrenamiento, como la normalización, que requiere conocer, según el tipo elegido. el mínimo y el máximo, la media y la desviación estándar, o el primer y el tercer cuartil.

En el caso de la normalización min-max, el 0 debe corresponder a los datos de entrenamiento mínimos. Si los datos de entrenamiento están entre 27 y 53, por ejemplo, entonces 0 debe corresponder a 27. Al aplicar el modelo a otro dataset (ya sea el dataset de prueba o los datos reales), 27 debe transformarse en 0. Así, con datos reales cuyo mínimo es 23, este debe corresponder a un número negativo.

No solo es necesario conservar los pasos que hay que seguir para pasar de los datos...