Tutorial de Clasificación en Árbol de Decisión en Python

Construcción de Clasificadores de Árboles de Decisión en Scikit-learn

Importar bibliotecas necesarias

Primero vamos a cargar las bibliotecas necesarias.

# Load libraries
import pandas as pd
from sklearn.tree import DecisionTreeClassifier # Import Decision Tree Classifier
from sklearn.model_selection import train_test_split # Import train_test_split function
from sklearn import metrics #Import scikit-learn metrics module for accuracy calculation

Carga de datos

En primer lugar, carguemos el conjunto de datos necesario sobre la diabetes de los indios Pima utilizando la función de lectura CSV de pandas. Puedes descargar el conjunto de datos de Kaggle para seguirlo.

col_names = ['pregnant', 'glucose', 'bp', 'skin', 'insulin', 'bmi', 'pedigree', 'age', 'label']
# load dataset
pima = pd.read_csv("diabetes.csv", header=None, names=col_names)

pima.head()

Selección de características

Aquí, tienes que dividir las columnas dadas en dos tipos de variables: dependiente (o variable objetivo) e independiente (o variables características).

#split dataset in features and target variable
feature_cols = ['pregnant', 'insulin', 'bmi', 'age','glucose','bp','pedigree']
X = pima[feature_cols] # Features
y = pima.label # Target variable

Dividir datos

Para comprender el rendimiento del modelo, dividir el conjunto de datos en un conjunto de entrenamiento y un conjunto de prueba es una buena estrategia.

Vamos a dividir el conjunto de datos utilizando la función train_test_split(). Tienes que pasar tres parámetros características; objetivo, y tamaño del conjunto_prueba.

# Split dataset into training set and test set
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=1) # 70% training and 30% test

Construir el modelo de árbol de decisión

Vamos a crear un modelo de árbol de decisión utilizando Scikit-learn.

# Create Decision Tree classifer object
clf = DecisionTreeClassifier()

# Train Decision Tree Classifer
clf = clf.fit(X_train,y_train)

#Predict the response for test dataset
y_pred = clf.predict(X_test)

Evaluación del modelo

Estimemos la precisión con la que el clasificador o modelo puede predecir el tipo de cultivares.

La precisión puede calcularse comparando los valores reales del conjunto de pruebas y los valores predichos.

# Model Accuracy, how often is the classifier correct?
print("Accuracy:",metrics.accuracy_score(y_test, y_pred))

Accuracy: 0.6753246753246753

Obtuvimos un índice de clasificación del 67,53%, lo que se considera una buena precisión. Puedes mejorar esta precisión ajustando los parámetros del algoritmo del árbol de decisión.

Visualizar árboles de decisión

Puedes utilizar la función export_graphviz de Scikit-learn para visualizar el árbol dentro de un cuaderno Jupyter. Para trazar el árbol, también necesitas instalar graphviz y pydotplus.

pip install graphviz

pip install pydotplus

La función export_graphviz convierte el clasificador del árbol de decisión en un archivo dot, y pydotplus convierte este archivo dot en png o en una forma visualizable en Jupyter.

from sklearn.tree import export_graphviz
from sklearn.externals.six import StringIO  
from IPython.display import Image  
import pydotplus

dot_data = StringIO()
export_graphviz(clf, out_file=dot_data,  
                filled=True, rounded=True,
                special_characters=True,feature_names = feature_cols,class_names=['0','1'])
graph = pydotplus.graph_from_dot_data(dot_data.getvalue())  
graph.write_png('diabetes.png')
Image(graph.create_png())

En el gráfico del árbol de decisión, cada nodo interno tiene una regla de decisión que divide los datos. Gini, denominado ratio de Gini, mide la impureza del nodo. Se puede decir que un nodo es puro cuando todos sus registros pertenecen a la misma clase, este tipo de nodos se conoce como nodo hoja.

Aquí, el árbol resultante no está podado. Este árbol sin podar es inexplicable y no es fácil de entender. En la siguiente sección, vamos a optimizarlo mediante la poda.

Optimizar el rendimiento del árbol de decisión

• criterio : opcional (por defecto="gini") o Elegir medida de selección de atributos. Este parámetro nos permite utilizar la medida de selección de atributos diferente-diferente. Los criterios admitidos son "gini" para el índice de Gini y "entropía" para la ganancia de información.

• divisor : cadena, opcional (por defecto="mejor") o Estrategia de división. Este parámetro nos permite elegir la estrategia de división. Las estrategias admitidas son "mejor" para elegir la mejor división y "aleatoria" para elegir la mejor división aleatoria.

• max_depth : int o None, opcional (por defecto=None) o Profundidad máxima de un árbol. La profundidad máxima del árbol. Si es Ninguno, los nodos se expanden hasta que todas las hojas contengan menos muestras que min_muestras_split. Un valor más alto de la profundidad máxima provoca un sobreajuste, y un valor más bajo, un infraajuste(Fuente).

En Scikit-learn, la optimización del clasificador de árbol de decisión se realiza sólo mediante la prepoda. La profundidad máxima del árbol puede utilizarse como variable de control para la prepoda. En el siguiente ejemplo, puedes trazar un árbol de decisión sobre los mismos datos con profundidad_máxima=3. Además de los parámetros de prepoda, también puedes probar otras medidas de selección de atributos, como la entropía.

# Create Decision Tree classifer object
clf = DecisionTreeClassifier(criterion="entropy", max_depth=3)

# Train Decision Tree Classifer
clf = clf.fit(X_train,y_train)

#Predict the response for test dataset
y_pred = clf.predict(X_test)

# Model Accuracy, how often is the classifier correct?
print("Accuracy:",metrics.accuracy_score(y_test, y_pred))

Accuracy: 0.7705627705627706

Pues bien, el índice de clasificación aumentó hasta el 77,05%, lo que supone una mayor precisión que el modelo anterior.

Visualizar árboles de decisión

Hagamos que nuestro árbol de decisión sea un poco más fácil de entender utilizando el siguiente código: 

from six import StringIO from IPython.display import Image from sklearn.tree import export_graphviz import pydotplus dot_data = StringIO() export_graphviz(clf, out_file=dot_data, filled=True, rounded=True, special_characters=True, feature_names = feature_cols,class_names=['0','1']) graph = pydotplus.graph_from_dot_data(dot_data.getvalue()) graph.write_png('diabetes.png') Image(graph.create_png())

Aquí, hemos completado los siguientes pasos: 

• Importa las bibliotecas necesarias.
• Creado un StringIO objeto llamado dot_data para guardar la representación textual del árbol de decisión.
• Exportar el árbol de decisión al dot utilizando el formato export_graphviz y escribe la salida en la función dot_data tampón.
• Creado un pydotplus objeto gráfico del dot formato de representación del árbol de decisión almacenado en el dot_data tampón.
• Escribe el gráfico generado en un archivo PNG llamado "diabetes.png".
• Visualiza la imagen PNG generada del árbol de decisión utilizando la función Image del objeto IPython.display módulo.

Como puedes ver, este modelo podado es menos complejo, más explicable y más fácil de entender que el anterior diagrama del modelo de árbol de decisión.

Profesionales del árbol de decisión

• Los árboles de decisión son fáciles de interpretar y visualizar.
• Puede captar fácilmente patrones no lineales.
• Requiere menos preprocesamiento de datos por parte del usuario, por ejemplo, no es necesario normalizar las columnas.
• Puede utilizarse para la ingeniería de rasgos, como la predicción de valores perdidos, adecuada para la selección de variables.
• El árbol de decisión no tiene suposiciones sobre la distribución debido a la naturaleza no paramétrica del algoritmo. (Fuente)

Contras del árbol de decisión

• Sensible a los datos ruidosos. Puede sobreajustar datos ruidosos.
• La pequeña variación (o varianza) de los datos puede dar lugar a un árbol de decisión diferente. Esto puede reducirse mediante algoritmos de bagging y boosting.
• Los árboles de decisión están sesgados con un conjunto de datos desequilibrado, por lo que se recomienda equilibrar el conjunto de datos antes de crear el árbol de decisión.

Conclusión

Enhorabuena, ¡has llegado al final de este tutorial!

En este tutorial, has cubierto muchos detalles sobre los árboles de decisión; cómo funcionan, medidas de selección de atributos como la Ganancia de Información, el Coeficiente de Ganancia y el Índice de Gini, construcción de modelos de árboles de decisión, visualización y evaluación de un conjunto de datos de diabetes utilizando el paquete Scikit-learn de Python. También discutimos sus pros, sus contras y cómo optimizar el rendimiento del árbol de decisión mediante el ajuste de parámetros.

Esperamos que ahora puedas utilizar el algoritmo del árbol de decisión para analizar tus propios conjuntos de datos.

Si quieres aprender más sobre Aprendizaje Automático en Python, sigue el curso Aprendizaje Automático con Modelos Basados en Árboles en Python de DataCamp.

Consulta nuestro tutorial de Kaggle en : Tu primer modelo de aprendizaje automático.