Machine Learning con modelli ad alberi in Python

Il compromesso bias-varianza è uno dei concetti fondamentali nel Machine Learning supervisionato. In questo capitolo capirai come diagnosticare i problemi di overfitting e underfitting. Sarai inoltre introdotto al concetto di ensembling, in cui le predizioni di più modelli vengono aggregate per ottenere risultati più robusti.

Il bagging è un metodo ensemble che prevede l’addestramento ripetuto dello stesso algoritmo su diversi sottoinsiemi campionati dai dati di training. In questo capitolo capirai come usare il bagging per creare un ensemble di alberi. Imparerai anche come l’algoritmo delle Random Forest può aumentare ulteriormente la diversità dell’ensemble introducendo randomizzazione a livello di ogni split negli alberi che lo compongono.

Per boosting si intende un metodo ensemble in cui più modelli vengono addestrati in sequenza e ciascun modello impara dagli errori dei precedenti. In questo capitolo verranno presentati i due metodi di boosting AdaBoost e Gradient Boosting.

Gli iperparametri di un modello di Machine Learning sono parametri che non vengono appresi dai dati. Devono essere impostati prima di adattare il modello al training set. In questo capitolo imparerai a ottimizzare gli iperparametri di un modello basato su alberi usando la cross validation con grid search.