Geleide machine learning

Introductie

Geleide machine learning is een type machine learning dat de relatie tussen input en output leert. De inputs staan bekend als features of ‘X-variabelen’ en de output wordt doorgaans de target of ‘y-variabele’ genoemd. Het type data dat zowel de features als de target bevat, heet gelabelde data. Dit is het belangrijkste verschil tussen geleide en ongelabelde (unsupervised) machine learning, twee prominente typen machine learning. In deze tutorial leer je:

• Wat is geleide machine learning
• Geleid vs. ongelabeld (unsupervised) leren
• Semi-geleide machine learning
• Algoritmen voor geleide machine learning:
• Lineaire regressie
• Decision tree
• K-nearest neighbors
• Random forest
• Naive Bayes
• Voorbeeld in Python van geleide machine learning

Wat is geleide machine learning?

Geleide machine learning leert patronen en relaties tussen input- en outputdata. Het wordt gekenmerkt door het gebruik van gelabelde data. Gelabelde data is een dataset die veel voorbeelden bevat van Features en Target. Geleid leren gebruikt algoritmen die de relatie tussen Features en Target uit de dataset leren. Dit proces heet Training of Fitting.

Er zijn twee typen algoritmen voor geleide learning:

1. Classificatie
2. Regressie

Beeldbron: https://www.mathworks.com/help/stats/machine-learning-in-matlab.html

Classificatie

Classificatie is een type geleide machine learning waarbij algoritmen van de data leren om een toekomstige uitkomst of gebeurtenis te voorspellen. Bijvoorbeeld:

Een bank kan een klantendataset hebben met kredietgeschiedenis, leningen, investeringsgegevens, enzovoort, en wil weten of een klant zal wanbetalen. In de historische data hebben we Features en een Target.

• Features zijn kenmerken van een klant, zoals kredietgeschiedenis, leningen, investeringen, enz.
• De Target geeft aan of een bepaalde klant in het verleden in gebreke is gebleven (meestal weergegeven door 1 of 0 / True of False / Ja of Nee).

Classificatiealgoritmen worden gebruikt om discrete uitkomsten te voorspellen. Als de uitkomst twee mogelijke waarden kan aannemen, zoals True of False, Default of No Default, Ja of Nee, heet dat binaire classificatie. Wanneer de uitkomst meer dan twee mogelijke waarden bevat, heet dat multiclass-classificatie. Er zijn veel machinelearning-algoritmen die je voor classificatietaken kunt gebruiken. Enkele daarvan zijn:

• Logistische regressie
• Decision tree-classifier
• K-nearest neighbor-classifier
• Random forest-classifier
• Neurale netwerken

Regressie

Regressie is een type geleide machine learning waarbij algoritmen van de data leren om continue waarden te voorspellen, zoals omzet, salaris, gewicht of temperatuur. Bijvoorbeeld:

Met een dataset die kenmerken van een huis bevat, zoals kavelgrootte, aantal slaapkamers, aantal badkamers, buurt, enzovoort, en de prijs van het huis, kan een regressie-algoritme getraind worden om de relatie te leren tussen de features en de prijs van het huis.

Er zijn veel machinelearning-algoritmen die je voor regressietaken kunt gebruiken. Enkele daarvan zijn:

• Lineaire regressie
• Decision tree-regressor
• K-nearest neighbor-regressor
• Random forest-regressor
• Neurale netwerken

Beeldbron: https://static.javatpoint.com/tutorial/machine-learning/images/regression-vs-classification-in-machine-learning.png

Geleid vs. ongelabeld leren

Type data

Het belangrijkste verschil tussen geleide en ongelabelde (unsupervised) machine learning is dat geleid leren gelabelde data gebruikt. Gelabelde data bevat zowel de Features (X-variabelen) als de Target (y-variabele).

Bij geleid leren leert het algoritme iteratief om de targetvariabele te voorspellen op basis van de features en past het zich aan voor de juiste respons om te “leren” van de trainingsdataset. Dit proces heet Training of Fitting. Geleide modellen leveren doorgaans nauwkeurigere resultaten dan ongelabelde modellen, maar vereisen in het begin menselijke betrokkenheid om de data correct te labelen. Als de labels in de dataset niet kloppen, leren geleide algoritmen de verkeerde zaken.

Ongelabelde modellen werken daarentegen autonoom om de intrinsieke structuur te identificeren van data die niet gelabeld is. Houd er rekening mee dat het valideren van de outputvariabelen nog steeds enige menselijke betrokkenheid vereist. Zo kan een unsupervised model bepalen dat online shoppende klanten geneigd zijn meerdere items uit dezelfde categorie tegelijk te kopen. Een menselijke analist moet echter nagaan of het logisch is dat een aanbevelingssysteem Item X koppelt aan Item Y.

Use-cases

Er zijn twee prominente use-cases voor geleid leren, namelijk classificatie en regressie. Bij beide taken leert een geleid algoritme van de trainingsdata om iets te voorspellen. Als de te voorspellen variabele discreet is, zoals “Ja” of “Nee”, 1 of 0, “Fraude” of “Geen fraude”, dan is een classificatie-algoritme nodig. Als de te voorspellen variabele continu is, zoals omzet, kosten, salaris, temperatuur, enz., dan heb je een regressie-algoritme nodig.

Clustering en anomaliedetectie zijn twee prominente use-cases in ongelabeld leren. Wil je meer leren over clustering, bekijk dan dit artikel. Als je dieper wilt duiken in ongelabelde machine learning, bekijk dan deze interessante cursus van DataCamp. Je leert hoe je ongeclusterde datasets kunt clusteren, transformeren, visualiseren en er inzichten uit kunt halen met scikit-learn en SciPy.

Doelen

Het doel van geleid leren is om resultaten voor nieuwe data te voorspellen op basis van een model dat geleerd heeft van een gelabelde trainingsdataset. De soorten uitkomsten die je kunt verwachten, zijn vooraf bekend in de vorm van gelabelde data. Het doel van een ongelabeld algoritme is om inzichten te halen uit grote hoeveelheden data zonder expliciete labels. Ongelabelde algoritmen leren ook van de trainingsdataset, maar de trainingsdata bevat geen labels.

Complexiteit

Geleide machine learning is relatief rechttoe rechtaan vergeleken met ongelabeld leren. Ongelabelde modellen hebben over het algemeen een grote trainingsset nodig om de gewenste resultaten te behalen, wat ze computationeel complex maakt.

Beeldbron: https://www.sharpsightlabs.com/blog/supervised-vs-unsupervised-learning/

Semi-geleide machine learning

Semi-geleid leren is een relatief nieuw en minder populair type machine learning dat tijdens de training een grote hoeveelheid ongelabelde data combineert met een kleine hoeveelheid gelabelde data. Semi-geleid leren zit tussen geleid leren (met gelabelde trainingsdata) en ongelabeld leren (ongelabelde trainingsdata) in.

Semi-geleid leren kent veel toepassingen in de echte wereld. In veel domeinen is er een tekort aan gelabelde data. Omdat labels (de targetvariabele) menselijke annotatoren, gespecialiseerde apparatuur of dure, tijdrovende studies vereisen, kunnen ze lastig te verkrijgen zijn.

Semi-geleid leren kent twee typen:

1. transductief leren
2. inductief leren

Beeldbron: https://www.enjoyalgorithms.com/blogs/supervised-unsupervised-and-semisupervised-learning

Algoritmen voor geleide machine learning

In deze sectie behandelen we enkele veelvoorkomende algoritmen voor geleide machine learning:

Lineaire regressie

Lineaire regressie is een van de eenvoudigste beschikbare machinelearning-algoritmen. Het wordt gebruikt om te leren een continue waarde (afhankelijke variabele) te voorspellen op basis van de features (onafhankelijke variabele) in de trainingsdataset. De waarde van de afhankelijke variabele, die het effect vertegenwoordigt, wordt beïnvloed door veranderingen in de waarde van de onafhankelijke variabele.

Als je je de “best passende lijn” van school herinnert, dan is dat precies wat lineaire regressie is. Het voorspellen van iemands gewicht op basis van lengte is een eenvoudig voorbeeld van dit concept.

Beeldbron: http://primo.ai/index.php?title=Linear_Regression

Logistische regressie

Logistische regressie is een speciaal geval van lineaire regressie waarbij de targetvariabele (y) discreet/categorisch is, zoals 1 of 0, True of False, Ja of Nee, Default of No Default. Een logaritme van de odds wordt gebruikt als afhankelijke variabele. Met een logitfunctie maakt logistische regressie voorspellingen over de kans dat een binaire gebeurtenis zal plaatsvinden.

Wil je meer over dit onderwerp leren, bekijk dan dit uitstekende artikel van DataCamp: Understanding Logistic Regression in Python Tutorial.

Decision tree

Decision tree-algoritmen zijn een soort probabilistisch, boomvormig model dat data steeds verder opsplitst om te categoriseren of voorspellingen te doen, afhankelijk van de uitkomsten van de vorige reeks vragen. Het model analyseert de data en geeft antwoorden op de vragen om je te helpen beter onderbouwde keuzes te maken.

Je zou bijvoorbeeld een decision tree kunnen gebruiken waarbij de antwoorden Ja of Nee worden gebruikt om een bepaalde vogelsoort te bepalen op basis van gegevens zoals de veren, of de vogel kan vliegen of zwemmen, het type snavel, enzovoort.

Beeldbron: https://aigraduate.com/decision-tree-visualisation---quick-ml-tutorial-for-beginners/

Wil je meer leren over machine learning met boomgebaseerde modellen in Python, bekijk dan deze interessante cursus van DataCamp. In deze cursus leer je hoe je boomgebaseerde modellen en ensembles gebruikt voor regressie en classificatie met scikit-learn.

K-nearest neighbors

K-nearest neighbors is een statistische methode die de nabijheid van het ene datapunt tot een ander datapunt beoordeelt om te bepalen of de twee punten gegroepeerd kunnen worden. De nabijheid van de punten geeft aan in welke mate ze op elkaar lijken.

Stel bijvoorbeeld dat we een grafiek hebben met twee verschillende groepen datapunten die dicht bij elkaar liggen en respectievelijk Groep A en Groep B heten. Elke groep datapunten wordt weergegeven door een punt in de grafiek. Wanneer we een nieuw datapunt toevoegen, hangt de groep van dat voorbeeld af van de groep waar het nieuwe punt het dichtst bij in de buurt ligt.

Bron: https://towardsdatascience.com/getting-acquainted-with-k-nearest-neighbors-ba0a9ecf354f

Random forest

Random forest is, net als decision trees, een boomgebaseerd algoritme. In tegenstelling tot een decision tree, die uit één enkele boom bestaat, gebruikt random forest meerdere decision trees om beslissingen te nemen en zo in feite een bos van bomen te creëren.

Het combineert meerdere modellen om voorspellingen te doen en kan worden gebruikt voor zowel classificatie als regressie.

Bron: https://blog.tensorflow.org/2021/05/introducing-tensorflow-decision-forests.html

Naive Bayes

De stelling van Bayes is een wiskundige formule die wordt gebruikt om conditionele kansen te berekenen, en Naive Bayes is een toepassing van die formule. De kans dat een uitkomst optreedt, gegeven dat een andere gebeurtenis al heeft plaatsgevonden, heet conditionele kans.

Het model voorspelt voor elke klasse de waarschijnlijkheden om tot een specifieke klasse te behoren, en de klasse met de hoogste waarschijnlijkheid wordt beschouwd als de meest waarschijnlijke klasse.

Beeldbron: https://www.kdnuggets.com/2019/10/introduction-artificial-neural-networks.html

Voorbeeld in Python van geleide machine learning

In dit deel gebruiken we scikit-learn in Python om een model voor logistische regressie (classificatie) te trainen op een fictieve dataset. Bekijk hier de complete notebook.

```

# create fake binary classification dataset with 1000 rows and 10 features

from sklearn.datasets import make_classification

X, y = make_classification(n_samples = 1000, n_features = 10, n_classes = 2)




# check shape of X and y

X.shape, y.shape




# train test split

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)




# import and initialize logistic regression model

from sklearn.linear_model import LogisticRegression

lr = LogisticRegression()




# fit logistic regression model

lr.fit(X_train, y_train)




# generate hard predictions on test set

y_pred = lr.predict(X_test)

y_pred




# evaluate accuracy score of the model

from sklearn.metrics import accuracy_score

accuracy_score(y_test, y_pred)

```

Als je geleide machine learning in R wilt leren, bekijk dan deze cursus van DataCamp: Supervised Learning in R. In deze cursus leer je de basis van machine learning voor classificatie in de programmeertaal R.

Conclusie

Machine learning heeft de manier waarop we zakendoen de afgelopen jaren volledig veranderd. Een radicale innovatie die machine learning onderscheidt van andere automatiseringsstrategieën, is het loslaten van regelgebaseerde programmering. Dankzij technieken voor geleide machine learning kunnen engineers data benutten zonder machines expliciet te trainen om problemen op een bepaalde manier op te lossen.

Bij geleide machine learning is de verwachte oplossing voor een probleem mogelijk niet bekend voor toekomstige data, maar wel vastgelegd in een historische dataset. De taak van geleide algoritmen is om die relatie uit historische data te leren om in de toekomst een uitkomst, gebeurtenis of waarde te voorspellen.

In dit artikel hebben we een fundamenteel begrip opgebouwd van wat geleid leren is en hoe het verschilt van ongelabeld leren. We hebben ook een paar veelvoorkomende algoritmen in geleid leren doorgenomen. Er zijn echter veel onderwerpen waar we niet op zijn ingegaan, zoals model-evaluatie, cross-validatie of hyperparameter-tuning. Wil je dieper in een van deze onderwerpen duiken en je vaardigheden verder uitbouwen, bekijk dan deze interessante cursussen:

• Supervised Learning with scikit-learn
• Supervised Machine Learning in R