Meer dan zeventig jaar zijn verstreken sinds de beroemde Amerikaanse wiskundige Samuel S. Wilks zei: "Statistisch denken zal op een dag net zo noodzakelijk zijn voor efficiënt burgerschap als kunnen lezen en schrijven," als parafrase op HG Wells' boek Mankind in the Making. Hoewel die uitspraak misschien wat overdreven was, blijft de kernboodschap over het belang van statistiek in dit informatietijdperk nog altijd relevant.
Beeldbron: American Statistical Association
Met de razendsnelle technologische vooruitgang en ongekende innovatie staan machine learning en generatieve AI in de schijnwerpers. Deze ontwikkelingen hebben diepe invloed op ons persoonlijke leven en maken datagedreven besluitvorming op grote schaal mogelijk.
Te midden van alle buzz rondom deze geavanceerde technologieën blijft statistiek de basis van talloze doorbraken in machine learning. Het is onlosmakelijk verbonden met de essentie van data, de fundering onder al die spannende nieuwe technologieën om ons heen.
Wat is statistisch machine learning?
Zoals de naam al doet vermoeden, draait statistisch machine learning om het gebruiken van statistische technieken om modellen te ontwikkelen die kunnen leren van data en voorspellingen of beslissingen kunnen nemen.
Kortom, statistisch machine learning combineert de computationele efficiëntie en flexibiliteit van machinelearningalgoritmen met de mogelijkheden van statistische inferentie en modellering. Je hebt vast weleens vaktermen gehoord als supervised, unsupervised en semi-supervised learning – ze leunen allemaal op een solide statistische basis.
Door statistische methoden toe te passen, kunnen we betekenisvolle patronen, relaties en inzichten uit complexe datasets halen, waardoor machinelearningalgoritmen effectiever worden.
De rol van statistiek in machine learning
Ik zei al dat statistiek in wezen het theoretische raamwerk biedt waarop machinelearningalgoritmen zijn gebouwd. Nu wil ik iets beter kijken naar de verschillen en hoe ze samenkomen.
Statistiek is de wetenschap waarmee we data kunnen verzamelen, analyseren, interpreteren, presenteren en ordenen. Het levert gereedschap om patronen en trends te begrijpen, en om op basis van data inferenties en voorspellingen te doen. Als we met grote datasets werken, helpt statistiek ons de data te begrijpen en samen te vatten, zodat we greep krijgen op complexe patronen.
Machine learning is daarentegen een krachtig hulpmiddel waarmee computers kunnen leren van data en er beslissingen of voorspellingen op kunnen baseren. Het uiteindelijke doel van machine learning is modellen te creëren die zich in de tijd kunnen aanpassen en verbeteren, en die van specifieke voorbeelden kunnen generaliseren naar bredere gevallen.
Hier komt de schoonheid van de fusie tussen statistiek en machine learning naar voren. De principes van statistiek vormen de pijlers die de structuur van machine learning dragen.
- Het bouwen van machinelearningmodellen: Statistiek levert de methodologieën en principes voor het opzetten van modellen in machine learning. Zo maakt het lineaire regressiemodel gebruik van de statistische methode van kleinste kwadraten om de coëfficiënten te schatten.
- Resultaten interpreteren: Statistische concepten stellen ons in staat de resultaten van machinelearningmodellen te duiden. Maten als p-waarde, betrouwbaarheidsintervallen, R-kwadraat en andere geven een statistisch perspectief op de prestaties van het model.
- Modellen valideren: Statistische technieken zijn essentieel om machinelearningmodellen te valideren en te verfijnen. Methoden als hypothesetoetsing, cross-validatie en bootstrapping helpen ons de prestaties van modellen te kwantificeren en problemen als overfitting te voorkomen.
- Basis onder geavanceerde technieken: Zelfs complexere algoritmen, zoals neurale netwerken, hebben statistische principes in hun kern. De optimalisatietechnieken, zoals gradient descent, die gebruikt worden om deze modellen te trainen, zijn gebaseerd op statistische theorie.
Daarom zorgt een gedegen begrip van statistiek er niet alleen voor dat we machinelearningmodellen beter kunnen bouwen en valideren, maar ook dat we hun uitkomsten op een betekenisvolle en bruikbare manier kunnen interpreteren.
Laten we eens kijken naar enkele kernbegrippen uit de statistiek die nauw samenhangen met machine learning. Je kunt meer over deze concepten leren in onze skill track Statistics Fundamentals with Python om hands-on ervaring op te doen.
Kansrekening
De kansrekening is van groot belang in machine learning, omdat ze de basis biedt voor het modelleren van onzekerheid en het doen van probabilistische voorspellingen. Hoe kwantificeren we de waarschijnlijkheid van verschillende uitkomsten, gebeurtenissen of simpelweg numerieke waarden? Kansrekening helpt daarbij! Daarnaast zijn kansverdelingen in het bijzonder belangrijk in machine learning en zorgen ze voor de magie.
Veelgebruikte verdelingen zijn onder meer de Gaussische (normale), Bernoulli-, Poisson- en exponentiële verdelingen. We hebben een handige cheat sheet kansrekening als snelle referentie voor kansregels.
Beschrijvende statistiek
Beschrijvende statistiek helpt ons de kenmerken en eigenschappen van datasets te begrijpen. Ze helpen bij het samenvatten en visualiseren van data, het herkennen van patronen, het opsporen van uitschieters en het verkrijgen van eerste inzichten die verdere modellering en analyse sturen.
Onze cheat sheet beschrijvende statistiek helpt je deze concepten te leren
Maat voor centrale tendens
Gemiddelde, mediaan en modus geven waardevolle inzichten in de centrale of representatieve waarden van een dataset. In machine learning helpen ze bij de voorbewerking van data, bijvoorbeeld bij het imputeren van missende waarden en het identificeren van mogelijke uitschieters.
Tijdens feature engineering zijn ze ook handig om typische of meest voorkomende waarden vast te leggen die invloed hebben op de modelprestaties.
Variantie en standaarddeviatie
Variantie en standaarddeviatie kwantificeren de spreiding of verspreiding van datapunten rond de centrale tendens. Ze dienen als indicatoren voor consistentie en variabiliteit van data in machine learning.
Deze maten zijn nuttig voor featureselectie of dimensiereductie, waarbij kenmerken met beperkte voorspellende kracht worden opgespoord.
Daarnaast helpen ze bij het beoordelen van modelprestaties door de variabiliteit van voorspellingen of residuen te analyseren, wat de evaluatie en vergelijking van verschillende algoritmen vergemakkelijkt.
Maat voor spreiding
Bereik, interkwartielafstand en percentielen zijn maten voor spreiding die inzicht geven in de verdeling van datapunten. Ze zijn bijzonder waardevol bij het detecteren van uitschieters, omdat ze helpen uitschieters te identificeren en aan te pakken die de training en voorspellingen van modellen sterk kunnen beïnvloeden. In gevallen waarin data getransformeerd of genormaliseerd moet worden voor betere algoritmeprestaties, bieden deze maten houvast.
Steekproeven nemen
Machinelearningmodellen worden getraind op basis van steekproefdata. Als de steekproeven niet zorgvuldig zijn gekozen, wordt de betrouwbaarheid van onze modellen twijfelachtig. Idealiter kiezen we representatieve subsets van data uit grotere populaties.
Het toepassen van goede steekproeftechnieken zorgt er ook voor dat modellen worden getraind op diverse en onbevooroordeelde data, wat ethisch en verantwoordelijk technologiegebruik bevordert.
Bekijk onze cursus Sampling in Python om meer te leren over deze krachtige vaardigheid.
Schatten
Schattingsmethoden zijn cruciaal in machine learning om onbekende populatieparameters te bepalen op basis van steekproefdata. Ze stellen ons in staat modelparameters te schatten, modelprestaties te evalueren en voorspellingen te doen over ongeziene data.
De meest gebruikte schattingsmethode in machine learning is Maximum Likelihood (ML), die de schatter van een onbekende parameter vindt door de likelihoodfunctie te maximaliseren.
Hypothesetoetsing
Hypothesetoetsing biedt een systematische aanpak om de significantie van relaties of verschillen in machinelearningtaken te beoordelen. Het stelt ons in staat de geldigheid van aannames te toetsen, modellen te vergelijken en statistisch significante beslissingen te nemen op basis van beschikbare bewijzen.
Cross-validatie
Cross-validatie (CV) is een statistische techniek die in machine learning wordt gebruikt om de prestaties en generalisatiefout van een algoritme te beoordelen. Het primaire doel is overfitting te voorkomen: een fenomeen waarbij het model goed presteert op de trainingsdata, maar slecht generaliseert naar ongeziene data.
Door de dataset in meerdere subsets op te delen en het model iteratief te trainen en te evalueren op verschillende combinaties, geeft CV een betrouwbaardere schatting van de prestaties van het algoritme op ongeziene data.
Populaire statistische machinelearningtechnieken
Deze complexe statistische concepten zijn de eerste stappen richting effectieve machinelearningalgoritmen. Laten we nu enkele van de populairste modellen verkennen en zien hoe statistiek hun opmerkelijke mogelijkheden mogelijk heeft gemaakt.
Lineaire regressie
Lineaire regressie is een term die je vaak in de statistische literatuur tegenkomt, maar het is meer dan dat. Het is ook een supervised learning-algoritme dat de relatie vastlegt tussen een afhankelijke variabele en één of meer onafhankelijke variabelen.
Statistiek helpt bij het schatten van coëfficiënten, het uitvoeren van hypothesetoetsen en het evalueren van de significantie van de relaties, wat waardevolle inzichten en een dieper begrip van de data oplevert. Verdiep je in het onderwerp met onze tutorial essentials of linear regression in Python of in de cursus Introduction to Regression in R.
Logistische regressie
Net als lineaire regressie is logistische regressie een statistisch classificatie-algoritme dat de kans schat op categorische uitkomsten op basis van onafhankelijke variabelen. Door een logistische functie toe te passen, voorspelt het het optreden van een bepaalde klasse.
Logistische en lineaire regressie
Beslissingsbomen
Beslissingsbomen zijn veelzijdige algoritmen die statistiek gebruiken om data te splitsen op basis van kenmerken, waarbij een boomstructuur ontstaat voor classificatie of regressie. Ze zijn intuïtief, goed te interpreteren en kunnen zowel categorische als numerieke data aan.
Statistische maatstaven, zoals Gini-onzuiverheid of informatie-winst, worden vaak gebruikt om de splitsingen tijdens het opbouwen van de boom te sturen.
Je kunt meer leren over Decision Tree Classification in Python in een aparte tutorial, of Decision Trees in Machine Learning Using R verkennen.
Random forest
Random forest is een ensemble-methode die de voorspellingsnauwkeurigheid verbetert door meerdere beslissingsbomen te combineren. Het gebruikt steekproeven om willekeurig subsets van features en data te selecteren voor het opbouwen van de bomen. De voorspellingen van deze afzonderlijke bomen worden vervolgens geaggregeerd tot de uiteindelijke voorspelling.
Dit algoritme is een krachtige keuze omdat het diversiteit introduceert en overfitting vermindert. Door die diversiteit ontstaat een robuuster en completer model dat een breed scala aan patronen in de data vastlegt, en door minder overfitting generaliseert het model beter naar ongeziene data, wat het tot een betrouwbaar en accuraat hulpmiddel voor voorspellende analyses maakt.
We hebben een aparte tutorial over random forest-classificatie, waarin wordt uitgelegd hoe en wanneer je deze statistische techniek in machine learning gebruikt.
Een voorbeeld van random forest-classificatie
Support vector machines (SVM)
SVM is een krachtig algoritme dat kan worden gebruikt voor classificatie- en regressietaken. Het gebruikt statistische principes om een grens te creëren tussen verschillende groepen datapunten, zodat ze beter van elkaar te onderscheiden zijn. Door deze grens te optimaliseren, verkleint SVM de kans op fouten en verbetert het de algehele nauwkeurigheid.
We hebben tutorials over support vector machines met scikit-learn in Python, en over SVM's in R.
K-nearest neighbors (KNN)
KNN is een simpel maar effectief algoritme dat wordt gebruikt om datapunten te classificeren op basis van de meerderheid van hun dichtstbijzijnde buren. Het is geschikt voor zowel classificatie- als regressieproblemen en vereist geen training.
Bij KNN worden statistische maten gebruikt om de nabijheid tussen datapunten te bepalen, zodat de dichtstbijzijnde buren kunnen worden geïdentificeerd. De meerderheid van die buren wordt vervolgens gebruikt om de doelvariabele te classificeren of te voorspellen.
Ook hier kun je het concept van KNN's verder verkennen met onze tutorial K-Nearest Neighbors Classification met scikit-learn.
Tot slot
Terwijl we navigeren door dit spannende tijdperk van technologische vooruitgang en datagedreven besluitvorming, is een solide begrip van statistiek van grote waarde om je machinelearningvaardigheden te versterken. Door je te verdiepen in de basis van statistiek ontsluit je de poort naar het volle potentieel van machine learning.
Of je nu een beginner bent of een doorgewinterde pro, start vandaag nog je leerreis met de tracks Statistics Fundamentals with Python en Machine Learning Fundamentals with Python om meer te leren over het fascinerende veld van statistisch machine learning!
Bronnen
- All of Statistics (A Concise Course in Statistical Inference) door Larry Wasserman
- The Elements of Statistical Learning door Jerome H. Friedman, Robert Tibshirani en Trevor Hastie
