Artificial Neural Networks (ANN)
Classificatie van categorische variabelen
Cross-validatie (niet gevalideerd)
False negative (FN, type II-fout)
False positive (FP, type I-fout)
Natural Language Processing (NLP)
Principal Component Analysis (PCA)
Root Mean Squared Error (RMSE)
A
Accuracy-score
Een accuracy-score is een evaluatiemetric die wordt gebruikt om de prestatie van een machinelearningmodel te schatten, en laat de verhouding zien tussen het aantal correcte voorspellingen en het totale aantal voorspellingen.
Activatiefunctie
Een activatiefunctie wordt gebruikt in artificial neural networks (ANN) en bepaalt of een neuron geactiveerd moet worden door de output naar de volgende verborgen laag (of uitvoerlaag) te berekenen, op basis van de input uit de vorige laag (of invoerlaag). De activatiefunctie is verantwoordelijk voor de niet-lineaire transformatie van een neuraal netwerk.
Algoritme
Een algoritme is een reeks herhaalbare stappen, vaak wiskundig uitgedrukt, geschreven door een mens en uitgevoerd door een computer, om een bepaald type data science-probleem op te lossen. Algoritmen variëren van heel eenvoudig tot uiterst complex. Verschillende algoritmen zijn geschikt voor verschillende taken en technologieën. Het kernidee is dat een algoritme input krijgt en output produceert, en dat dezelfde input altijd dezelfde output oplevert. In machine learning nemen algoritmen input aan in de vorm van data en hyperparameters, herkennen en leren ze patronen uit de data, en produceren ze output in de vorm van voorspellingen.
Apache Spark
Apache Spark is een open-source multifunctioneel parallel verwerkingsframework voor het analyseren en modelleren van big data. Met Spark kun je data en berekeningen verspreiden over clusters met meerdere nodes (zie elke node als een aparte computer). Door je data op te splitsen wordt het makkelijker om met zeer grote datasets te werken, omdat elke node slechts met een klein deel van de data werkt. Terwijl elke node aan zijn eigen subset van de totale data werkt, voert hij ook een deel van de totale berekeningen uit, zodat zowel gegevensverwerking als berekening parallel plaatsvinden binnen het cluster. Parallelle berekeningen kunnen bepaalde soorten programmeertaken aanzienlijk versnellen.
API
API staat voor Application Programming Interface, een software-tussenschakel die zorgt voor een verbinding tussen applicaties of computers. Een voorbeeld van een API is het inbedden van Google Maps in een rideshare-applicatie. Data scientists werken vaak met API’s om toegang te krijgen tot data (bijv. de Twitter API om tweets te downloaden), of om een oplossing te verpakken die ze hebben gemaakt (bijv. een API die een machinelearningmodel in productie aanroept).
Artificial Intelligence (AI)
Artificial intelligence is een tak van de informatica die machine learning-, programmeer- en data science-technieken gebruikt om computers zich intelligent te laten gedragen. AI-systemen zijn breed en hebben uiteenlopende complexiteit. Ze variëren van regelgebaseerde systemen tot systemen op basis van machine learning, en kunnen taken uitvoeren zoals fraudedetectie, objectherkenning, taalvertaling, voorspelling van aandelenkoersen en nog veel meer.
Artificial Neural Networks (ANN)
Een artificial neural network is een machinelearningmodel dat losjes is geïnspireerd op biologische neurale netwerken in menselijke hersenen. Neurale netwerken bestaan uit tot honderden lagen van onderling verbonden eenheden, neuronen genoemd. Conceptueel heeft een kunstmatig neuraal netwerk de volgende typen lagen: input-, output- en verborgen lagen om de data door te filteren, te verwerken met een activatiefunctie, en aan de output voorspellingen te doen. ANN’s zijn de bouwstenen van een subset van machine learning, deep learning, die complexe outputs levert zoals beeld- of spraakherkenning, objectdetectie, taalvertaling en meer.
B
Backpropagation (BP)
Backpropagation is een techniek die wordt gebruikt bij het trainen van deep learning-netwerken en is gebaseerd op het toepassen van gradient descent om iteratief de gewichten en biases af te stemmen en de nauwkeurigheid van een netwerk te verbeteren. Het algoritme berekent in elke trainingsiteratie de fout van de output en voert die vervolgens terug het netwerk in, waardoor het in volgende iteraties de fout kan minimaliseren.
Bayesiaans netwerk
Een Bayesiaans netwerk is een probabilistische graaf die de relatie tussen willekeurige variabelen toont voor een onzekere domeincontext, waarbij de knopen in de graaf die variabelen voorstellen en de verbindingen (de randen) de conditionele waarschijnlijkheid voor de overeenkomstige variabelen. Een voorbeeld is medische diagnostiek, waar onderzoekers gezondheidsuitkomsten voorspellen rekening houdend met alle factoren die een uitkomst kunnen beïnvloeden.
Stelling van Bayes
De stelling van Bayes is een wiskundige vergelijking voor het berekenen van conditionele waarschijnlijkheid, d.w.z. de kans dat gebeurtenis B optreedt gegeven dat de gerelateerde gebeurtenis A al heeft plaatsgevonden. Een van de toepassingen in data science is het bouwen van Bayesiaanse netwerken voor grote datasets.
Bias
Bias verwijst naar de neiging van modellen om de data te onderfitten, wat leidt tot onnauwkeurige voorspellingen in machine learning en data science. Dit is de betekenis van bias die vaak wordt besproken in de bias-variantie-afweging. Daarnaast kan bias ook algoritmische bias betekenen—de neiging van machinelearningmodellen om schadelijke maatschappelijke vooroordelen te reproduceren door verschillende groepen mensen verschillend te behandelen op basis van beschermde kenmerken zoals ras, seksuele oriëntatie, genderidentiteit, leeftijd, zwangerschap, veteranenstatus en meer.
Bias-variantie-afweging
De bias-variantie-afweging is de afweging tussen bias en variantie bij het maken van een machinelearningmodel. Bias en variantie zijn twee soorten voorspellingsfouten—waarbij hoge bias wijst op onderfitting en hoge variantie op overfitting. Door beide factoren tot een optimaal niveau te minimaliseren, daalt de totale voorspellingsfout.
Big data
Big data is het vakgebied rond het verwerken, behandelen en extraheren van informatie uit datasets die te groot of complex zijn voor traditionele dataverwerkingstools. Big data wordt gedefinieerd door de vijf V’s: velocity—de snelheid waarmee data wordt gegenereerd; volume—de hoeveelheid gegenereerde data; variety—de verscheidenheid aan datatypes, zoals tekst, afbeeldingen, tabeldata, enz.; veracity—de kwaliteit en betrouwbaarheid van de data; en value—de mate waarin data kan worden vertaald naar waardevolle zakelijke inzichten.
Binomiale verdeling
De binomiale verdeling is de discrete waarschijnlijkheidsverdeling van uitkomsten van onafhankelijke trekkingen, met twee elkaar uitsluitende mogelijke uitkomsten (succes en falen), een eindig aantal trekkingen en een constante succeskans. Simpel gezegd kun je de binomiale verdeling zien als de kans op een bepaalde uitkomst (succes of falen) bij een gebeurtenis die meerdere keren wordt herhaald (bijv. de kans op het gooien van 3 met een dobbelsteen die 5 keer wordt gegooid).
Business analyst
Business analysts zijn verantwoordelijk voor het koppelen van datainsights aan concrete resultaten die de winstgevendheid of efficiëntie verhogen. Ze hebben diepgaande domeinkennis en gebruiken vaak SQL naast no-code tools om inzichten uit data te communiceren.
Business analytics (BA)
Business analytics is een deelgebied van analytics dat gericht is op het gebruik van historische en actuele data om waardevolle operationele inzichten te ontdekken, mogelijke toekomstige trends te voorzien en datagedreven bedrijfsbeslissingen te nemen. De toolkit omvat meestal statistische analyse, beschrijvende analytics en datavisualisatie, en kan overlappen met voorspellende analytics en machine learning.
Business intelligence (BI)
Business intelligence is een deelgebied van analytics dat beschrijvende analytics, business analytics, datavisualisatie, statistische analyse, rapportage en meer combineert. Het doel is organisaties te helpen datagedreven beslissingen te nemen. BI maakt meestal gebruik van no-code tools zoals Tableau en Power BI om trends in historische en actuele data te verkennen. In tegenstelling tot business analytics ligt de nadruk bij BI vooral op beschrijvende analytics.
C
Categorische variabele
Een categorische variabele is een variabele die één van een beperkt aantal mogelijke waarden (categorieën) kan aannemen, zonder intrinsieke ordening. Een voorbeeld is burgerlijke staat (bijv. getrouwd, single, gescheiden). Dit wordt ook wel een nominale of kwalitatieve variabele genoemd.
Classificatie
Classificatie is een supervised learning-probleem waarbij categorische uitkomsten moeten worden voorspeld op basis van inputfeatures. Voorbeelden zijn fraudedetectie (bijv. is deze transactie frauduleus gegeven de set inputfeatures?) en e-mail-spamfilters (bijv. is deze e-mail spam of niet?). Veelgebruikte classificatiealgoritmen zijn k-nearest neighbors, beslissingsbomen, random forest, enz.
Clustering
Clustering is een unsupervised learning-probleem waarbij observaties van een dataset worden gegroepeerd op basis van hun overeenkomst volgens gedeelde kenmerken. In tegenstelling tot classificatie zijn deze groepen (clusters) niet vooraf door mensen gedefinieerd, maar worden ze tijdens het leren door machinelearningalgoritmen geïdentificeerd. De elementen binnen een cluster lijken op elkaar en verschillen van die in andere clusters. Veelgebruikte clusteringalgoritmen zijn k-means, hiërarchische clustering, spectrale clustering, enz.
Informatica
Informatica is een veelzijdig vakgebied dat zich richt op theoretische en praktische aspecten van informatieverwerking in digitale computers, het ontwerpen van computerhardware en -software, en de toepassingen van computers. Het omvat onder andere kunstmatige intelligentie, computationele systemen, algoritmen, datastructuren, datamodellering, beveiliging, computer- en netwerkontwerp, enz.
Computer vision
Computer vision is een deelgebied van de informatica dat zich bezighoudt met het computers in staat stellen om op hoog niveau begrip te halen uit digitale afbeeldingen of video’s, vergelijkbaar met hoe mensen kijken. Computer vision is vooral populair geworden met de opkomst van deep learning en de toename van big data. Toepassingen zijn onder meer object- en gezichtsherkenning, bewegingsanalyse, zelfrijdende auto’s en optische tekenherkenning.
Confusion matrix
Een confusion matrix is een tabel die de voorspellende prestatie van een classificatiemodel illustreert. Gewoonlijk wordt een confusion matrix gemaakt voor een binaire output (d.w.z. voorspellingen met slechts twee mogelijke waarden—bijv. of een transactie frauduleus is of niet), waardoor de tabel 2 bij 2 is. Een confusion matrix toont de relatie tussen voorspellingen en werkelijke labels voor beide klassen. Het maakt snel duidelijk hoeveel juiste voorspellingen zijn gedaan (true positives en true negatives) en hoeveel false positives (type I-fout) en false negatives (type II-fout).
Continue variabele
Een continue variabele is een variabele die binnen een bepaald bereik een oneindige reeks waarden kan aannemen. Voorbeelden zijn lengte en gewicht.
Correlatie
Correlatie is de sterkte en richting van het verband tussen twee of meer variabelen, gemeten met een correlatiecoëfficiënt, of Pearson-coëfficiënt. Statistisch is een correlatiecoëfficiënt de verhouding van de covariantie van twee variabelen tot het product van hun standaarddeviaties. De waarde loopt van -1 (perfect negatieve correlatie) tot 1 (perfect positieve correlatie). Correlatie tussen twee variabelen impliceert geen oorzaak-gevolgrelatie.
Kostenfunctie
De kostenfunctie is een machinelearningfunctie die het gemiddelde meet van de verschillen tussen voorspelde en werkelijke waarden over de trainingsset, en die geminimaliseerd moet worden.
Covariantie
Covariantie is een maat voor de relatie tussen twee variabelen. In tegenstelling tot variantie, die variatie binnen dezelfde variabele meet, laat covariantie zien hoe variatie in de ene variabele veranderingen in de andere beïnvloedt. Covariantie wordt gebruikt bij het berekenen van een correlatiecoëfficiënt.
Cross-validatie (niet gevalideerd)
Cross-validatie is een hersteekproefmethode bij het trainen van machinelearningmodellen waarbij gelabelde data wordt gesplitst in trainings- en testsets. In elke iteratie van cross-validatie worden andere delen van de data gebruikt om het model te trainen en te testen. De trainingsset wordt gebruikt om een model te trainen, en de testset om voorspellingen te doen en deze te vergelijken met de werkelijke labels voor die records. Vervolgens wordt een algemene nauwkeurigheidsmetric berekend om de voorspellende prestatie van het model te schatten.
D
Dashboard
Een dashboard is een interactieve, grafische gebruikersinterface om key performance indicators (KPI’s), voortgangsmetrics en informatie rond bedrijfsprocessen te visualiseren, samen te vatten en te rapporteren, zodat de doelgroep op verschillende niveaus snel de belangrijkste inzichten kan begrijpen. Dashboards worden gebouwd met no-code tools zoals Excel, Tableau of Power BI, of met code in bijvoorbeeld Python en R. Een dashboard is vaak gekoppeld aan regelmatig bijgewerkte databases en services.
Data-analyse (DA)
Data-analyse is een discipline die zich richt op het opschonen, transformeren, visualiseren en verkennen van data met als doel betekenisvolle patronen en inzichten te extraheren, en de resultaten te communiceren naar belanghebbenden. Data-analyse is meestal de eerste mijlpaal in data science-projecten, maar kan ook een losstaand project zijn. In tegenstelling tot data science richt het zich meer op beschrijvende dan op voorspellende analytics.
Data-analist
Een data-analist lijkt op een business analyst; data-analisten zijn verantwoordelijk voor het analyseren van data en het rapporteren van inzichten uit hun analyse. Ze hebben een diep begrip van de data-analyseworkflow en halen en rapporteren hun inzichten met een combinatie van code- en no-code tools.
Database
Een database is een gestructureerde opslagruimte waarin data in verschillende tabellen is georganiseerd, zodat de benodigde informatie eenvoudig kan worden opgehaald en samengevat. Databases worden meestal gebruikt met een relationeel databasebeheersysteem (RDBMS) zoals Oracle of PostgreSQL. De meest gebruikte programmeertaal om met de data in een database te werken is SQL.
Databasebeheersysteem (DBMS)
Een databasebeheersysteem is een softwarepakket waarmee je eenvoudig verschillende bewerkingen op data kunt uitvoeren: toegang, manipulatie, ophalen, beheer en opslag van data in een database. Afhankelijk van hoe data is georganiseerd en gestructureerd zijn er verschillende typen DBMS: relationeel, graaf, hiërarchisch, enz. Voorbeelden van DBMS: Oracle, MySQL, PostgreSQL, Microsoft SQL Server, MongoDB.
Dataconsument
Dataconsumenten hebben vaak niet-technische rollen, maar gebruiken datainsights en analytics van dataprofessionals om datagedreven beslissingen te nemen. Ze moeten vaak in gesprek met dataprofessionals en kunnen onderscheiden wanneer data wel en niet kan worden gebruikt om zakelijke vragen te beantwoorden.
Data engineer
Een data engineer is een specialist die ervoor zorgt dat data scientists en data-analisten over de juiste data kunnen beschikken. Ze ontwerpen en onderhouden de opslaginfrastructuur en datapijplijnen die grote hoeveelheden ruwe data uit verschillende bronnen naar één centrale locatie brengen met schone, correct geformatteerde data die relevant is voor de organisatie.
Data engineering (DE)
Data engineering is een specialisatie die zich richt op het opschalen van datatoegang binnen de organisatie. Data engineers werken aan data-acquisitie, -verzameling, -beheer en -opslag—en aan het opzetten van datapijplijnen en het transformeren van data naar hoogwaardige, bruikbare data voor de rest van de organisatie.
Data-enrichment
Data-enrichment is het proces van verrijken, verfijnen en aanvullen van ruwe data, zodat deze nuttiger wordt voor de organisatie en er meer betekenisvolle zakelijke inzichten en geoptimaliseerde voorspellende analytics uit voortkomen.
Dataframe
Een dataframe is de tabelvormige datastructuur met gelabelde assen (rijen en kolommen) die mogelijk van verschillende typen zijn.
Data governance
DAMA definieert data governance als “De planning, het toezicht en de controle over het beheer van data en aan data gerelateerde bronnen”. Data governance bepaalt de rollen, verantwoordelijkheden en processen om datatoegankelijkheid, relevantie, kwaliteit, bruikbaarheid, integriteit en veiligheid te waarborgen. Het omvat een bestuursorgaan, een raamwerk van regels en praktijken om aan de informatiebehoeften van het bedrijf te voldoen, en een programma om deze praktijken uit te voeren.
Datajournalistiek
Datajournalistiek is een vorm van journalistiek die zich bezighoudt met het verwerken en analyseren van grote hoeveelheden numerieke data, met als doel een verhaal te maken over de data of informatie die hieruit is afgeleid. Deze rol is ontstaan door een steeds groeiende informatiestroom en de toenemende interactie van de moderne journalistiek met statistiek, IT en data science.
Datalake
Een datalake is een enkele opslagplaats met een grote hoeveelheid ruwe, onbewerkte data van allerlei soorten uit verschillende bronnen, zonder dat er al een gedefinieerd doel is. Een datalake bevat zowel gestructureerde data van verschillende structuren zonder onderlinge relaties, als, vaker, ongestructureerde data zoals documenten en tekstbestanden. De ruwe data blijft als originele informatiebron bewaard, zonder dat deze hoeft te worden gestructureerd en opgeschoond, tenzij de data nodig is.
Datawijsheid
Datawijsheid is het vermogen om data te lezen, schrijven, analyseren, communiceren en ermee te redeneren om betere datagedreven beslissingen te nemen. Vanuit organisatorisch perspectief is het een spectrum aan datavaardigheden, van datagedreven besluitvorming tot geavanceerde technische vaardigheden in data science, data engineering en machine learning, waardoor iedereen in de organisatie relevante competenties heeft en op schaal waarde uit data haalt.
Datamining
Datamining is het proces van relevante data verzamelen uit verschillende bronnen, deze opschonen en transformeren naar het juiste formaat, het detecteren en extraheren van betekenisvolle verborgen trends, patronen en onderlinge verbanden in de data, en het communiceren van actiegerichte inzichten om de organisatie te helpen datagedreven beslissingen te nemen en betere strategieën te ontwikkelen. Hiervoor worden verschillende analytische en modelleringstechnieken gebruikt, waaronder statistische analyse, datavisualisatie, regressie en classificatie.
Datamodellering
Datamodellering is het proces van het ontwikkelen van een visuele representatie van een heel IT-systeem of delen ervan om verbanden tussen datapunten en structuren te communiceren. Datamodellen laten zien welke typen data binnen het systeem worden gebruikt en opgeslagen, de relaties tussen deze verschillende databronnen en hoe data wordt gegroepeerd op basis van verschillende attributen en kenmerken. Een iets aangepaste definitie die je in data science kunt tegenkomen: het bouwen van betrouwbare modellen die ruwe data omzetten in voorspellende, consistente en actiegerichte inzichten. Het belangrijkste doel is om de kritieke bedrijfsbehoeften, beschikbare databronnen en deadlines duidelijk te begrijpen, en een relevant datagedreven en correct geformatteerd kader te bieden om aan die behoeften te voldoen.
Datapijplijn
Een datapijplijn is een set gekoppelde dataverwerkingsscripts die de datastroom binnen een organisatie automatiseren, waarbij data wordt geëxtraheerd, getransformeerd en geladen zodat deze klaar is voor gebruik.
Data science (DS)
Data science is een veelzijdig, interdisciplinair vakgebied dat verschillende wetenschappelijke methoden, geavanceerde analysetechnieken en voorspellende modelleeralgoritmen gebruikt om betekenisvolle inzichten uit data te halen, om zo strategische bedrijfs- of wetenschappelijke vragen in veel domeinen te beantwoorden. Het combineert een breed scala aan technische en niet-technische vaardigheden en vereist meestal een degelijke domeinkennis in de specifieke sector waarin het wordt toegepast, om de beschikbare data en de verkregen resultaten correct te interpreteren.
Data scientist
Data scientists onderzoeken, extraheren en rapporteren betekenisvolle inzichten uit de data van de organisatie. Ze communiceren deze inzichten naar niet-technische stakeholders en hebben een goed begrip van machinelearningworkflows en hoe ze die vertalen naar bedrijfsapplicaties. Ze werken vrijwel uitsluitend met code, voeren analyses uit en werken vaak met big data-tools.
Dataset
Een dataset is een verzameling data van één of meerdere typen die reële of synthetisch gegenereerde observaties vertegenwoordigt, en wordt gebruikt voor statistische analyse of datamodellering. De data in een dataset kan uit vele bronnen komen en wordt meestal opgeslagen in een soort datastructuur, vaak een tabel, waarbij de kolommen overeenkomen met verschillende variabelen en de rijen met verschillende datarecords.
Datastructuur
Een datastructuur is een manier om data te organiseren en op te slaan zodat deze efficiënt kan worden benaderd en bewerkt. Een datastructuur definieert de relatie tussen data en de bewerkingen die erop kunnen worden uitgevoerd. Veelvoorkomende datastructuren in data science zijn dataframes, lijsten, arrays en meer.
Datavisualisatie
Datavisualisatie is een interdisciplinair vakgebied dat zich richt op het condenseren en weergeven van informatie in visuele vorm. Data kan worden gevisualiseerd met allerlei grafieken zoals kaarten, histogrammen, staaf- en lijngrafieken, en kan worden gecombineerd tot infographics, dashboards en meer. Datavisualisatie helpt de doelgroep vaak om de onderliggende data en de verkregen resultaten beter te begrijpen.
Datawarehouse
Een datawarehouse is een centrale opslagplaats voor gestructureerde, opgeschoonde en getransformeerde data die uit meerdere bronnen is verzameld via het ETL-proces (extractie, transformatie, laden). Dataprofessionals kunnen de benodigde informatie eenvoudig uit het datawarehouse halen via business intelligence-tools, SQL-queries, enz., en deze gebruiken voor verdere analyse en modellering om zakelijke vragen te beantwoorden.
Data wrangling
Data wrangling wordt ook wel data munging genoemd. Het omvat taken als het opschonen, herstructureren, samenvoegen, aggregeren en transformeren van data naar een geschikt formaat voor een specifiek doel. Kortom, het is het voorbereiden van data voor eenvoudige toegang en data-analyse.
Beslissingsboom
Een beslissingsboom is een supervised machinelearningalgoritme dat vooral wordt gebruikt voor classificatie, maar ook voor regressieproblemen. Beslissingsbomen stellen een reeks if-else-vragen over individuele features met als doel de klasselabels af te leiden. Een beslissingsboom profiteert van een mogelijke grafische boomrepresentatie, het nabootsen van menselijk beslisgedrag en intuïtief begrijpelijke logica, maar dit type model heeft de neiging te overfitten.
Deep learning (DL)
Deep learning is een subset van machinelearningalgoritmen op basis van meerlagige artificial neural networks (ANN) die grotendeels zijn geïnspireerd op de structuur van het brein. ANN’s zijn zeer flexibel en kunnen leren van enorme hoeveelheden data, om zeer nauwkeurige outputs te leveren. Ze liggen vaak ten grondslag aan data science- en machinelearningtoepassingen zoals beeld- of spraakherkenning, taalvertaling en andere geavanceerde problemen.
Dimensiereductie
Dimensiereductie is het proces waarbij het aantal features in de trainingsset wordt verminderd, zodat alleen de meest relevante features overblijven die het grootste deel van de variatie vastleggen, om zo de modelprestatie te verbeteren. Dimensiereductie is vooral nuttig voor grote datasets met veel variabelen. Het helpt opslagruimte en rekentijd te optimaliseren en lost ook multicollineariteit op. De populairste techniek is PCA (principal component analysis).
E
EDA
EDA staat voor exploratory data analysis en verwijst naar de eerste fase van data-analyse, gericht op de basale verkenning van de beschikbare data; het samenvatten van de belangrijkste kenmerken en het vinden van eerste patronen en trends, problemen om op te lossen en vragen voor verder onderzoek. In deze fase vormt een data-analist of data scientist een algemeen begrip van de data als basis voor de volgende, meer gedetailleerde analyse.
ELT
ELT (extract, load, transform) is een door data engineers ontworpen datapijplijn-systeem, een alternatief voor de populairdere aanpak ETL (extract, transform, load). Voordat er transformaties worden toegepast, wordt de ruwe data geladen in het datalake en daar ter plekke getransformeerd. Het voordeel van ELT boven ETL is dat het minder tijd kost, geschikt is voor het verwerken van grote datasets en kostenefficiënter is.
ETL
ETL (extract, transform, load) is een door data engineers ontworpen datapijplijn-systeem. De data wordt uit meerdere bronnen geëxtraheerd, vanuit ruwe vorm getransformeerd naar een geschikt formaat dat consistent is met data uit andere bronnen, en geladen in het doel-datawarehouse. Van daaruit kan het worden gebruikt voor verdere data-analyse en modellering om verschillende bedrijfsproblemen op te lossen.
Evaluatiemetrics
Evaluatiemetrics zijn een verzameling metrics die worden gebruikt om de prestatie van een statistisch of machinelearningmodel te schatten. Voorbeelden zijn accuracy-score, f-score, recall en RMSE.
F
False negative (FN, type II-fout)
Een false negative is een uitkomst waarbij een classificatiemodel de negatieve klasse onterecht voorspelt voor een binaire doelvariabele (bijv. als we klantverloop voorspellen, is een false negative een “zal niet afhaken”-voorspelling terwijl het werkelijke label “zal afhaken” is).
False positive (FP, type I-fout)
Een false positive is een uitkomst waarbij een classificatiemodel de positieve klasse onterecht voorspelt voor een binaire doelvariabele. Bijvoorbeeld, als we klantverloop voorspellen, genereert een false positive een “zal afhaken”-voorspelling terwijl het werkelijke label “zal niet afhaken” is.
Feature
Een feature is een onafhankelijke variabele die als input in een machinelearningmodel wordt gebruikt. Bijvoorbeeld, als we de kans op diabetes voorspellen met lengte, gewicht en suikerinname, dan zijn lengte, gewicht en suikerinname features.
Feature engineering
Feature engineering is het proces waarbij domeinkennis en vakexpertise worden gebruikt om ruwe features te transformeren naar features die het onderliggende probleem beter weergeven en beter geschikt zijn voor machinelearningalgoritmen. Dit omvat het extraheren van nieuwe features uit beschikbare data of het bewerken van bestaande features. Als we bijvoorbeeld een gezondheidsuitkomst willen voorspellen zoals de kans op diabetes, dan is het berekenen van een BMI-feature op basis van lengte en gewicht een vorm van feature engineering.
Featureselectie
Featureselectie is het proces waarbij een subset van features uit de dataset wordt gekozen die het meest relevant zijn voor het voorspellen van de doelvariabele. Slimme featureselectie is vooral belangrijk bij grote datasets, omdat het de modelcomplexiteit, overfitting en rekentijd vermindert, en de nauwkeurigheid verhoogt.
F-score
De F-score is een evaluatiemetric voor het inschatten van modelprestatie die zowel precisie als recall combineert. Meestal wordt de F1-score gebruikt, de harmonische gemiddelde van precisie en recall. Het meer algemene geval is Fβ, waarbij extra gewicht aan precisie of recall wordt toegekend.
G
Gradient descent
Gradient descent is een iteratief optimalisatieproces dat in machine learning wordt gebruikt om de kostenfunctie te minimaliseren door de optimale waarden voor de parameters van de functie te vinden.
H
Hadoop
Hadoop is een open-source Java-gebaseerd softwareframework dat parallelle verwerking en gedistribueerde opslag van big data over clusters van vele computers mogelijk maakt. Met Hadoop kun je tijd besparen en veel grotere hoeveelheden data verwerken dan met slechts één computer mogelijk is.
Hyperparameter
Hyperparameters zijn eigenschappen van een machinelearningmodel waarvan de waarde handmatig wordt ingesteld vóór de training. In tegenstelling tot andere parameters kunnen hyperparameters niet rechtstreeks uit de data worden geschat of geleerd. Door hyperparameters af te stemmen en de resulterende modelprestatie te evalueren, kun je hun optimale waarden bepalen om het meest nauwkeurige model te krijgen. Intuïtief lijkt het tunen van een hyperparameter op het draaien aan een radioknop om perfecte ontvangst te krijgen. Een voorbeeld van een hyperparameter is het aantal bomen in het random forest-algoritme.
Hypothese
Een hypothese is een aanname over een probleem of gebeurtenis die getest moet worden en, afhankelijk van de uitkomst van het experiment, wordt bevestigd of verworpen.
I
Imputatie
Imputatie is het proces waarbij ontbrekende waarden in een dataset worden ingevuld. Imputatietechnieken kunnen statistisch zijn (gemiddelde-/modusimputatie) of machinelearningtechnieken (KNN-imputatie).
K
K-means
K-means is het populairste clusteringalgoritme dat K clustercentra (centroïden) met voorlopige coördinaten in de data identificeert en vervolgens elke observatie iteratief toewijst aan een van de centroïden op basis van zijn features totdat de centroïden convergeren. Datapunten lijken op elkaar binnen een cluster en verschillen van punten in andere clusters.
K-nearest neighbors (KNN)
K-nearest neighbors is een supervised learning-algoritme dat observaties classificeert op basis van hun overeenkomst met hun dichtstbijzijnde buren. De belangrijkste instelbare parameters van KNN zijn het aantal naaste buren en de afstandsmaat (Minkowski, Euclidisch, Manhattan, enz.).
L
Lineaire algebra
Lineaire algebra is een tak van de wiskunde die zich bezighoudt met lineaire systemen: lijnen, vlakken, vectorruimten, matrices en bewerkingen daarop, zoals optellen of vermenigvuldigen. Lineaire algebra is zeer nuttig in data science en machine learning, aangezien datasets en veel modellen in matrixvorm kunnen worden weergegeven.
Lineaire regressie
Lineaire regressie is een regressie-algoritme dat een lineair verband modelleert tussen een continue doelvariabele en één of meerdere continue features. Een typisch data science-voorbeeld met lineaire regressie is prijsvoorspelling op basis van diverse inputkenmerken.
Logistische regressie
Logistische regressie is een regressie-algoritme dat een logistische functie toepast op de inputfeatures om de klassekans of direct het klasselabel voor de doelvariabele te voorspellen. In het tweede geval vertegenwoordigt de output een set categorieën in plaats van continue waarden, wat betekent dat logistische regressie hier als classificatietechniek fungeert. Een typisch gebruik in data science is het voorspellen van de kans op klantverloop.
M
Machine learning (ML)
Machine learning is een tak van artificial intelligence (AI) die een set algoritmen biedt die zijn ontworpen om patronen en trends uit historische data te leren. Het doel van ML is om toekomstige uitkomsten te voorspellen en te generaliseren voorbij de datapunten in de trainingsset zonder expliciet geprogrammeerd te zijn. Er zijn twee hoofdtypen machinelearningalgoritmen: supervised en unsupervised, elk met talloze technieken voor verschillende use-cases.
Gemiddelde
Het gemiddelde is de rekenkundige gemiddelde waarde van een reeks getallen, d.w.z. de som van alle waarden gedeeld door het aantal waarden. Het wordt meestal gebruikt samen met andere statistieken om een algemeen beeld te krijgen van de hele dataset.
Mean Absolute Error (MAE)
De mean absolute error (MAE) is het rekenkundig gemiddelde van alle absolute fouten van de voorspelde waarden ten opzichte van de werkelijke waarden.
Mean Squared Error (MSE)
De mean squared error (MSE) is het rekenkundig gemiddelde van de kwadraten van alle fouten van de voorspelde waarden ten opzichte van de werkelijke waarden.
Mediaan
De mediaan is de middelste waarde in een reeks getallen die in oplopende of aflopende volgorde is gesorteerd. Als het aantal waarden even is, is de mediaan het rekenkundig gemiddelde van de twee middelste waarden. De mediaan wordt meestal samen met andere statistieken gebruikt om een algemeen beeld van de hele dataset te krijgen, en is vooral nuttig om mogelijke uitschieters op te sporen.
Modus
De modus is de meest voorkomende waarde (of waarden) in een dataset.
Modeltuning
Modeltuning is het proces waarbij de hyperparameters worden aangepast om de nauwkeurigheid van het model te maximaliseren zonder dat het overfit.
Multivariate modellering
Multivariate modellering is het modelleren van de relatie tussen meerdere variabelen (predictoren) die bij de featureselectie zijn gedefinieerd en de doelvariabele.
N
Naive Bayes
Naive Bayes is een groep classificatiealgoritmen gebaseerd op de stelling van Bayes en de aanname van onafhankelijkheid tussen features die in de classifier worden gebruikt. Hoewel features in de praktijk niet altijd onafhankelijk zijn, kunnen Naive Bayes-algoritmen succesvol worden toegepast op diverse data science-use-cases, zoals spamfiltering of sentimentanalyse.
Natural Language Processing (NLP)
Natural Language Processing (NLP) is een tak van de informatica die ervoor zorgt dat computerapplicaties geschreven of gesproken menselijke taal begrijpen en analyseren. NLP-technieken nemen meestal ongestructureerde tekstdata als input, zetten die om naar een gestructureerde vorm, zoeken naar linguïstische en contextuele patronen, categoriseren die en halen waardevolle inzichten uit de data. NLP omvat ook het gebruik van machine learning en deep learning om taal te genereren, te categoriseren en andere cognitieve taken met taal uit te voeren. Voorbeelden van NLP-toepassingen zijn chatbots, spraak-naar-tekst-converters, sentimentanalyse en automatische vertaling.
Normalisatie
Normalisatie is het herschalen van data zodat alle attributen dezelfde schaal hebben. Normalisatie is nodig om attributen zinvol te kunnen vergelijken en is ook vereist voor sommige machinelearningalgoritmen.
NoSQL
NoSQL staat voor "not only SQL". Het is een databasebeheersysteem voor opslag en ophalen van niet-relationele (d.w.z. niet-tabulaire) databases. Voorbeelden van niet-relationele datamodellen zijn graaf-, document- en key-value-databases. NoSQL-systemen bieden hoge flexibiliteit en snelheid, en de mogelijkheid om over veel servers te schalen”.
Nulhypothese
De nulhypothese is een type hypothese dat het tegenovergestelde stelt van de alternatieve hypothese die wordt getoetst, d.w.z. dat er geen significant statistisch verband bestaat tussen twee variabelen en dat de observaties berusten op toeval. Een nulhypothese kan in een statistisch experiment worden verworpen of bevestigd.
O
Open source
Open source verwijst naar vrij-gelicentieerde software en resources die beschikbaar zijn voor verdere aanpassing en delen. Open-sourcetools faciliteren samenwerking tussen gebruikers en zijn meestal stabieler omdat onderzoekers nieuwe, nuttige functies kunnen toevoegen of technische problemen en bugs uit de community kunnen oplossen.
Ordinale variabele
Een ordinale variabele is een variabele die één van een beperkt aantal mogelijke waarden kan aannemen met een intrinsieke ordening. Een voorbeeld is een enquêtekolom waarin antwoorden op volgorde van intensiteit staan (bijv. “Helemaal mee oneens”, “oneens”, “neutraal”, “mee eens” of “Helemaal mee eens”).
Uitschieter
Een uitschieter is een abnormale waarde in een dataset die aanzienlijk afwijkt van de rest van de observaties. Uitschieters kunnen wijzen op een meetfout of een uitzonderlijke gebeurtenis.
Overfitting
Overfitting betekent dat een model te veel informatie leert uit de trainingsset, inclusief mogelijke ruis en uitschieters. Het wordt daardoor te complex en te sterk afgestemd op de specifieke trainingsset en presteert slecht op onzichtbare data. Overfitting leidt tot hoge variantie in de bias-variantie-afweging.
P
Parameter
Een parameter is een benoemde variabele die in programmeren en data science aan een functie wordt doorgegeven. In machine learning is een parameter een intern onderdeel van een algoritme dat uit de data moet worden geleerd. Sommige algoritmen zijn parametrisch met een vaste set parameters (bijv. lineaire en logistische regressie), terwijl andere niet-parametrisch zijn (bijv. k-nearest neighbors).
Precisie
Precisie is een evaluatiemetric die wordt gebruikt om de prestatie van een machinelearningmodel te schatten, en laat de verhouding zien tussen het aantal correct voorspelde positieve gevallen en het totale aantal voorspelde positieve gevallen.
Predictive analytics
Predictive analytics is het analyseren van historische data met diverse tools uit statistische analyse, datamining, datavisualisatie en machine learning, om voorspellingen te doen over toekomstige gebeurtenissen binnen een bepaald bedrijf.
Principal Component Analysis (PCA)
Principal component analysis (PCA) is een statistische techniek voor factoranalyse en dimensiereductie die een set mogelijk gecorreleerde oorspronkelijke features transformeert naar een kleinere set lineair ongecorreleerde features, hoofdcomponenten genoemd. Zo behoudt PCA zoveel mogelijk variantie in de dataset, terwijl het aantal features wordt geminimaliseerd.
Python
Python is een open-source, objectgeoriënteerde, high-level programmeertaal. Python is zeer populair in data science, maar wordt ook breed gebruikt voor algemene programmering in de informatica. Het is intuïtief en makkelijk te leren en te gebruiken, en toch krachtig genoeg om complexe problemen op te lossen. Python biedt een uitgebreide standaardbibliotheek en veel aanvullende modules, en wordt voortdurend ontwikkeld, verbeterd en uitgebreid.
R
R
R is een populaire programmeertaal en gratis software die veel wordt gebruikt voor data science- en machinelearningproblemen, vooral bekend om zijn statistische rekenkracht en uitstekende datavisualisatie-oplossingen. Het bevat talloze tools en packages voor data science, werkt op veel besturingssystemen en heeft een sterke online community.
Random forest
Random forest is een supervised learning-algoritme voor regressie- of classificatieproblemen en combineert de outputs van veel beslissingsbomen in één model. De voorspellingen van een random forest zijn in wezen het gemiddelde resultaat van alle beslissingsbomen, waardoor dit algoritme nauwkeurigere resultaten geeft dan een enkele beslissingsboom.
Recall
Recall is een evaluatiemetric die wordt gebruikt om de prestatie van een machinelearningmodel te schatten, en laat de verhouding zien tussen het aantal correct voorspelde positieve gevallen en het totale aantal werkelijke positieve gevallen.
Regressie
Regressie is een supervised learning-probleem waarbij continue uitkomsten moeten worden voorspeld op basis van inputfeatures. Een regressiemodel leert de relatie tussen één of meerdere onafhankelijke features en de doelvariabele en gebruikt de vastgestelde functie vervolgens om onzichtbare data te voorspellen. Voorbeelden van regressie-algoritmen zijn lineaire regressie en ridge-regressie. Een typisch regressieprobleem is prijsvoorspelling.
Reinforcement learning (RL)
Reinforcement learning (RL) is een op zichzelf staande tak van machine learning (noch supervised, noch unsupervised) waarbij een algoritme geleidelijk leert door te interageren met een omgeving. RL neemt beslissingen op basis van eerdere ervaringen over welke acties het dichter bij een gesteld doel brengen. Door beloningen voor juiste acties en straffen voor foute acties vindt het algoritme de optimale strategie om zijn prestaties te maximaliseren. Voorbeelden van RL-algoritmen zijn spelende ML-systemen zoals schaakengines en videogame-agents.
Relationele database
Een relationele database is een type database waarin data in meerdere tabellen wordt opgeslagen die met elkaar samenhangen via unieke ID’s (sleutels), van waaruit de data op verschillende manieren kan worden benaderd, opgehaald, samengevat of opnieuw samengesteld.
Root Mean Squared Error (RMSE)
De root mean squared error (RMSE) is de vierkantswortel van de mean squared error. Deze evaluatiemetric is intuïtiever dan MSE omdat het resultaat makkelijker te interpreteren is, in dezelfde eenheden als de oorspronkelijke data.
S
Steekproeffout
De steekproeffout is het statistische verschil tussen de hele populatie van de data en een subset ervan (een steekproef), doordat de steekproef niet alle elementen van de populatie bevat.
SQL
SQL (structured query language) is een programmeertaal die is ontworpen om te werken met relationele databasebeheersystemen (RDBMS). SQL kent verschillende smaken, waaronder SQLite, PostgreSQL en MySQL. Sommige daarvan zijn gratis en open source. Alle smaken hebben een vrij vergelijkbare syntaxis, met kleine verschillen in extra functionaliteit.
Standaarddeviatie
De standaarddeviatie is de vierkantswortel van de variantie van een populatie. De standaarddeviatie laat de mate van spreiding van de waarden zien en is intuïtiever dan de variantie omdat deze in dezelfde eenheden is als de data.
Supervised learning
Supervised learning is een tak van machine learning die een model traint op een gelabelde trainingsset met historische data. Supervised learning leert de relatie tussen inputs en outputs en meet vervolgens hoe nauwkeurig de outputs worden voorspeld voor een testset met bekende werkelijke outputs. Zo kan het later voorspellingen doen op volledig nieuwe data. Supervised learning-algoritmen zijn onder andere lineaire en logistische regressie, beslissingsbomen en SVM. Voorbeelden van veelvoorkomende taken zijn het voorspellen van huizenprijzen en het classificeren van berichten als spam of ham.
SVM
SVM (Support Vector Machine) is een supervised learning-algoritme dat vooral wordt gebruikt voor classificatie, maar ook voor regressieproblemen. Bij classificatie levert SVM een optimaal hypervlak dat de observaties van beide klassen scheidt (bij multiclass-classificatie breekt het algoritme het probleem op in een set binaire problemen). Bij regressie levert SVM het best passende hypervlak binnen een gedefinieerde marge.
Synthetische data
Synthetische data is kunstmatig gecreëerde data. Synthetische data weerspiegelt meestal de statistische eigenschappen van de oorspronkelijke dataset, zodat ze kunnen worden gebruikt in privacygevoelige domeinen zoals bankwezen en gezondheidszorg, of om een bestaande dataset uit te breiden met extra statistisch representatieve observaties.
T
Doelvariabele
Een doelvariabele (ook wel afhankelijke variabele) is de variabele die in een machinelearningalgoritme moet worden voorspeld met behulp van features. Bijvoorbeeld: als we de kans op diabetes voorspellen met lengte, gewicht en suikerinname, dan is de diabetesstatus de doelvariabele die we willen voorspellen.
Testset
Een testset is een subset van de beschikbare data die vóór het bouwen van een model wordt geïsoleerd, meestal 20 tot 30% van de gehele dataset. Testsets worden gebruikt om de nauwkeurigheid van modellen te evalueren die op een trainingsset zijn gefit.
Tijdreeks
Een tijdreeks is een reeks observaties van een variabele op verschillende tijdstippen, gesorteerd in tijdsvolgorde. Meestal worden tijdreeksmetingen genomen op opeenvolgende, gelijkmatig verdeelde momenten. Voorbeelden zijn beurskoersen of de temperatuur over een bepaalde periode.
Trainingsset
Een trainingsset is een subset van de beschikbare data die vóór het bouwen van een model wordt geïsoleerd, meestal 70 tot 80% van de gehele dataset. Een trainingsset wordt gebruikt om het model te fitten dat later op de testset wordt getest.
True negative (TN)
True negative (TN) is een uitkomst waarbij het model de negatieve klasse correct voorspelt voor een binaire doelvariabele (d.w.z. het voorspelt “False” bij een werkelijke labelwaarde False).
True positive (TP)
True positive (TP) is een uitkomst waarbij het model de positieve klasse correct voorspelt voor een binaire doelvariabele (d.w.z. het voorspelt “True” bij een werkelijke labelwaarde True).
U
Underfitting
Underfitting treedt op wanneer een model de patronen in de trainingsset niet kan herkennen omdat het op onvoldoende informatie is gebouwd. Het model is daardoor te eenvoudig en presteert slecht op onzichtbare data, maar ook op de trainingsset zelf. Underfitte modellen hebben hoge bias.
Univariate modellering
Univariate modellering is het modelleren van de relatie tussen één variabele (een predictor) en de doelvariabele. Univariate modellering wordt meestal gebruikt bij tijdreeksen.
Ongestructureerde data
Ongestructureerde data is alle data die niet past in een vooraf gedefinieerde datastructuur, zoals de typische rij-kolomstructuur van een database. Voorbeelden zijn afbeeldingen, e-mails, tekstdocumenten, video en audio.
Unsupervised learning
Unsupervised learning is een klasse van machinelearningalgoritmen die de onderliggende structuur van een dataset leren zonder dat een doelvariabele wordt aangeleverd. Unsupervised learning wordt gebruikt om gemeenschappelijke patronen in data te ontdekken, waarden te groeperen op basis van hun kenmerken en later voorspellingen te doen op onzichtbare data. Het meest gebruikte unsupervised learning-algoritme is k-means. Voorbeelden van veelvoorkomende taken zijn anomaliedetectie en klantsegmentatie op basis van gedeelde kenmerken.
V
Variantie
De variantie is het gemiddelde van de gekwadrateerde afwijkingen tussen individuele waarden en het gemiddelde van de hele reeks waarden in de wiskunde en statistiek. Met andere woorden, variantie laat zien hoe verspreid de waarden zijn. In machine learning is variantie een fout die wordt veroorzaakt door de gevoeligheid van een model voor kleine variaties in de trainingsset. Hoge variantie weerspiegelt de neiging van het model om willekeurige ruis uit de inputfeatures te leren, wat tot overfitting leidt.
W
Webscraping
Webscraping is het proces van het extraheren van specifieke data van websites voor verder gebruik. Webscraping kan automatisch gebeuren door een programma te schrijven dat de benodigde informatie van een website ophaalt.
Z
Z-score
De Z-score (ook wel gestandaardiseerde score, standaardscore of normale score) is het aantal standaarddeviaties waarmee de waarde van een dataobservatie boven of onder het gemiddelde van de hele reeks waarden ligt. Een z-score gelijk aan 0 betekent dat de observatie dicht bij het gemiddelde ligt.
