Feature-extractie in machine learning: een complete gids

Feature-extractie in machine learning zet ruwe data om in een set betekenisvolle kenmerken, waarbij essentiële informatie wordt vastgelegd en redundantie wordt verminderd. Dit kan bestaan uit technieken voor dimensiereductie en methoden die nieuwe features creëren op basis van bestaande data.

Stel je voor dat je fruit op een markt probeert te herkennen. Je zou talloze eigenschappen kunnen meenemen (gewicht, kleur, textuur, vorm, geur, enz.), maar je merkt misschien dat slechts een paar kernfeatures zoals kleur en grootte genoeg zijn om appels van sinaasappels te onderscheiden. Dat is precies wat feature-extractie doet. Het helpt je te focussen op de meest informatieve kenmerken van je data.

Bij feature-extractie wordt de oorspronkelijke data wiskundig getransformeerd naar een nieuwe set features. Deze nieuwe features zijn ontworpen om de belangrijkste aspecten van de data te vangen en tegelijkertijd de complexiteit mogelijk te verlagen. De geëxtraheerde features vertegenwoordigen vaak onderliggende patronen of structuren die in de ruwe data niet direct zichtbaar zijn.

Feature-extractie

In de volgende secties bekijken we waarom feature-extractie zo belangrijk is in machine learning en gaan we in op verschillende methoden om features uit diverse typen data te halen, inclusief bijbehorende code. Wil je praktische voorbeelden, bekijk dan onze Dimensionality Reduction in Python-cursus, met een hoofdstuk speciaal over feature-extractie.

Waarom is feature-extractie belangrijk in machine learning?

Feature-extractie speelt een belangrijke rol in machine learning. Het kan het verschil maken tussen een model dat faalt en een dat slaagt. Laten we kijken waarom dit zo fundamenteel is voor het bouwen van effectieve machine-learningmodellen.

Verbeteren van nauwkeurigheid en efficiëntie van modellen

Bij het werken met ruwe data hebben machine-learningmodellen vaak moeite om betekenisvolle patronen van ruis te onderscheiden. Feature-extractie fungeert als een stap in de datavoorbewerking die de leer- en prestatiecapaciteiten van je modellen aanzienlijk kan verbeteren.

Modelprestaties versus traintijd

Zo kan een model dat met ruwe data 85% nauwkeurigheid behaalt, dezelfde architectuur 95% halen wanneer het getraind wordt op zorgvuldig geëxtraheerde features. Die verbetering komt niet door het model te wijzigen, maar door het te voeden met inputdata van hogere kwaliteit om van te leren.

Omgaan met hoog-dimensionale datasets

Moderne datasets bevatten vaak honderden of duizenden features. Dit brengt verschillende uitdagingen mee die feature-extractie helpt aanpakken.

• The curse of dimensionality: Naarmate het aantal features toeneemt, wordt de data steeds schaarser in de feature-ruimte. Daardoor wordt het voor modellen moeilijker om betekenisvolle patronen te vinden. Feature-extractie creëert een compactere representatie die belangrijke relaties behoudt terwijl de dimensionaliteit wordt verlaagd.
• Hoog geheugengebruik: Hoog-dimensionale data vereist meer opslag en geheugen tijdens verwerking. Door alleen de meest relevante features te extraheren, kunnen we de geheugendruk van onze datasets aanzienlijk verlagen zonder hun informatieve waarde te verliezen.
• Datavisualisatie: Data met meer dan drie dimensies is niet direct te visualiseren. Feature-extractie kan de dimensionaliteit terugbrengen naar twee of drie features, zodat je de datastructuur wél kunt plotten en visueel begrijpen.

Feature-extractie pakt deze uitdagingen aan door de dimensionaliteit te verlagen en toch essentiële informatie te behouden. Deze reductie transformeert uitwaaierende, hoog-dimensionale data in een compactere en beter hanteerbare vorm, wat leidt tot betere modelprestaties.

Verminderen van rekencomplexiteit en overfitting voorkomen

Feature-extractie levert twee cruciale voordelen voor machine-learningmodellen:

1. Lagere rekenvereisten
1. Minder features betekenen kortere traintijden
2. Minder geheugengebruik tijdens modelinzet
3. Efficiëntere generatie van voorspellingen
2. Betere generalisatie
1. Eenvoudigere feature-ruimtes helpen overfitting voorkomen
2. Modellen leren robuustere patronen
3. Verbeterde prestaties op nieuwe, ongeziene data

Met feature-extractie versus zonder feature-extractie

De visualisatie hierboven laat zien hoe feature-extractie leidt tot eenvoudigere, robuustere modellen. De linkerplot toont een complex model dat ruwe, hoog-dimensionale data probeert te fitten, terwijl rechts duidelijk wordt hoe feature-extractie een helderder, beter generaliseerbaar patroon kan onthullen.

Werken met geëxtraheerde features in plaats van ruwe data is alsof je je model een heldere, gedestilleerde versie van de benodigde informatie geeft. Dat maakt het leerproces niet alleen efficiënter, maar leidt ook tot modellen die in de praktijk beter presteren.

Laten we nu verschillende methoden voor feature-extractie bekijken.

Methoden voor feature-extractie

Methoden voor feature-extractie zijn grofweg in twee benaderingen te verdelen: handmatige feature engineering en geautomatiseerde feature-extractie. We bekijken beide om te begrijpen hoe ze ruwe data omzetten in betekenisvolle features.

Handmatige feature engineering

Handmatige feature engineering gebruikt domeinkennis om relevante features uit ruwe data te identificeren en te creëren. Deze hands-on aanpak steunt op ons begrip van het probleem en de data om betekenisvolle kenmerken te maken.

Bij beeldverwerking kan dit bestaan uit technieken zoals randdetectie om objectgrenzen te vinden, kleurhistogrammen om kleurverdeling vast te leggen, textuuranalyse om patronen te kwantificeren en vormdescriptors om objectgeometrie te karakteriseren.

Beeldfeature-extractie

Voor tabeldata omvat handmatige feature engineering het creëren van interactietermen tussen bestaande features, het transformeren van variabelen met logaritmische of polynomiale functies, het aggregeren van punten tot betekenisvolle statistieken en het encoderen van categorische variabelen. 

Feature-extractie voor tabeldata

Deze door domeinkennis geleide technieken verbeteren de kwaliteit van de datarepresentatie en kunnen de modelprestaties flink opkrikken.

Geautomatiseerde feature-extractie

Geautomatiseerde feature-extractie gebruikt algoritmen om features te ontdekken en te creëren zonder expliciete menselijke sturing. Deze methoden zijn vooral nuttig bij complexe datasets waar handmatige feature engineering onpraktisch of inefficiënt kan zijn.

Veelgebruikte geautomatiseerde benaderingen zijn:

Principal Component Analysis (PCA): transformeert data naar een set ongecorreleerde componenten, waarbij elke component de maximale resterende variantie vastlegt. Deze aanpak is bijzonder nuttig voor dimensiereductie, omdat het de essentie van de data behoudt en de structuur vereenvoudigt.

Principal Component Analysis (PCA)

Auto-encoders: Dit zijn neurale netwerken die gecomprimeerde representaties van data leren en niet-lineaire relaties vastleggen. Ze zijn bijzonder effectief voor hoog-dimensionale datasets, waar traditionele lineaire methoden tekortschieten.

Er zijn diverse tools en libraries verschenen die feature-engineeringtaken vereenvoudigen. Zo biedt de decomposition-module van Scikit-learn verschillende methoden voor dimensiereductie en levert PyCaret geautomatiseerde featureselectie.

Beide benaderingen hebben hun sterke punten. Laten we kijken naar de pluspunten van elk.

De keuze tussen handmatige en geautomatiseerde methoden hangt vaak af van factoren zoals datasetcomplexiteit, beschikbare domeinexpertise, interpretatie-eisen, rekenmiddelen en tijd.

Voor zeer complexe datasets of wanneer tijd en middelen beperkt zijn, kunnen geautomatiseerde methoden snel bruikbare features genereren. Omgekeerd zijn handmatige methoden te verkiezen wanneer domeinexpertise beschikbaar is en interpretatie prioriteit heeft, zodat feature engineering nauw kan aansluiten op het probleem.

In de praktijk combineren veel succesvolle machine-learningprojecten beide benaderingen: domeinkennis stuurt de feature engineering, terwijl geautomatiseerde methoden extra patronen ontdekken die voor mensen niet meteen zichtbaar zijn.

In de volgende sectie bekijken we verschillende technieken voor feature-extractie in uiteenlopende domeinen.

Technieken voor feature-extractie

Elk datatype vraagt om specifieke technieken voor feature-extractie die zijn geoptimaliseerd voor de eigen kenmerken. Laten we de meest gebruikte technieken per datatypes doornemen.

Technieken voor feature-extractie

Feature-extractie voor beelden

Feature-extractie voor beelden zet ruwe pixeldata om in betekenisvolle representaties die essentiële visuele informatie vastleggen. Er zijn drie hoofdcategorieën technieken in moderne computer vision: traditionele methoden, deep-learningmethoden en statistische methoden.

Methoden voor beeldfeature-extractie

Laten we elke methode bekijken.

Traditionele computervisietechnieken

Scale-Invariant Feature Transform (SIFT) is een robuuste methode die onderscheidende lokale features in beelden detecteert. Het werkt door sleutelpunten te identificeren en descriptors te genereren die:

• Invarant zijn voor schaal en rotatie
• Gedeeltelijk invariant zijn voor lichtveranderingen
• Robuust zijn tegen lokale geometrische vervorming

Het SIFT-algoritme verwerkt beelden in meerdere stappen. Het begint met detectie van extremen in schaalruimte om potentiële sleutelpunten te vinden die invariant zijn voor schaal. Vervolgens verfijnt keypoint-lokalisatie deze kandidaten door hun exacte positie te bepalen en onstabiele punten te verwijderen.

Daarna bepaalt oriëntatietoekenning een consistente oriëntatie voor elk sleutelpunt, wat rotatie-invariantie garandeert. Ten slotte creëert de generator van keypointdescriptors onderscheidende descriptors op basis van lokale gradiënten, zodat robuuste matching tussen beelden mogelijk is.

Een andere methode is de Histogram of Oriented Gradients (HOG). Deze vangt lokale vorminformatie door gradiëntpatronen in een beeld te analyseren. Het proces begint met het berekenen van gradiënten in het hele beeld om randen te benadrukken. 

Het beeld wordt vervolgens opgedeeld in kleine cellen en voor elke cel wordt een histogram van gradiëntoriëntaties gemaakt om de lokale structuur samen te vatten. Daarna worden deze histogrammen genormaliseerd over grotere blokken om robuustheid te verkrijgen tegen variaties in verlichting en contrast. Het resultaat is een robuuste featuredescriptor voor taken als objectdetectie en -herkenning.

Deep-learningmethoden

Convolutional Neural Networks (CNN's) hebben feature-extractie veranderd door hiërarchische representaties automatisch te leren.

Feature-extractie met een CNN

CNN's leren features via hun hiërarchische structuur. In de vroege lagen detecteren ze basisbeeld-elementen zoals randen en kleuren. De middelste lagen combineren deze elementen tot patronen en vormen, terwijl de diepere lagen complexe objecten vastleggen en scenebegrip mogelijk maken.

Met transfer learning kun je deze vooraf geleerde features van modellen op grote datasets hergebruiken, wat vooral waardevol is bij beperkte data.

Statistische methoden

Statistische methoden halen zowel globale als lokale patronen uit beelden, wat robuuste analyse en interpretatie mogelijk maakt. 

Zo geven kleurhistogrammen de verdeling van kleuren in een beeld weer en leveren ze rotatie- en schaalinvariante features. Dat maakt ze bijzonder nuttig voor taken zoals beeldclassificatie en -opvraging.

Textuuranalyse vangt herhalende patronen en oppervlaktekenmerken met technieken zoals Gray Level Co-occurrence Matrices (GLCM), effectief in toepassingen zoals materiaalherkenning en scèneclassificatie.

Daarnaast identificeert randdetectie grenzen en belangrijke intensiteitsveranderingen via methoden als Sobel-, Canny- en Laplace-operatoren, cruciaal voor objectdetectie en vormanalyse.

De keuze voor een feature-extractiemethode hangt af van meerdere factoren. Stem af op de specifieke eisen van je taak, houd rekening met beschikbare rekenmiddelen en met de behoefte aan interpreteerbaarheid. 

Ook de eigenschappen van je dataset—zoals omvang, ruisniveau en complexiteit—zijn bepalend, net als gewenste invarianties voor schaal, rotatie en belichting.

Audiofeature-extractie

Stel je voor dat je een computer spraak wilt laten begrijpen zoals mensen dat doen. Daar komen Mel-Frequency Cepstral Coefficients (MFCC) om de hoek kijken.

MFCC's zijn speciale audiofeatures die geluid ontleden op een manier die lijkt op hoe onze oren het verwerken. Ze zijn vooral effectief omdat ze focussen op de frequenties waar mensen het gevoeligst voor zijn. Zie het als het vertalen van geluid naar een formaat dat zowel voor computers als ons gehoor betekenisvol is.

Mel-Frequency Cepstral Coefficients

Het proces begint met het opdelen van het audiosignaal in korte stukjes, meestal 20–40 milliseconden. Voor elk stukje passen we een reeks wiskundige transformaties toe die de ruwe geluidsgolven omzetten in frequentiecomponenten. Hier wordt het interessant: in plaats van alle frequenties gelijk te behandelen, gebruiken we de Mel-schaal.

Deze formule lijkt misschien complex, maar ze zet frequenties simpelweg om zodat ze overeenkomen met hoe mensen geluid waarnemen. Onze oren onderscheiden lage frequenties beter dan hoge, en de Mel-schaal houdt rekening met die natuurlijke bias.

Bij spraakherkenning vormen MFCC's de basis voor het begrijpen wie er spreekt en wat er gezegd wordt. Als je met de virtuele assistent van je telefoon praat, gebruikt die waarschijnlijk MFCC's om je stem te verwerken. Deze coëfficiënten leggen de unieke kenmerken van iemands stem vast en zijn daardoor onmisbaar voor systemen voor sprekeridentificatie.

Voor sentimentanalyse in spraak helpen MFCC's subtiele variaties in de stem te detecteren die op emoties wijzen. Ze kunnen veranderingen in toonhoogte, klankkleur en spreeksnelheid vangen die aangeven of iemand blij, verdrietig, boos of neutraal is. Bij het analyseren van klantenservicegesprekken kunnen MFCC's bijvoorbeeld helpen om de klanttevredenheid af te leiden op basis van hoe iemand spreekt, niet alleen wát die zegt.

Feature-extractie voor tijdreeksen

Bij het werken met tijdreeksdata helpt het extraheren van betekenisvolle features om patronen en trends te vangen die in de tijd evolueren. Laten we enkele belangrijke technieken bekijken om ruwe tijdreeksdata in bruikbare features om te zetten.

Methoden voor feature-extractie bij tijdreeksen

De Fouriertransformatie ontbindt tijdreeksdata in frequentiecomponenten en onthult verborgen periodieke patronen. De formule is:

Statistische methoden vullen frequentieanalyse aan door temporele kenmerken vast te leggen. Veelvoorkomende features zijn voortschrijdende gemiddelden, standaarddeviaties en trendcomponenten. Deze technieken zijn bijzonder krachtig in financiële forecasting, waar ze helpen markttrends en afwijkingen te identificeren.

In aandelenanalyse kan het combineren van Fourierfeatures met statistische maten zowel langetermijntrends als cyclische patronen onthullen. In industriële omgevingen helpen deze methoden bijvoorbeeld om apparatuurafwijkingen te detecteren door sensorpatronen door de tijd te analyseren.

Tools en libraries voor feature-extractie

Laten we enkele essentiële tools bekijken die het implementeren van deze feature-extractiemethoden eenvoudig en efficiënt maken.

Tools en libraries voor feature-extractie

Voor beeldverwerking bieden OpenCV en scikit-image uitgebreide tools om verschillende technieken voor feature-extractie te implementeren. Deze libraries bevatten efficiënte implementaties van SIFT, HOG en andere eerder genoemde algoritmen. Voor deep learning zijn frameworks als TensorFlow en PyTorch onmisbaar. Je kunt aan de slag met onze OpenCV-tutorial voor meer informatie.

Audiotaken worden eenvoudiger met libraries als LibROSA, dat uitblinkt in het extraheren van MFCC's en andere akoestische features. PyAudioAnalysis breidt deze mogelijkheden uit met high-level interfaces voor audio-analyse.

Voor tijdreeksdata automatiseren tsfresh en Featuretools het extractieproces. Deze libraries kunnen automatisch relevante features genereren en selecteren uit je temporele data, zodat jij je kunt richten op modelontwikkeling in plaats van feature engineering.

Voorbeeld van feature-extractie

Laten we onze kennis toepassen met hands-on voorbeelden. We beginnen met feature-extractie voor beelden, een van de meest voorkomende toepassingen in computer vision.

Beeldfeature-extractie met OpenCV 

Laten we eerst de benodigde libraries importeren

# Import required libraries
import cv2
import numpy as np
import matplotlib.pyplot as pltMogelijk gemaakt door

Nu laden we een beeld om relevante features uit te extraheren. In dit voorbeeld gebruiken we een Godzilla-afbeelding die we van internet hebben gedownload.

# Load the image
image = cv2.imread('godzilla.jpg')

# Convert BGR to RGB (OpenCV loads in BGR format)
image_rgb = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)

# Display the original image
plt.imshow(image_rgb)
plt.title('Original Image')
plt.axis('off')
plt.show()Mogelijk gemaakt door

Output:

Voordat we randdetectie toepassen, moeten we het beeld preprocessen. Dat doen we als volgt:

# Convert the image to grayscale
gray_image = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

# Apply Gaussian blur to reduce noise
blurred = cv2.GaussianBlur(gray_image, (5, 5), 0)Mogelijk gemaakt door

Tot slot passen we het Canny-randdetectie-algoritme toe en visualiseren we de resultaten:

# Apply Canny edge detection
edges = cv2.Canny(blurred, threshold1=100, threshold2=200)

# Display the results
plt.figure(figsize=(10, 5))
plt.subplot(1, 2, 1)
plt.imshow(image_rgb)
plt.title('Original Image')
plt.axis('off')

plt.subplot(1, 2, 2)
plt.imshow(edges, cmap='gray')
plt.title('Edge Detection')
plt.axis('off')

plt.tight_layout()
plt.show()Mogelijk gemaakt door

Output:

De Canny-randdetector helpt ons belangrijke grenzen en features in het beeld te identificeren, die we kunnen gebruiken voor verdere analyse of als input voor machine-learningmodellen.

MFCC extraheren uit audio met LibROSA

Voordat we audiobestanden kunnen verwerken, installeren we de benodigde libraries. Omdat LibROSA niet in de standaardbibliotheek van Python zit, gebruiken we pip om het te installeren:

# Install required libraries
# Run these commands in your terminal or command prompt
pip install librosa
pip install numpy
pip install matplotlibMogelijk gemaakt door

LibROSA is een krachtige library voor muziek- en audioanalyse. Laten we die importeren, samen met andere benodigde libraries:

# Import required libraries
import librosa
import librosa.display
import numpy as np
import matplotlib.pyplot as pltMogelijk gemaakt door

Audiobestanden bevatten veel informatie in golfvorm. Om hiermee te werken, moeten we het eerst inladen. LibROSA helpt ons door het bestand om te zetten naar een analyseerbaar formaat:

# Load the audio file
# Duration is limited to 10 seconds for this example
audio_path = 'audio_sample.wav'
y, sr = librosa.load(audio_path, duration=10)

# Display the waveform
plt.figure(figsize=(10, 4))
plt.plot(y)
plt.title('Audio Waveform')
plt.show()Mogelijk gemaakt door

Output:

Nu de audio geladen is, extraheren we betekenisvolle features. Onze oren splitsen geluid van nature in frequentiecomponenten, en MFCC bootst dit proces na. We gebruiken de feature-extractiefunctie van librosa om deze coëfficiënten te berekenen:

# Extract MFCC features
mfccs = librosa.feature.mfcc(y=y, sr=sr, n_mfcc=13)

# Display the MFCC
plt.figure(figsize=(10, 4))
librosa.display.specshow(mfccs, x_axis='time')
plt.colorbar(format='%+2.0f dB')
plt.title('MFCC')
plt.show()Mogelijk gemaakt door

Output:

Hier stellen we n_mfcc=13 in, omdat de eerste 13 coëfficiënten doorgaans de belangrijkste aspecten van geluid vastleggen voor taken als spraakherkenning. De visualisatie laat zien hoe deze features in de tijd veranderen, waarbij helderdere kleuren hogere waarden aangeven.

Feature-extractie uit tijdreeksdata met tsfresh

Laten we eerst de benodigde libraries installeren. We gebruiken yfinance om financiële data op te halen en tsfresh voor feature-extractie:

# Install required libraries
# Run these commands in your terminal or command prompt
pip install tsfresh
pip install pandas
pip install numpy
pip install matplotlib
pip install yfinanceMogelijk gemaakt door

Nu importeren we de libraries en halen we echte financiële data op:

# Import required libraries
import pandas as pd
import numpy as np
from tsfresh import extract_features
from tsfresh.feature_extraction import MinimalFCParameters
import matplotlib.pyplot as plt
import yfinance as yfMogelijk gemaakt door

We halen voorbeelddata van Apple binnen als tijdreeks:

# Download Apple's stock data for the last 2 years
aapl = yf.Ticker("AAPL")
df = aapl.history(period="2y")

# Prepare the data in the format tsfresh expects
df_tsfresh = pd.DataFrame({
    'id': [0] * len(df),  # Each time series needs an ID
    'time': range(len(df)),
    'closing_price': df['Close']  # We'll use closing prices
})

# Display first few rows of our data
print("Original stock data shape:", df_tsfresh.shape)
print("\nFirst few rows:")
print(df_tsfresh.head())Mogelijk gemaakt door

Output:

Laten we nu features uit onze financiële tijdreeks extraheren:

# Set up the feature extraction parameters
extraction_settings = MinimalFCParameters()

# Extract features automatically
extracted_features = extract_features(df_tsfresh, 
                                   column_id='id', 
                                   column_sort='time',
                                   column_value='values',
                                   default_fc_parameters=extraction_settings)

# Display the extracted features
print("\nExtracted features shape:", extracted_features.shape)
print("\nExtracted features:")
print(extracted_features.head())Mogelijk gemaakt door

Output:

Hier gebruiken we MinimalFCParameters() om aan te geven welke features we willen extraheren. Dit levert een basisset betekenisvolle tijdreeksfeatures op, zoals gemiddeldes, varianties en trendkenmerken, die essentieel zijn om patronen in onze data te begrijpen.

Uitdagingen bij feature-extractie

Bij feature-extractie kom je regelmatig uitdagingen tegen.

Hoog dimensionaliteit en rekenbeperkingen spelen vaak op bij grote datasets. Features extraheren uit hoge-resolutiebeelden of lange audiobestanden kan bijvoorbeeld veel geheugen en rekenkracht vragen.

Overfitting door irrelevante of redundante features is een andere veelvoorkomende uitdaging. Als je te veel features extraheert, leert een model mogelijk ruis in plaats van betekenisvolle patronen. Dit komt vooral voor bij beeld- en audioverwerking, waar duizenden features kunnen ontstaan.

Om deze uitdagingen te tackelen, kun je het volgende overwegen:

• Gebruik domeinkennis om relevante features te selecteren
• Pas featureselectie toe om dimensionaliteit te reduceren
• Implementeer passende feature-engineeringtechnieken op basis van je datatype

Deze uitdagingen vragen om een zorgvuldige afweging tussen feature-rijkdom en rekenefficiëntie.

Conclusie

Feature-extractie is een kernvaardigheid in machine learning die ruwe data omzet in betekenisvolle representaties. Met onze praktijkvoorbeelden met OpenCV, LibROSA en tsfresh hebben we gezien hoe je features kunt extraheren uit verschillende datatypes. Met begrip van deze technieken en hun uitdagingen kun je effectieve machine-learningmodellen bouwen.

Klaar om dieper te duiken? Bekijk deze resources:

• Feature Selection in Python-tutorial
• Feature Engineering for NLP in Python
• Dimensionality Reduction in Python
• Feature Engineering for Machine Learning in Python