Cursus
Machine Learning-modellen ontwikkelen voor productie
4 uur
9.5K
We hebben allemaal wel eens gehoord van CPU’s (Central Processing Units) en GPU’s (Graphics Processing Units), maar weet je ook hoe ze verschillen in de manier waarop ze verwerken? Hoewel beide essentieel zijn voor moderne computers, zijn ze ontworpen voor verschillende doelen.
In deze gids leg ik de verschillen, gebruiksscenario’s en veranderende rollen van CPU’s en GPU’s uit.
Wat is een CPU?
De CPU, vaak het "brein" van de computer genoemd, is de centrale eenheid die algemene computertaken uitvoert. Hij is geoptimaliseerd voor het beheren van complexe, sequentiële instructies en raakt vrijwel elk aspect van het computeren, van het afhandelen van applicaties tot het draaien van het besturingssysteem. Applicaties zijn alles van je browser tot chatprogramma’s en e-mail.
CPU’s zijn heel goed in taken die precisie en betrouwbaarheid vereisen, zoals rekenkundige bewerkingen uitvoeren, logische beslissingen nemen en de gegevensstroom regelen.
Basisarchitectuur van Von Neumann. Afbeelding door de auteur.
Moderne CPU’s hebben vaak meerdere cores, waardoor ze meerdere taken tegelijk kunnen uitvoeren (zij het op kleinere schaal dan GPU’s). Ze bevatten ook geavanceerde technologieën zoals hyper-threading en cache-hiërarchieën om de efficiëntie te verbeteren en de latentie tijdens de uitvoering te verminderen.
Hoe een CPU werkt
CPU’s verwerken taken sequentieel, volgens een instructiecyclus die bestaat uit ophalen, decoderen, uitvoeren en opslaan van data. Deze stapsgewijze aanpak zorgt voor hoge precisie en betrouwbaarheid, waardoor CPU’s ideaal zijn voor single-threaded taken zoals databasequeries, codecompilatie en complexe simulaties.
Hoewel moderne CPU’s in zekere mate kunnen multitasken, ligt hun kracht juist in het verwerken van complexe berekeningen waarbij nauwkeurigheid en volgorde essentieel zijn.
CPU’s hebben ook robuuste foutafhandelingsmechanismen om berekeningen uit te voeren zonder datacorruptie of logische fouten.
Kenmerken van CPU’s
CPU’s kenmerken zich door een klein aantal cores met hoge kloksnelheden. Elke core richt zich op één of enkele threads tegelijk, waardoor ze zeer efficiënt zijn voor taken die veel rekenkracht vragen maar weinig parallelisme.
De kernkenmerken van CPU’s zijn onder meer:
- Kloksnelheid: Gemeten in GHz; bepaalt hoeveel cycli een core per seconde kan uitvoeren en heeft direct invloed op de prestaties bij single-threaded taken.
- Cachegeheugen: CPU’s hebben geïntegreerde caches (L1, L2 en L3) die vaak gebruikte data opslaan, waardoor de tijd om data uit RAM te halen afneemt.
- Instructiesets: CPU’s gebruiken complexe instructiesets (zoals x86) om een breed scala aan taken aan te kunnen, van wiskundige berekeningen tot multimediaverwerking.
Ondanks hun precisie en veelzijdigheid zijn CPU’s beperkt in hun vermogen om massaal parallelle workloads efficiënt te verwerken, zoals het trainen van grote machinelearningmodellen of het renderen van graphics met hoge resolutie. Voor zulke taken nemen gespecialiseerde processors zoals GPU’s vaak de leiding. Laten we in het volgende deel bekijken waarom dat zo is.
Wat is een GPU?
Een GPU is een gespecialiseerde processor die is geoptimaliseerd voor taken die parallelle verwerking vereisen of het gelijktijdig verwerken van meerdere gegevensblokken.
GPU’s zijn oorspronkelijk ontwikkeld voor het renderen van beelden voor videogames en visuele toepassingen, maar zijn uitgegroeid tot krachtige hulpmiddelen in uiteenlopende domeinen, waaronder data science, machine learning, cryptomining en wetenschappelijke simulaties. Hun vermogen om enorme hoeveelheden data parallel te verwerken, maakt ze cruciaal voor high-performance computing en AI-ontwikkeling.
Hoe een GPU werkt
GPU’s hebben duizenden kleinere cores die eenvoudige taken onafhankelijk kunnen uitvoeren, waardoor ze ideaal zijn voor parallelle workloads.
In tegenstelling tot CPU’s, die focussen op precisie en volgorde, delen GPU’s grote problemen op in kleinere taken, verwerken die parallel en voegen de resultaten samen. Deze architectuur stelt GPU’s in staat uit te blinken bij bewerkingen waarbij dezelfde instructies herhaaldelijk op grote datasets worden toegepast.
Bijvoorbeeld, bij het renderen van een afbeelding wijst een GPU elke pixel toe aan een aparte core voor gelijktijdige verwerking, wat de bewerking aanzienlijk versnelt. In machine learning maakt dit parallelisme snellere training mogelijk door databatches te verwerken en berekeningen zoals matrixvermenigvuldigingen tegelijk over veel cores uit te voeren.
Moderne GPU’s bevatten ook functies zoals Tensor Cores (in NVIDIA-GPU’s) of andere gespecialiseerde eenheden die AI-taken versnellen, waardoor ze nog efficiënter zijn voor bijvoorbeeld het trainen van neurale netwerken.
Kenmerken van GPU’s
Samengevat onderscheiden GPU’s zich door de volgende kenmerken:
- Aantal cores: Een GPU kan duizenden cores hebben, waardoor hij uitgebreide parallelle workloads aankan. Hoewel deze cores individueel minder krachtig zijn dan CPU-cores, is hun gecombineerde output enorm.
- Kloksnelheid: GPU’s hebben lagere kloksnelheden dan CPU’s. Deze afweging zorgt ervoor dat er meer cores op een chip passen, met de nadruk op doorvoer in plaats van single-threaded prestaties.
- Geheugenbandbreedte: GPU’s zijn uitgerust met geheugen met hoge bandbreedte (zoals GDDR6 of HBM) om te voldoen aan de data-intensieve eisen van parallelle verwerking.
- Schaalbaarheid: Moderne GPU’s ondersteunen multi-GPU-opstellingen, waarbij taken over meerdere GPU’s worden verdeeld voor grotere prestatiewinst.
Verschillen tussen CPU’s en GPU’s
Laten we nu inzoomen op de specifieke verschillen tussen CPU’s en GPU’s. Een belangrijk verschil dat we al noemden is seriële vs. parallelle verwerking, maar er zijn ook andere belangrijke punten.
Architectuur en ontwerp
CPU’s zijn gebouwd met minder, krachtigere cores die zijn geoptimaliseerd voor single-threaded en sequentiële verwerking. Deze cores hebben geavanceerde besturingseenheden, grotere caches (L1, L2 en soms L3) en ondersteuning voor geavanceerde instructiesets zoals x86-64 of ARM.
GPU’s daarentegen hebben een enorme reeks kleinere cores die zijn ontworpen voor parallelle taken. Deze cores werken volgens een Single Instruction, Multiple Data (SIMD)-model, waarbij dezelfde bewerking gelijktijdig op meerdere gegevenspunten wordt toegepast.
Een vergelijking van de GPU- en CPU-architectuur. Afbeelding bron.
Prestaties en efficiëntie
Zoals je je kunt voorstellen, beïnvloeden de architectuurverschillen de prestaties rechtstreeks.
Dankzij hun hoge kloksnelheden en geavanceerde instructieafhandeling blinken CPU’s uit in taken met lage latentie die hoge precisie en logische bewerkingen vereisen. Voorbeelden zijn het beheer van het besturingssysteem, databasequeries en het draaien van applicatiethreads. CPU’s zijn ook veelzijdiger en kunnen dankzij instructiedecodering en vertakkingsvoorspelling efficiënt schakelen tussen diverse workloads.
Zoals gezegd, gedijen GPU’s bij taken waar parallelisme de sleutel is. Hun vermogen om meerdere datastromen tegelijk te verwerken maakt ze onmisbaar voor high-throughput bewerkingen, zoals video-encodering, wetenschappelijke simulaties en het trainen van neurale netwerken. In deep learning versnellen GPU’s bijvoorbeeld matrixvermenigvuldigingen en backpropagatie, waardoor de trainingstijd drastisch korter is dan met CPU’s.
De afweging zit hem in de aard van de workload: CPU’s presteren beter bij sequentiële taken, terwijl GPU’s domineren bij data-intensieve, parallelle taken.
Stroomverbruik
GPU’s verbruiken over het algemeen meer stroom door hun hoge aantal cores en de eisen van intensieve parallelle verwerking, terwijl CPU’s doorgaans minder energie nodig hebben.
Een high-end GPU kan onder belasting enkele honderden watts verbruiken, vooral tijdens intensieve operaties zoals het trainen van machinelearningmodellen of het renderen van 4K-graphics. Bovendien verhoogt de hoge geheugenbandbreedte die nodig is het stroomverbruik verder.
CPU-functies zoals dynamic voltage and frequency scaling (DVFS), laagvermogentoestanden (C-states) en efficiënte koelingsmechanismen stellen CPU’s in staat prestaties effectief te balanceren met stroomverbruik. Dit maakt CPU’s geschikter voor apparaten die langere accuduur of lagere warmteafgifte vereisen, zoals laptops en mobiele apparaten.
Kosten en beschikbaarheid
CPU’s zijn breed beschikbaar in consumentenapparaten en zijn doorgaans betaalbaarder. Hun brede toepasbaarheid en marktsaturatie maken ze relatief goedkoop voor consumenten. Instap-CPU’s kunnen minder dan $100 kosten, terwijl high-performance modellen voor servers of workstations in de duizenden kunnen lopen.
GPU’s, vooral high-performance modellen, zijn duurder en komen vaker voor in werkstations, gamingsystemen en high-performance computing-omgevingen. Consumenten-GPU’s voor gamen variëren van $200 tot $1.000, terwijl gespecialiseerde GPU’s voor datacenters of wetenschappelijk onderzoek, zoals NVIDIA’s A100 of AMD’s Instinct-serie, tienduizenden dollars kunnen kosten.
De volgende tabel biedt een gedetailleerde vergelijking tussen CPU’s en GPU’s, zodat je de verschillen in één oogopslag ziet:
|
CPU (Central Processing Unit) |
GPU (Graphics Processing Unit) |
|
|
Primaire functie |
Algemene verwerking voor sequentiële taken |
Gespecialiseerd in parallelle verwerking en data-intensieve taken |
|
Architectuur |
Minder, krachtige cores geoptimaliseerd voor single-threaded prestaties |
Duizenden kleinere, eenvoudigere cores geoptimaliseerd voor parallelisme |
|
Verwerkingsmodel |
Seriële uitvoering: taken één voor één verwerkt |
Parallelle uitvoering: meerdere taken gelijktijdig verwerkt |
|
Aantal cores |
Doorgaans 4–64 cores in consumenten-CPU’s |
Kan duizenden cores hebben in high-performance GPU’s |
|
Kloksnelheid |
Hogere kloksnelheden (tot ~5 GHz) |
Lagere kloksnelheden (~1–2 GHz) |
|
Sterke punten |
Precisie, sequentiële taken, veelzijdigheid en logische bewerkingen |
Hoge doorvoer voor grootschalige operaties zoals matrixrekenen |
|
Use-cases |
Draaien van besturingssystemen, applicatielogica, databases |
Graphicsrendering, machine learning, wetenschappelijke computing |
|
Stroomverbruik |
Lager door minder cores en energiezuinige ontwerpen |
Hoger door dichte cores en eisen aan geheugenbandbreedte |
|
Geheugenbandbreedte |
Lager, meestal geoptimaliseerd voor latentie |
Hoger, geoptimaliseerd voor doorvoer (bijv. GDDR6, HBM-geheugen) |
|
Kosten |
Relatief betaalbaar en breed beschikbaar |
Duurder, vooral bij high-performance modellen |
|
Toepassingen |
Laptops, desktops, servers, mobiele apparaten |
Gamingsystemen, werkstations, HPC-omgevingen, AI-workloads |
|
Flexibiliteit |
Brede compatibiliteit voor diverse taken |
Geoptimaliseerd voor specifieke workloads die parallelisme vereisen |
CPU-use-cases
Laten we kort enkele specifiekere use-cases voor CPU’s bespreken:
- Algemeen computeren: CPU’s zijn perfect voor alledaagse taken, zoals internetten, productiviteitstoepassingen gebruiken en je computer dagelijks inzetten. Het grootste deel van de workload van je computer draait op de CPU.
- Single-threaded applicaties: Taken die single-threaded verwerking vereisen, zoals bepaalde financiële berekeningen, zijn beter geschikt voor CPU’s. Andere single-threaded applicaties zijn tekstverwerkers, browsers en muziekapps.
- Beheer van het besturingssysteem: CPU’s verwerken essentiële systeemprocessen en beheren input, output en achtergrondtaken die het systeem soepel laten draaien.
GPU-use-cases
Laten we kort enkele GPU-specifieke use-cases doornemen:
- Graphics- en videobewerking: GPU’s zijn ontworpen om graphics van hoge kwaliteit te renderen, waardoor ze onmisbaar zijn bij gamen, videobewerking en grafisch intensieve toepassingen. Dit is mogelijk dankzij hun parallelle verwerkingsvermogen, zoals ik door het artikel heen heb genoemd. Veel games met intensieve graphics vereisen een redelijk sterke GPU om zonder lag of problemen te spelen.
- Machine learning en AI: GPU’s worden vaak gebruikt om machinelearningmodellen te trainen en grote datasets snel te verwerken, zodat aan de hoge prestatie-eisen van AI-algoritmen wordt voldaan. Door het grote aantal berekeningen zijn ze vooral nodig voor projecten met neurale netwerken. Omdat veel berekeningen parallel kunnen worden uitgevoerd, zijn GPU’s een cruciaal onderdeel van complexe machine learning.
- Data science en wetenschappelijke computing: GPU’s kunnen grootschalige berekeningen en matrixoperaties in data science versnellen, waardoor ze waardevol zijn voor data-intensieve analyses en simulaties. Dingen als tensors, beeldanalyse en convolutionele lagen berekenen vereist enorme rekenkracht. Zo biedt Polars een GPU-engine voor queryversnelling.
De toekomst van CPU’s en GPU’s
Zowel CPU’s als GPU’s blijven in kracht en complexiteit groeien! Hun toekomst wijst op een toename van rekenvermogen en wijdverbreid gebruik.
CPU’s passen zich aan met meer cores
CPU’s verhogen het aantal cores om te voldoen aan de moderne multitasking-eisen. Dit verbetert hun seriële rekenvermogen en biedt via multithreading ook enige parallelle verwerking.
Enkele trends in CPU-ontwikkeling zijn:
- Meer cores: Consumenten-CPU’s hebben nu vaak 8–16 cores, terwijl serverprocessors 64 of meer cores kunnen hebben. Dit maakt betere parallelle verwerking mogelijk via technologieën als simultaneous multithreading (SMT) en hyper-threading.
- Heterogene architecturen: Moderne CPU’s, zoals Intel’s Alder Lake-serie of ARM’s big.LITTLE-ontwerp, combineren high-performance cores met energiezuinige cores om zowel stroomverbruik als taakprestaties te optimaliseren.
- Integratie met gespecialiseerde units: CPU’s integreren steeds vaker accelerators, zoals AI-inferentie-engines of grafische verwerkingseenheden, rechtstreeks op de chip om de prestaties bij specifieke workloads te verbeteren.
GPU-ontwikkeling voor general-purpose computing
GPU’s evolueren om algemene taken aan te kunnen, waardoor ze steeds veelzijdiger worden voor data-intensieve operaties. Fabrikanten zoals NVIDIA en AMD investeren in hardware-agnostische software-ecosystemen (bijv. CUDA, ROCm) om de toepasbaarheid van GPU’s buiten graphics te vergroten.
Veel machinelearningpakketten kunnen inmiddels GPU’s gebruiken. Frameworks zoals TensorFlow en PyTorch ondersteunen nu native GPU-versnelling, waardoor rekentijden drastisch afnemen.
Gespecialiseerde verwerkingseenheden
De toekomst van verwerking beperkt zich niet tot alleen CPU’s en GPU’s. De opkomst van gespecialiseerde processors, zoals TPU’s (Tensor Processing Units) en NPU’s (Neural Processing Units), weerspiegelt een groeiende vraag naar taakspecifieke hardware:
- Tensor Processing Units (TPU’s): Ontwikkeld door Google en specifiek ontworpen om berekeningen in neurale netwerken te versnellen. In tegenstelling tot GPU’s richten TPU’s zich op matrixzware operaties en zijn ze geoptimaliseerd voor grootschalige AI-taken. Als je meer vragen hebt, lees dan het artikel over TPU’s vs. GPU’s.
- Neural Processing Units (NPU’s): Te vinden in mobiele apparaten en edge computing; NPU’s zijn gebouwd voor AI-gerelateerde taken zoals beeldherkenning, spraakverwerking en natuurlijke taalverwerking, met minimaal energieverbruik.
- Vooruitgang in FPGA en ASIC: Field-Programmable Gate Arrays (FPGA’s) en Application-Specific Integrated Circuits (ASIC’s) winnen ook terrein dankzij hun mogelijkheid om te worden aangepast voor specifieke toepassingen, zoals cryptomining, verwerking van netwerkpakketten en realtime-analyses.
Conclusie
CPU’s en GPU’s brengen elk unieke sterke punten mee: CPU’s blinken uit in algemene en precieze taken, terwijl GPU’s schitteren in parallelle verwerking en data-intensieve workloads. Inzicht in deze verschillen helpt data scientists, gamers en professionals om doordachte hardwarekeuzes te maken.
Als je wilt ontdekken hoe GPU’s deep-learningmodellen aandrijven, bekijk dan Introduction to Deep Learning with PyTorch. Voor een bredere kijk op AI-technologieën en hun toepassingen biedt de AI Fundamentals-track een compleet overzicht. Wil je dieper in de mechanica achter machine learning duiken, bekijk dan de cursus Understanding Machine Learning.
Kan een GPU een CPU vervangen voor alledaagse computertaken?
Wanneer moet ik zowel een CPU als een GPU samen gebruiken?
Waarom worden GPU’s gebruikt bij machine learning en AI in plaats van CPU’s?
Zijn er naast CPU’s en GPU’s ook gespecialiseerde processors voor specifieke taken?
Onderwerpen
