Iedereen heeft gereedschap nodig. Bouwvakkers, loodgieters, elektriciens – noem maar op. Gereedschap is een noodzakelijk onderdeel van de toolkit van elke vakmens, ook van machinelearning-practitioners. Machinelearning-practitioners hebben tools nodig om snel machinelearning-modellen te bouwen, te trainen en te deployen.
Elk jaar verschijnt er een nieuwe lichting machinelearning-tools om dit proces te vereenvoudigen en het vakgebied vooruit te helpen. Om aan de voorhoede te blijven, is het cruciaal dat je in elk geval weet wat deze tools zijn, hoe ze helpen, hun kernfuncties, sterke en zwakke punten, én enkele ideale use-cases.
In dit artikel behandelen we die onderwerpen en vergelijken we elke tool, zodat je weet hoe je de beste voor jouw projecten kiest.
Stel je een wereld voor waarin je elke keer dat je een machinelearning-algoritme wilt gebruiken, het volledig from scratch moet coderen. Nog één: stel je voor dat je na elk experiment de uitkomsten op papier moet noteren, en dat je bij het deployen van modellen alleen kunt opschalen door nieuwe servers te kopen.
Eerlijk gezegd is dit voor wie al lang meedraait niet eens zo onvoorstelbaar, want het was ooit realiteit. Velen konden het vakgebied niet in omdat ze wiskundige formules niet naar code konden vertalen — wiskunde was misschien niet hun achtergrond. De introductie van verschillende tools heeft die drempel verlaagd.
Tegenwoordig kun je een machinelearning-algoritme implementeren zonder de interne werking of de wiskundige formules volledig te kennen. Let op: dat betekent niet dat je het niet hóéft te weten (dat moet je wel); het betekent alleen dat je het niet hoeft te weten om het algoritme te implementeren.
Een andere reden waarom tools in machine learning belangrijk zijn, is dat ze processen versnellen. Omdat je niet langer complete algoritmes vanaf nul hoeft te schrijven, kun je in minder tijd veel meer experimenten uitvoeren. Daardoor vind je waarschijnlijk sneller het winnende model om naar productie te brengen.
Kortom: machinelearning-tools vereenvoudigen complexe taken en versnellen het traject van modellen van research naar productie.
1. Microsoft Azure Machine Learning
Microsoft Azure Machine Learning is een volledig beheerde clouddienst die data scientists en developers in staat stelt om sneller en met meer vertrouwen de lifecycle van hun machinelearning-projecten te bouwen, te deployen en te beheren. Het platform wil de time-to-value verkorten met MLOps, interoperabiliteit met open source en geïntegreerde tools. Het is ook ontworpen met verantwoordelijke AI in gedachten en legt sterk de nadruk op beveiliging.
Belangrijkste functies
- Datavoorbereiding: stelt developers in staat om op schaal snel te itereren op datavoorbereiding op Apache Spark-clusters, en is interoperabel met Azure Databricks.
- Notebooks: developers kunnen samenwerken met Jupyter Notebooks of Visual Studio Code
- Drag-and-drop machine learning: gebruikers kunnen Designer gebruiken, een drag-and-drop-interface om machinelearning-pijplijnen te bouwen.
- Verantwoorde AI: met responsible AI kunnen developers diepgaande onderzoeken naar hun modellen uitvoeren en ze in productie monitoren, zodat eindgebruikers altijd de best presterende versie zien.
- Beheerde endpoints: stelt developers in staat om de interface van hun productie-workload los te koppelen van de implementatie die deze bedient.
Pluspunten
- Ingebouwde governance: machinelearning-workloads kunnen overal worden uitgevoerd met ingebouwde governance, security en compliance.
- Ondersteuning voor meerdere frameworks: biedt hoog-niveau abstracties voor bekende machinelearning-frameworks zoals XGBoost, Scikit-learn, PyTorch, TensorFlow en ONNX.
Minpunten
- Resourcelimieten: er zijn limieten die impact kunnen hebben op ML-workloads (bijv. aantal endpoints, deployments, compute-instances, enz.). Let op: deze limieten variëren per regio.
- Minder controle: veel details en complexiteit van machine learning zijn geabstraheerd, wat betekent dat je het door Microsoft geboden proces moet volgen.
Meer leren over Microsoft Azure Machine Learning:
Gegenereerd met DALL-E 3
2. Amazon SageMaker
Amazon SageMaker is een volledig beheerde service voor het bouwen van machinelearning-modellen en het genereren van voorspellingen. Developers kunnen het platform benutten om in één geïntegreerde ontwikkelomgeving (IDE) hun ML-modellen op schaal te bouwen, te trainen en te deployen met een breed scala aan tools zoals notebooks, debuggers, profilers, pijplijnen, MLOps en meer. SageMaker ondersteunt ook governance-eisen via vereenvoudigde toegangscontrole en transparantie over je machinelearning-project.
Belangrijkste functies
- Canvas: een no-code-interface waarmee gebruikers machinelearning-modellen kunnen maken. Volgens de featurepagina hebben gebruikers geen ML- of programmeerervaring nodig om met Canvas modellen te bouwen.
- Data Wrangler: stelt gebruikers in staat om tabel- of afbeeldingsdata snel te aggregeren en voor ML voor te bereiden.
- Clarify: gebruikers kunnen Clarify inzetten om meer inzicht te krijgen in hun modellen en data op basis van metrics zoals nauwkeurigheid, robuustheid, toxiciteit en bias. Het doel is bias in ML-modellen te verminderen om de kwaliteit te verbeteren en verantwoordelijke AI te ondersteunen.
- Experiments: een beheerde service waarmee gebruikers hun ML-experimenten op schaal kunnen tracken en analyseren.
Pluspunten
- Keuze aan ML-tools: gebruikers kunnen kiezen tussen IDE’s (ideaal voor data scientists) en een no-code-interface (ideaal voor mensen met minder programmeerervaring).
- Ondersteuning voor meerdere frameworks: kan modellen deployen die getraind zijn met third-party frameworks zoals TensorFlow, PyTorch, XGBoost, Scikit-learn, ONNX en meer.
Minpunten
- Prijs: kosten kunnen snel oplopen — zeker als meerdere modellen met flink verkeer worden gebruikt.
Meer leren over AWS SageMaker:
3. BigML
BigML is een cloudgebaseerd, consumeerbaar, programmeerbaar en schaalbaar machinelearning-platform. Het werd in 2011/12 ontwikkeld om het ontwikkelen, deployen en beheren van ML-taken te vereenvoudigen, zoals classificatie, regressie, tijdreeksvoorspelling, clusteranalyse, topic modeling en meer. Het platform biedt uiteenlopende diensten, van datavoorbereiding tot datavisualisatie, modelcreatie en andere functies die samenwerken om bedrijven en organisaties in staat te stellen ML-modellen te bouwen en te deployen zonder uitgebreide technische expertise.
Belangrijkste functies
- Uitgebreid ML-platform: kan uiteenlopende problemen oplossen, van supervised tot unsupervised learning.
- Interpreteerbaar: alle voorspellende modellen hebben interactieve visualisatie- en explainability-functies, waardoor ze interpreteerbaar zijn.
- Exporteerbare modellen: alle modellen kunnen worden geëxporteerd en gebruikt voor lokale, offline voorspellingen op elk edge-apparaat, of direct worden gedeployed als onderdeel van een gedistribueerde realtime productieapplicatie.
Pluspunten
- Gebruiksgemak: kan complexe ML-processen automatiseren en kosten besparen via de REST API van BigML; processen automatiseren met BigML vereist slechts één regel code.
Minpunten
- Traag bij zeer grote datasets: kan datasets aan van tot 100M rijen x 1000 kolommen, maar grotere datasets kosten meer verwerkingstijd.
4. TensorFlow
TensorFlow is een end-to-end open-source machinelearning-platform, ontwikkeld door het Google Brain-team bij Google. Hoewel TensorFlow vooral draait om het trainen en infereren van diepe neurale netwerken, is er een reeks tools en libraries, zoals TensorFlow Serving, die je kunt combineren om ML-modellen te bouwen, te trainen en te deployen. Deze resources omvatten ook tools voor taken zoals natural language processing, computer vision, reinforcement learning en voorspellende machine learning.
Belangrijkste functies
- Gedistribueerd rekenen: TensorFlow ondersteunt gedistribueerd rekenen, zodat developers modellen met meerdere machines kunnen trainen
- GPU- en TPU-ondersteuning: training kan worden versneld met GPU- of TPU-acceleratie.
- TensorBoard: een visualisatietool waarmee gebruikers hun modellen kunnen visualiseren.
- Voorgebouwde modellen: biedt kant-en-klare modellen voor diverse use-cases.
Pluspunten
- Draagbaarheid: TensorFlow-modellen kunnen worden geëxporteerd en gedeployed op verschillende platforms, zoals mobiele apparaten en webbrowsers.
- Community: TensorFlow wordt ondersteund door een grote en actieve community van developers die bijdragen aan de ontwikkeling van het framework en support bieden.
- Schaalbaarheid: gedistribueerd rekenen wordt ondersteund.
Minpunten
- Steile leercurve: TensorFlow kan lastig te leren zijn door de complexe syntax.
Meer leren over TensorFlow:
5. PyTorch
PyTorch is een open-source, geoptimaliseerde tensorbibliotheek die is gebouwd om de ontwikkeling van deep-learning-modellen met CPU’s en GPU’s te ondersteunen.
Belangrijkste functies
- Gedistribueerde training: developers kunnen prestaties in zowel research als productie optimaliseren door gebruik te maken van PyTorch’ ondersteuning voor asynchrone uitvoering van collectieve operaties en peer-to-peer-communicatie.
- TorchScript: maak seriële en optimaliseerbare modellen van PyTorch-code, waardoor het altijd production-ready is.
- TorchServe: vereenvoudigt het deployen van PyTorch-modellen op schaal.
- Native ONNX-ondersteuning: gebruikers kunnen modellen exporteren in het standaard ONNX-formaat voor directe toegang tot ONNX-compatibele platforms, visualizers, runtimes, enz.
Pluspunten
- Community: PyTorch heeft een grote en levendige community, naast uiterst gedetailleerde documentatie
- Flexibiliteit en controle: PyTorch heeft een dynamische rekengrafiek, waardoor modellen on the fly kunnen worden gemaakt en aangepast en eager kunnen worden uitgevoerd.
- Pythonic: volgt de Python-codestijl, wat het leesbaar maakt.
Minpunten
- Visualisatie: vereist een tool van derden.
Meer leren over PyTorch:
Onze PyTorch Cheat Sheet helpt je deze machinelearning-tool onder de knie te krijgen
6. Apache Mahout
Apache Mahout is een open-source gedistribueerd lineairalgebrakader en wiskundig expressieve Scala-domain-specific language (DSL), ontwikkeld door de Apache Software Foundation. Het framework is geïmplementeerd op Apache Hadoop en is ontworpen om statistici, wiskundigen en data scientists snel schaalbare en efficiënte implementaties van ML-algoritmen te laten bouwen.
Belangrijkste functies
- Bewezen algoritmen: Mahout benut bewezen algoritmen om veelvoorkomende problemen in diverse sectoren op te lossen.
- Schaalbaar naar grote datasets: het framework is ontworpen om te worden gedistribueerd over grote datacenterclusters die op Apache Hadoop draaien.
Pluspunten
- Schaalbaar: biedt een schaalbaar en gedistribueerd compute-kader dat grote hoeveelheden data aankan.
Minpunten
- Steile leercurve: vereist diepgaande ML-kennis om er het meeste uit te halen.
7. Weka
Ontwikkeld door de University of Waikato in Nieuw-Zeeland is Weka een verzameling ML-algoritmen voor datamining-taken. Het bevat tools voor datavoorbereiding, visualisatie, classificatie, regressie, clustering en association rules mining. De Weka-omgeving helpt organisaties bij het opslaan, verwerken en beheren van hun data in de cloud en on-prem.
Belangrijkste functies
- Ondersteuning voor meerdere protocollen: support voor Native NVIDIA GPUDirect Storage, POSIX, NFS, SMB en S3-toegang tot data tegelijk.
- Cloud-native, datacenter-ready: schakel tussen on-prem draaien, in de cloud en burst tussen locaties.
Pluspunten
- Draagbaarheid: het is volledig in Java geïmplementeerd, waardoor het op vrijwel elk modern computing-platform kan draaien
- Gebruiksgemak: Weka gebruikt een grafische interface, wat navigeren eenvoudig maakt.
Minpunten
- Gedistribueerd rekenen & big data-verwerking: Geen ingebouwde ondersteuning voor gedistribueerd rekenen of big data-verwerking.
- Geavanceerde technieken: omvat geen recentere ontwikkelingen zoals deep learning en reinforcement learning.
8. Vertex AI
Vertex AI is een volledig beheerd, uitgebreid end-to-end machinelearning-platform, ontwikkeld door Google. Het stelt gebruikers in staat om ML-modellen en -applicaties te trainen en te deployen en large language models te aanpassen die je in AI-gedreven applicaties kunt inzetten. Het platform brengt de workflows van data engineers, data scientists en ML-engineers naadloos samen, zodat teams kunnen samenwerken met een gemeenschappelijke toolset.
Belangrijkste functies
- AutoML: train ML-algoritmen op tabel-, beeld- of videodata zonder code te schrijven of datasplits te maken.
- Generatieve AI-modellen en tools: prototype, pas aan, integreer en deploy generatieve AI-modellen snel in je AI-applicaties.
- MLOps-tools: tools op maat voor data scientists en ML-engineers om ML-projecten te automatiseren, te standaardiseren en te beheren.
Pluspunten
- Schaalbaarheid en prestaties: benut de infrastructuur van Google Cloud voor hoge schaalbaarheid en performance.
- Ondersteuning voor meerdere frameworks: integratie met populaire ML-frameworks zoals TensorFlow, PyTorch en Scikit-learn — er is ook support voor ML-frameworks via custom containers voor training en voorspelling.
Minpunten
- Prijzen: de prijsstructuur is vrij complex en kan duur uitvallen voor bedrijven of startups met een beperkt budget.
Meer leren over Google Cloud:
Zoals met de meeste technologievragen is het antwoord op “Welke machinelearning-tool moet ik gebruiken voor [vul situatie in]?”: “Het hangt ervan af.”
Het belangrijkste bij het kiezen van een tool is jouw behoefte, zoals:
- Wat probeer ik te doen?
- Wat zijn de beperkingen?
- Welke mate van maatwerk heb ik nodig?
Niet alle tools zijn hetzelfde. TensorFlow is bijvoorbeeld ontwikkeld door Google Brain-onderzoekers om kerngebieden van ML te bevorderen en een beter theoretisch begrip van deep learning te stimuleren. PyTorch daarentegen is ontworpen om flexibiliteit en snelheid te bieden tijdens de ontwikkeling van deep-learning-modellen.
Hoewel ze hetzelfde probleem willen oplossen (het bouwen van deep-learning-modellen vereenvoudigen), pakken ze het verschillend aan.
Dit is een terugkerend thema in machine learning; begrijp daarom het best wat je wilt bereiken en kies vervolgens de ML-tools die het proces zo eenvoudig mogelijk maken.
Conclusie
Gereedschap is noodzakelijk voor elke vakmens, ook voor machinelearning-practitioners. ML-practitioners gebruiken ze vaak om snel ML-modellen te bouwen, te trainen en te deployen. In dit artikel gaf ik je 8 van de populairste machinelearning-tools.
Dat zijn:
- Microsoft Azure Machine Learning
- Amazon SageMaker
- BigML
- TensorFlow
- PyTorch
- Apache Mahout
- Weka
- Vertex AI
Het hoofddoel van deze tools is om het ontwikkelproces van ML-modellen te versnellen en ze van research naar een productieomgeving te brengen.
Ga verder met leren met onze fijne resources:
Adel Nehme · 15 min
Iedereen heeft gereedschap nodig. Bouwvakkers, loodgieters, elektriciens – noem maar op. Gereedschap is een noodzakelijk onderdeel van de toolkit van elke vakmens, ook van machinelearning-practitioners. Machinelearning-practitioners hebben tools nodig om snel machinelearning-modellen te bouwen, te trainen en te deployen.
Elk jaar verschijnt er een nieuwe lichting machinelearning-tools om dit proces te vereenvoudigen en het vakgebied vooruit te helpen. Om aan de voorhoede te blijven, is het cruciaal dat je in elk geval weet wat deze tools zijn, hoe ze helpen, hun kernfuncties, sterke en zwakke punten, én enkele ideale use-cases.
In dit artikel behandelen we die onderwerpen en vergelijken we elke tool, zodat je weet hoe je de beste voor jouw projecten kiest.
Het belang van machinelearning-tools
Stel je een wereld voor waarin je elke keer dat je een machinelearning-algoritme wilt gebruiken, het volledig from scratch moet coderen. Nog één: stel je voor dat je na elk experiment de uitkomsten op papier moet noteren, en dat je bij het deployen van modellen alleen kunt opschalen door nieuwe servers te kopen.
Eerlijk gezegd is dit voor wie al lang meedraait niet eens zo onvoorstelbaar, want het was ooit realiteit. Velen konden het vakgebied niet in omdat ze wiskundige formules niet naar code konden vertalen — wiskunde was misschien niet hun achtergrond. De introductie van verschillende tools heeft die drempel verlaagd.
Tegenwoordig kun je een machinelearning-algoritme implementeren zonder de interne werking of de wiskundige formules volledig te kennen. Let op: dat betekent niet dat je het niet hóéft te weten (dat moet je wel); het betekent alleen dat je het niet hoeft te weten om het algoritme te implementeren.
Een andere reden waarom tools in machine learning belangrijk zijn, is dat ze processen versnellen. Omdat je niet langer complete algoritmes vanaf nul hoeft te schrijven, kun je in minder tijd veel meer experimenten uitvoeren. Daardoor vind je waarschijnlijk sneller het winnende model om naar productie te brengen.
Kortom: machinelearning-tools vereenvoudigen complexe taken en versnellen het traject van modellen van research naar productie.
Must-know machinelearning-tools
1. Microsoft Azure Machine Learning
Microsoft Azure Machine Learning is een volledig beheerde clouddienst die data scientists en developers in staat stelt om sneller en met meer vertrouwen de lifecycle van hun machinelearning-projecten te bouwen, te deployen en te beheren. Het platform wil de time-to-value verkorten met MLOps, interoperabiliteit met open source en geïntegreerde tools. Het is ook ontworpen met verantwoordelijke AI in gedachten en legt sterk de nadruk op beveiliging.
Belangrijkste functies
Pluspunten
Minpunten
Meer leren over Microsoft Azure Machine Learning:
Gegenereerd met DALL-E 3
2. Amazon SageMaker
Amazon SageMaker is een volledig beheerde service voor het bouwen van machinelearning-modellen en het genereren van voorspellingen. Developers kunnen het platform benutten om in één geïntegreerde ontwikkelomgeving (IDE) hun ML-modellen op schaal te bouwen, te trainen en te deployen met een breed scala aan tools zoals notebooks, debuggers, profilers, pijplijnen, MLOps en meer. SageMaker ondersteunt ook governance-eisen via vereenvoudigde toegangscontrole en transparantie over je machinelearning-project.
Belangrijkste functies
Pluspunten
Minpunten
Meer leren over AWS SageMaker:
3. BigML
BigML is een cloudgebaseerd, consumeerbaar, programmeerbaar en schaalbaar machinelearning-platform. Het werd in 2011/12 ontwikkeld om het ontwikkelen, deployen en beheren van ML-taken te vereenvoudigen, zoals classificatie, regressie, tijdreeksvoorspelling, clusteranalyse, topic modeling en meer. Het platform biedt uiteenlopende diensten, van datavoorbereiding tot datavisualisatie, modelcreatie en andere functies die samenwerken om bedrijven en organisaties in staat te stellen ML-modellen te bouwen en te deployen zonder uitgebreide technische expertise.
Belangrijkste functies
Pluspunten
Minpunten
4. TensorFlow
TensorFlow is een end-to-end open-source machinelearning-platform, ontwikkeld door het Google Brain-team bij Google. Hoewel TensorFlow vooral draait om het trainen en infereren van diepe neurale netwerken, is er een reeks tools en libraries, zoals TensorFlow Serving, die je kunt combineren om ML-modellen te bouwen, te trainen en te deployen. Deze resources omvatten ook tools voor taken zoals natural language processing, computer vision, reinforcement learning en voorspellende machine learning.
Belangrijkste functies
Pluspunten
Minpunten
Meer leren over TensorFlow:
5. PyTorch
PyTorch is een open-source, geoptimaliseerde tensorbibliotheek die is gebouwd om de ontwikkeling van deep-learning-modellen met CPU’s en GPU’s te ondersteunen.
Belangrijkste functies
Pluspunten
Minpunten
Meer leren over PyTorch:
Onze PyTorch Cheat Sheet helpt je deze machinelearning-tool onder de knie te krijgen
6. Apache Mahout
Apache Mahout is een open-source gedistribueerd lineairalgebrakader en wiskundig expressieve Scala-domain-specific language (DSL), ontwikkeld door de Apache Software Foundation. Het framework is geïmplementeerd op Apache Hadoop en is ontworpen om statistici, wiskundigen en data scientists snel schaalbare en efficiënte implementaties van ML-algoritmen te laten bouwen.
Belangrijkste functies
Pluspunten
Minpunten
7. Weka
Ontwikkeld door de University of Waikato in Nieuw-Zeeland is Weka een verzameling ML-algoritmen voor datamining-taken. Het bevat tools voor datavoorbereiding, visualisatie, classificatie, regressie, clustering en association rules mining. De Weka-omgeving helpt organisaties bij het opslaan, verwerken en beheren van hun data in de cloud en on-prem.
Belangrijkste functies
Pluspunten
Minpunten
8. Vertex AI
Vertex AI is een volledig beheerd, uitgebreid end-to-end machinelearning-platform, ontwikkeld door Google. Het stelt gebruikers in staat om ML-modellen en -applicaties te trainen en te deployen en large language models te aanpassen die je in AI-gedreven applicaties kunt inzetten. Het platform brengt de workflows van data engineers, data scientists en ML-engineers naadloos samen, zodat teams kunnen samenwerken met een gemeenschappelijke toolset.
Belangrijkste functies
Pluspunten
Minpunten
Meer leren over Google Cloud:
De juiste machinelearning-tool kiezen
Zoals met de meeste technologievragen is het antwoord op “Welke machinelearning-tool moet ik gebruiken voor [vul situatie in]?”: “Het hangt ervan af.”
Het belangrijkste bij het kiezen van een tool is jouw behoefte, zoals:
Niet alle tools zijn hetzelfde. TensorFlow is bijvoorbeeld ontwikkeld door Google Brain-onderzoekers om kerngebieden van ML te bevorderen en een beter theoretisch begrip van deep learning te stimuleren. PyTorch daarentegen is ontworpen om flexibiliteit en snelheid te bieden tijdens de ontwikkeling van deep-learning-modellen.
Hoewel ze hetzelfde probleem willen oplossen (het bouwen van deep-learning-modellen vereenvoudigen), pakken ze het verschillend aan.
Dit is een terugkerend thema in machine learning; begrijp daarom het best wat je wilt bereiken en kies vervolgens de ML-tools die het proces zo eenvoudig mogelijk maken.
Conclusie
Gereedschap is noodzakelijk voor elke vakmens, ook voor machinelearning-practitioners. ML-practitioners gebruiken ze vaak om snel ML-modellen te bouwen, te trainen en te deployen. In dit artikel gaf ik je 8 van de populairste machinelearning-tools.
Dat zijn:
Het hoofddoel van deze tools is om het ontwikkelproces van ML-modellen te versnellen en ze van research naar een productieomgeving te brengen.
Ga verder met leren met onze fijne resources: