AI-projecten effectief beheren: zo doe je dat

87% van de data science-projecten haalt nooit de productie. Sommige mislukken door een gebrek aan steun vanuit het management, andere door een gebrek aan kwalitatieve data en de juiste infrastructuur. Organisaties die waarde uit AI en machine learning willen halen, moeten zich bewust zijn van veelvoorkomende valkuilen bij het afbakenen en managen van AI-projecten. Maar dat is makkelijker gezegd dan gedaan. Zelfs teams die ervaring hebben met traditionele softwareprojecten kunnen moeite hebben met AI-projecten vanwege hun unieke karakter.

Wat maakt AI-projecten anders dan traditionele softwareprojecten?

In een traditioneel softwareproject codeert een programmeur expliciet de logica van het programma, dat een input verwerkt om een output te produceren. Een voorbeeld is banksoftware die de kredietscore van een lener (een output) verlaagt wanneer die persoon een grote lening aanvraagt (een input).

AI-projecten die gebruikmaken van machine learning vereisen daarentegen geen expliciet gecodeerde logica. Machinelearning-algoritmen leren systematisch het patroon tussen input en output, en voorspellen vervolgens een output op basis van een input. Een voorbeeld is het voorspellen van het wanbetalingsrisico van de lener op basis van diens kredietscore en het totaal aan opgenomen leningen.

Dit kan voor behoorlijke traagheid zorgen wanneer een organisatie voor het eerst AI-projecten implementeert en beheert. Daarom biedt deze post richtlijnen voor je volgende implementeerbare en winstgevende AI-project.

Drie kenmerken voor je eerste AI-projecten

Deze drie kenmerken leggen de basis voor het succes van de eerste AI-projecten van een bedrijf. Dit is waarom.

AI-projecten moeten haalbaar zijn

Voordat je nieuwe AI-projecten start, moet je als organisatie je eigen datavolwassenheid meten voordat je middelen inzet op projecten die mogelijk niet haalbaar zijn. De pijlers van datavolwassenheid variëren van infrastructuur, mensen, tools, organisatie tot processen. Nuttige vragen bij deze pijlers helpen organisaties prioriteren welke projecten het meest haalbaar zijn:

• Kan het bedrijf data betrouwbaar verzamelen?
• Beschikt het bedrijf over de infrastructuur om de data op te slaan en op te schonen?
• Heeft het team de vereiste skills om betrouwbare, nauwkeurige modelresultaten te leveren?
• Heeft het bedrijf de processen, tools en vaardigheden om modellen in productie te monitoren?

AI-projecten moeten eenvoudig zijn

Een technisch eenvoudig project is beter beheersbaar voor een organisatie met een relatief lage datavolwassenheid. Een eenvoudig project dat snel te leveren is, zorgt voor quick wins die de ervaring van het team opbouwen. Dit creëert momentum voor toekomstige AI-projecten en een opwaartse spiraal die enthousiasme in het bedrijf aanwakkert en draagvlak oplevert voor technisch geavanceerdere AI-projecten. Naarmate het bedrijf vordert in AI-volwassenheid, kan het doorgroeien van laaghangend fruit naar complexere projecten.

AI-projecten moeten waardevol zijn

Harvard Business Review stelt dat een van de kenmerken van een sterk AI-project de waarde is die het creëert. Dat kan in drie vormen: AI kan helpen betere beslissingen te nemen, kosten verlagen door repetitieve handmatige taken te automatiseren, of worden ingezet in nieuwe producten. Die waarde uit succesvolle AI-projecten helpt stakeholders overtuigen om te investeren in de AI-capaciteiten van het bedrijf.

Zoeken naar een simpel, waardevol en haalbaar project is niet triviaal. Om projecten te vinden die aan deze criteria voldoen, stelt Veljko Krunic, auteur van Succeeding with AI, de volgende stappen voor.

1. Identificeer zakelijke problemen.
2. Bedenk AI-oplossingen voor zakelijke problemen.
3. Schat de technische haalbaarheid en complexiteit van het project in.
4. Bepaal businessmetrics om de waarde van het AI-project te meten.
5. Schat de bedrijfswaarde op basis van die metrics.

Deze stappen zijn in theorie eenvoudig, maar in de praktijk genuanceerd. Met name de keuze van businessmetrics is niet altijd meteen duidelijk. De volgende sectie beschrijft hoe je die kunt selecteren.

Meet AI-projecten met businessmetrics

De bedrijfswaarde van een AI-project kun je meten met passende businessmetrics. Toch voelt het meten van de prestaties van een AI-systeem met businessmetrics voor veel AI-practitioners contra-intuïtief.

Machinelearningmodellen worden doorgaans beoordeeld met evaluatiemetrics die hun technische prestaties op een dataset meten, niet met businessmetrics die de waarde voor het bedrijf kwantificeren. Dat is gebruikelijk in de academische wereld, waar de vooruitgang van algoritmen wordt gekoppeld aan kwantificeerbare, objectieve technische benchmarks. In de echte wereld zijn AI-systemen echter verbonden met tastbare resultaten die verder gaan dan accuratesse, zoals omzet, kosten en klanttevredenheid.

Er is dus behoefte om de technische prestaties van AI-systemen te koppelen aan businessmetrics. Vaak zijn die verbanden niet meteen duidelijk. Volgens Andrew Ng, medeoprichter van Google Brain, zouden businessleiders en AI-experts moeten samenwerken en tot consensus komen over een businessmetric waarmee de prestaties van een AI-systeem gemeten en geoptimaliseerd kunnen worden.

In dit proces kan een winstcurve helpen om de relatie tussen business- en technische metrics kwantitatief vast te leggen, zoals voorgesteld in het boek Data Science for Business. Zo vertaal je technische vooruitgang naar bedrijfstermen, waardoor leiders vragen kunnen beantwoorden als: ‘hoeveel extra omzet levert een toename van één procentpunt in accuratesse op?’

Figuur 1: Een illustratie van een winstcurve die de accuratesse van een AI-systeem koppelt aan de resulterende winst

Zo communiceer je de waarde van een AI-project

Communicatie tussen machinelearningpractitioners draait vaak om technisch jargon over modellen, en dat is logisch. Maar voor een niet-technisch publiek werkt dat niet: zij zijn vooral geïnteresseerd in de zakelijke impact van een model, niet in een verbetering van 1% in accuratesse.

Een AI-practitioner kan die valkuil vermijden door bij updates rond AI-projecten rekening te houden met het beoogde publiek. Met name moeten zij beseffen dat voor zakelijke stakeholders de verbetering van businessmetrics belangrijker is dan die van technische metrics. Ook data storytelling-technieken helpen om over te brengen hoe AI-projecten bijdragen aan businessmetrics—of het nu gaat om een betere klantervaring, hogere retentie of lagere kosten.

Implementatie van AI-systemen en machinelearningpipelines gaan hand in hand

We hebben gezien hoe een AI-systeem verschilt van een traditioneel softwaresysteem. Een AI-systeem heeft geen programmeur nodig die de logica expliciet codeert, omdat het patronen uit data kan leren. Daarvoor moet eerst een pipeline worden gebouwd die de benodigde data binnenhaalt, transformeert en aan het AI-systeem aanbiedt.

AI-systemen bestaan dus niet alleen uit het machinelearningalgoritme, maar ook uit een machine learning (ML) pipeline. Deze pipeline beschrijft de datastroom van begin tot eind: hoe data wordt verkregen, getransformeerd, gebruikt, gepresenteerd en gemonitord.

Machinelearningpipelines maken deel uit van een groter softwaresysteem. De werkwijzen voor het ontwikkelen van een machinelearningpipeline en van een typisch softwaresysteem zijn grotendeels vergelijkbaar. Denk aan de noodzaak van kundige data engineers, het gebruik van softwareontwikkelprocessen vergelijkbaar met DevOps en het belang van security—alles thema’s die zowel in AI- als softwareprojecten spelen.

Hier is een voorbeeld van een ML-pipeline voor een computervisionsysteem dat afwijkingen in een telefoonproductieproces detecteert. Deze vereenvoudigde ML-pipeline detecteert telefoondefecten met foto’s en ondersteunt het werk van een kwaliteitscontroleteam.

Figuur 2: Een vereenvoudigde ML-pipeline van een telefoonfabrikant

Uit dit voorbeeld blijkt dat het ontwerp van een machinelearningpipeline sterk afhangt van de data, het algoritme en de zakelijke usecase. Er is zelden één pipeline die overal op past.

Een complete pipeline omvat ook dataverzameling, feature-extractie, dataverificatie, resultaatmonitoring en meer, waardoor hij omvangrijk en zeer complex wordt, aldus Google’s zeer invloedrijke paper. Daarom is er meestal een Machine Learning Engineering-team dat de pipeline bouwt en onderhoudt.

Bouw vanaf het begin robuuste ML-systemen om dure aanpassingen te voorkomen

De uitrol van machinelearningsystemen verloopt niet altijd zoals verwacht, mogelijk door veranderende data, een zwakte in het model of een defect in de pipeline. Wanneer dit gebeurt, stellen practitioners vaak ingrijpende wijzigingen aan de bestaande pipeline voor, om er vervolgens tot hun schrik achter te komen dat machinelearningpipelines al snel veranderingsresistent worden zodra ze zijn geïmplementeerd.

Veljko Krunic noemt dit proces de “verstening van ML-pipelines”. De weerstand tegen verandering komt voort uit de uitdagingen bij het aanpassen van de code van zo’n technisch complex project. Ook business-teams kunnen bezwaar maken, omdat zij het domino-effect van pipelinewijzigingen op bedrijfsoperaties voorzien. In het voorbeeld in Figuur 2 hierboven: als het algoritme veel minder goed automatisch afwijkende telefoons kan markeren, kan het weken duren voordat extra capaciteit voor handmatige inspectie is ingevuld.

Ingrijpende wijzigingen aan versteende AI-projecten zijn kostbaar. Een volledige herziening kan nodig zijn wanneer een niet-schaalbare proof-of-concept-pipeline naar productie is getild. Dat gezegd hebbende, is de verstening van ML-pipelines vaak onvermijdelijk.

Bedrijven die AI-projecten willen managen, moeten daarom streven naar de juiste pipeline vanaf het begin. Machine Learning Model Operationalization Management (MLOps) is een snelgroeiend vakgebied dat organisaties helpt dit doel te bereiken. MLOps-tools en -praktijken bieden een end-to-end ontwikkelproces om reproduceerbare, testbare en iteratieve ML-gedreven software te ontwerpen, bouwen en beheren. Zo kunnen datateams continuous integration en continuous delivery toepassen op hun machinelearningpipelines, datadrift monitoren en de uitlegbaarheid van hun pipelines behouden.

Bouw de capaciteit van je team op om AI-projecten effectief te managen

Het managen van een AI-project is geen makkelijke opgave. Een organisatie heeft meer nodig dan alleen het juiste technische talent om AI-projecten te bouwen. Er is ook een brede datacultuur en sterke datageletterdheid nodig om AI-adoptie te versnellen. Net zoals het implementeren van AI-projecten tijd kost, vergen programma’s om datageletterdheid te vergroten een lange adem.

Daar kan DataCamp for Business bij helpen, met een interactief leerplatform voor bedrijven die hun mensen willen bij- en omscholen in dataskills. Met onderwerpen van data engineering tot machine learning vertrouwen meer dan 1.600 bedrijven op DataCamp for Business om hun talent te ontwikkelen.

Twijfel je aan de datacapaciteiten van je team? Doe onze data maturity assessment.