Er komen veel onderdelen kijken bij een data science-project die samenwerking vereisen voor een succesvolle uitrol. Met deze samenhangende onderdelen is een agile aanpak nodig voor de ontwikkel- en implementatieprocessen. Deze aanpak stelt organisaties in staat om snel te leren en vlot te itereren. In een recente DataCamp-webinar bespreekt Brian Campbell, Engineering Manager, Internal Engineering bij Lucid Software, de best practices voor het succesvol uitrollen van data science-projecten.
Vroege stappen om agile ontwikkeling mogelijk te maken
Brian legt uit dat er vroeg in een project twee belangrijke stappen kunnen worden gezet om parallelle voortgang te boeken bij zowel de ontwikkeling als de implementatie van een model: werken met basismodellen en het maken van een prototype. Hoewel deze aanpakken de tijdlijn complexer maken, leiden ze tot aanzienlijk snellere en betere resultaten.
Werk met basismodellen
Een nuttige stap om machinelearningprojecten succesvol te leveren is het creëren van een basismodel. Een basismodel geeft dezelfde outputs als het eindmodel. Het wordt echter gebouwd vóór het grootste deel van het ontwikkelproces en kan gebaseerd zijn op heuristieken of willekeurige data. Deze basis vormt een richtpunt dat toekomstige iteraties moeten overtreffen.
Terwijl het team nieuwe modellen ontwikkelt, kunnen nieuwe resultaten worden vergeleken met de basis en zo het leerproces sturen. Het verschil tussen de basis en de gewenste staat informeert de projectvereisten en helpt teams de meest waardevolle data en oplossingen voor het probleem te identificeren.
Werk met prototypes
Prototypes zijn modellen die dezelfde inputs innemen en dezelfde outputindeling leveren als het eindmodel. Dit model kan worden geïnformeerd door het basismodel. Zodra het prototype klaar is, kunnen degenen die verantwoordelijk zijn voor de implementatie beginnen met het integreren van het model voor het beoogde doel. Het prototype maakt parallelle voortgang aan het model mogelijk; data scientists verbeteren het model terwijl het implementatieteam werkt aan hoe het model wordt verpakt voor klanten of binnen een bedrijfsproces.
Prototypes werken alleen als het eindmodel zich hetzelfde gedraagt als het prototype. Het is dus noodzakelijk om de beschikbare data en het beoogde outputformaat te begrijpen voordat je het prototype maakt. Dit vereist enige kennis over het project voorbij de initiële probleemformulering, en nauwe samenwerking met probleemexperts.
Praktijkvoorbeeld van basismodellen en prototypes
Brian bespreekt hoe zijn team bij Lucid basismodellen en prototypes gebruikte om de ontwikkeling te versnellen van een clustermodel voor een plakbriefjesproduct dat door product-, design- en engineeringteams wordt gebruikt. Deze teams houden vaak design thinking-sessies waarbij een facilitator plakbriefjes van vergelijkbare types handmatig onder een bepaalde categorie moet groeperen. Het doel van het systeem was om de tijd tussen brainstormen en discussiëren te verkorten door ideeën automatisch in categorieën te clusteren en duplicaten te verwijderen.
Het basismodel nam willekeurige ideeën in en genereerde daar willekeurige categorieën voor. Vervolgens maakten ze een prototype van dit model zodat implementatie-experts vroeg in het ontwikkelproces aan de slag konden. Gaandeweg verbeterden ze het basismodel door natural language processing en machine learning te benutten om vergelijkbare plakbriefjes bij elkaar te clusteren.
Communicatie is belangrijk bij deze modellen
De eerste iteratie van dit project liep tegen problemen aan omdat er een gebrek was aan consistente samenwerking tussen het implementatieteam en de data scientists die aan het model werkten. Dit gebrek aan teamwork leidde tot prestatieproblemen van het model, onnauwkeurige tests en een matige productervaring. Het lukte niet om de synergie van parallelle modelontwikkeling te realiseren.
Toen ze het project herlanceerden en effectief samenwerkten, losten ze deze problemen op en stelden ze realistische verwachtingen. Samenwerking werd mogelijk doordat er een prototypemodel was waarmee het implementatieteam parallel kon werken aan het model dat door het data science-team werd ontwikkeld.
Wil je de lessen uit het project begrijpen en leren hoe je complexe data science-projecten effectief navigeert, luister dan naar de on-demand webinar.
