Hugo: Ben, welkom bij DataFramed.
Ben: Dank je, Hugo, geweldig om hier te zijn en ik kijk ernaar uit om vandaag met je te praten over Convoy en data science.
Hugo: Helemaal mee eens. Fantastisch dat je er bent, en in onze voortdurende verkenning op DataFramed van wat data science is en kan zijn, ben ik enorm enthousiast om het vandaag met je te hebben over je werk bij Convoy en de rol die data science kan spelen bij het revolutioneren van de vrachtwagensector, misschien wel een van de meest impactvolle sectoren in Noord-Amerika. Maar eerst wil ik het over jou hebben.
Ben: Oké, dank je.
Wat is een data scientist?
Hugo: Mensen vragen me altijd: wat doen data scientists nou eigenlijk? Ben, wat denken je collega’s dat jij doet?
Ben: Goede vraag. Ik vind de term "data scientist" echt vaag. Het betekent verschillende dingen voor verschillende mensen. Ik kom in data science terecht vanuit zowel een natuurwetenschappelijke als een sociaalwetenschappelijke achtergrond. Ik heb ook een omweg gemaakt via Silicon Valley voordat ik mijn PhD in economie haalde. Voor mij is het zo dat ik ongeveer de helft van mijn dag in meetings zit om te praten over de wetenschap achter het runnen van ons platform, of hoe we onze aanpak van data science hier ontwikkelen, of over specifieke vragen zoals experimenteel ontwerp. Ongeveer de helft van mijn tijd besteed ik aan het begeleiden van andere data scientists, dus een junior data scientist helpen met een experimenteel ontwerp voor een campagne of, zeg, een survivalmodel bouwen om klantretentie te begrijpen.
Daarna besteed ik nog een halve dag als individuele bijdrager aan de aspecten die ons platform aandrijven en probeer ik simpelweg impact te maken door het ding te fixen dat op dat moment in brand staat. Dus nadenken over dingen als veilingen, matching of prijzen en dat soort kwesties. Iedereen die kan rekenen ziet waarschijnlijk dat dit optelt tot drie helften, maar ik werk bij een startup, dus dingen tellen niet op tot één.
Hugo: Helemaal mee eens. Bij DataCamp voelt het soms alsof ik werk als een oneindige som, eigenlijk. En omdat jouw achtergrond in de natuurkunde ligt, heb je me verteld dat er voor natuurkundigen maar drie getallen zijn, toch?
Ben: Klopt. Er zijn nul, één en oneindig, en alles daartussen is een kwestie van schalen. Dat is de oude grap.
Bens loopbaan in data science
Hugo: Precies. Hoe ben je in data science terechtgekomen?
Ben: Goede vraag, en ik denk dat ik altijd al met software en data en wiskunde en statistiek en modellen heb gewerkt, en nadat DJ Patil de term bedacht en die viral ging, heeft iemand op de marketingafdeling me gerebrand als data scientist. Maar zelfs toen ik als undergraduate op de universiteit zat, schreef ik software om wetenschappelijke vragen te begrijpen. Het eerste data science-achtige wat ik deed, was een programma schrijven om kraterrelaxatie te begrijpen voor McKinnon, een fantastische planeetwetenschapper aan Washington University, en de band Frankie was daar groot, en omdat we met kraterrelaxatie bezig waren, noemde ik mijn programma Frankie. Meer recent, na mijn PhD, zat ik aan de University of Chicago en werd ik gerekruteerd door Amazon. Dat was zo rond 2012. Op dat moment zou ik zeggen dat ik echt de overstap maakte van dingen uit de academische wereld naar toepassing in de industrie.
Hugo: Dus nu werk je als data scientist bij Convoy?
Ben: Klopt.
Convoy
Hugo: Vertel eens wat Convoy doet, wat de missie is?
Ben: Dit is een goed voorbeeld van hoe het veel makkelijker is voor software om een gevestigde sector binnen te komen, dan voor een gevestigde sector om zelf software te omarmen. De vrachtsector bestaat al heel lang. In de VS is het een gigantische markt. Zo’n 800 miljard dollar. Er is een probleem: de meeste vervoerders zijn enorm gefragmenteerd, zoals het 95e percentiel ... Sorry, carriers. Carriers zijn transportbedrijven, ze hebben één of meer trucks. En de carriers zijn sterk gefragmenteerd en de carrier op het 95e percentiel heeft zo’n twee of drie trucks. De manier waarop verladers met hen in contact komen, is via brokers, en die werken met technologie uit de jaren tachtig. Dus telefoons en faxen. Wat wij bij Convoy doen, is dat we deze nieuwe aanpak mede vormgeven die digitale vracht heet, waarbij we technologie en in het bijzonder data science gebruiken om dit hele proces voor iedereen te verbeteren, omdat het heel belangrijk is om de juiste carrier aan de juiste lading van de verlader te koppelen, want dan werkt alles beter. We moeten het prijzen, matchen en het hele proces automatiseren, en dat gaat de kostenstructuur van de sector volledig veranderen. Voor jullie allemaal die luisteren en ook consument zijn: de meeste dingen die je koopt maken acht tot tien truckritten om bij je te komen. Dus als we de vrachtkosten kunnen verlagen, zouden prijzen hopelijk een stuk concurrerender moeten worden voor wat je koopt.
Hugo: Hoe ziet dit er in de praktijk uit voor ... Je zei dat carriers de chauffeurs zijn?
Ben: Carriers zijn ... Het is een wat ingewikkelde definitie, want veel van hen zijn owner-operators, dus een soort American dream. Het kunnen bijvoorbeeld hier in de Pacific Northwest Russische immigranten zijn die hier met niets beginnen en zich opwerken tot owner-operator met één truck, en naarmate hij succesvoller wordt, kan hij zijn vloot uitbreiden, en dat is iets waar Convoy owner-operators bij wil helpen. Het kan ook een meer gevestigd middelgroot transportbedrijf zijn. Meestal hebben ze één of meer trucks. Het is moeilijk voor een individu om op te schalen naar meer dan zo’n 20 trucks, omdat logistiek dan complex wordt en je met HR en dergelijke te maken krijgt.
Hugo: Zeker. Hoe ziet Convoy er in de praktijk uit voor carriers? Gebruiken ze apps of ...
Ben: Ja, goede vraag. De belangrijkste manier waarop ze met ons omgaan is via de Convoy-app, en we hebben een onboardingproces dat het heel eenvoudig maakt om hun pakket met informatie aan te leveren. Dus zaken als verzekerings- en licentie-informatie, en dan kunnen we hun account activeren. Vanaf dat moment zien ze aanbiedingen die aan hen worden getoond op basis van het soort ladingen waarvan ze ons vertellen dat ze die fijn vinden. Ze kunnen bijvoorbeeld zeggen: "Hé, ik werk graag op de I-5-corridor", en dan kunnen ze die ladingen in de app accepteren en hoeven ze nooit met een mens te praten. Super efficiënt.
Ze kunnen ook op ladingen bieden. Dus als ze onze prijs niet goed vinden, of als ze concurreren met andere partijen voor een lading, kunnen ze bieden, de prijs kan omhoog of omlaag afhankelijk van de marktomstandigheden, en het andere dat we doen dat voor hen fijn is: stel dat ze een lading van San Francisco naar Los Angeles nemen, als we zien dat ze dat doen, zeggen we vervolgens: "Hé, we hebben een lading vanuit Los Angeles terug naar waar je was of naar ergens anders." We houden daar rekening mee, om ze in beweging te houden en geld te laten verdienen zodat ze minder vaak leeg rijden, want het blijkt dat trucks zo’n 40% van de tijd leeg zijn, wat slecht is voor het milieu en slecht voor de chauffeurs.
Hugo: Ja, ik kan me voorstellen dat jullie allerlei handelsreizigersproblemen proberen op te lossen; je wilt niet per se dat een chauffeur met een lege truck van Seattle naar de Bay Area rijdt om daar vervolgens weer iets op te halen. Je wilt uitzoeken hoe hun trip ... geoptimaliseerd kan worden met betrekking tot hoeveel ze vervoeren?
Ben: Ja, absoluut. Naarmate we meer liquiditeit op het platform krijgen, wordt het steeds makkelijker om dit soort problemen op te lossen en carriers in een staat van bijna constante beweging te houden.
Hugo: Heel cool. Een van de redenen dat ik dit zo interessant vind, is dat we bij de rol van data science in moderne industrie vaak aan tech denken, een sector die is geboren met de opkomst van toegang tot data. Terwijl jij het hebt over het revolutioneren van een sector die ouder is dan al die technologische infrastructuur.
Ben: Absoluut. En als we succesvol zijn in wat we proberen te doen, gaan we de kostenstructuur veranderen van een grote sector die veel Amerikanen raakt. Een van de opmerkelijke feiten die ik bij Convoy heb geleerd, is dat het meest voorkomende beroep in iets van 45 staten vrachtwagenchauffeur is. Dit raakt dus veel mensen in hun werk, en het raakt ook iedereen die consument is. Dit kan een grote, positieve impact hebben op veel mensenlevens, in het bijzonder voor de chauffeurs zelf; we maken het makkelijker om hun eigen bedrijf te runnen, dat bedrijf te laten groeien, en veel, veel minder frictie te hebben in hoe ze dat bedrijf runnen.
Data science bij Convoy
Hugo: Zeker. Hoe speelt data science dan een cruciale rol in de missie van Convoy?
Ben: Data science staat centraal in wat we doen. Sterker nog, vanaf de eerste dag dat we openden, zijn we altijd geautomatiseerd geweest. We moeten een schat aan fascinerende problemen oplossen met veel economie erin; het is heel belangrijk om de prijs te kunnen voorspellen, omdat we verladers correct moeten prijzen. Vaak gaan we langetermijncontracten met hen aan en we moeten ook correct prijzen voor de carriers. Dan moeten we zorgen dat we het matchingprobleem oplossen om de juiste carrier aan de juiste lading te koppelen. Dat levert voor iedereen betere uitkomsten op. Dus bijvoorbeeld: juist kan betekenen minder deadhead, dus de tijd dat je leeg rijdt om bij het begin van de lading te komen, en ook de bestemmingspunten kunnen uitmaken. We maken ons zorgen over veilingen en het hele prijsacceptatiemechanisme voor de carriers zelf, evenals veel andere dingen in de carrier-levenscyclus, en ervoor zorgen dat alles goed gaat zodra een carrier een lading heeft opgepikt. Er zijn een hoop van dat soort problemen.
Hugo: Het lijkt me een bedrijf dat tegen het kip-en-eiprobleem aan kan lopen: om verladers te overtuigen heb je carriers nodig, en om carriers te overtuigen heb je verladers nodig.
Ben: Ja, dat is iets wat voor elk platform heel lastig is. Er is een geweldige post van Simon Rothman, een van onze investeerders uit de Series A-ronde, waarin hij schrijft dat je in feite twee bedrijven tegelijk moet starten. Je moet tegelijkertijd een bedrijf aan de aanbod- en de vraagzijde opstarten, en dat maakt het heel tricky omdat we dit in balans moeten houden.
Gelukkig hebben we een geweldig salesteam, en zij zijn heel goed in het genereren van kwalitatieve vraag, en dan bouwen we snel aanbod op om alles in balans te houden, en dat is iets wat we tracken. Dat is iets waar elk platform zich zorgen over maakt. Ze denken veel na over liquiditeit en het behouden van balans. Het is alsof je naar een datingsite gaat en laten we aannemen dat je hetero bent; als er geen vrouwen zijn, is het een slechte datingervaring. Je hebt dus evenveel mannen als vrouwen nodig.
Hugo: De reden dat dit top of mind is: wij hadden bij DataCamp in de beginjaren een soortgelijke uitdaging, studenten binnenhalen terwijl we ook docenten binnenhaalden, want docenten willen een publiek en studenten willen de beste docenten, toch?
Ben: Ja, absoluut. En daarnaast zijn er ook netwerkeffecten. Zodra het gaat lopen, groeien dit soort bedrijven exponentieel, wat heel spannend is. Het betekent dat als je dit goed doet, je merkt dat je niet slaapt.
Hugo: Absoluut. Je zei dat een van de belangrijkste dingen een heel sterk salesteam is. Hoe is het data science-team geïntegreerd in het bedrijf, bijvoorbeeld met het salesteam?
Ben: Ja. Ik denk dat een van de grote dingen die we kunnen doen, is hen helpen prijzen te begrijpen, dingen als hoe je op ladingen moet bieden, op welke ladingen je moet bieden, en dat zijn manieren waarop we heel nauw met hen kunnen samenwerken. Prijzen is ongelooflijk complex en er zitten allerlei prikkels omheen. Dat kost uren om uit te diepen.
Hugo: We hebben het, een beetje eromheen draaiend, gehad over de rol van data science. Welke specifieke soorten data science-vragen moet jij in je werk beantwoorden?
Ben: Een van de sterke punten van Convoy is dat we echt data-gedreven zijn, en dus doen we enorm veel experimenten, net als iedereen in de industrie, neem ik aan, of in elk geval de toppers. De manier waarop we vragen beantwoorden, is vaak via experimenten, en dat is de enige manier om het op te lossen. Dus we doen veel experimenten. We hebben zwaar geïnvesteerd in het bouwen van een heel goed experimentatieframework waarmee we snel kunnen itereren op experimenten, zodat er verschillende benaderingen zijn om A/B-tests te draaien, zoals Bayesiaans of frequentist, en de Bayesiaanse of sequentiële analyse geeft je veel sneller een antwoord. Ze maken het ook makkelijker om resultaten met productmanagers te bespreken.
A/B-testen
Hugo: Laten we even een stap terug doen en kun je misschien een voorbeeld geven van een A/B-test die jullie uitvoeren?
Ben: Graag. Het type dat je typisch A/B-test, is: werkt een nieuwe UX-flow beter? Stel ... Een van de dingen die we belangrijk vinden, is dat wanneer een chauffeur een rit voltooit, hij automatisch zijn papierwerk uploadt. Dat heet een BOL, bill of lading. Als we bijvoorbeeld een nieuw proces zouden uitrollen om dat te verbeteren en makkelijker te maken, zouden we een experiment kunnen draaien waarbij we de helft van de carriers op de oude technologie houden, en de helft op de nieuwe technologie zetten, en dan kunnen we na enige tijd met een bepaalde waarschijnlijkheid zeggen of het nieuwe proces beter werkt.
Hugo: Dat is een geweldig voorbeeld en ook een goede beschrijving van A/B-testen. Ik ga nog wat doorvragen. Je noemde dat Bayesiaanse methoden sneller convergeren of je sneller resultaten geven dan frequentistische methoden. Ik zet je een beetje voor het blok, maar zou je voor de leken kort het verschil kunnen beschrijven tussen frequentistische statistiek, waar mensen misschien bekender mee zijn, en de Bayesiaanse methoden waar je het hier over hebt?
Ben: Zeker. De eerste echte benadering van statistiek was de Bayesiaanse methode, ontwikkeld door Thomas Bayes, hij was eigenlijk een dominee. Zijn idee werkt veel zoals je intuïtie werkt: je begint met een voorafgaande set overtuigingen over iets, zoals mijn nieuwe proces is beter, zeg dat het 10% lift oplevert. Dan werk je die overtuigingen bij terwijl je data observeert. Deze Bayesiaanse updating convergeert dan naar wat we de posterior noemen, en dat is de verdeling waarvan we verwachten dat de lift die heeft.
De frequentistische visie ... Voordat ik naar frequentistisch ga: de Bayesiaanse methoden waren tot misschien twee decennia geleden heel moeilijk te berekenen. We hadden niet echt de rekenkracht. Sindsdien zijn er enorme verbeteringen geweest en is het veel makkelijker om deze modellen te berekenen. Daarvoor kon je eigenlijk alleen speciale gevallen oplossen. Mensen als R.A. Fisher waren in het bijzonder erg kritisch op de Bayesiaanse aanpak, denk ik, en zij ontwikkelden begin 1900 de frequentistische aanpak, als ik het goed heb. Daar is het idee dat er een echte waarde van de parameter is, en als ik genoeg data sample, zal dat, naarmate ik meer en meer data krijg, convergeren naar de waarheid.
Frequentisten praten dus vaak over p-waarden en betrouwbaarheidsintervallen, en dat is de traditionele hypothesetoetsing die je kent. In de frequentistische wereld zou je naar een marketingmanager moeten gaan en zeggen: "Voorwaardelijk op het waar zijn van de nulhypothese is de kans dat ik een effect zo groot als het waargenomen of groter zie 5,7%." Dan krijg je die discussie, want de traditionele visie op significantie is dat je een significantieniveau van 5% gebruikt om te zeggen dat het resultaat significant is. In dit geval, als je een goed mens bent, kun je de nulhypothese niet verwerpen, maar je marketingmanager zal waarschijnlijk zeggen: "5,7% is heel dicht bij 5%, laten we gewoon 10% significantie gebruiken." En dan zit je in de problemen. Terwijl je met de Bayesiaanse methode naar de productmanager kunt gaan en zeggen: "Er is 94,3% of 98% kans dat variant A beter is dan variant B", en dat is een veel makkelijker gesprek.
Hugo: In het voorbeeld waar je over praat, zijn variant A en B, of de parameter waar we naar kijken, het aantal mensen dat al hun papierwerk succesvol uploadt?
Ben: Klopt.
Hugo: Als functie van hoe de UX eruitziet.
Ben: Precies. Dus wat je ook test. Heeft mijn nieuwe workflow een hogere doorklikratio of hogere checkout? Verlaagt het churn? Waar je ook in geïnteresseerd bent. Ja. Ik denk dat de Bayesiaanse methode het veel makkelijker maakt om gesprekken te voeren met productmanagers, en bovendien ... In onze simulatiestudies zien we dat het veel sneller convergeert. Voor ons bedrijf. Jouw kilometerstand kan variëren voor jouw bedrijf, en als je in Europa bent, kunnen je kilometers variëren.
Hugo: Ik meen me te herinneren dat Dave Robinson een aantal posts voor Stack Overflow schreef over Bayesiaans A/B-testen en liet zien dat het voor hun experimenten niet per se sneller convergeerde. Dat moet ik checken, en dat zetten we in de show notes.
Ben: Ja. Er waren ook een paar uitstekende blogposts van Evan Miller over dit onderwerp.
Andere data science-technieken en -methoden: econometrie en machine learning
Hugo: Je noemde experimenteel ontwerp. Dat is een heel interessante aanpak, want ik denk niet dat veel mensen zouden verwachten dat experimenteel ontwerp en dit soort methoden zo’n grote rol spelen bij het opnieuw uitvinden van de vrachtwagensector met data science. Welke andere technieken en methoden interesseren jullie?
Ben: Ja, voordat we verdergaan, wil ik nog één ding zeggen om A/B-testen af te ronden: er is veel wijsheid die mensen hebben over de vrachtsector. Ons bedrijf is half tech-startup en half veterane truckers uit de sector, en zij hebben veel met pijn en moeite vergaarde kennis en intuïtie, maar die is niet altijd correct of precies. Door experimenten uit te voeren, kunnen we dingen veel concreter maken.
Hugo: Zit daar ook iets politiek en sociaal in, in die zin dat veel van deze mensen al lang meelopen, bepaalde macht hebben en in zekere zin zwaar verdiende kennis, en is er een idee dat tech-startups dat, tussen aanhalingstekens, kunnen verstoren en dat daar sociaal gedrag bij nodig is?
Ben: Ja. Ik kan alleen spreken binnen de cultuur van Convoy, en wij hebben een geweldige, echt teamgerichte cultuur. Het voelt zoals toen ik in goede ijshockeyteams speelde, en ik denk dat beide kanten echt waarderen wat ze meebrengen. Je kunt zelfs twee veteranen uit de sector hebben die het ergens niet over eens zijn. Dus bij Convoy proberen we geen discussies te hebben die niet kunnen worden opgelost via ... Laat me dat herformuleren. Als een meningsverschil niet kan worden opgelost met een intellectueel argument met theorie of feiten, dan doen we een experiment. In plaats van te blijven zitten en een onoplosbare discussie te voeren.
Hugo: Wat nog meer? Welke andere technieken en methodologieën willen jullie gebruiken?
Ben: We zijn heel praktisch en toegepast bezig met data science. We proberen concrete bedrijfsproblemen in korte tijd op te lossen. We gebruiken dus het standaardgereedschap dat je zou verwachten. We zijn erg agnostisch over tools, mensen gebruiken de beste tool voor de klus, en qua technologie kan dat R of Python zijn; beide hebben sterke en zwakke punten. Het is goed om beide te kennen. Qua specifieke benaderingen is machine learning soms het beste, vooral als we iets moeten voorspellen, bijvoorbeeld of iemand een BOL gaat uploaden of, zeg, een goede carrier is. Dan bouw je misschien een logistisch regressiemodel of een of andere boosted classifier. Maar er zijn andere momenten waarop je moet begrijpen of A B heeft veroorzaakt; misschien konden we geen experiment draaien, dan zijn we terug in de wereld van toegepaste statistiek en doen we een of andere regressieanalyse. Mijn eerste succes bij Convoy was dat er vóór mijn start een feature was uitgebracht zonder A/B-test, en men wilde weten of deze nieuwe feature hielp. Ik heb met het causalimpact-pakket dat Google ontwikkelde met Bayesiaanse structurele tijdreeksen kunnen aantonen dat de nieuwe feature een positief effect had.
Hugo: Fantastisch. En dat is op al verzamelde data?
Ben: Klopt. We hebben bestaande data, en dan moet je proberen te zorgen dat alles zo goed mogelijk willekeurig toegewezen is, hopelijk. Een van de sleutels voor een experiment is willekeurige toewijzing aan de behandeling, en je moet ook aan andere dingen voldoen, zoals dat je toewijzing individualistisch en probabilistisch en niet-vertekend is. Dit zijn technische termen. Als een van deze faalt, ben je terug bij observationele data, en dan gebruik je toegepaste statistische methoden of econometrie om iets te creëren dat zo goed mogelijk is als willekeurige toewijzing, zodat je dan een causale uitspraak kunt doen over of A B heeft veroorzaakt.
Hugo: Kun je me nog eens herinneren wat econometrie is?
Ben: Oh, econometrie is de set statistische tools die economen hebben ontwikkeld voor het oplossen van economische problemen. Voor de bedrijfswereld zijn die tools superhandig, omdat de meeste van onze problemen economisch van aard zijn. Een klassiek voorbeeld is omgaan met iets als steekproefselectie en andere vormen van wat endogeniteit heet, waar uitkomsten binnen het model mede-bepaald worden. Het klassieke voorbeeld is als je wilt begrijpen of het vergroten van je politiekorps criminaliteit vermindert: je kunt je voorstellen dat criminaliteit een functie is van het aantal agenten, maar het aantal agenten is ook een functie van het niveau van criminaliteit. Dat is ... een voorbeeld van simultaniteit. Steekproefselectie zie je overal zodra je erop let; dat zou zijn: ik probeerde een experiment te doen om te zien of kleine klassen het begrijpend lezen verbeteren, maar alle ouders van kinderen die welgesteld zijn, eisen dat hun kinderen in de kleine klas zitten, en nu zijn de kinderen in de kleinere klassen slimmer, en heb je selectiebias.
Hugo: Dus econometrie heeft een reeks tools gemaakt om met dit soort uitdagingen om te gaan?
Ben: Klopt. In het bijzonder is er een set tools die economen goed kennen, maar data scientists buiten de economie niet, en dat is paneldata. Deze tools zijn erg goed in het omgaan met wat economen individuele heterogeniteit noemen. Als ik kijk naar het gedrag van carriers of zendingen, hebben die individuele eigenaardigheden die ik niet kan observeren, en als ik een carrier in de tijd kan volgen, geeft paneldata me geweldige methoden om deze ongeobserveerde individuele effecten te verwijderen die mijn schattingen kunnen verstoren.
Hugo: Heel interessant. Het lijkt, corrigeer me als ik het mis heb, dat je zegt dat er een heleboel tools zijn ontwikkeld door hele slimme mensen in de econometrie die in data science gebruikt kunnen worden, maar in deze wereld nog niet echt het daglicht hebben gezien?
Ben: Klopt. Ik ben dol op machine learning en het is geweldig, maar er zijn ook problemen waar het niet werkt en ik denk dat mensen te gefocust raken op machine learning, waardoor ze econometrische methoden over het hoofd zien die vaak heel nuttig zijn en problemen kunnen oplossen die met machine learning niet op te lossen zijn. Ik sprak ooit met iemand bij Uber, een tijdje voordat ik bij Convoy kwam, en hij zei dat ze problemen waren tegengekomen die ze niet met machine learning konden oplossen, maar alleen door een structureel econometrisch model te bouwen. Dat is een heel ingewikkeld proces, het duurt vaak een jaar of langer om zo’n model te bouwen en goed werkend te krijgen. Maar je probeert het hele gedragsproces en de nutsfunctie te modelleren, en als je klaar bent heb je een heel rijk en krachtig model waarmee je goede voorspellingen kunt doen over contrafeitelijke uitkomsten.
Hugo: Cool. En dat was bij Uber, zei je?
Ben: Ja. Dat kwam eigenlijk ter sprake tijdens mijn gesprek met hen; ik heb met hen gesproken voordat ik naar Convoy ging.
Geospatiale data, kwaliteit en zelfrijdende auto’s
Hugo: Het klinkt ook alsof ... We hebben het gehad over machine learning, econometrie, experimenteel ontwerp en Bayesiaanse methoden voor A/B-testen. Het lijkt erop dat jullie veel geografische data hebben, geospatiale data en tijdreeksen van geospatiale data. Speelt dit een rol in je werk?
Ben: Ja. Die data is heel belangrijk en we beginnen net te ontsluiten wat het kan doen, maar we gebruiken het al op allerlei manieren in de app om de ervaring van carriers te verbeteren. Bijvoorbeeld: wanneer een carrier arriveert om een lading op te halen, kunnen we hem automatisch inchecken op basis van geospatiale data. Sommige laadfaciliteiten zijn heel slecht, en als ze de truck te lang laten wachten, moeten ze iets betalen dat detention heet. We kunnen detention automatisch gaan uitbetalen zodra de carrier er recht op heeft, in plaats van hem door een omslachtig papierproces te laten gaan, wat niet heel anders is dan proberen een verzekeringsclaim in te dienen in de VS.
Hugo: Iets wat in me opkwam toen je zei dat jullie al die data hebben die je misschien nog niet volledig hebt verkend, is dat er potentieel van allerlei soorten sociaal onderzoek zit in de data die jullie boven water halen?
Ben: Ja. Ik denk dat er veel heel interessante vragen zijn die we kunnen beantwoorden over matching en platforms en veilingen, waar ik graag dieper in zou duiken. Ik weet zeker dat er veel academische papers over geschreven kunnen worden.
Hugo: Bij welke data science-projecten bij Convoy ben jij in het bijzonder betrokken geweest die je het meest impactvol of veelzeggend voor de samenleving vindt?
Ben: Goede vraag. Ik ben nu iets langer dan een jaar bij Convoy en we bestaan iets meer dan twee jaar. Ik heb me vooral gericht op prijzen en experimenten. Een van de interessantste experimenten die we hebben gedaan, was kort nadat ik begon: we gaven voorkeurstoegang tot ladingen aan carriers van hogere kwaliteit, en de kwaliteit daalde. Iedereen was geschokt. Zoals: wacht, we geven de mensen van hoge kwaliteit vroege toegang tot werk en de kwaliteit gaat omlaag? Wat is hier aan de hand? Dit slaat nergens op. Een slechte manager zou zeggen: "Hé, jij data scientist, jij bent dom." Gelukkig hebben we hier een echt goede data science-manager, Ziad Ismail, die een geweldige datacultuur heeft opgebouwd. Hij liet ons erin duiken. Ik begon na te denken over de matchingliteratuur in de economie. Mijn hypothese was dat omdat we de pool carriers hadden beperkt tot een kleinere pool, hoewel ze van hogere kwaliteit waren, de matchkwaliteit op de klus omlaag ging. Dat konden we verifiëren en toen deden we regressieanalyse om te laten zien dat matchkwaliteit een causaal effect op kwaliteit had. Dat was een heel spannende ontdekking omdat het liet zien hoe belangrijk matching is op ons platform.
Hugo: Ongelooflijk. Dus om het even te ontleden, voor mezelf: door carriers van hoge kwaliteit vroege toegang tot ladingen te geven, ging de kwaliteit van het matchen met verladers omlaag in zekere zin en dat veroorzaakte een daling in kwaliteit van de carriers?
Ben: Ja. De kwaliteit van hoe het werk werd uitgevoerd, omdat er een kleinere pool aan geschikte carriers was, en hoewel ze beter waren, overtrof het feit dat er minder mensen waren om potentieel mee te matchen het feit dat ze van hogere kwaliteit waren.
Hugo: Ik denk dat er een Braziliaanse mierensoort is die 30% ... Ik zeg niet dat dit een directe analogie is, maar laten we zeggen dat 30% van de mieren in elke kolonie niets doet, toch? Als je die 30% weghaalt en een dag later terugkomt, is er alweer 30% van die mieren die niets doet. Ik zeg niet dat er verladers of carriers zijn die niets doen, maar dat er een soort stabiliserende kracht speelt. Nou, dat is superinteressant dat het de andere kant op ging, dat iets wat intuïtief ... je denkt dat het tot betere kwaliteit zou leiden, tot slechtere leidde.
Ben: Ja. Dit is een geweldig voorbeeld van waarom experimenteren zo belangrijk is. Als we hier een experiment draaien, zijn we met een leuke traditie begonnen waarbij mensen stemmen op welke uitkomst ze denken dat zal winnen. Zo betrekken we het hele bedrijf bij experimenten, en doorgaans geeft het UX-team de winnaars donuts of coole stickers of zoiets. We hebben veel van dit soort experimenten gehad waarbij wat je verwacht niet gebeurt, omdat het heel makkelijk is om verliefd te worden op een feature waarvan je denkt dat die geweldig is, terwijl de realiteit is dat het steeds moeilijker wordt om iets te vinden dat het platform vooruit helpt.
Hugo: In zekere zin run je met dit soort experimenten een soort laboratorium, toch?
Ben: Ja, dat doen we. Gericht op onze businessvragen.
Hugo: Als dit te diep in de bedrijfsstrategie of vertrouwelijk materiaal duikt, zeg het dan. Ik vraag me gewoon af hoe je de kwaliteit van carriers of de kwaliteit van een levering of iets dergelijks meet?
Ben: In de trucking-wereld is er een sectorbreed probleem: ongeveer 10% van de tijd, wanneer een carrier zich heeft gecommitteerd om een lading te nemen, komt hij gewoon niet opdagen of zegt op het laatste moment dat hij het niet gaat doen, en meestal is het excuus dat zijn truck kapot is. Trucks gaan niet 10% van de tijd kapot. Het betekent dat iemand ze een hoger betaalde lading heeft aangeboden. Er zijn carriers die dit de hele tijd doen, en er zijn carriers, ik heb hun data bekeken, die 100, 300 ritten hebben gedaan en praktisch nooit afzeggen. Dus “fall off” is een van de belangrijkste componenten die we gebruiken om kwaliteit te meten, omdat het voor ons superduur is als het gebeurt, want we hebben ons gecommitteerd aan het leveren van een zeer hoogwaardige shipping experience voor de verladers, en dan moeten we op het laatste moment een andere truck vinden om de lading te dekken, en dat is heel duur.
Hugo: Dat is logisch. Is er binnen jullie bedrijf ook nagedacht over de opkomst van zelfrijdende auto’s of zelfrijdende trucks?
Ben: Ja. Ik moet nog zeggen dat er ook andere dingen zijn waar we aan denken qua kwaliteit, zoals-
Hugo: Oh graag, ja.
Ben: Het op-tijd-percentage van de chauffeur, we proberen ze de app te laten gebruiken, is heel belangrijk omdat we daarmee de kosten in compliance en veiligheid kunnen drukken. Dat zijn allemaal hele belangrijke zaken, maar in het specifieke experiment dat ik noemde, was fall off het belangrijkste waar ik me zorgen over maakte. We merken dat als we carriers de app kunnen laten gebruiken, er allerlei goede dingen gebeuren en mogelijk worden. Dus een ander ding dat we als data scientists doen, is heel economisch denken over hoe je de prikkels op het platform structureert om het gedrag te krijgen dat we willen. Een voorbeeld daarvan is: als een carrier de app gebruikt, krijgt hij quick pay. Dat betekent dat we hem dezelfde dag betalen, terwijl de norm in de sector is dat carriers zo’n 30 dagen na de klus betaald krijgen, wat betekent dat ze de vordering meestal verkopen aan een factoringbedrijf en nog eens 3% verliezen. We geven ze dus effectief een loonsverhoging van 3% als ze ... Het is zo’n 2-3% voor de factor. Dus we geven ze 2-3% loonsverhoging als ze de app gebruiken.
Hugo: Ja. Het is een loonsverhoging en het betekent ook dat ze meer liquide middelen hebben, toch?
Ben: Klopt. Ik weet niet hoe het met jou zit, maar als ik werk doe, word ik graag betaald, en als ik 30 dagen moet wachten om betaald te worden, is dat geen prettige ervaring. Ik moet boodschappen doen en huur en fietsonderdelen betalen.
Hugo: En hoe zit het met de opkomst van zelfrijdende auto’s en zelfrijdende trucks? Is dat iets waar jullie bij Convoy actief over nadenken?
Ben: Ja. We denken daar zeker actief over na en ik weet dat de oprichters via hun netwerk daar heel goed op aangesloten zijn en bovenop zitten. Uiteindelijk, wanneer zelfrijdende trucks er zijn, en dat zal waarschijnlijk in fasen gaan met verschillende niveaus van automatisering, zullen ze nog steeds verbonden moeten worden met vracht, en wij hebben een platform dat dat doet. Ons doel is om dat gewoon aan de aanbodzijde van het platform te integreren.
Multidimensionaliteit in data science
Hugo: We hebben het gehad over de impact van data science op trucking, met betrekking tot jouw werk bij Convoy, en we hebben data science vanuit allerlei richtingen benaderd. Het is duidelijk dat veel dingen een rol spelen in deze discipline, en jij hebt een achtergrond als ... Nou ja, je bent computationeel econoom, ex-natuurkundige, en eerder ook research scientist bij Amazon. Hoe spelen al deze disciplines en geschiedenissen mee in jouw rol als data scientist?
Ben: Je kunt nooit te veel tools hebben, en toen ik een jonge natuurkundige was, had ik het geluk om met John Wheeler te werken, en hij zei, naast dat hij Niels Bohr kanaliseerde, altijd: "Quote nooit iets totdat je het antwoord weet." Dit is een beroemde Wheelerism, maar wat hij bedoelt is dat je een gevoel moet hebben voor wat het juiste antwoord is voor je wetenschappelijke probleem. Er is een beroemd voorbeeld met Feynman, waar Feynman binnenkwam en dacht dat hij iets had bewezen en Wheeler zei: je hebt het mis, en Feynman was erg geërgerd want hoe kon Wheeler dit probleem hebben gedaan, Feynman had het net gedaan, dacht hij, voor het eerst. Er zat een fout in Feynmans berekening. Wheelers kennis van de natuurkunde was zo diep dat hij gewoon wist dat het fout moest zijn, het klopte niet. Dus dingen als: als je een experiment doet om lift op je direct mail-campagne te meten en je krijgt 10%, dan is dat waarschijnlijk fout. Je zou niet verwachten dat dat waar is. Natuurkunde is op die manier heel behulpzaam, in termen van vindingrijkheid en het opbouwen van wiskundige vaardigheden, met name lineaire algebra. Ik denk dat lineaire algebra superbelangrijk is voor succes in data science, misschien nog meer dan calculus. Economie gaf me theoretische tools om over bedrijfsproblemen na te denken en econometrische tools om de theorie met data te confronteren. Mijn tijd in software-engineering gaf me de softwarevaardigheden om statistiek in code om te zetten. Overal waar je werkt, doe je hopelijk nieuwe vaardigheden op en leer je. Dat is superbelangrijk voor data scientists. Cultureel leert Amazon ook een heel volwassen manier van nadenken over problemen. Een gevoel van urgentie hebben, gefocust zijn op impact; het is erg zoals in een PhD-programma waar je jezelf regelmatig gedurende de dag de vraag leert te stellen: draagt wat ik nu doe bij aan het afronden van mijn PhD, en als het antwoord nee is, werk je aan het verkeerde.
Hugo: Ik herinner me dat je een geweldige talk gaf, op Data Science Pop-Up Seattle, genaamd Correctness in Data Science. Wat ik er fijn aan vond, is dat je richting gaf aan welke fouten gemaakt worden en wat we als veld kunnen doen om die te corrigeren in termen van het bouwen van een goed gedefinieerde discipline, die op dit moment een vage verzameling van technieken, concepten en toepassingen is. Kun je vertellen wat volgens jou de grootste fouten zijn die je data scientists vandaag ziet maken?
Ben: Ik ben blij dat je die talk leuk vond.
Hugo: Ik vond hem geweldig, en we zetten hem ook in de show notes zodat iedereen die luistert hem kan kijken.
Ben: Top. Allereerst hoop ik dat de kijkers ervan genieten, en ik denk dat de correctheid van wetenschappelijke modellen superbelangrijk is, en veel mensen, vooral als ze net beginnen, denken: oh, mijn code draaide succesvol, hij gaf een getal, het zal wel kloppen. Ho, wacht. Je wilt zeker weten dat dat het juiste getal is. Er is een epistemologisch raamwerk om daarover na te denken, afkomstig uit de nucleaire industrie, genoemd verificatie, validatie en onzekerheidskwantificatie. Ik ben Robert Rosner, mijn postdoc-supervisor en belangrijker nog voormalig directeur van Argonne, dankbaar voor zijn introductie tot VV & UQ. Er zijn grofweg drie onderdelen aan VV & UQ. De eerste V is verificatie. Dat is ervoor zorgen dat je code het model correct implementeert. Of het model correct is, is wat anders. Dat betekent dat je dingen moet doen als unit tests; je kunt ook synthetische data genereren via Monte Carlo-methoden, met bekende parameters, en controleren of je de verwachte resultaten krijgt, en dat soort dingen doen om zeker te weten dat je code correct is. Validatie is zorgen dat je model overeenkomt met de werkelijkheid, dus dingen doen als achteraf experimenten draaien om te zorgen dat je model een accurate representatie van de realiteit is. Onzekerheidskwantificatie gaat over nadenken over de grenzen van je model. Welke aannames heb je gemaakt? Houden die stand? Kan er zoiets als een tsunami opduiken en je kerncentrale uitschakelen? Misschien moet je daarop plannen. Dat zijn basale dingen. Ik vraag BI-engineers graag in interviews hoe ze weten of hun SQL klopt, en ze kijken me meestal aan alsof dat een superrare vraag is. Maar SQL is cruciaal, of wat je ook gebruikt om je data op te halen, want als je een waardeloze dataset samenstelt, wordt niets wat je daarna doet beter. Zelfs als je supergeavanceerde statistiek doet, kun je niet repareren dat je je data niet correct hebt samengesteld. Het is dus belangrijk om heel methodisch te zijn en tijdens het samenstellen van de data te controleren dat het klopt; dus je moet nadenken over join-plannen, het testen op subsets van de data en kijken of aggregaatstaten kloppen en verdelingen passend zijn. Controleer logische dingen zoals dat je geen 10% lift kreeg op je direct mail-campagne. En een ander belangrijk punt is dat modellen in productie gaan en dat betekent dat je mogelijk integratietests of andere tests nodig hebt om te zorgen dat wat in productie staat trouw is aan wat in research is ontwikkeld.
Data science in productie
Hugo: Waar ... Ofwel waar je eerder hebt gewerkt of nu bij Convoy, waar staat een data scientist in termen van het in productie brengen van wat ze bouwen?
Ben: Dat verschilt sterk per organisatie en team. In sommige organisaties of teams doet een data scientist puur onderzoek en gooit het dan over de schutting en engineering doet iets magisch. Dat kan problematisch zijn, er gaat vaak iets verloren in de vertaling. Veel engineers zijn niet blij als je ze R-code geeft. Hopelijk zijn ze blij met Python. Bij Convoy proberen we zo te werken dat data scientists hun model end-to-end bezitten, en dat we een machine learning-platform hebben waarmee we modellen kunnen deployen. We zijn er nog niet helemaal, we hebben nog werk te doen op dat vlak, maar ik denk dat dit voor iedereen beter is, want dan kunnen engineers gewoon een call doen naar de dataservice om het benodigde resultaat te krijgen. Ook de manier waarop we bij Convoy zijn georganiseerd, is erg bevorderlijk voor goede data science: we zijn gegroepeerd in productgroepen die allemaal nauw samenwerken, maar een productgroep bestaat uit een productmanager, één of meer data scientists en een stel engineers. Wat ook geweldig is aan onze productmanagers is dat het allemaal supertechnische mensen zijn. De meesten hebben een master in computer science of gelijkwaardig, een goede MBA, en ze kunnen allemaal SQL schrijven. Er is hier een productmanager, in het interview vroeg ik hem een SQL-vraag met een left outer join, en hij loste die in zo’n 60 seconden op. Ik denk dat hij dit voorbeeld moe is, maar dat is het kaliber PM dat we hier hebben. Ze zijn technisch, data-gericht, ze kunnen SQL schrijven, ze begrijpen statistiek op bachelorniveau, en dat helpt enorm omdat ze pleitbezorgers zijn voor het correct doen van data science. Daarnaast hebben we veel extra sociale dingen om ervoor te zorgen dat data scientists horizontaal blijven verbinden en samenwerken. Zo runnen we een data science brown bag. We hebben technische one-on-ones waar ik met andere data scientists spreek om te zorgen dat ze de goede kant op gaan en technische vragen beantwoord zodat ze niet vastlopen.
Hugo: Ik denk ook dat een technische productmanager, zoals jij zegt, veel voordelen heeft, maar een van de grootste is dat hij echt het gesprek met jou kan voeren, toch?
Ben: Ja. Ze zijn erg toegewijd aan data-gedreven werken. Ze weten dat als ze een plan schrijven voor een nieuwe feature, ze met de data scientist moeten samenwerken om een Stack Overflow-plan of een ander plan te hebben om hun ideeën te verifiëren en te valideren. Ze zijn allemaal pleitbezorgers voor het gebruik van data, en ik denk dat we een superhoge lat hebben voor PM’s, maar het is cruciaal in een organisatie als deze dat ze kunnen meedoen aan het datagesprek, omdat ze vaak onderzoeksvragen aanjagen. Een voorbeeld van hoe data-gedreven ze zijn: Ziad Ismail, de chief product officer. Hij schrijft SQL. Ik bedoel, deze man zit ’s nachts SQL te schrijven om het bedrijf te begrijpen en heeft een even diepe kennis van de data in ons datawarehouse als wie dan ook.
Hugo: Cool. Jijzelf hebt ... moet ik zeggen, een indrukwekkende gereedschapskist aan statistische en econometrische skills en data science-technieken. Wat is je favoriete techniek of methodologie voor data science?
Ben: Goede vraag, en het is een beetje als vragen wat je favoriete vogel is of, weet ik veel, camera. De Britse uitdrukking is geloof ik: how long is a piece of string?
Hugo: En niemand kan dat beantwoorden.
Ben: Toch? Dus ik neig naar ...
Hugo: Ja, waar ben je in geïnteresseerd? Wat vind je leuk?
Ben: ... de beste tool voor de klus gebruiken. Ik kom zeker uit een PhD-programma dat heel sterk was in paneldatamethoden; er waren mensen aan UCL, waar ik studeerde, zoals Richard Blundell en anderen, die veel hebben gedaan om dat verder te brengen. Dus dat is een kracht van mij: paneldatamethoden gebruiken. Maar ik houd ook van veel van de kern-ML-tools. Het hangt echt van het probleem af. Ik wil de beste tool gebruiken. Waar ik het meest blij van word, is niet de tool gebruiken, maar interessante problemen oplossen. Ik ben uiteindelijk een toegepast wetenschapper. Ik heb aan uiteenlopende problemen gewerkt, van kwantumkosmologie tot bio-informatica tot trucking, en meer. Interessante problemen hebben is wat telt en de juiste tool kunnen vinden om ze op te lossen is belangrijk. Naast tool, data en software.
Toekomst van data science
Hugo: We hebben veel gesproken over moderne data science. Hoe ziet de toekomst van data science er volgens jou uit?
Ben: We leven in een geweldige tijd. Als je wiskunde- en statistiekvaardigheden hebt, is er zoveel data die overal explodeert. Ik denk dat we een heel leuke en interessante tijd tegemoet gaan, totdat Elon Musk uitvogelt hoe hij ons allemaal werkloos maakt.
Hugo: Wat gebeurt er tot die tijd?
Ben: Op een gegeven moment zullen er tools komen die veel van de simpele modellen gaan automatiseren. Je begint al bedrijven te zien die commodity-churnmodellen en dergelijke proberen te verkopen, wat problematisch kan zijn omdat uiteindelijk de data van elk bedrijf uniek is en je net zo goed je eigen churnmodel from scratch kunt bouwen. Maar je zult waarschijnlijk meer commodity-modellen zien en meer tools die veel van het laaghangende data science-fruit automatiseren. Dus om een succesvolle en gelukkige carrière te hebben, wil je verder omhoog in de waardeketen, naar dingen die niet vervangen kunnen worden door automatisering zoals geautomatiseerde feature engineering. Bij een eerder bedrijf waar ik werkte, Context Relevant, maakten ze goede progressie met het automatiseren van feature engineering voor een grote klasse problemen.
Hugo: Welke vaardigheden zou je beginnende en zelfs doorgewinterde data scientists aanraden te ontwikkelen om te voorkomen dat hun werk geautomatiseerd wordt?
Ben: Het eerste is: je kunt nooit te veel wiskunde kennen. Dat is echt iets waar het loont om in te investeren, en dat begint op jonge leeftijd. Toen ik lesgaf bij Galvanize, waar ze een data science-bootcamp draaien, kon ik een gebrek aan programmeren in acht weken bijspijkeren. Een gebrek aan wiskunde kan ik niet in acht of twaalf weken bijspijkeren. Dat zijn jaren studie. Investeer dus voortdurend in wiskunde. Daarna moet je de kernalgoritmen beheersen, en blijven lezen. Het is heel belangrijk om te blijven lezen. Veel mensen stoppen met lezen als ze de industrie in gaan, en vooral voor meer gevorderden: kies een specialisatie die past bij je interesses. Experimentatie is iets wat mij bijzonder interesseert, net als Bayesiaanse methoden, en dat zijn allebei dingen waarin ik de afgelopen jaren veel dieper ben gegaan. Ik ken veel mensen die richting deep learning gaan, dat is een zeer competitieve ruimte. Er zijn dus veel andere interessante en belangrijke gebieden in data science. Dus ja hoor, als je richting deep learning wilt gaan, doe dat. Maar ik denk dat er voordeel zit in een beetje contrair zijn.
Call-to-action
Hugo: Dat denk ik ook. Met dat alles gezegd, heb je een laatste call-to-action voor zowel beginnende als gevestigde data scientists?
Ben: Het belangrijkste wat ik zou zeggen tegen iemand die de data science in wil, is te begrijpen dat je jezelf instelt op een leven lang leren en dat het een marathon is, geen sprint. Het is als een PhD doen. Je moet je tempo houden. Dit kan meerdere jaren duren. Blijf dus investeren. Misschien kijk je ’s avonds wat minder Netflix en besteed je wat meer tijd aan het lezen van de relevante boeken en papers, code schrijven, spelen met modellen, en als je die opwinding over data niet voelt, is er misschien ergens anders een plek waar je gelukkiger bent.
Hugo: Blijf dus leren, blijf lezen, blijf doen.
Ben: Ja. Voor mij, en ik denk voor velen in het vak, is data als een Agatha Christie: er zit een mysterie in en ik wil het ontrafelen en oplossen en uitvinden of het Kolonel Mustard was in de woonkamer met een kandelaar.
Hugo: Fantastisch, Ben. Je leeft je data science-leven als detectivefictie.
Ben: Ja. Zoiets.
Hugo: Ongelooflijk. Daar kan ik me erg in vinden, omdat de data blijft geven. Ik heb een collega die ons altijd vertelt dat je naar je data moet luisteren. Ze zal spreken zolang je luistert, toch?
Ben: Klopt. Ik denk ook, ik heb gezien ... Toen je het eerder had over fouten die mensen maken: een fout die ik veel wetenschappers zie maken, is dat ze te snel in modelleren duiken zonder EDA te doen. EDA is de beroemde term van Tukey voor exploratory data analysis. Het is echt de moeite waard om tijd in EDA te investeren, want je ontdekt verrassende dingen. Toen ik bij Convoy begon, deed ik EDA op de data en ik vond een aantal datacleaning- en outlierproblemen die niet waren aangepakt, en we hebben die gefixt en zo’n 10% verbetering in het prijsmodel gekregen. Dat was gratis performance.
Hugo: Veelzeggend. Zoiets als EDA doen, exploratory data analysis, want het is verleidelijk om meteen te gaan modelleren en dat soort dingen, maar ik moedig mensen altijd aan om hun data op 100 verschillende manieren te visualiseren en naar summary statistics te kijken en al dat soort dingen voordat je iets anders doet.
Ben: Klopt. En ik probeer studenten een heel methodische, gestandaardiseerde aanpak te leren, en dat is een van de dingen die ik geweldig vind aan CRISP-DM, de cross-industry standard process for data mining, en het is waarschijnlijk de beste workflow die ik heb gezien voor een data science-project. Het is heel goed om alle stappen te doorlopen zodat je niets overslaat. Je begint met het begrijpen van het businessprobleem, dan begrijpen welke data je hebt. Bereid je data voor. Modelleer, evalueer en zet live. En op elk moment kun je iets vinden waardoor je een stap terug moet naar een eerdere stap. Dus je begint met modelleren en beseft: oh, mijn feature engineering klopte niet, of ik moet een feature toevoegen om een kernachtig gedrag te vangen waar het model faalt. Het is heel goed om zo systematisch te zijn zodat je geen werk dubbel doet of stappen mist, en uiteindelijk, qua correctheid, waar we het ook over hadden, zou ik CRISP-DM en VV & UQ graag willen combineren, en dan zit je in een heel krachtige, professionele en volwassen setup.
Hugo: Fantastisch. Dat spreekt echt tot een systematische structuur voor wat toekomstige data science zou kunnen zijn of omvatten.
Ben: Klopt. En een ander deel daarvan is: modelleren is het leuke deel, en het antwoord vinden, maar wat eraan voorafgaat is superbelangrijk en neemt ongeveer 80% van je tijd in beslag. Die data schoonmaken, voorbereiden. Dan is het modelleren vrij snel en is het even een piek en dan: boem, waar is het heen? Ik ben weer terug bij normaal. Ik denk dat we meer tools zullen zien die die pre-modelleringsfase sneller maken, want daar ga je je grote productiviteitswinst halen, als je in die fase sneller kunt worden. Dat is dus een goede plek om te investeren. Je moet dingen als UNIX leren en heel goed worden in het gebruik van alle commandlinetools en andere technologie of platforms die je helpen je data sneller klaar te maken om te modelleren.
Hugo: Precies. Ben, het was een groot plezier je in de show te hebben.
Ben: Dank je, Hugo. Het was een genoegen om hier te zijn en ik wens je veel succes met de show.
Hugo: Dank je.
