Toen ik onlangs DataCamp's carrièreroute Data Scientist met Python afrondde, voelde ik me klaar om echte data-uitdagingen aan te gaan, maar zo simpel is het niet. Cursussen volgen op DataCamp of aan een universiteit is slechts de eerste stap op een lange weg naar data scientist worden. De vaardigheden die je hebt geleerd, moeten worden geoefend, ontwikkeld en omgezet in een portfolio waarmee je kunt laten zien wat je kunt en potentiële werkgevers kunt overtuigen dat jij een aanwinst voor hun team bent.
Maar hoe kom je daar?
Het is één ding om wat tools in je gereedschapskist te hebben en een redelijk idee te hebben hoe je ze gebruikt, maar echt beginnen kan een flinke opgave zijn.
Dus hoe begin je?
Dit artikel gaat niet over de code die je zou schrijven, maar over het proces waar je doorheen gaat. Ik probeer de bovenstaande vraag te beantwoorden vanuit mijn ervaring in het Amerikaanse leger.
Civil Affairs en Civil Information Management
Voordat ik aan mijn pad richting Data Scientist begon, heb ik twintig jaar in het Amerikaanse leger gezeten, waarvan de laatste vijf bij de Civil Affairs-tak van de US Army Reserve. Civil Affairs is, kort gezegd, de tak van het leger die verantwoordelijk is voor het stabiliseren van een regio na een ramp of conflict. Ze worden ingezet bij situaties variërend van de ebola-uitbraak in de Hoorn van Afrika van 2014 tot 2016 tot rampenbestrijding na orkaan Katrina. Ze worden ook veel ingezet tijdens conflicten zoals de oorlog in Irak. Hun missie is om een regio terug te brengen naar wat "het normale leven" was voordat de ramp toesloeg.
Nu vraag je je misschien af: wat heeft dit met data scientists te maken?
Civil Affairs draait om informatie. Oftewel: data. Om een regio terug te brengen naar normaal, moeten ze weten wat normaal was, en of normaal voldoende is om een regio stabiel te maken. De bevolking van een regio vindt het misschien normaal om geen onderwijssysteem, veiligheid of zelfs schoon drinkwater te hebben. Beslissingen nemen over wat een regio nodig heeft om stabiel te zijn, vereist enorme hoeveelheden data die moeten worden verzameld, geanalyseerd en in handen van de besluitvormers terecht moeten komen.
Besluitvormers in Civil Affairs zijn wat je in het bedrijfsleven ‘upper management’ zou noemen. Het zijn hoge militaire en overheidsfunctionarissen, leiders van organisaties als het Rode Kruis en de Wereldgezondheidsorganisatie, die uiteindelijk bepalen waar geld, inzet en tijd naartoe gaan. Hun beslissingen zijn sterk gebaseerd op de resultaten van goede informatie die wordt verzameld via een proces dat bekendstaat als Civil Information Management (CIM).
Mijn tijd bij Civil Affairs bracht ik door als leider van een CIM-team, waar ik het CIM-proces aan andere eenheden binnen Civil Affairs onderwees en de technieken verbeterde die we voor dit proces gebruikten. Ik werd algemeen gezien als inhoudsexpert op het gebied van CIM, en ik kan je vertellen dat het niet alleen voor het leger is. De data die we gebruikten was niet geclassificeerd. Ze moest bruikbaar zijn voor het leger, de lokale overheid, FEMA en organisaties als het Rode Kruis en de WHO.
Het CIM-proces dat we gebruikten om die informatie te verzamelen, analyseren en verspreiden, is toepasbaar op data science en voor zover ik op DataCamp heb gezien, wordt het overal gebruikt, alleen niet altijd onder die naam.
Data science gaat verder dan de command line of een Jupyter Notebook. Als je met een dataset werkt, is er bijna altijd een einddoel en een klant. Werk je uit nieuwsgierigheid of om vaardigheden te oefenen met een dataset, dan ben jij zelf de klant. De klant kan je blogpubliek zijn, collega’s op het werk, je leidinggevende of een betalende opdrachtgever.
Als je accepteert dat er altijd een klant is, dan moet je ook accepteren dat er altijd een product moet zijn, en dat product moet de allesbepalende “vraag” beantwoorden.
De Vraag
Voordat je in het zespuntige CIM-proces duikt, moet je weten wat “De Vraag” is. Simpel gezegd: het is de reden waarom je de analyse doet.
In Intro to Python for Data Science is de vraag bijvoorbeeld: “Wat is de mediane lengte van keepers in FIFA?”. In Kaggle’s Titanic Competition is de vraag: “Welk type persoon had de grootste kans om de ondergang van de Titanic te overleven?”.
Er is altijd een vraag, en vaak zijn er meerdere vragen die beantwoord moeten worden. Nu je weet wat “De Vraag” is, kun je aan het proces beginnen.
Het CIM-proces
Verzameling
Zonder data valt er niets te analyseren en is er eigenlijk geen reden voor een data scientist. De datasets die op DataCamp, Kaggle, Driven Data en Data.gov worden gebruikt, moesten allemaal verzameld worden. Er is vrijwel onbeperkt veel data beschikbaar op internet en veel van die verzameling kan worden geautomatiseerd via webscraping of andere geautomatiseerde technieken. Toen ik nog bij Civil Affairs zat, vertrouwde ik sterk op de CIA World Factbook, censusgegevens en Google Maps.
Zo makkelijk is het echter niet altijd.
In november 2016 werd de plaats Gatlinburg, TN getroffen door een verwoestende natuurbrand die meer dan 2.500 huizen en bedrijven in de as legde. Destijds was ik ingedeeld bij een Civil Affairs-eenheid in het nabijgelegen Knoxville, TN en werden we gevraagd om te helpen de schade in te schatten. Het gebied rond Gatlinburg is landelijk en bergachtig, met huizen die verspreid in de bergen liggen, en het is bijna onmogelijk om kaarten up-to-date te houden. De enige manier om data te verzamelen over welke gebouwen nog overeind stonden, was handmatig. Samen met lokale vrijwilligers en overheidsinstanties splitsten we ons op in teams en reden of liepen we die landweggetjes af om huizen te vinden. Elk gebouw dat we tegenkwamen, markeerden we op de kaart en we noteerden hoe beschadigd het was. Die data werd vervolgens doorgestuurd om door lokale instanties te worden samengevoegd.
Een ander goed voorbeeld van handmatige dataverzameling is de Scandens Beak Depth Heredity-dataset, die werd gebruikt in Statistical Thinking in Python Part 2. Die data is afkomstig uit meer dan 40 jaar aan persoonlijke waarnemingen!
Ik weet zeker dat jij niet zo ver hoeft te gaan om wat data te vinden om mee te werken. Je kunt beginnen met de datasets die aan het begin van elke DataCamp-cursus worden aangeboden, en als daar niets bij zit wat je aanspreekt, kun je de hierboven genoemde bronnen bekijken of simpelweg via Google zoeken naar de data die je zoekt.
Samenvoeging
Het is een geweldig gevoel als je een dataset vindt met alle informatie die je zoekt, netjes verpakt. Helaas is dat eerder uitzondering dan regel. Meestal vind je je data in losse stukken die samengebracht moeten worden.
Samenvoeging is het moment waarop data vanuit zijn ruwe vorm wordt georganiseerd tot een gegevensverzameling waar je mee kunt werken.
Hoewel veel van de eerste data in Civil Affairs uit internetbronnen komt, is dat een kleine minderheid. Het overgrote deel komt van mensen ter plaatse. Civil Affairs-teams gaan een gebied in, maken foto’s, interviewen de lokale bevolking en beoordelen lokale gebouwen zoals luchthavens, scholen, politiebureaus en energiecentrales. Al die data komt terug in schriftelijke rapporten die moeten worden samengevoegd tot bruikbare informatie. Ik was niet betrokken bij het samenvoegen van de data die werd verzameld na de natuurbranden waar ik eerder over sprak, maar al die met de hand gemarkeerde kaarten moesten worden samengevoegd tot één bron met de coördinaten, toestand en een beschrijving van elk onderzocht object.
Als beginnende Data Scientist is samenvoeging volgens mij het punt waarop de meesten van ons voor het eerst echt met data aan de slag gaan.
Neem bijvoorbeeld de data van Scandens Beak Depth Heredity. Elk dagrapport moest worden samengevoegd tot een week- of maandrapport, vervolgens tot een jaarrapport en uiteindelijk tot één dataset die 40 jaar aan data vertegenwoordigt.
Goede samenvoeging kan later veel werk besparen, omdat het je de kans biedt om de data gaandeweg op te schonen en in de juiste categorieën te plaatsen, waardoor je er verderop makkelijker mee kunt werken. Technieken als merge, join en append bewijzen hier hun waarde.
Verwerking
Laten we eerlijk zijn: zelfs als we een verzamelde, samengevoegde dataset vinden met alle informatie die we zoeken, is die waarschijnlijk rommelig en toe aan opschonen. Verwerking is waar we “data” omzetten in een bruikbare vorm die klaar is voor analyse. In Civil Affairs bracht ik veel tijd door met het verzamelen en samenvoegen van data, maar tijdens de verwerking leerde ik de data echt kennen en begon ik mijn analyseplan te vormen.
In het CIM-team deed ik veel zogenoemde ‘gebiedsbeoordelingen’. Dat is simpelweg een eerste analyse van een bepaald gebied, nog voordat we er ter plekke zijn, die een idee geeft van welke kwesties we daar mogelijk moeten prioriteren. Nadat alle relevante data over het gebied is verzameld en samengevoegd, wordt die al vóór de analyse verwerkt tot bruikbare informatie. Het resultaat is meestal een Excel-werkmap of database met schone, gecategoriseerde informatie die kan worden doorzocht of gefilterd om basisvragen te beantwoorden waarvoor geen volledige analyse nodig is.
In data science is dit het punt waarop we de data opschonen en verkennen en de Exploratory Data Analysis uitvoeren. Je kunt jezelf later in de analyse veel werk besparen als je de data goed categoriseert en labelt en zorgt dat het het juiste ‘type’ data is. Je legt de basis voor een goede analyse door de data zorgvuldig correct te verwerken.
Analyse
Terug naar mijn gebiedsbeoordeling van eerder: het is fijn om een dataset te hebben waar ik vragen op kan stellen en antwoorden uit kan halen. Ik kan achterhalen hoeveel artsen er in het gebied zijn, of hoeveel gallons schoon drinkwater per persoon per jaar beschikbaar is. Dit is belangrijke informatie, maar het is nog geen analyse. De analyse zou vragen beantwoorden als: “Hoe verhoudt het gebied zich tot de omliggende regio op het gebied van overheid, economie, infrastructuur, veiligheid en zorg?” en “Bij het huidige verbruik: hoe lang duurt het voordat het gebied door de voorraad schoon drinkwater heen is?”.
Analyse is de kern van wat de meesten van ons waarschijnlijk bij DataCamp zijn komen doen, het is wat ik het leukst vind, en hier beantwoorden we die allesbepalende vraag. Het is ook een onderwerp dat in bijna elke DataCamp-cursus uitgebreid wordt behandeld, dus ik ga er niet te diep op in. Het belangrijkste bij analyse is werken met de data en er conclusies uit trekken.
Productie
Terug naar de natuurbrand in Gatlinburg. Zodra alle data is verzameld, samengevoegd en verwerkt tot een database met de coördinaten van elk gebouw, de huidige staat en een beschrijving van de schade, stellen we vast dat 60% van alle gebouwen in het getroffen gebied onherstelbaar beschadigd is. We hebben de vraag beantwoord: “Hoe groot is het deel van de omgeving dat door de brand is getroffen?”.
We kunnen nog een stap verder gaan en de waarde van elk beschadigd gebouw bepalen en zo de totale heropbouwkosten van het hele gebied berekenen, uitgesplitst per buurt en straat. We zouden zelfs kunnen bepalen welke buurten het zwaarst zijn getroffen, zodat we weten waar we de wederopbouw moeten prioriteren.
De analyse is geweldig, maar die is weinig waard als die niet wordt omgezet in een product, en dát is waar de productiefase van het CIM-proces om draait. Elke stap tot nu toe heeft hiernaartoe gewerkt: hier bouw je dat pronkstuk, het ding dat je met de klant gaat delen.
Het is de bekroning van alles wat je met de data hebt gedaan. Het product kan de vorm hebben van een Jupyter Notebook, een spreadsheet met tabellen en grafieken, een webpagina, een pdf-bestand of broncode. Andere ideeën zijn een livepresentatie, een videopresentatie waarin je de analyse doorloopt, of een slideshow met Sway of PowerPoint. Wat je ook kiest, het moet aansluiten op de behoeften van de klant. Er zijn nog wat extra eisen:
- Wees duidelijk, beknopt en goed te begrijpen voor de klant.
- Vertel het verhaal en zorg dat het logisch is voor de klant.
- Stem af op het technische en opleidingsniveau van de klant.
Distributie
Distributie is de laatste stap in het CIM-proces en klinkt op het eerste gezicht vrij eenvoudig: zorg gewoon dat het product bij de klant komt. Maar als je er even over nadenkt, is dit waarschijnlijk de belangrijkste stap van het hele proces. Toen ik bij het CIM-team zat, maakten we meestal pdf’s, PowerPoint-slides of Excel-rapporten op basis van onze analyse. Waarom die middelen? Ze zijn allemaal toegankelijk, gebruiksvriendelijk en draagbaar, en vrijwel iedereen kan ermee uit de voeten.
Met de vaardigheden die ik nu heb, had ik interactieve webpagina’s kunnen maken met rapporten, Bokeh-grafieken met schuifregelaars en filters, en interactieve kaarten. Dat zou een complex, dynamisch product zijn dat bijna iedereen kan gebruiken, omdat het allemaal verpakt is in een webpagina. Hoe goed het eindproduct ook is, het heeft geen waarde als het niet op een manier bij de klant terechtkomt die:
- Toegankelijk is: omdat je met informatie werkt, moet die toegankelijk zijn voor de klant(en). Het product ergens ‘verstoppen’ waar de beoogde doelgroep er niet bij kan, maakt het lastig te gebruiken en zorgt ervoor dat het snel wordt vergeten.
- Gebruiksvriendelijk is: je gekozen leveringsmethode moet makkelijk te gebruiken zijn voor de grote meerderheid van de klanten aan wie je levert. Een Python-script aan een groep collega-data scientists leveren kan prima zijn, maar datzelfde script sturen naar iemand die niet weet hoe je "
data_analysis.py" uitvoert, valt waarschijnlijk niet in goede aarde. - Draagbaar is: laten we eerlijk zijn, we consumeren steeds meer informatie op mobiele apparaten. Het is zeldzaam dat we de tijd hebben om achter een bureau grote lappen informatie te verwerken. Dataproducten moeten draagbaar zijn, via Office-applicaties zoals PowerPoint en Excel, via pdf’s of via internet.
Er zijn talloze distributiemethoden beschikbaar voor iedereen die dit leest, en ik kan ze onmogelijk allemaal noemen. Hoe je je product verspreidt, vergt keuzes. Vraag jezelf altijd af: “Hoe krijg ik dit product bij de klant op een manier die het beste past bij hun behoefte aan toegankelijkheid, gebruiksgemak en draagbaarheid?”
Dat gezegd hebbende: als je een portfolio opbouwt, zijn Github, Anaconda Cloud, persoonlijke webpagina’s en blogs en sociale media uitstekende plekken om te beginnen. Wees niet bang om je werk te delen met gelijkgestemden.
Tot slot
Als je met data bezig bent, gebruik je waarschijnlijk al enkele van de stappen die ik heb genoemd. Hoewel je misschien niet persoonlijk bij alle zes de stappen betrokken bent, heb je nu een beter begrip ervan en van één manier om ruwe data om te zetten in een eindproduct. Het lijkt misschien vreemd om militaire procedures te bespreken voor data science, maar die zes stappen hebben me zowel in het leger als in corporate America goed gediend, en ik hoop dat ze jou ook helpen op je weg naar data scientist.
