Motivatie
In 2012 riep Harvard Business Review data scientist uit tot de meest sexy baan van de 21e eeuw. Sindsdien is de term data scientist steeds populairder geworden.
De bovenstaande afbeelding toont de interesse in het zoekwoord “data science” op Google Search van 2016 tot 2021. We zien dat de interesse in data science de afgelopen vijf jaar gestaag is toegenomen.
Data scientist is niet alleen een goedbetaalde rol, het stelt je ook in staat een breed scala aan vaardigheden te gebruiken, interessante inzichten uit echte data te halen en met je analyses impact te maken op de samenleving. Het is dus logisch dat het werd uitgeroepen tot de meest sexy baan van de 21e eeuw.
Voordat je echter op een data science-functie solliciteert, is het de moeite waard om de kenmerken en achtergrond van data scientists te analyseren. Als je hun achtergronden en vaardigheden kent, beschik je over de informatie die je nodig hebt om jezelf uit te rusten met relevante skills en zo op te vallen tussen andere kandidaten.
Een paar interessante vragen om te onderzoeken:
- Welke vaardigheden hebben de meeste data scientists?
- Hoe verschillen deze skills van die van andere titels, zoals machine learning engineer, data analyst en data engineer?
- Wat zijn de meest populaire studierichtingen?
- Heb je een master of PhD nodig om data scientist te worden?
- Wat zijn de percentages mannen en vrouwen in het data science-veld?
- Waar bevinden zich de meeste data science-banen?
- Hoe verandert de populariteit van verschillende data-gerelateerde banen in de tijd?
- Hoe veranderen de skills voor data scientists in de tijd?
Haal de data op
We gebruiken de data van meer dan 160.000 data scientists, 570.000 data-analisten, meer dan 100.000 data engineers en meer dan 19.000 machine learning engineers van over de hele wereld. De datasets zijn afkomstig van Diffbot, ’s werelds grootste knowledge graph. Meer instructies over het gebruik van Diffbot vind je hier.
Om het artikel makkelijker te volgen, is alle data die in dit artikel wordt gebruikt geüpload naar deze repository. Alles is gratis te bekijken en te downloaden.
De notebook met de code van dit artikel vind je hier. Wil je de data direct uit Diffbot halen, dan kun je in plaats daarvan met deze notebook aan de slag.
Vind de populairste talen
Wat zijn de topvaardigheden voor data scientists, data-analisten, data engineers en machine learning engineers? Die vraag kunnen we beantwoorden met de data met de 100 populairste skills van mensen met deze functietitels.
import pandas as pd
skill_count = pd.read_csv(
"https://media.githubusercontent.com/media/khuyentran1401/dataset/master/data_science_market/all_skills.csv",
index_col=0,
)
# Show the top 10 rows
skill_count.head(10)
We gebruiken deze dataset om de populariteit van verschillende programmeertalen binnen een bepaalde data-gerelateerde functie te analyseren. We visualiseren de dataset met een bubble matrix die is gemaakt op Observable.
Een bubble matrix gebruikt groottes en kleuren om tweedimensionale informatie weer te geven. De rijen staan voor de functietitels en de kolommen voor de talen. Hoe groter een bubbel, hoe vaker de taal wordt gebruikt binnen een bepaalde functiecategorie.
Om de grootte van de bubbels te bepalen, berekenen we de verhouding tussen de frequentie van een taal en de maximale frequentie over alle talen en posities.
languages = skill_count[
skill_count["skill"].isin(
["python", "r", "sql", "c", "c++", "matlab", "java", "javascript"]
)
]
languages["Ratio to All Skills"] = languages["count"].apply(
lambda c: c / max(skill_count["count"])
)
# View languages used by data analysts
languages[languages["Title"] == "Data Analyst"]
De bubbels worden gemarkeerd als ze boven een bepaald aantal voorkomens liggen. Met de schuifregelaar kun je de drempel kiezen waarboven de bubbels worden gemarkeerd. Kies je bijvoorbeeld een drempel van 100.000, dan worden alleen de bubbels met een aantal boven 100.000 donkerpaars gekleurd.
Een andere leuke optie met deze plot is dat je de bubbels kunt sorteren op functietitel. Laten we deze functie gebruiken om de topvaardigheden per functietitel te vinden.
Je kunt hier met de plot interacteren. Op basis van deze plot zien we dat:
- De top drie skills van data-analisten in aflopende volgorde SQL, Python en R zijn
- De top drie skills van data engineers in aflopende volgorde SQL, Python en Java zijn
- De top drie skills van data scientists in aflopende volgorde Python, R en SQL zijn
- De top drie skills van machine learning engineers in aflopende volgorde Python, Java en C++ zijn
Onderwijs analyseren
De populairste studierichtingen
Wat zijn de populairste studierichtingen binnen data-gerelateerde functies? Om deze vraag te beantwoorden, downloaden we de data die de frequentie van de topstudierichtingen per functie laat zien.
!wget 'majors_df.pkl' 'https://github.com/khuyentran1401/dataset/raw/master/data_science_market/majors_df.pkl'
import pickle
majors_df = pickle.load(open("majors_df.pkl", "rb"))
majors_df["data scientist"]
Laten we deze dataset visualiseren om er beter inzicht in te krijgen. Begin met het definiëren van een functie om de studierichtingen van een functie te visualiseren.
import plotly.express as px
def plot_majors(title: str, majors_df: dict):
majors = majors_df[title]
return px.bar(data_frame=majors, x="name", y="value")
De topstudierichtingen van data scientists:
plot_majors('data scientist', majors_df)
Interactie met de plot kan hier. Omdat veel data science-functies kennis van programmeren en wiskunde vereisen, is het niet verrassend dat de twee populairste studierichtingen voor data scientists computerwetenschappen en wiskunde zijn.
De topstudierichtingen van data engineers:
plot_majors('data engineer', majors_df)
Interactie met de plot kan hier. Omdat het werk van data engineers kennis van verschillende technologieën en programmeertalen vereist, is het logisch dat de meerderheid van de data engineers afstudeerde in computerwetenschappen en informatietechnologie in plaats van wiskunde.
De topstudierichtingen van data-analisten:
plot_majors('data analyst', majors_df)
Interactie met de plot kan hier. De top drie studierichtingen van data-analisten zijn bedrijfskunde, computerwetenschappen en economie. Dit resultaat is logisch, omdat het werk van data-analisten draait om het interpreteren van data.
De topstudierichtingen van machine learning engineers:
plot_majors('machine learning engineer', majors_df)
Interactie met de plot kan hier. We kunnen ook de circle packing-plot gebruiken om de verschillen in studierichtingen van verschillende functies te bekijken.
Je kunt hierboven met de plot interacteren hier.
Graden analyseren
Je ziet misschien veel vacatureteksten voor data scientist-functies waarin een master of PhD wordt gevraagd. Maar hoeveel data scientists hebben daadwerkelijk een master of PhD?
Laten we die vraag beantwoorden door de data te downloaden die het aantal van een bepaalde graad per functie laat zien.
degree_df = pd.read_csv(
"https://media.githubusercontent.com/media/khuyentran1401/dataset/master/data_science_market/degrees.csv"
)
degree_df.head(10)
We zien dat de graden bestaan uit:
- Voortgezet onderwijs
- Associate’s
- Bachelor
- Master
- Ph.D.
- Certificaat
Laten we de data visualiseren met de bubble matrix.
Je kunt hier met de plot spelen. Uit de plot blijkt dat de populairste graad onder alle data-gerelateerde functies een bachelor is. Dat is logisch, aangezien voor de meeste data-gerelateerde banen minimaal een bachelor vereist is, en mensen met een master of PhD ook een bachelor hebben.
Zo ziet de data eruit met een gegroepeerde staafdiagram.
Het is opmerkelijk dat het aantal data-analisten met een bachelor bijna twee keer zo groot is als het aantal data-analisten met een master. Bij data scientists is het aantal met een bachelor echter ongeveer gelijk aan het aantal met een master.
Dit betekent dat het percentage data scientists dat verder studeert hoger is dan het percentage data-analisten dat na het behalen van een bachelor een hogere graad nastreeft.
Geslacht analyseren
Wat is de verhouding tussen mannen en vrouwen in data-gerelateerde rollen? Laten we die vraag beantwoorden met de data die het aantal mannen en vrouwen per functie laat zien.
gender_df = pd.read_csv(
"https://media.githubusercontent.com/media/khuyentran1401/dataset/master/data_science_market/genders.csv"
)
gender_df.head(10)
Vervolgens visualiseren we de data met een gegroepeerde staafdiagram.
Uit de plot blijkt dat:
- In alle data-gerelateerde banen behalve data entry zijn er meer mannen dan vrouwen.
- Het aantal mannen is bijna het dubbele van het aantal vrouwen in rollen zoals data-analist en statisticus.
- Het aantal mannen is meer dan het dubbele van het aantal vrouwen in rollen zoals data scientist, data engineer en machine learning engineer.
Locaties analyseren
De populairste staten voor data scientists in de VS
Wat zijn de populairste staten voor data scientists? Laten we beginnen met het ophalen van de data met het aantal data scientists per staat.
state_jobs = pd.read_csv(
"https://media.githubusercontent.com/media/khuyentran1401/dataset/master/data_science_market/state_jobs.csv"
)
state_jobs.head(10)
Vervolgens plotten we de data met folium, een Python-bibliotheek om kaarten te maken.
state_geo = "https://raw.githubusercontent.com/python-visualization/folium/master/examples/data/us-states.json"
m = folium.Map(location=[48, -102], zoom_start=3)
folium.Choropleth(
geo_data=state_geo,
name="choropleth",
data=state_jobs,
columns=["state", "count"],
key_on="feature.id",
fill_color="YlGn",
fill_opacity=0.7,
line_opacity=0.2,
legend_name="Number of Data Science Jobs",
).add_to(m)
folium.LayerControl().add_to(m)
m
Je kunt hier met de kaart interacteren. Uit de kaart blijkt dat de staat met het hoogste aantal data scientists Californië is. De tweede, derde en vierde staat zijn respectievelijk New York, Massachusetts en Texas.
De 25 populairste landen ter wereld voor data scientists
Wat zijn de 25 populairste landen voor data scientists? Begin met het downloaden en laden van de data die het aantal data scientists per land laat zien:
!wget 'countries.pkl' 'https://github.com/khuyentran1401/dataset/raw/master/data_science_market/countries.pkl'
countries = pickle.load(open("countries.pkl", "rb"))
Vervolgens plotten we de top 25 landen voor data scientists:
def plot_top_25_locations(title: str, locations: dict):
data = locations[title]
return px.bar(data_frame=data, x="location", y="count")
plot_top_25_locations("data scientist", countries)
Interactie met de bovenstaande plot kan hier. De vijf populairste landen voor data scientists zijn:
- Verenigde Staten
- India
- Frankrijk
- Verenigd Koninkrijk
- Duitsland
De 25 populairste steden ter wereld voor data scientists
Wat zijn de 25 populairste steden voor data scientists? We downloaden de data met het aantal data scientists per stad:
!wget 'cities.pkl' 'https://github.com/khuyentran1401/dataset/raw/master/data_science_market/cities.pkl'
cities = pickle.load(open("cities.pkl", "rb"))
De plot van de top 25 steden voor data scientists:
Interactie met de bovenstaande plot kan hier. Uit de plot blijkt dat de vijf populairste steden voor data scientists zijn:
- San Francisco
- Bengaluru
- Londen
- Parijs
- New York City
De populairste titels voor data scientists
Er zijn allerlei titels gerelateerd aan de rol van data scientist, zoals senior data scientist, junior data scientist, data scientist-stagiair en andere. Zou het niet mooi zijn als we konden zien hoe populair elk van deze titels is?
We beginnen met het ophalen van de data met het aantal van alle titels die gerelateerd zijn aan data scientist:
!wget "top_titles.pkl" "https://github.com/khuyentran1401/dataset/raw/master/data_science_market/top_titles.pkl"
top_titles = pickle.load(open("top_titles.pkl", "rb"))
top_titles["data scientist"]
De staafgrafiek van de top titels gerelateerd aan data scientist:
Interactie met de bovenstaande plot kan hier. We kunnen ook de circle packing-plot gebruiken om de variatie in titels van enkele data-gerelateerde functies te visualiseren.
Je kunt zelf met de plot interacteren hier.
Industrietrends analyseren
Trefwoorden
Hoe is de interesse in het trefwoord data scientist op Google Search in de tijd veranderd? We kunnen die data ophalen met pytrends en vervolgens de data plotten met Plotly Express:
from pytrends.request import TrendReq
def plot_keyword_trend(title: str):
pytrends = TrendReq(hl="en-US", tz=360)
pytrends.build_payload(kw_list=[title])
df = pytrends.interest_over_time()
return px.line(data_frame=df, y=title)
plot_keyword_trend("data scientist")
Interactie met de plot kan hier. Het lijkt erop dat de interesse in het trefwoord data scientist lineair toeneemt van 2016 tot 2021.
De verandering in aantallen functies in de tijd
Hoe zijn de aantallen functies in de tijd veranderd? Dat kunnen we achterhalen met de data die de verandering in aantal volledige functies in de tijd toont.
dates_df = pd.read_csv(
"https://media.githubusercontent.com/media/khuyentran1401/dataset/master/data_science_market/dates.csv",
index_col=0)
dates_df.head(10)
De eerste rij in de data laat zien dat er in 1988 40 data scientists aan het werk waren. De tweede rij laat zien dat er in 1989 52 data scientists aan het werk waren.
De lijngrafiek van de bovenstaande data:
px.line(dates_df, x="date", y="value", color="name")
Interactie met de bovenstaande plot kan hier. Enkele belangrijke inzichten uit de bovenstaande plot:
- Het aantal statistici is in de tijd stabiel.
- Voor 2010 is data entry de populairste baan onder alle data-gerelateerde functies.
- In 2010 nam data-analist het over van data entry.
- In 2013 haalden de rollen data scientist, data-analist en data engineer allemaal de statisticus in, waarbij data scientist exponentieel groeide terwijl handmatige data-invoer veel minder belangrijk werd,
- In 2019 haalde de rol machine learning engineer eindelijk de statisticus in.
Laten we de bar chart race gebruiken om de verandering in rangorde van verschillende data-gerelateerde functies te zien:
Best gaaf! Met deze grafiek zien we het exacte moment waarop de rangorde veranderde. Je kunt de grafiek zelf visualiseren hier.
De verandering in aantal skills in de tijd
Hoe zijn de frequenties van de topvaardigheden voor data scientists in de tijd veranderd? Laten we dat bekijken met de data die het aantal skills in de tijd laat zien.
skills_df = pd.read_csv(
"https://media.githubusercontent.com/media/khuyentran1401/dataset/master/data_science_market/skills_over_time.csv",
index_col=0,
)
skills_df.head(10)
Vervolgens maken we met de bovenstaande data een bar chart race:
We zien dat vóór 2014 lesgeven en economie de twee populairste skills onder data scientists waren. Na 2014 haalde Python die twee echter in en werd het de meest populaire skill.
Conclusie
Klaar om je professionele data science-skills te laten zien? Bekijk het certificeringsprogramma en de carrièreservices van DataCamp om je droombaan in data science te bemachtigen.
