Motivazione
Nel 2012, Harvard Business Review ha dichiarato che il data scientist era il lavoro più sexy del XXI secolo. Da allora, il termine data scientist è diventato sempre più popolare.
L’immagine sopra mostra l’interesse per la keyword “data science” su Google Search dal 2016 al 2021. Possiamo vedere che l’interesse per la data science è aumentato costantemente negli ultimi cinque anni.
Oltre a essere un ruolo ben retribuito, il data scientist ti permette anche di utilizzare una varietà di competenze, estrarre insight interessanti da dati reali e avere un impatto sulla società attraverso le tue analisi. Dunque, ha senso che sia stato dichiarato il lavoro più sexy del XXI secolo.
Tuttavia, prima di candidarti per un lavoro in data science, vale la pena analizzare le caratteristiche e il background dei data scientist. Conoscere il loro percorso e le loro competenze ti darà le informazioni necessarie per dotarti delle skill più rilevanti e distinguerti tra i candidati.
Alcune domande interessanti da analizzare sono:
- Quali competenze possiedono la maggior parte dei data scientist?
- In cosa queste competenze differiscono da quelle di altri ruoli come machine learning engineer, data analyst e data engineer?
- Quali sono le lauree più popolari?
- Serve una laurea magistrale o un dottorato per diventare data scientist?
- Qual è la percentuale di uomini e donne nel campo della data science?
- Dove si trovano la maggior parte dei lavori in data science?
- Come cambia nel tempo la popolarità dei diversi lavori legati ai dati?
- Come cambiano nel tempo le competenze dei data scientist?
Ottieni i dati
Useremo i dati di oltre 160.000 data scientist, 570.000 data analyst, più di 100.000 data engineer e oltre 19.000 machine learning engineer provenienti da tutto il mondo. I dataset sono estratti da Diffbot, il più grande knowledge graph al mondo. Trovi ulteriori istruzioni su come utilizzare Diffbot qui.
Per facilitare la lettura dell’articolo, tutti i dati usati sono caricati in questo repository. Sono tutti liberamente accessibili e scaricabili.
Il notebook con il codice di questo articolo si trova qui. Se vuoi ottenere i dati direttamente da Diffbot, puoi usare invece questo notebook.
Trova i linguaggi più popolari
Quali sono le principali competenze per data scientist, data analyst, data engineer e machine learning engineer? Possiamo rispondere usando i dati che includono le 100 competenze più diffuse tra le persone con questi titoli.
import pandas as pd
skill_count = pd.read_csv(
"https://media.githubusercontent.com/media/khuyentran1401/dataset/master/data_science_market/all_skills.csv",
index_col=0,
)
# Show the top 10 rows
skill_count.head(10)
Useremo questo dataset per analizzare la popolarità dei diversi linguaggi di programmazione in un determinato ruolo legato ai dati. Visualizzeremo il dataset con una bubble matrix creata su Observable.
Una bubble matrix utilizza dimensioni e colori per rappresentare informazioni bidimensionali. Le righe rappresentano i titoli di lavoro e le colonne i linguaggi. Più grande è una bolla, più frequentemente il linguaggio è usato in una certa categoria di lavoro.
Per creare la dimensione delle bolle, calcoleremo il rapporto tra la frequenza di un linguaggio e la frequenza massima tra tutti i linguaggi e posizioni.
languages = skill_count[
skill_count["skill"].isin(
["python", "r", "sql", "c", "c++", "matlab", "java", "javascript"]
)
]
languages["Ratio to All Skills"] = languages["count"].apply(
lambda c: c / max(skill_count["count"])
)
# View languages used by data analysts
languages[languages["Title"] == "Data Analyst"]
Le bolle sono evidenziate se superano un certo numero di occorrenze. Possiamo usare lo slider per scegliere la soglia oltre la quale le bolle sono evidenziate. Ad esempio, se scegliamo 100.000 come soglia, solo le bolle con un conteggio superiore a 100.000 sono colorate di viola scuro.
Un’altra cosa interessante che possiamo fare con questo grafico è ordinare le bolle per titolo di lavoro. Usiamo questa funzione per trovare le principali competenze di ciascun titolo.
Puoi interagire con il grafico qui. In base a questo grafico, possiamo vedere che:
- Le tre competenze principali dei data analyst, in ordine decrescente, sono SQL, Python e R
- Le tre competenze principali dei data engineer, in ordine decrescente, sono SQL, Python e Java
- Le tre competenze principali dei data scientist, in ordine decrescente, sono Python, R e SQL
- Le tre competenze principali dei machine learning engineer, in ordine decrescente, sono Python, Java e C++
Analizza l’istruzione
Le lauree più popolari
Quali sono le lauree più diffuse nei ruoli legati ai dati? Per rispondere, scaricheremo i dati che mostrano la frequenza delle lauree più comuni per una certa posizione.
!wget 'majors_df.pkl' 'https://github.com/khuyentran1401/dataset/raw/master/data_science_market/majors_df.pkl'
import pickle
majors_df = pickle.load(open("majors_df.pkl", "rb"))
majors_df["data scientist"]
Visualizziamo questo dataset per capirlo meglio. Iniziamo creando una funzione per rappresentare le lauree di una posizione.
import plotly.express as px
def plot_majors(title: str, majors_df: dict):
majors = majors_df[title]
return px.bar(data_frame=majors, x="name", y="value")
Le principali lauree dei data scientist:
plot_majors('data scientist', majors_df)
Interagisci con il grafico qui. Poiché molte posizioni in data science richiedono conoscenze di programmazione e matematica, non sorprende che le due lauree principali per i data scientist siano informatica e matematica.
Le principali lauree dei data engineer:
plot_majors('data engineer', majors_df)
Interagisci con il grafico qui. Poiché il lavoro dei data engineer richiede la conoscenza di diverse tecnologie e linguaggi di programmazione, ha senso vedere che la maggioranza dei data engineer ha studiato informatica e tecnologie dell’informazione anziché matematica.
Le principali lauree dei data analyst:
plot_majors('data analyst', majors_df)
Interagisci con il grafico qui. Le tre principali lauree dei data analyst sono economia aziendale, informatica ed economia. Questo risultato ha senso, dato che il lavoro dei data analyst implica l’interpretazione dei dati.
Le principali lauree dei machine learning engineer:
plot_majors('machine learning engineer', majors_df)
Interagisci con il grafico qui. Possiamo anche usare il grafico a cerchi annidati per vedere le differenze nelle lauree tra diversi lavori.
Puoi interagire con il grafico qui qui.
Analizza i titoli di studio
Avrai notato che molte job description per data scientist richiedono una laurea magistrale o un dottorato. Ma quanti data scientist hanno davvero una magistrale o un Ph.D.?
Rispondiamo scaricando i dati che mostrano il conteggio di ciascun titolo di studio per una certa posizione.
degree_df = pd.read_csv(
"https://media.githubusercontent.com/media/khuyentran1401/dataset/master/data_science_market/degrees.csv"
)
degree_df.head(10)
Possiamo vedere che i titoli di studio includono:
- Scuola superiore
- Associate’s
- Laurea triennale
- Laurea magistrale
- Ph.D.
- Certificato
Visualizziamo i dati con la bubble matrix.
Puoi esplorare il grafico qui. Dal grafico, si vede che il titolo più diffuso tra tutte le posizioni legate ai dati è la laurea triennale. Ha senso, dato che la maggior parte dei lavori nel campo dei dati richiede almeno una triennale, e chi ha una magistrale o un Ph.D. ha comunque anche la triennale.
Ecco come appaiono i dati utilizzando un grafico a barre raggruppate.
Vale la pena notare che il numero di data analyst con una laurea triennale è quasi il doppio di quelli con una laurea magistrale. Tuttavia, il numero di data scientist con una triennale è più o meno uguale a quello dei data scientist con una magistrale.
Ciò significa che la percentuale di data scientist che hanno proseguito con un titolo più elevato è superiore alla percentuale di data analyst che hanno proseguito oltre la triennale.
Analizza il genere
Qual è il rapporto tra uomini e donne nei ruoli legati ai dati? Rispondiamo usando i dati che mostrano il conteggio di uomini e donne per posizione.
gender_df = pd.read_csv(
"https://media.githubusercontent.com/media/khuyentran1401/dataset/master/data_science_market/genders.csv"
)
gender_df.head(10)
Successivamente, visualizziamo i dati con un grafico a barre raggruppate.
Dal grafico, possiamo osservare che:
- In tutti i lavori legati ai dati tranne il data entry, gli uomini sono più delle donne.
- Il numero di uomini è quasi il doppio di quello delle donne in ruoli come data analyst e statistico.
- Il numero di uomini è più del doppio di quello delle donne in ruoli come data scientist, data engineer e machine learning engineer.
Analizza le sedi
Gli stati più popolari per i data scientist negli Stati Uniti
Quali sono gli stati più popolari per i data scientist? Iniziamo recuperando i dati che mostrano il numero di data scientist per stato.
state_jobs = pd.read_csv(
"https://media.githubusercontent.com/media/khuyentran1401/dataset/master/data_science_market/state_jobs.csv"
)
state_jobs.head(10)
Poi rappresenteremo i dati usando folium, una libreria Python per creare mappe.
state_geo = "https://raw.githubusercontent.com/python-visualization/folium/master/examples/data/us-states.json"
m = folium.Map(location=[48, -102], zoom_start=3)
folium.Choropleth(
geo_data=state_geo,
name="choropleth",
data=state_jobs,
columns=["state", "count"],
key_on="feature.id",
fill_color="YlGn",
fill_opacity=0.7,
line_opacity=0.2,
legend_name="Number of Data Science Jobs",
).add_to(m)
folium.LayerControl().add_to(m)
m
Puoi interagire con la mappa qui. Dalla mappa, vediamo che lo stato con il maggior numero di data scientist è la California. Il secondo, terzo e quarto sono rispettivamente New York, Massachusetts e Texas.
I 25 paesi più popolari al mondo per i data scientist
Quali sono i 25 paesi più popolari per i data scientist? Iniziamo scaricando e caricando i dati che mostrano il numero di data scientist per paese:
!wget 'countries.pkl' 'https://github.com/khuyentran1401/dataset/raw/master/data_science_market/countries.pkl'
countries = pickle.load(open("countries.pkl", "rb"))
Successivamente, rappresentiamo i 25 paesi principali per i data scientist:
def plot_top_25_locations(title: str, locations: dict):
data = locations[title]
return px.bar(data_frame=data, x="location", y="count")
plot_top_25_locations("data scientist", countries)
Interagisci con il grafico sopra qui. I cinque paesi più popolari per i data scientist sono:
- Stati Uniti
- India
- Francia
- Regno Unito
- Germania
Le 25 città più popolari al mondo per i data scientist
Quali sono le 25 città più popolari per i data scientist? Scaricheremo i dati che mostrano il numero di data scientist per città:
!wget 'cities.pkl' 'https://github.com/khuyentran1401/dataset/raw/master/data_science_market/cities.pkl'
cities = pickle.load(open("cities.pkl", "rb"))
Il grafico delle 25 città principali per i data scientist:
Interagisci con il grafico sopra qui. Dal grafico, possiamo vedere che le cinque città più popolari per i data scientist sono:
- San Francisco
- Bengaluru
- Londra
- Parigi
- New York City
I titoli più diffusi per i data scientist
Esistono vari titoli correlati al ruolo di data scientist, come senior data scientist, junior data scientist, data scientist intern e altri. Non sarebbe utile vedere quanto è popolare ciascuno di questi titoli?
Inizieremo ottenendo i dati che includono il conteggio di tutti i titoli correlati al data scientist:
!wget "top_titles.pkl" "https://github.com/khuyentran1401/dataset/raw/master/data_science_market/top_titles.pkl"
top_titles = pickle.load(open("top_titles.pkl", "rb"))
top_titles["data scientist"]
Il grafico a barre dei titoli principali correlati al data scientist:
Interagisci con il grafico sopra qui. Possiamo anche usare il grafico a cerchi annidati per visualizzare la varietà dei titoli in alcune posizioni legate ai dati.
Puoi interagire tu stesso con il grafico qui.
Analizza i trend del settore
Keyword
Come è cambiato nel tempo l’interesse per la keyword data scientist su Google Search? Possiamo ottenere questi dati usando pytrends, quindi tracciarli con Plotly Express:
from pytrends.request import TrendReq
def plot_keyword_trend(title: str):
pytrends = TrendReq(hl="en-US", tz=360)
pytrends.build_payload(kw_list=[title])
df = pytrends.interest_over_time()
return px.line(data_frame=df, y=title)
plot_keyword_trend("data scientist")
Interagisci con il grafico qui. Sembra che l’interesse per la keyword data scientist aumenti linearmente dal 2016 al 2021.
Il cambiamento nel numero di posizioni nel tempo
Come è cambiato nel tempo il numero delle posizioni? Possiamo capirlo usando i dati che mostrano la variazione nel numero di posizioni complete nel tempo.
dates_df = pd.read_csv(
"https://media.githubusercontent.com/media/khuyentran1401/dataset/master/data_science_market/dates.csv",
index_col=0)
dates_df.head(10)
La prima riga dei dati mostra che nel 1988 c’erano 40 data scientist al lavoro. La seconda riga mostra che nel 1989 c’erano 52 data scientist.
Il grafico a linee dei dati sopra:
px.line(dates_df, x="date", y="value", color="name")
Interagisci con il grafico sopra qui. Alcuni insight chiave dal grafico:
- Il numero degli statistici è stabile nel tempo.
- Prima del 2010, il data entry è il lavoro più popolare tra tutte le posizioni legate ai dati.
- Nel 2010, il data analyst ha superato il data entry.
- Nel 2013, i ruoli di data scientist, data analyst e data engineer hanno tutti superato lo statistico, con il data scientist in crescita esponenziale mentre il data entry manuale è diventato molto meno importante,
- Nel 2019, il ruolo di machine learning engineer ha finalmente superato quello di statistico.
Usiamo il bar chart race per vedere il cambiamento nelle classifiche delle diverse posizioni legate ai dati:
Davvero interessante! Attraverso questo grafico possiamo vedere il momento esatto in cui c’è stato un cambio di posizione in classifica. Puoi visualizzare il grafico tu stesso qui.
Il cambiamento nel numero di competenze nel tempo
Come sono cambiate nel tempo le frequenze delle principali competenze dei data scientist? Osserviamolo usando i dati che mostrano il numero di competenze nel tempo.
skills_df = pd.read_csv(
"https://media.githubusercontent.com/media/khuyentran1401/dataset/master/data_science_market/skills_over_time.csv",
index_col=0,
)
skills_df.head(10)
Successivamente, creeremo un bar chart race usando i dati sopra:
Possiamo vedere che prima del 2014, insegnamento ed economia erano le due competenze più popolari tra i data scientist. Tuttavia, dopo il 2014, Python ha superato queste due competenze diventando la skill più popolare.
Conclusione
Sei pronto a dimostrare le tue competenze professionali in data science? Dai un’occhiata al programma di certificazione di DataCamp e ai servizi per la carriera per trovare il lavoro dei tuoi sogni nella data science.
