Apa keterampilan dan latar belakang yang dimiliki bersama oleh data scientist?

Motivasi

Pada 2012, Harvard Business Review menyatakan bahwa data scientist adalah pekerjaan terseksi abad ke-21. Sejak itu, istilah data scientist semakin populer.

Gambar di atas menunjukkan minat terhadap kata kunci “data science” di Google Search dari 2016 hingga 2021. Kita dapat melihat bahwa minat terhadap data science meningkat stabil selama lima tahun terakhir.

Selain bergaji tinggi, peran data scientist juga memungkinkan Anda memanfaatkan beragam keterampilan, mengekstrak wawasan menarik dari data dunia nyata, dan memberi dampak pada masyarakat melalui analisis Anda. Maka wajar jika pekerjaan ini disebut sebagai pekerjaan terseksi abad ke-21.

Namun, sebelum melamar pekerjaan data science, ada baiknya menganalisis karakteristik dan latar belakang para data scientist. Mengetahui latar belakang dan keterampilan mereka akan memberi Anda informasi yang diperlukan untuk membekali diri dengan keterampilan relevan agar menonjol di antara para kandidat.

Beberapa pertanyaan menarik untuk dianalisis:

• Keterampilan apa yang paling banyak dimiliki data scientist?
• Bagaimana perbedaan keterampilan tersebut dari jabatan lain seperti machine learning engineer, data analyst, dan data engineer?
• Jurusan apa yang paling populer?
• Apakah Anda memerlukan gelar master atau Ph.D. untuk menjadi data scientist?
• Berapa persentase pria dan wanita di bidang data science?
• Di mana sebagian besar pekerjaan data science berada?
• Bagaimana popularitas berbagai pekerjaan terkait data berubah seiring waktu?
• Bagaimana keterampilan untuk data scientist berubah seiring waktu?

Dapatkan datanya

Kami akan menggunakan data lebih dari 160.000 data scientist, 570.000 data analyst, lebih dari 100.000 data engineer, dan lebih dari 19.000 machine learning engineer dari seluruh dunia. Dataset diekstraksi dari Diffbot, knowledge graph terbesar di dunia. Temukan petunjuk lebih lanjut tentang cara menggunakan Diffbot di sini.

Untuk memudahkan Anda mengikuti artikel ini, semua data yang digunakan di artikel ini diunggah ke repositori ini. Semuanya dapat diakses dan diunduh secara gratis.

Notebook yang berisi kode pada artikel ini dapat ditemukan di sini. Jika Anda ingin mendapatkan data langsung dari Diffbot, Anda bisa mencoba notebook ini sebagai gantinya.

Cari bahasa yang paling populer

Apa saja keterampilan teratas untuk data scientist, data analyst, data engineer, dan machine learning engineer? Kita dapat menjawab pertanyaan ini menggunakan data yang terdiri dari 100 keterampilan paling populer dari orang-orang dengan jabatan tersebut.

import pandas as pd
skill_count = pd.read_csv(
"https://media.githubusercontent.com/media/khuyentran1401/dataset/master/data_science_market/all_skills.csv",
    index_col=0,
)

# Show the top 10 rows
skill_count.head(10)

Kita akan menggunakan dataset ini untuk menganalisis popularitas berbagai bahasa pemrograman dalam posisi yang terkait data tertentu. Kita akan memvisualisasikan dataset menggunakan bubble matrix yang dibuat di Observable.

Bubble matrix menggunakan ukuran dan warna untuk merepresentasikan informasi dua dimensi. Baris mewakili jabatan dan kolom mewakili bahasa. Semakin besar suatu gelembung, semakin sering bahasa tersebut digunakan pada kategori pekerjaan tertentu.

Untuk membuat ukuran gelembung, kita akan menghitung rasio antara frekuensi suatu bahasa dan frekuensi maksimum di antara semua bahasa dan posisi.

languages = skill_count[
    skill_count["skill"].isin(
        ["python", "r", "sql", "c", "c++", "matlab", "java", "javascript"]
    )
]

languages["Ratio to All Skills"] = languages["count"].apply(
    lambda c: c / max(skill_count["count"])
)
# View languages used by data analysts
languages[languages["Title"] == "Data Analyst"]

Gelembung akan disorot jika berada di atas jumlah kemunculan tertentu. Kita dapat menggunakan penggeser untuk memilih ambang batas di atas mana gelembung disorot. Misalnya, jika kita memilih ambang 100.000, hanya gelembung dengan jumlah di atas 100.000 yang diberi warna ungu tua.

Hal menarik lain yang dapat kita lakukan dengan plot ini adalah mengurutkan gelembung berdasarkan jabatan. Mari gunakan fitur ini untuk menemukan keterampilan teratas dari setiap jabatan.

Anda dapat berinteraksi dengan plot di sini. Berdasarkan plot ini, kita dapat melihat bahwa:

• Tiga keterampilan teratas data analyst secara menurun adalah SQL, Python, dan R
• Tiga keterampilan teratas data engineer secara menurun adalah SQL, Python, dan Java
• Tiga keterampilan teratas data scientist secara menurun adalah Python, R, dan SQL
• Tiga keterampilan teratas machine learning engineer secara menurun adalah Python, Java, dan C++

Analisis pendidikan

Jurusan yang paling populer

Jurusan apa yang paling populer untuk posisi terkait data? Untuk menjawab pertanyaan ini, kita akan mengunduh data yang menunjukkan frekuensi jurusan teratas pada suatu posisi.

!wget 'majors_df.pkl' 'https://github.com/khuyentran1401/dataset/raw/master/data_science_market/majors_df.pkl'

import pickle

majors_df = pickle.load(open("majors_df.pkl", "rb"))
majors_df["data scientist"]

Mari memvisualisasikan dataset ini agar lebih memahaminya. Mulailah dengan membuat fungsi untuk memvisualisasikan jurusan pada suatu posisi.

import plotly.express as px


def plot_majors(title: str, majors_df: dict):
    majors = majors_df[title]
    return px.bar(data_frame=majors, x="name", y="value")

Jurusan teratas untuk data scientist:

plot_majors('data scientist', majors_df)

Berinteraksilah dengan plot di sini. Karena banyak posisi data science memerlukan pengetahuan pemrograman dan matematika, tidak mengherankan jika dua jurusan teratas untuk data scientist adalah ilmu komputer dan matematika.

Jurusan teratas untuk data engineer:

plot_majors('data engineer', majors_df)

Berinteraksilah dengan plot di sini. Karena pekerjaan data engineer memerlukan pengetahuan tentang berbagai teknologi dan bahasa pemrograman, masuk akal jika mayoritas data engineer mengambil jurusan ilmu komputer dan teknologi informasi, bukan matematika.

Jurusan teratas untuk data analyst:

plot_majors('data analyst', majors_df)

Berinteraksilah dengan plot di sini. Tiga jurusan teratas untuk data analyst adalah administrasi bisnis, ilmu komputer, dan ekonomi. Hasil ini masuk akal karena pekerjaan data analyst melibatkan interpretasi data.

Jurusan teratas untuk machine learning engineer:

plot_majors('machine learning engineer', majors_df)

Berinteraksilah dengan plot di sini. Kita juga dapat menggunakan plot circle packing untuk melihat perbedaan jurusan di berbagai pekerjaan.

Anda dapat berinteraksi dengan plot di atas di sini.

Analisis jenjang pendidikan

Anda mungkin sering melihat deskripsi pekerjaan data scientist yang mensyaratkan gelar master atau Ph.D. Tetapi berapa banyak data scientist yang benar-benar memiliki gelar master atau Ph.D.?

Mari jawab pertanyaan itu dengan mengunduh data yang menunjukkan jumlah suatu jenjang pendidikan untuk posisi tertentu.

degree_df = pd.read_csv(
"https://media.githubusercontent.com/media/khuyentran1401/dataset/master/data_science_market/degrees.csv"
)

degree_df.head(10)

Kita dapat melihat bahwa jenjang pendidikan mencakup:

• SMA
• Diploma dua tahun (Associate’s)
• Sarjana (Bachelor’s)
• Magister (Master’s)
• Ph.D.
• Sertifikat

Mari visualisasikan data menggunakan bubble matrix.

Anda dapat mencoba plotnya di sini. Dari plot tersebut, kita dapat melihat jenjang pendidikan yang paling populer di semua posisi terkait data adalah sarjana. Ini masuk akal, karena sebagian besar pekerjaan terkait data minimal memerlukan gelar sarjana, dan mereka yang memiliki gelar magister atau Ph.D. juga memiliki gelar sarjana.

Berikut tampilan datanya ketika menggunakan grouped bar chart.

Perlu dicatat bahwa jumlah data analyst yang memiliki gelar sarjana hampir dua kali lipat jumlah data analyst yang memiliki gelar magister. Namun, jumlah data scientist yang memiliki gelar sarjana kira-kira sama dengan jumlah data scientist yang memiliki gelar magister.

Ini berarti persentase data scientist yang menempuh pendidikan lebih tinggi lebih besar daripada persentase data analyst yang melanjutkan pendidikan setelah memperoleh gelar sarjana.

Analisis gender

Bagaimana rasio antara pria dan wanita pada peran terkait data? Mari jawab pertanyaan itu menggunakan data yang menunjukkan jumlah pria dan wanita per posisi.

gender_df = pd.read_csv(
    "https://media.githubusercontent.com/media/khuyentran1401/dataset/master/data_science_market/genders.csv"
)
gender_df.head(10)

Selanjutnya, kita memvisualisasikan data menggunakan grouped bar chart.

Dari plot tersebut, kita dapat melihat bahwa:

• Pada semua pekerjaan terkait data kecuali entri data, jumlah pria lebih banyak daripada wanita.
• Jumlah pria hampir dua kali lipat jumlah wanita pada peran seperti data analyst dan statistician.
• Jumlah pria lebih dari dua kali lipat jumlah wanita pada peran seperti data scientist, data engineer, dan machine learning engineer.

Analisis lokasi

Negara bagian paling populer untuk data scientist di AS

Negara bagian mana yang paling populer untuk data scientist? Mari mulai dengan mendapatkan data yang menunjukkan jumlah data scientist per negara bagian.

state_jobs = pd.read_csv(
    "https://media.githubusercontent.com/media/khuyentran1401/dataset/master/data_science_market/state_jobs.csv"
)
state_jobs.head(10)

Selanjutnya, kita akan memetakan data menggunakan folium, pustaka Python untuk membuat peta.

state_geo = "https://raw.githubusercontent.com/python-visualization/folium/master/examples/data/us-states.json"

m = folium.Map(location=[48, -102], zoom_start=3)

folium.Choropleth(
    geo_data=state_geo,
    name="choropleth",
    data=state_jobs,
    columns=["state", "count"],
    key_on="feature.id",
    fill_color="YlGn",
    fill_opacity=0.7,
    line_opacity=0.2,
    legend_name="Number of Data Science Jobs",
).add_to(m)

folium.LayerControl().add_to(m)

m

Anda dapat berinteraksi dengan peta di sini. Dari peta tersebut, kita dapat melihat bahwa negara bagian dengan jumlah data scientist tertinggi adalah California. Peringkat kedua, ketiga, dan keempat masing-masing adalah New York, Massachusetts, dan Texas.

25 negara terpopuler di dunia untuk data scientist

Negara mana saja 25 terpopuler untuk data scientist? Mulailah dengan mengunduh dan memuat data yang menunjukkan jumlah data scientist per negara:

!wget 'countries.pkl' 'https://github.com/khuyentran1401/dataset/raw/master/data_science_market/countries.pkl'

countries = pickle.load(open("countries.pkl", "rb"))

Selanjutnya, kita plot 25 negara teratas untuk data scientist:

def plot_top_25_locations(title: str, locations: dict):
    data = locations[title]
    return px.bar(data_frame=data, x="location", y="count")

plot_top_25_locations("data scientist", countries)

Berinteraksilah dengan plot di atas di sini. Lima negara terpopuler untuk data scientist adalah:

• United States
• India
• France
• United Kingdom
• Germany

25 kota terpopuler di dunia untuk data scientist

Kota mana saja 25 terpopuler untuk data scientist? Kita akan mengunduh data yang menunjukkan jumlah data scientist per kota:

!wget 'cities.pkl' 'https://github.com/khuyentran1401/dataset/raw/master/data_science_market/cities.pkl'

cities = pickle.load(open("cities.pkl", "rb"))

Plot 25 kota teratas untuk data scientist:

Berinteraksilah dengan plot di atas di sini. Dari plot di atas, kita dapat melihat bahwa lima kota terpopuler untuk data scientist adalah:

• San Francisco
• Bengaluru
• London
• Paris
• New York City

Jabatan paling populer untuk data scientist

Ada beragam jabatan yang terkait dengan peran data scientist, seperti senior data scientist, junior data scientist, data scientist intern, dan lainnya. Bukankah akan menarik jika kita dapat melihat seberapa populer masing-masing jabatan ini?

Kita akan mulai dengan mengambil data yang terdiri dari jumlah semua jabatan yang terkait dengan data scientist:

!wget "top_titles.pkl" "https://github.com/khuyentran1401/dataset/raw/master/data_science_market/top_titles.pkl"

top_titles = pickle.load(open("top_titles.pkl", "rb"))
top_titles["data scientist"]

Grafik batang untuk jabatan teratas yang terkait dengan data scientist:

Berinteraksilah dengan plot di atas di sini. Kita juga dapat menggunakan plot circle packing untuk memvisualisasikan variasi jabatan pada beberapa posisi terkait data.

Anda dapat berinteraksi sendiri dengan plot tersebut di sini.

Analisis tren industri

Kata kunci

Bagaimana minat pada kata kunci data scientist di Google Search berubah seiring waktu? Kita dapat memperoleh data tersebut menggunakan pytrends, lalu memplot data menggunakan Plotly Express:

from pytrends.request import TrendReq


def plot_keyword_trend(title: str):
    pytrends = TrendReq(hl="en-US", tz=360)
    pytrends.build_payload(kw_list=[title])

    df = pytrends.interest_over_time()
    return px.line(data_frame=df, y=title)


plot_keyword_trend("data scientist")

Berinteraksilah dengan plot di sini. Tampaknya minat terhadap kata kunci data scientist meningkat secara linier dari 2016 hingga 2021.

Perubahan jumlah posisi seiring waktu

Bagaimana jumlah posisi berubah seiring waktu? Kita dapat mengetahuinya menggunakan data yang menunjukkan perubahan jumlah posisi penuh seiring waktu.

dates_df = pd.read_csv(
"https://media.githubusercontent.com/media/khuyentran1401/dataset/master/data_science_market/dates.csv",
    index_col=0)
dates_df.head(10)

Baris pertama pada data menunjukkan bahwa ada 40 data scientist yang bekerja pada 1988. Baris kedua pada data menunjukkan bahwa ada 52 data scientist yang bekerja pada 1989.

Plot garis dari data di atas:

px.line(dates_df, x="date", y="value", color="name")

Berinteraksilah dengan plot di atas di sini. Beberapa wawasan kunci dari plot di atas:

• Jumlah statistician stabil seiring waktu.
• Sebelum 2010, entri data adalah pekerjaan paling populer di antara semua posisi terkait data.
• Pada 2010, data analyst mengambil alih entri data.
• Pada 2013, peran data scientist, data analyst, dan data engineer semuanya melampaui statistician, dengan data scientist tumbuh secara eksponensial sementara entri data manual menjadi jauh kurang penting,
• Pada 2019, peran machine learning engineer akhirnya melampaui statistician.

Mari gunakan bar chart race untuk melihat perubahan peringkat berbagai posisi terkait data:

Keren sekali! Melalui grafik ini, kita dapat melihat waktu tepat ketika terjadi perubahan peringkat. Anda dapat memvisualisasikan grafik sendiri di sini.

Perubahan jumlah keterampilan seiring waktu

Bagaimana frekuensi keterampilan teratas untuk data scientist berubah seiring waktu? Mari amati itu menggunakan data yang menunjukkan jumlah keterampilan dari waktu ke waktu.

skills_df = pd.read_csv(
    "https://media.githubusercontent.com/media/khuyentran1401/dataset/master/data_science_market/skills_over_time.csv",
    index_col=0,
)
skills_df.head(10)

Selanjutnya, kita akan membuat bar chart race menggunakan data di atas:

Kita dapat melihat bahwa sebelum 2014, mengajar dan ekonomi adalah dua keterampilan paling populer di kalangan data scientist. Namun, setelah 2014, Python melampaui kedua keterampilan tersebut dan menjadi keterampilan paling populer.

Kesimpulan

Apakah Anda siap menunjukkan keterampilan profesional data science Anda? Lihat program sertifikasi dan layanan karier DataCamp untuk mendapatkan pekerjaan impian Anda di bidang data science.