Motivasyon
2012 yılında Harvard Business Review, veri bilimciliğini 21. yüzyılın en çekici işi ilan etti. O zamandan beri veri bilimci terimi giderek daha popüler hale geldi.
Yukarıdaki görsel, 2016 ile 2021 yılları arasında Google Arama’da “data science” anahtar sözcüğüne olan ilgiyi gösteriyor. Son beş yılda veri bilimine olan ilginin istikrarlı biçimde arttığını görebiliyoruz.
Veri bilimciliği yalnızca iyi ücretli bir rol olmakla kalmaz, aynı zamanda çeşitli becerileri kullanmanıza, gerçek dünya verilerinden ilginç içgörüler çıkarmanıza ve analizinizle topluma etki etmenize olanak tanır. Bu nedenle 21. yüzyılın en çekici işi olarak ilan edilmesi şaşırtıcı değildir.
Ancak bir veri bilimi işine başvurmadan önce, veri bilimcilerin özelliklerini ve geçmişlerini analiz etmeye değer. Geçmişlerini ve becerilerini bilmek, aday havuzunda öne çıkmak için kendinizi ilgili becerilerle donatmanıza yardımcı olacak bilgiyi sağlar.
Analiz edilmesi ilginç bazı sorular şunlardır:
- Çoğu veri bilimcinin sahip olduğu beceriler neler?
- Bu beceriler, makine öğrenimi mühendisi, veri analisti ve veri mühendisi gibi diğer unvanlardaki becerilerden nasıl farklı?
- En popüler bölümler hangileri?
- Veri bilimci olmak için yüksek lisans veya doktora gerekli mi?
- Veri bilimi alanındaki kadın ve erkek oranları nedir?
- Veri bilimi işlerimizin çoğu nerede bulunuyor?
- Farklı veriyle ilgili işlerin popülaritesi zaman içinde nasıl değişiyor?
- Veri bilimciler için gerekli beceriler zaman içinde nasıl değişiyor?
Verileri edinin
Dünya genelinden 160.000’den fazla veri bilimci, 570.000 veri analisti, 100.000’den fazla veri mühendisi ve 19.000’den fazla makine öğrenimi mühendisine ait verileri kullanacağız. Veri setleri, dünyanın en büyük bilgi grafiği olan Diffbot’tan çıkarılmıştır. Diffbot’u nasıl kullanacağınıza dair daha fazla yönergeye buradan ulaşabilirsiniz.
Makaleyi daha kolay takip edebilmeniz için, bu makalede kullanılan tüm veriler bu depoya yüklendi. Hepsine ücretsiz erişebilir ve indirebilirsiniz.
Bu makalenin kodlarını içeren not defterini burada bulabilirsiniz. Veriyi doğrudan Diffbot’tan almak isterseniz bunun yerine bu not defteriyle oynayabilirsiniz.
En popüler dilleri bulun
Veri bilimciler, veri analistleri, veri mühendisleri ve makine öğrenimi mühendisleri için en önemli beceriler neler? Bu soruyu, bu iş unvanlarına sahip kişilerin en popüler 100 becerisinden oluşan veriyi kullanarak yanıtlayabiliriz.
import pandas as pd
skill_count = pd.read_csv(
"https://media.githubusercontent.com/media/khuyentran1401/dataset/master/data_science_market/all_skills.csv",
index_col=0,
)
# Show the top 10 rows
skill_count.head(10)
Bu veri setini, belirli bir veriyle ilgili pozisyonda farklı programlama dillerinin popülaritesini analiz etmek için kullanacağız. Veri setini, Observable üzerinde oluşturulan bir baloncuk matrisi ile görselleştireceğiz.
Bir baloncuk matrisi, iki boyutlu bilgiyi temsil etmek için boyut ve renkleri kullanır. Satırlar iş unvanlarını, sütunlar ise dilleri temsil eder. Baloncuk ne kadar büyükse, belirli bir iş kategorisinde o dilin kullanılma sıklığı o kadar fazladır.
Baloncukların boyutunu oluşturmak için, bir dilin frekansı ile tüm diller ve pozisyonlar arasındaki maksimum frekansın oranını hesaplayacağız.
languages = skill_count[
skill_count["skill"].isin(
["python", "r", "sql", "c", "c++", "matlab", "java", "javascript"]
)
]
languages["Ratio to All Skills"] = languages["count"].apply(
lambda c: c / max(skill_count["count"])
)
# View languages used by data analysts
languages[languages["Title"] == "Data Analyst"]
Baloncuklar, belirli bir tekrar sayısının üzerindeyse vurgulanır. Vurgulama eşiğini seçmek için kaydırıcıyı kullanabiliriz. Örneğin eşik olarak 100.000’i seçersek, yalnızca 100.000’in üzerindeki sayımlara sahip baloncuklar koyu mor renkte görünür.
Bu grafikte yapabileceğimiz bir diğer güzel şey de baloncukları iş unvanlarına göre sıralamaktır. Her iş unvanının en üst becerilerini bulmak için bu özelliği kullanalım.
Grafikle burada etkileşime geçebilirsiniz. Bu grafiğe göre şunları görüyoruz:
- Veri analistlerinin ilk üç becerisi azalan sırayla SQL, Python ve R’dir
- Veri mühendislerinin ilk üç becerisi azalan sırayla SQL, Python ve Java’dır
- Veri bilimcilerin ilk üç becerisi azalan sırayla Python, R ve SQL’dir
- Makine öğrenimi mühendislerinin ilk üç becerisi azalan sırayla Python, Java ve C++’tır
Eğitimi analiz edin
En popüler bölümler
Veriyle ilgili pozisyonlarda en popüler bölümler hangileri? Bu soruyu yanıtlamak için belirli bir pozisyonun en çok tercih edilen bölümlerinin sıklığını gösteren verileri indireceğiz.
!wget 'majors_df.pkl' 'https://github.com/khuyentran1401/dataset/raw/master/data_science_market/majors_df.pkl'
import pickle
majors_df = pickle.load(open("majors_df.pkl", "rb"))
majors_df["data scientist"]
Bu veri setini daha iyi anlamak için görselleştirelim. Bir pozisyonun bölümlerini görselleştirecek bir fonksiyon oluşturarak başlayın.
import plotly.express as px
def plot_majors(title: str, majors_df: dict):
majors = majors_df[title]
return px.bar(data_frame=majors, x="name", y="value")
Veri bilimcilerin en popüler bölümleri:
plot_majors('data scientist', majors_df)
Grafikle buradan etkileşime geçin. Birçok veri bilimi pozisyonu programlama ve matematik bilgisi gerektirdiğinden, veri bilimciler için en popüler iki bölümün bilgisayar bilimi ve matematik olması şaşırtıcı değil.
Veri mühendislerinin en popüler bölümleri:
plot_majors('data engineer', majors_df)
Grafikle buradan etkileşime geçin. Veri mühendislerinin işi farklı teknolojiler ve programlama dilleri bilgisi gerektirdiğinden, veri mühendislerinin çoğunun matematik yerine bilgisayar bilimi ve bilgi teknolojileri bölümlerinden geldiğini görmek mantıklıdır.
Veri analistlerinin en popüler bölümleri:
plot_majors('data analyst', majors_df)
Grafikle buradan etkileşime geçin. Veri analistlerinin ilk üç bölümü işletme, bilgisayar bilimi ve iktisattır. Bu sonuç mantıklıdır çünkü veri analistlerinin işi veriyi yorumlamayı içerir.
Makine öğrenimi mühendislerinin en popüler bölümleri:
plot_majors('machine learning engineer', majors_df)
Grafikle buradan etkileşime geçin. Ayrıca, farklı işlerin bölümlerindeki farkları görmek için dairesel paketleme (circle packing) grafiğini de kullanabiliriz.
Yukarıdaki grafikle buradan etkileşime geçebilirsiniz.
Dereceleri analiz edin
Veri bilimci pozisyonları için birçok iş ilanında yüksek lisans veya doktora şartı görebilirsiniz. Peki gerçekte kaç veri bilimci yüksek lisans veya doktora derecesine sahip?
Bu soruyu, belirli bir pozisyon için bir derecenin sayısını gösteren verileri indirerek yanıtlayalım.
degree_df = pd.read_csv(
"https://media.githubusercontent.com/media/khuyentran1401/dataset/master/data_science_market/degrees.csv"
)
degree_df.head(10)
Derecelerin şunları içerdiğini görüyoruz:
- Lise
- Ön lisans
- Lisans
- Yüksek lisans
- Doktora
- Sertifika
Verileri baloncuk matrisiyle görselleştirelim.
Grafikle buradan oynayabilirsiniz. Grafikten, tüm veriyle ilgili pozisyonlar arasında en popüler derecenin lisans olduğunu görüyoruz. Bu da mantıklı; çünkü veriyle ilgili işlerin çoğu en az lisans derecesi gerektirir ve yüksek lisans veya doktoraya sahip olanların da lisans derecesi vardır.
Gruplandırılmış çubuk grafik kullanıldığında veriler böyle görünüyor.
Lisans derecesine sahip veri analistlerinin sayısının, yüksek lisans derecesine sahip veri analistlerinin sayısının neredeyse iki katı olduğu dikkat çekicidir. Ancak veri bilimcilerde lisans derecesine sahip olanların sayısı ile yüksek lisans derecesine sahip olanların sayısı yaklaşık olarak aynıdır.
Bu da, lisans derecesini aldıktan sonra daha yüksek bir dereceye yönelen veri bilimcilerin yüzdesinin, veri analistlerine kıyasla daha yüksek olduğu anlamına gelir.
Cinsiyeti analiz edin
Veriyle ilgili rollerde kadın ve erkek oranı nedir? Bu soruyu, pozisyon başına kadın ve erkek sayısını gösteren verileri kullanarak yanıtlayalım.
gender_df = pd.read_csv(
"https://media.githubusercontent.com/media/khuyentran1401/dataset/master/data_science_market/genders.csv"
)
gender_df.head(10)
Sonra verileri gruplandırılmış çubuk grafikle görselleştiriyoruz.
Grafikten şunları görüyoruz:
- Veri girişi hariç tüm veriyle ilgili işlerde erkekler kadınlardan fazladır.
- Veri analisti ve istatistikçi gibi rollerde erkeklerin sayısı kadınların sayısının neredeyse iki katıdır.
- Veri bilimci, veri mühendisi ve makine öğrenimi mühendisi gibi rollerde erkeklerin sayısı kadınların sayısının iki katından fazladır.
Konumları analiz edin
ABD’de veri bilimciler için en popüler eyaletler
Veri bilimciler için en popüler eyaletler hangileri? Eyalet başına veri bilimci sayısını gösteren verileri alarak başlayalım.
state_jobs = pd.read_csv(
"https://media.githubusercontent.com/media/khuyentran1401/dataset/master/data_science_market/state_jobs.csv"
)
state_jobs.head(10)
Ardından, harita oluşturmak için bir Python kütüphanesi olan folium ile verileri görselleştireceğiz.
state_geo = "https://raw.githubusercontent.com/python-visualization/folium/master/examples/data/us-states.json"
m = folium.Map(location=[48, -102], zoom_start=3)
folium.Choropleth(
geo_data=state_geo,
name="choropleth",
data=state_jobs,
columns=["state", "count"],
key_on="feature.id",
fill_color="YlGn",
fill_opacity=0.7,
line_opacity=0.2,
legend_name="Number of Data Science Jobs",
).add_to(m)
folium.LayerControl().add_to(m)
m
Haritayla buradan etkileşime geçebilirsiniz. Haritadan, en fazla veri bilimciye sahip eyaletin California olduğunu görüyoruz. İkinci, üçüncü ve dördüncü sıradaki eyaletler sırasıyla New York, Massachusetts ve Texas.
Dünyada veri bilimciler için en popüler 25 ülke
Veri bilimciler için en popüler 25 ülke hangileri? Ülke başına veri bilimci sayısını gösteren verileri indirip yükleyerek başlayın:
!wget 'countries.pkl' 'https://github.com/khuyentran1401/dataset/raw/master/data_science_market/countries.pkl'
countries = pickle.load(open("countries.pkl", "rb"))
Ardından, veri bilimciler için en popüler 25 ülkeyi çizelim:
def plot_top_25_locations(title: str, locations: dict):
data = locations[title]
return px.bar(data_frame=data, x="location", y="count")
plot_top_25_locations("data scientist", countries)
Yukarıdaki grafikle buradan etkileşime geçin. Veri bilimciler için en popüler beş ülke:
- Amerika Birleşik Devletleri
- Hindistan
- Fransa
- Birleşik Krallık
- Almanya
Dünyada veri bilimciler için en popüler 25 şehir
Veri bilimciler için en popüler 25 şehir hangileri? Şehir başına veri bilimci sayısını gösteren verileri indireceğiz:
!wget 'cities.pkl' 'https://github.com/khuyentran1401/dataset/raw/master/data_science_market/cities.pkl'
cities = pickle.load(open("cities.pkl", "rb"))
Veri bilimciler için en popüler 25 şehrin grafiği:
Yukarıdaki grafikle buradan etkileşime geçin. Yukarıdaki grafikten, veri bilimciler için en popüler beş şehrin şunlar olduğunu görüyoruz:
- San Francisco
- Bengaluru
- Londra
- Paris
- New York City
Veri bilimciler için en popüler unvanlar
Kıdemli veri bilimci, junior veri bilimci, veri bilimci stajyeri ve diğerleri gibi veri bilimci rolüyle ilgili çeşitli unvanlar vardır. Bu unvanların her birinin ne kadar popüler olduğunu görebilsek güzel olmaz mıydı?
Veri bilimciyle ilişkili tüm unvanların sayısını içeren verileri alarak başlayacağız:
!wget "top_titles.pkl" "https://github.com/khuyentran1401/dataset/raw/master/data_science_market/top_titles.pkl"
top_titles = pickle.load(open("top_titles.pkl", "rb"))
top_titles["data scientist"]
Veri bilimciyle ilişkili en popüler unvanların çubuk grafiği:
Yukarıdaki grafikle buradan etkileşime geçin. Ayrıca, bazı veriyle ilgili pozisyonlardaki unvan çeşitlerini görselleştirmek için dairesel paketleme (circle packing) grafiğini de kullanabiliriz.
Grafikle kendiniz buradan etkileşime geçebilirsiniz.
Sektör trendlerini analiz edin
Anahtar sözcükler
Google Arama’da veri bilimci anahtar sözcüğüne olan ilgi zaman içinde nasıl değişti? Bu veriyi pytrends kullanarak alabilir, ardından Plotly Express ile görselleştirebiliriz:
from pytrends.request import TrendReq
def plot_keyword_trend(title: str):
pytrends = TrendReq(hl="en-US", tz=360)
pytrends.build_payload(kw_list=[title])
df = pytrends.interest_over_time()
return px.line(data_frame=df, y=title)
plot_keyword_trend("data scientist")
Grafikle buradan etkileşime geçin. Görünüşe göre 2016’dan 2021’e kadar veri bilimci anahtar sözcüğüne olan ilgi doğrusal biçimde artıyor.
Pozisyon sayılarındaki değişim
Pozisyon sayıları zaman içinde nasıl değişti? Bunu, zaman içinde tam pozisyon sayısındaki değişimi gösteren verileri kullanarak bulabiliriz.
dates_df = pd.read_csv(
"https://media.githubusercontent.com/media/khuyentran1401/dataset/master/data_science_market/dates.csv",
index_col=0)
dates_df.head(10)
Verideki ilk satır, 1988’de 40 veri bilimcinin çalıştığını gösteriyor. İkinci satır ise 1989’da 52 veri bilimcinin çalıştığını gösteriyor.
Yukarıdaki verinin çizgi grafiği:
px.line(dates_df, x="date", y="value", color="name")
Yukarıdaki grafikle buradan etkileşime geçin. Grafikten bazı önemli çıkarımlar:
- İstatistikçilerin sayısı zaman içinde sabittir.
- 2010’dan önce, veri girişi tüm veriyle ilgili pozisyonlar arasında en popüler işti.
- 2010’da veri analisti, veri girişini geçti.
- 2013’te veri bilimci, veri analisti ve veri mühendisi rolleri istatistikçiyi geçti; veri bilimci üstel şekilde büyürken manuel veri girişi çok daha az önemli hale geldi,
- 2019’da makine öğrenimi mühendisi rolü sonunda istatistikçiyi geçti.
Farklı veriyle ilgili pozisyonların sıralamasındaki değişimi görmek için bir bar chart race kullanalım:
Oldukça havalı! Bu grafik sayesinde sıralamanın değiştiği tam zamanı görebiliyoruz. Grafiği kendiniz buradan görselleştirebilirsiniz.
Beceri sayısındaki değişim
Veri bilimciler için en popüler becerilerin sıklığı zaman içinde nasıl değişti? Bunu, zaman içinde beceri sayısını gösteren verileri kullanarak gözlemleyelim.
skills_df = pd.read_csv(
"https://media.githubusercontent.com/media/khuyentran1401/dataset/master/data_science_market/skills_over_time.csv",
index_col=0,
)
skills_df.head(10)
Ardından, yukarıdaki verileri kullanarak bir bar chart race oluşturacağız:
2014’ten önce, öğretim ve iktisat veri bilimciler arasında en popüler iki beceriydi. Ancak 2014’ten sonra Python bu iki beceriyi geride bırakarak en popüler beceri oldu.
Sonuç
Profesyonel veri bilimi becerilerinizi sergilemeye hazır mısınız? Hayalinizdeki veri bilimi işini bulmak için DataCamp’in sertifika programını ve kariyer hizmetlerini inceleyin.
