Veri Bilimci vs Veri Mühendisi

Veri Bilimi vs Veri Mühendisliği: Sorumluluklar

Veri mühendislerinin sorumlulukları

Veri mühendisi, veritabanları ve büyük ölçekli işlem sistemleri gibi mimarileri geliştirir, inşa eder, test eder ve sürdürür. Veri bilimci ise (büyük) veriyi temizler, dönüştürür ve organize eder.

“Masaj yapmak” fiilinin seçimi size özellikle egzotik gelebilir, ancak bu durum veri mühendisleriyle veri bilimciler arasındaki farkı daha da iyi yansıtır.

Genel olarak, her iki tarafın da veriyi kullanılabilir bir formata getirmek için harcaması gereken çaba oldukça farklıdır.

Veri mühendisleri, insan, makine veya cihaz hataları içeren ham verilerle uğraşır. Veri doğrulanmamış olabilir ve şüpheli kayıtlar barındırabilir. Biçimlendirilmemiştir ve sisteme özgü kodlar içerebilir.

Veri mühendisleri, veri güvenilirliğini, verimliliğini ve kalitesini artırmanın yollarını önermek ve kimi zaman uygulamak zorundadır. Bunu yapmak için, sistemleri birbirine bağlamak veya diğer sistemlerden yeni veri edinme fırsatlarını yakalamak amacıyla çeşitli dil ve araçlar kullanırlar; böylece örneğin sisteme özgü kodlar, veri bilimciler tarafından daha ileri işlemeye uygun bilgiye dönüşebilir.

Bunlarla yakından ilişkili olarak, veri mühendisleri mevcut mimarinin veri bilimcilerin, paydaşların ve işletmenin gereksinimlerini karşıladığından emin olmalıdır.

Son olarak, veri mühendisliği ekibi, veriyi veri bilimi ekibine ulaştırmak için veri modelleme, madencilik ve üretim amaçlı veri kümesi süreçleri geliştirecektir.

Detayları öğrenmek için kapsamlı yazımızda bir veri mühendisinin ne yaptığını keşfedin. 

Veri bilimcilerin sorumlulukları

Veri bilimciler genellikle ilk tur temizlik ve manipülasyondan geçmiş veriyi kullanır; bunu gelişmiş analitik programlara, makine öğrenimi ve istatistiksel yöntemlere besleyerek veriyi kestirimsel ve kural koyucu modelleme için hazırlarlar. Elbette model kurmak için sektör ve iş soruları üzerine araştırma yapmaları ve iş ihtiyaçlarını yanıtlamak üzere iç ve dış kaynaklardan büyük hacimlerde veri kullanmaları gerekir. Bu bazen gizli kalıpları bulmak için veriyi keşfetmeyi ve incelemeyi de içerir.

Analizler tamamlandığında, veri bilimciler kilit paydaşlara net bir hikâye sunmalıdır. Sonuçlar kabul edildiğinde, içgörülerin iş paydaşlarına günlük, aylık veya yıllık olarak ulaştırılabilmesi için çalışmaların otomasyona alınmasını sağlamalıdırlar.

Her iki tarafın da veriyi şekillendirmek ve iş açısından kritik kararlara içgörü sağlamak için birlikte çalışması gerektiği açıktır. Yetkinliklerde belirgin bir örtüşme vardır, ancak ikisi sektörde giderek daha belirgin şekilde ayrışmaktadır: Veri mühendisi veritabanı sistemleri, veri API’leri ve ETL amaçlı araçlarla çalışır; veri modelleme ve veri ambarı çözümleri kurulumunda yer alır. Veri bilimci ise kestirimsel modeller kurmak için istatistik, matematik ve makine öğrenimini bilmelidir.

Veri bilimci, veri mühendisliği ekibi tarafından işlenen veriye erişmesi gerektiğinden dağıtık bilişimden haberdar olmalıdır. Ayrıca iş paydaşlarına raporlama yapabilmesi gerektiği için hikâyeleştirme ve görselleştirmeye odaklanması esastır.

Bu durumun veri bilimi iş akışının adımlarına odak açısından ne anlama geldiğini aşağıdaki görselde görebilirsiniz:

Veri Bilimi vs Veri Mühendisliği: Diller, Araçlar ve Yazılımlar

Elbette bu yetkinlik farkı, kullanılan dil, araç ve yazılımlara da yansır. Aşağıdaki genel bakış, hem ticari hem de açık kaynak alternatifleri içerir.

Her iki tarafın kullandığı araçlar şirket bağlamında rolün nasıl kurgulandığına yakından bağlı olsa da, veri mühendisleri sıklıkla SAP, Oracle, Cassandra, MySQL, Redis, Riak, PostgreSQL, MongoDB, Neo4j, Hive ve Sqoop gibi araçlarla çalışır.

Veri bilimciler ise SPSS, R, Python, SAS, Stata ve Julia gibi dilleri modeller kurmak için kullanır. Burada en popüler araçlar tartışmasız Python ve R’dir. Veri bilimi için Python ve R ile çalışırken, çoğunlukla R’de etkileyici görselleştirmeler yapan ggplot2 gibi paketlere veya Python’un veri manipülasyon kütüphanesi Pandas’a başvurursunuz. Elbette veri bilimi projelerinde işinize yarayacak scikit-learn, NumPy, Matplotlib, Statsmodels vb. daha pek çok paket vardır.

Sektörde ticari SAS ve SPSS’in de iyi bir konumda olduğunu, ancak Tableau, Rapidminer, Matlab, Excel ve Gephi gibi diğer araçların da veri bilimcinin araç kutusunda yer bulduğunu göreceksiniz.

Veri mühendisleri ile veri bilimciler arasındaki temel ayrımlardan biri olan görselleştirme ve hikâyeleştirmeye vurgu, bahsedilen araçlara da yansımaktadır.

Tahmin edeceğiniz üzere Scala, Java ve C# her iki tarafın da ortak olarak kullandığı araçlar ve dillerdir.

Bu diller veri bilimciler ve mühendisler arasında mutlaka popüler olmayabilir. Scala’nın özellikle Spark ile entegrasyonunun büyük ETL akışları kurmada işe yarar olması nedeniyle veri mühendisleri arasında daha popüler olduğunu söyleyebilirsiniz.

Java için de benzer bir durum geçerlidir: Şu anda veri bilimciler arasında popülaritesi artıyor olsa da, genel olarak profesyoneller tarafından günlük kullanımda yaygın değildir. Yine de her iki rol için iş ilanlarında bu dillere rastlayacaksınız. Aynı durum, her iki tarafın ortak kullanabildiği Hadoop, Storm ve Spark gibi araçlar için de geçerlidir.

Elbette araçlar, diller ve yazılımlar karşılaştırması, çalıştığınız spesifik bağlamda ve bahsi geçen veri bilimi rollerini nasıl yorumladığınıza göre değerlendirilmelidir; kimi durumlarda veri bilimi ve veri mühendisliği birbirine oldukça yakın konumlanabilir; iki ekip arasındaki ayrımın çok küçük olduğu ve bazen ekiplerin birleştirildiği örnekler mevcuttur.

Bu iyi bir fikir midir değil midir, bugünkü yazının kapsamını aşan ayrı bir tartışma konusudur.

Veri Bilimi vs Veri Mühendisliği: Eğitim Geçmişi

Tüm bunların yanı sıra, veri bilimciler ve veri mühendislerinin ortak noktaları da olabilir: bilgisayar bilimi geçmişleri. Bu çalışma alanı her iki meslek için de oldukça yaygındır. Elbette veri bilimcilerin sıklıkla ekonometri, matematik, istatistik ve yöneylem araştırması okuduğunu da görürsünüz. Genellikle veri mühendislerine kıyasla biraz daha fazla iş bilgisine sahiptirler. Veri mühendislerinin de mühendislik kökenli olduklarını sık görürsünüz; çoğunlukla bilgisayar mühendisliğinde eğitim almışlardır.

Ancak bu, önceki eğitimlerinden operasyon ve iş bilgisi edinmiş veri mühendisleri bulamayacağınız anlamına gelmez.

Genel olarak, veri bilimi sektörünün farklı geçmişlerden gelen profesyonellerden oluştuğunu unutmamalısınız: fizikçilerin, biyologların veya meteorologların veri bilimine yönelmesi yaygındır. Başkaları ise kariyer değiştirerek veri bilimine geçmiştir; web geliştirme, veritabanı yönetimi vb. alanlardan gelirler.

Veri Bilimi vs Veri Mühendisliği: Maaşlar ve İşe Alım

ABD’de ortalama yıllık veri bilimci maaşı 123.069 ABD dolarıdır; aralık 78 bin ile 194 bin ABD doları arasındadır. Farklı ülkelerde de benzer bir eğilim gözlenir; ortalama veri bilimci maaşı, ulusal ortalamanın en az %30 üzerindedir (Hindistan’da bu oran çok daha yüksektir!).

ABD’de veri mühendisleri için ortalama yıllık maaş 125.686 ABD dolarıdır;  diğer ülkelerde ise ortalama maaş veri bilimcilerinkine oldukça yakındır.

Her iki role de büyük talep var. Bu yazının yazıldığı sırada Indeed, ABD’de 10.000+ veri bilimci ve 5.000+ veri mühendisi ilanı listeliyordu. Spotify, Meta, Amazon, Google ve Microsoft gibi öncü şirketler her iki rol için de neredeyse sürekli işe alım yapıyor.

Veri Bilimi vs Veri Mühendisliği: İş Görünümü

Daha önce açıklandığı gibi, rollerin ve unvanların oluşturulması bazen değişen ihtiyaçları yansıtmak için, bazen de rakip işe alım şirketlerinden farklılaşmak için yapılır.

Veri yönetimi konularına ilginin artmasına ek olarak, şirketler verilerini depolamak ve yönetmek için daha ucuz, esnek ve ölçeklenebilir çözümler arıyor. Verilerini buluta taşımak istiyorlar ve bunu yapmak için mevcut veri ambarlarını tamamlayacak veya Operasyonel Veri Deposu’nu (ODS) ikame edecek “veri gölleri” inşa etmeleri gerekiyor.

Önümüzdeki yıllarda veri akışlarının yeniden yönlendirilmesi ve değiştirilmesi gerekecek; bunun bir sonucu olarak veri mühendislerine odak ve bu pozisyonlara yönelik iş ilanlarının sayısı yıllar içinde kademeli olarak arttı.

Veri bilimci rolü, hype’ın başlangıcından bu yana talep görüyor; ancak günümüzde şirketler, iletişim becerileri, yaratıcılık, zekâ, merak, teknik uzmanlık vb. özelliklerin tümüne sahip “tek boynuzlu at” veri bilimciler yerine veri bilimi ekipleri kurmayı tercih ediyor. İşe alım uzmanları için şirketlerin aradığı tüm nitelikleri bünyesinde barındıran kişileri bulmak zor ve talep açıkça arzı aşıyor.

“Veri bilimci balonu”nun patladığını iddia edebilirsiniz. Ya da belki de GPT-3 ve GPT-4 gibi yapay zekâ atılımları dünyayı kasıp kavurmadan önce patlamak üzereydi. 

Tüm bunlar boyunca değişmeyecek olan bir şey var: veri bilimi konularına tutkulu uzmanlara duyulan talep her zaman var olacak. Bu uzmanlar için iş görünümü son derece olumlu. Örneğin, ABD Çalışma İstatistikleri Bürosu önümüzdeki on yıl boyunca her yıl 20.800 veri bilimci iş ilanı öngörüyor; 2023’ten 2033’e %36 büyüme ile tüm mesleklerin ortalamasından çok daha hızlı. Benzer şekilde veri mühendisi ilanları için de görünüm olumludur.

Veri Bilimi vs Veri Mühendisliği: Özet

Veri Mühendisliği ve Veri Bilimine Başlangıç

Her iki rolden birinde kariyer yolunuzu çizmek isterseniz, rehberlerimiz başlamak için harika bir yer:

• Veri bilimci nasıl olunur
• Veri mühendisi nasıl olunur

Öğrenme yolculuğunuza doğrudan başlamak isterseniz, DataCamp yanınızda. veri mühendisliğini öğrenmeye başlamak için birçok ideal kursumuz var. Örneğin, DataCamp’in Python’da Veri İçe Aktarmaya Giriş ve R’de Veri İçe Aktarmaya Giriş kursları. Veri Mühendisi Sertifikamız ise işe alım yöneticilerine giriş seviyesi bir rol için gerekli becerilere sahip olduğunuzu kanıtlamanın harika bir yoludur.

Veri bilimine başlamak isteyenler için ise Keşifsel Veri Analizi, Veri Bilimi için R’ye Giriş, Makine Öğrenimi Araç Kutusu ve Veri Bilimi için Python’a Giriş kursları bulunmaktadır. Benzer şekilde, Veri Bilimci Sertifikamız yüksek itibara sahiptir ve önde gelen şirketlerin kapısını aralamanıza yardımcı olur.