Kurs
Python’a Giriş
4 sa
7.1M
Veri bilimi sürekli gelişiyor ve modern bir veri ekibindeki unvanlar ile roller de buna paralel değişiyor. Veri biliminin ilk günlerinde, birçok iş unvanında “big data” terimi yer alıyordu.
Son iki yılda, makine öğrenimi giderek daha operasyonel hale geldikçe, farklı iş unvanlarında MLOps görünür olmaya başladı. Bugün ise, kuruluşlar veri okuryazarlığı ve analitik olgunluklarını artırdıkça, analytics mühendisliği rolünün yükselişine tanık oluyoruz.
Kısaca, analytics mühendisleri mühendislik ile analist işlevleri arasında bir köprü görevi görür. Rolleri, analiz için hazır temiz, dönüştürülmüş veri kümeleri sağlamak amacıyla mühendislik en iyi uygulamalarını hayata geçirmektir.
Bu makalenin amacı, bir analytics mühendisinin ne olduğunu ve ne yaptığını netleştirmek, rolü diğer yaygın veri rolleriyle karşılaştırmak ve analytics mühendisliğine adım atmak için kaynaklar sunmaktır.
Bir Analytics Mühendisi Nedir?
Dataform, analytics mühendislerinin daha geniş veri ekibi içindeki yerini tanımlamak için tanıdık bir örnek—mutfak dolapları—kullanarak harika bir benzetme sunuyor. Analytics mühendislerinin neden yükselişte olduğunu incelerken bu benzetmeyi aklınızda tutun.
“Veri mühendisleri dolabı inşa eder; ahşabı ve aletleri bir araya getirir ve dolabı yaparlar. Analytics mühendisleri dolabı açar; tabakları, kupaları ve kaseleri içeri koyup belli bir düzene göre yerleştirirler. Bu, onları belirli renklere, şekillere veya boyutlara göre düzenlemek olabilir. Veri analistleri ise dolaba girdiklerinde her şey düzenli olduğu için nerede ne olduğunu bilirler. Böylece aradıkları küçük mavi kupayı alıp bir fincan çay yapabilirler!”
Josie Hall, Program Manager at Google
Analytics mühendisliğinin yükselişinden önce, veri analistleri paydaşlara içgörü sunmak için Tableau veya Power BI gibi görselleştirme araçlarını kullanırdı. Bu araçlar veriyi sunmak için mükemmeldir ancak veriyi dönüştürmek ve depolamak için en iyi yöntemler değildir.
Bir veri mühendisinin pazarlama verilerini yükleyen bir veri hattı devreye aldığını, ancak veri kalitesinin yetersiz olduğunu hayal edin. Veriyi dönüştürmek ve kalitesini artırmak için gereken alan bilgisine yalnızca pazarlama ekibindeki veri analistleri sahiptir. Ancak, veri mühendisiyle aynı teknoloji yığınını kullanmazlar.
Bu arada, veri mühendislerinin hızlıca hangi dönüşümlere ihtiyaç duyulduğunu anlamak için alan bilgileri yoktur ve çoğunlukla işletmenin dört bir yanından gelen daha yüksek öncelikli işlerle meşguldürler. Sonuç olarak, analistler ilişkisel bir veritabanında kendi geçici tablolarını oluşturarak Tableau veya Power BI içinde veriyi dönüştürmek zorunda kalabilirler. Bu da veriye dayalı içgörülere ulaşma süresini yavaşlatan verimsizliğe yol açar.
İşte burada analytics mühendisi devreye girer. Analytics mühendisi, veri analisti ile veri mühendisi arasında konumlanır. Yukarıdaki senaryoda, alan bilgisine ek olarak veri dönüşümlerini optimize edecek teknik becerilere sahiptir.
Veri analistiyle yakın çalışarak, analytics mühendisi uygun araç ve teknolojilerle veriyi dönüştürüp, veri analistinin kullanımı için temiz veri sağlayabilir.
Analytics Mühendisleri Diğer Veri Rollerinden Nasıl Farklıdır?
Farklı roller arasındaki çizgiler muğlaktır; peki analytics mühendisleri diğer veri rollerinden nasıl ayrışır ve birlikte çalışırlar mı?
Analytics Mühendisi ve Veri Analisti
Veri analistleri, veriyi analiz etmek ve analizlerinden elde ettikleri içgörüleri raporlamakla sorumludur. Veri analizi iş akışını derinlemesine anlarlar ve içgörüleri hem kodlama hem de kod gerektirmeyen araçların birleşimiyle sunarlar. Veri analistleri genellikle SQL ve Power BI veya Tableau gibi iş zekâsı araçlarında oldukça yetkindir; R veya Python gibi araçları ise daha sınırlı kullanırlar.
Analytics mühendisleri, tüketim için hazır veri modellerini optimize etmek üzere veri analistleriyle birlikte çalışır. Ayrıca, veri etrafındaki dokümantasyonu sürdürmekten sorumludurlar; bu da veri analistlerinin daha hızlı içgörü bulmasını sağlar.
Analytics Mühendisi ve Veri Mühendisi
Veri mühendisleri, doğru veriyi doğru kişilerin eline ulaştırmaktan sorumludur. Farklı kaynaklardan gelen terabaytlarca ham veriyi kurum için temiz ve ilgili veriye dönüştürerek tek bir merkezde toplayan altyapı ve veri hatlarını oluşturur ve sürdürürler.
Kabul etmek gerekir ki, bu tanım analytics mühendisliği rolüyle yüksek düzeyde örtüşmektedir. Ancak mutfak dolabı örneğine tekrar başvurursak, veri mühendisleri, analytics mühendislerinin veri ekibindeki veri analistlerinin tüketimi için düzenleyip modelleyebilecekleri doğru veri kaynaklarına sahip olmasını sağlamaktan sorumludur.
Ayrıca, veri mühendisleri tescilli kaynaklardan özel API’ler ve ETL hatları kurmaktan sorumludur — oysa analytics mühendisleri zamanlarının çok daha büyük bir kısmını Google Analytics gibi satıcı API’lerinden gelen hatları iyileştirmeye odaklar.
Analytics Mühendisi ve Veri Bilimci
Veri bilimciler, kuruluşun verileri üzerinde araştırma yapar, içgörüleri ortaya çıkarır ve raporlar. Bu içgörüleri teknik olmayan paydaşlara aktarırlar ve makine öğrenimi iş akışlarını ve bunları iş uygulamalarına nasıl bağlayacaklarını iyi anlarlar. Neredeyse tamamen SQL, Python ve R gibi kodlama araçlarıyla çalışırlar, analiz yaparlar ve sıklıkla büyük veri araçlarını kullanırlar.
Veri bilimciler ile analytics mühendisleri arasındaki ilişki, veri analistleri ile analytics mühendisleri arasındakine benzer. Analytics mühendisleri, veri bilimcilerin veri setlerini temizleme ve optimize etmekten çok içgörülere odaklanmasını sağlar.
Analytics Mühendisi ve Makine Öğrenimi Mühendisi
Makine öğrenimi mühendisleri, kuruluşun verilerinden tahminler üreten makine öğrenimi sistemlerini tasarlar ve devreye alır. Müşteri kaybı (churn) ve yaşam boyu değer gibi problemleri çözer ve kurumun kullanması için modellerin üretime alınmasından sorumludurlar. Tamamen kod tabanlı araçlarla çalışırlar ve muadillerine kıyasla çok daha teknoloji odaklıdırlar.
Analytics mühendisleri ise, iş paydaşlarına içgörü sunmaktan sorumlu veri analistleri ve veri bilimcilerini etkinleştirmeye çok daha fazla odaklanır.
Analytics Mühendisi İş Karşılaştırmaları
|
Veri Analisti |
Veri Mühendisi |
Veri Bilimci |
Makine Öğrenimi Mühendisi |
Analytics Mühendisi |
|
Verileri analiz eder ve içgörüleri paydaşlara raporlar Kuruluş genelinde tüketilen panolar oluşturur Öneriler için konu uzmanlığı ve alan bilgisinden yararlanır |
Satıcı ve tescilli API’leri kullanarak ETL veri hatları oluşturur ve sürdürür Verileri bir veri gölüne veya ambarına optimize eder ve merkezileştirir Verileri makine öğrenimi hatlarına iletir Verileri bulutta işler |
Verileri analiz eder ve içgörüleri paydaşlara raporlar A/B testleri gibi deneyler tasarlar Kuruluş genelinde tüketilen panoları devreye alır Denetimli ve denetimsiz öğrenme iş akışları geliştirir Zaman serisi, metin, coğrafi veya görüntü verileri gibi standart olmayan veri türlerini analiz eder |
Makine öğrenimi modellerini eğitir ve devreye alır Üretimdeki makine öğrenimi modellerinin performansını izler ve iyileştirir Makine öğrenimi iş akışına yazılım mühendisliği en iyi uygulamalarını uygular (CI/CD) |
Veri mühendislerinin oluşturduğu hatları tüketime uygun olacak şekilde optimize eder Veri analistleri ve bilimcileri tarafından kullanılan veri modellerine mühendislik en iyi uygulamalarını uygular Veriyle ilgili dokümantasyonu geliştirir, standartlaştırır ve iyileştirir |
|
R veya Python SQL, Power BI, Tableau |
R veya Python SQL Git, Shell ve komut satırı araçları Airflow veya Spark gibi büyük veri araçları AWS, Azure, GCP veya Snowflake gibi bulut tabanlı araçlar |
R veya Python SQL Git, Shell ve komut satırı araçları Airflow veya Spark gibi büyük veri araçları |
R veya Python SQL Git, Shell ve komut satırı araçları Airflow veya Spark gibi büyük veri araçları |
R veya Python SQL Git, Shell ve komut satırı araçları AWS, Azure, GCP, Snowflake veya dbt gibi bulut tabanlı araçlar |
Analytics Mühendisi Maaşları
Analytics mühendisi rolü henüz yeni; bu da, bu rolde başarılı olmak için gerekli mühendislik ve analitik becerilerin tam bileşimine sahip piyasa arzının az olduğu anlamına gelir. Bu durum, analytics mühendisi rolünü ücret açısından oldukça cazip kılar. Aşağıda Amerika Birleşik Devletleri’ndeki analytics mühendisliği rollerine ilişkin maaş aralıklarından bazı örnekler yer almaktadır.
- Glassdoor: Glassdoor’a göre, Analytics Mühendisleri yılda ortalama 91.080 $ kazanır. Ayrıca, konuma ve şirkete bağlı olarak maaşlar yılda 208.000 $’a kadar çıkabilir.
- Comparably: Comparably’ye göre, Analytics Mühendisleri yılda ortalama 100.305 $ kazanır. Ayrıca, konuma ve şirkete bağlı olarak maaşlar yılda 185.000 $’a kadar çıkabilir.
Yukarıdaki rakamlar, analytics mühendisliği rollerinin genel bir aralığını temsil ederken, Netflix gibi veri olgunluğu yüksek şirketlerin veri rolleri için kişisel ücretlendirme piyasasının üst bandında ödeme yaptığını da not etmek gerekir. Örneğin, levels.FYI’ya göre, Netflix Analytics Mühendisleri yılda 375.000 $’a kadar kazanabilmektedir.
Analytics Mühendisi Nasıl Olunur?
Veri rolleri uzmanlaştıkça, yetkinlik kazanma yolları da daralıyor. Yukarıda bahsedilen birçok veri rolünden farklı olarak, analytics mühendisleri aşağıdaki gibi araç ve kavramları öğrenmelerini gerektiren geniş bir beceri setine ihtiyaç duyar
SQL
SQL, veri rollerinin tamamında analitiğin en yaygın kullanılan araçlarından biridir. Neyse ki öğrenmesi ve ustalaşması da en kolay olanlardandır. SQL öğrenme yollarını görmek için bu makaleye göz atın ve burada ek öğrenme kaynaklarını da inceleyin.
- Kariyer Yolu: SQL ile Veri Analisti
- Beceri Yolu: SQL Temelleri
Python
Python şu anda fiilen en popüler programlama dilidir. Analytics mühendisliği rollerine ya da yukarıda bahsedilen herhangi bir veri rolüne girerken Python kesinlikle faydalı olacaktır. Python öğrenmek için ihtiyaç duyacağınız tüm kaynakları burada bulun ve aşağıdaki kurslarla başlayın.
- Kariyer Yolu: Python Programcısı
- Kariyer Yolu: Python ile Veri Analisti
ETL Araçları
ETL, “Extract, Transform, Load” (Çıkar, Dönüştür, Yükle) anlamına gelir. Bunlar, mühendislerin farklı kaynaklardan veri çıkaran, bunları tüketilebilir veriye dönüştüren ve veritabanlarına yükleyen veri hatları kurmasına olanak tanıyan araçlardır. En popüler açık kaynak ETL araçlarından biri Airflow’dur. Bu kursta Airflow’un nasıl çalıştığını inceleyin.
Bulut Bilişim Araçları
“Bulut bilişim araçları” terimi geniş bir şemsiye olsa da, analytics mühendisleri ve diğer veri rolleri düzenli olarak AWS, Azure, Google Cloud veya Snowflake gibi bulut bilişim hizmetlerinden yararlanır. Bu araçlar, veri ekiplerinin bulutta veriyi ve veri çözümlerini depolamasına, işlemesine ve devreye almasına olanak tanır. En popüler bulut bilişim aracı AWS’dir. Aşağıdaki DataCamp AWS Kurslarına göz atarak AWS hakkında daha fazla bilgi edinebilirsiniz.
- Kurs: AWS Cloud Concepts
- Kurs: Introduction to AWS Boto in Python
Sürüm Kontrolü
Sürüm kontrolü, yazılım mühendisliği en iyi uygulamalarının bel kemiği sayılır. Özetle, uygulayıcılara neyi ne zaman yaptıklarını takip etme, istemedikleri değişiklikleri geri alma ve başkalarıyla ölçekli biçimde işbirliği yapma imkânı verir.
Git gibi komut satırı araçları, sürüm kontrolü en iyi uygulamalarını hayata geçirmenizi sağlar. Git hakkında daha fazla bilgi edinmek için bu özet kılavuza göz atın!
İletişim Becerileri
Her veri rolü belirli ölçüde iletişim becerileri gerektirse de, analytics mühendisliği; bir veri analisti rolünün gerektirdiği iletişim düzeyine, bir veri mühendisinin teknik yetkinliklerinin eşlik etmesini ister. Daha iyi bir iletişimci olmak bir yetenek değil, beceridir. Teknik iletişim becerilerinizi geliştirmek için Veri İletişimi Kavramları kursuna göz atın.
Analytics Mühendisi Olun
MLOps gibi, Analytics Mühendisliği de son derece yeni bir alan. Eğrinin önünde kalmak için aşağıdaki kaynaklara göz atın.
