[İnfografik] Veri Bilimi Projesi Kontrol Listesi

Nasıl yapılır?

Çözülen iş problemini belirleyin

Bu, projenin neden yürütüldüğünü olabildiğince açık biçimde netleştirmelidir. 

Paydaşları belirleyin

Roller arasında proje yöneticisi, veri bilimci, müşteri yöneticisi, veri yöneticisi yer alabilir.

Önceki çalışmaları inceleyin

Benzer alanları kapsayan mevcut projeleri gözden geçirin.

• Projenin kilit çıktıları nelerdi?
• Bu projede yeniden kullanılabilecek çalışma veya varlıklar var mı?
• Kaçınılması gereken hangi hatalar yapıldı?

Başarıyı ölçecek temel performans göstergelerini (KPI veya metrikler) belirleyin

Metrikler SMART kriterlerini kullanmalıdır.

• Spesifik: İyi tanımlanmış olmalı, ekipteki herkes anlayabilmelidir.
• Ölçülebilir: KPI’a ulaşılıp ulaşılmadığı tespit edilebilir olmalıdır.
• Ulaşılabilir: Ekip KPI’ı elde edecek beceri ve kaynaklara sahip olmalıdır.
• İlgili: KPI, daha geniş kurumsal hedeflerle ilişkili olmalıdır.
• Zamana bağlı: Hedefe ulaşmak için bir son tarih olmalıdır.

SMART olmayan örnek: "Web sitesi dönüşümünü artırın"

SMART örnek: "Web sitesinin tasarımını ve kullanıcı deneyimini optimize ederek Q2 sonuna kadar web sitesi dönüşüm oranını %10 artırın"

Kapsamı belirleyin

• Projenin teslimatları nelerdir?
• Bu teslimatlar için gereksinimler nelerdir?
• Projeye neler dahil edilmeyecek?

Bir proje planı yazın

• Projede ara adımlar için kilometre taşları belirleyin.
• Her kilometre taşına ulaşmak için bir zaman çizelgesi belirleyin.
• Her adım için kısa bir açıklama yazın.

Projenin etkisini tahmin edin

• Hedeflere ulaşıldığında kuruluş için faydayı sayısallaştırın.
• Hesaplamada belirsizlik varsa, faydalar için bir aralık veya güven aralığı sağlayın.
• Sayısallaştırılamayan niteliksel faydaları listeleyin.

Projenin eforunu tahmin edin

• Projenin maliyeti ne olacak?
• Proje ne kadar sürecek?
• Proje hangi kaynaklara ihtiyaç duyacak?

Proje risklerini tahmin edin

• Projeye yönelik tüm riskleri listeleyin.
• Her risk için, gerçekleşme olasılığı ile şiddetinin çarpımı olarak risk etkisini hesaplayın.

Projeye devam edip etmeyeceğinize karar verin

Beklenen etkiyi efor ve risklerle karşılaştırarak şu kararlardan birini verin:

• projeye şimdi devam etmek.
• daha yüksek öncelikli projeler lehine projeyi beklemeye almak.
• projeyi iptal etmek.

Her paydaşın sorumluluğunu belirleyin

RACI modelini kullanın. Her görev için kimin olduğunu belirleyin:

• Responsible (Sorumlu): İşi yapan kişi.
• Accountable (Hesap Veren): Kilit kararlardan sorumlu kişi.
• Consulted (Danışılan): Kilit kararlar için görüşü alınan kişiler.
• Informed (Bilgilendirilen): Kilit kararlardan haberdar edilmesi gereken kişiler.

Bir iletişim stratejisi belirleyin

• Nasıl iletişimde kalacaksınız?
• Toplantıların temposu/frekansı nedir?

Veri kaynaklarını belirleyin

• Bu verilere halihazırda erişiminiz var mı?
• Veriler nerede saklanıyor?
• Veri hangi biçimde?
• Veri seti ne kadar büyük?
• Verinin ne anlama geldiğini açıklayan bir veri sözlüğünüz var mı?
• Bir kavram kanıtında kullanmak üzere sentetik veri oluşturulabilir mi?

Düzenleyici gereksinimleri öngörün

• Herhangi bir teslimat (örneğin finansal modeller) denetlenecek mi?
• Tüm veri kaynakları veya özellikler yasal olarak kullanılabilir mi?

Bir teknoloji yığınına karar verin

• Verileri depolamak, işlemek ve modellemek için kullanılacak araçlar üzerinde anlaşın.

Bir proje sözleşmesi (charter) yazın

• Hedefler, paydaşlar, KPI’lar, plan, veri kaynakları, teknoloji yığını ve iletişim stratejisi dâhil olmak üzere proje için aldığınız kararları kısa bir belgede özetleyin.

Nasıl yapılır?

Veri bilimcilere tüm veri setlerine erişim verin

• Her veri seti için uygun izinleri düzenleyin.
• Gerekli ticari veri setlerini satın alın veya benzer özelliklere sahip sentetik veriler kullanın.

Verileri içeri alın

• Her veri kaynağını analitik ortama taşıyın.

Veriyi keşfedin

• Her değişkenin dağılımını histogram veya çubuk grafikle görselleştirin.
• Her değişken için eksik değerleri sayısallaştırın.
• Özellikler ile hedef değişken arasındaki ilişkiyi saçılım grafiği, histogramlar, kutu grafikleri veya ısı haritasıyla görselleştirin.

Bir veri kalitesi raporu yazın

Her veri seti için

• Veri setinin bir özetini sağlayın.
• Herhangi bir üst düzey veri kalitesi sorununu tanımlayın.
• Hedef değişkenin kalitesini açıklayın.
• Her bir özelliğin kalitesini açıklayın.
• Her özellik ile hedef değişken arasındaki ilişkiyi açıklayın.

Projeye devam edip etmeyeceğinize karar verin

Veri kalitesi raporuna dayanarak şu kararlardan birini verin:

• projeye devam etmek.
• daha fazla veri toplarken projeyi duraklatmak.
• projeyi iptal etmek.

Bir veri hattı (pipeline) oluşturun

Proje ilerledikçe verilerin genellikle düzenli olarak güncellenmesi gerekir. Veri hattı 

• içeri alma ve temizleme sürecini otomatikleştirmelidir.
• bir zamanlamayla (toplu güncellemeler) veya sürekli (akış güncellemeleri) çalışmalıdır.

Veri hattını belgeleyin

• Veri hattındaki adımların ve bağımlılıklarının bir diyagramını çizin.
• Her adımda neler olduğunu açıklayın.

Nasıl yapılır?

Bir hipotez oluşturun

• Hipotez iş alanı bağlamında mantıklı mı?
• Sonucu ölçebilir misiniz?
• İstatistiksel olarak anlamlı bir etkiyi görecek kadar veriniz var mı?
• Dikkate almanız gereken istatistiksel yanlılıklar var mı?

Verinizi eğitim ve test setlerine ayırın

Veri sızıntısından kaçınmak için, özellik mühendisliğine başlamadan önce bunu yaptığınızdan emin olun.

Özellik mühendisliği yapın

Modeliniz için şu teknikler dâhilinde özellikler oluşturun:

• Sayısal değişkenleri merkezleyin veya ölçekleyin.
• Sayısal değişkenlerden binleme ile kategorik değişkenler oluşturun.
• Sayısal değişkenlere Box-Cox veya Yeo-Johnson dönüşümleri uygulayarak normal dağılıma uymalarını sağlayın.
• Kategorik değişkenlerin nadir veya ilişkili kategorilerini birleştirin.
• Tarih-saatlerin bölümlerini çıkarın veya birleştirin.
• Özet istatistiklerden yeni değişkenler oluşturun.
• Metin ve diğer yapılandırılmamış verilerden nicel ölçütler çıkarın.

Modeli eğitin veya bir deney yürütün

• En basit modelden başlayın ve kademeli olarak karmaşıklığı artırın.
• Büyük veri setleri için, bir örneklem üzerinde modellemeyi düşünün.

Sonuçları değerlendirin

Model performansını sayısallaştırmak için doğruluk, kesinlik ve duyarlılık gibi metrikler kullanın. Performans yeterince iyiyse:

• Ek veri toplayabilir misiniz?
• Daha fazla özellik mühendisliği yapabilir misiniz?
• Başka algoritmalar kullanabilir misiniz?

Sonuçları raporlayın

• Paydaşlara düzenli geri bildirim sağlayın.
• İş paydaşları ile teknik paydaşlar için dilinizi uyarlayın.
• Başarısızlıkları da başarılar kadar raporlayın.

Nasıl yapılır?

Bir test paketi oluşturun

Modelinizin veya deneyinizin performansını otomatik olarak kontrol eden ve yineleme sırasında girilebilecek hataları yakalayan testler tanımlayın. Şunları içerebilir:

• Koda yönelik birim testleri.
• Portföy veya diğer zaman serileri için geriye dönük test.

İş etkisini doğrulayın

Artık elinizde model performans metrikleri olduğuna göre, işletmeniz üzerindeki beklenen etkiyi daha iyi sayısallaştırabilirsiniz. Etkiyi iş paydaşlarıyla tartışın.

Teknik yaklaşımı doğrulayın

Nihai modelin teknik olarak uygun olduğunu kontrol edin.

• Modelinizin varsayımları geçerli mi?
• Sonuçlar, örneklediğiniz verilere duyarlı mı?
• Hiperparametreler uygun mu?
• Bir başkası modelinizi yeniden üretebilir mi?

Dağıtılabilirliği doğrulayın

• Tüm olası giriş değerleri veya kullanım durumları ele alınabiliyor mu?
• Gerekli tüm veri kaynakları üretimde mevcut mu?
• Bazı veri kaynakları mevcut değilse model zarifçe başarısız olabilir mi?
• Tahminler yeterince hızlı yapılabiliyor mu?

Null sonuçları saklayın

Üretime girmeyecek her şey, gelecekteki projelerin aynı şeyi denemek için zaman kaybetmemesi adına bir bilgi havuzunda kaydedilmelidir.

Nasıl yapılır?

Bir veri hattı geliştirin

• Tüm veri kaynaklarından üretim ortamına bir Yönlendirilmiş Döngüsüz Grafik (DAG) kurun.
• Veri güncellemelerini otomatik çalışacak şekilde zamanlayın.

Bir model hattı geliştirin

• Model akışını görevlere bölün ve bunları bir hat içinde birleştirin.

Modeli operasyonelleştirin

Panoların, web sitelerinin veya diğer yazılımların erişebileceği bir API sağlayın.

Bir izleme planı tasarlayın

• İzlenecek metrikleri belirleyin; performans metrikleri ve bir hata girildiğini gösterecek güvenlik metrikleri dâhil.
• Bu metrikler için kabul edilebilir aralıkların sınırlarını belirleyin.
• Metrikler aralık dışına çıkarsa nasıl uyarı almak istediğinize karar verin.

A/B testiyle yayına alın

• Yeni özelliği veya modeli rastgele seçilmiş bir kullanıcı örneklemine sunun.
• Seçilen metrikleri yakından izleyin, ancak istatistiksel anlamlılık elde edilmeden kazananı ilan etme dürtüsüne direnin.

A/B test sonuçlarını analiz edin ve raporlayın

• Her grup için takip etmeyi seçtiğiniz metrikleri karşılaştırın.
• Test başarılı olmasa bile sonuçları raporlayın.

Çoğu ya da tüm kullanıcılara yayına alın

Eğer test başarılı olduysa, özelliği veya modeli kullanıcıların çoğuna ya da tamamına sunun.

• Özellik veya modeli almayan küçük bir kontrol grubu bırakmak, yeni özellik veya modelden elde ettiğiniz performans artışına ilişkin uzun vadeli veriler sağlar.

Nasıl yapılır?

Bir kapanış raporu yazın

Projenin durumunu ve öğrendiklerinizi özetleyin.

• Projenin genel bir özetini verin.
• Çözmeye çalıştığınız iş problemini özetleyin.
• Veri kaynaklarını ve nasıl işlendiğini açıklayın.
• Kullanılan modelleme tekniklerini ve modelin nasıl doğrulandığını açıklayın.
• Çözüm mimarisini özetleyin.
• Projenin şirkete ve müşteriye sağladığı faydaları ana hatlarıyla belirtin.
• Proje yürütme, veri bilimi, iş alanı ve ürünle ilgili öğrenimleri tanımlayın.
• Sonraki adımları belirtin.

Müşteri geri bildirimi alın

• Anketler ve kullanıcı görüşmeleri yapın.
• Yorumları, puanları ve sosyal medyayı izleyin.

Nasıl yapılır?

İzleme hattı geliştirin

İzleme planında tanımlanan performans ve güvenlik metriklerini otomatik olarak takip edecek bir hat kurun.

Panolar oluşturun

Bu metriklerdeki değişimleri zaman içinde takip etmek için panolar oluşturun.

Uyarılar ayarlayın

Metrikler kabul edilebilir aralığın dışına çıktığında e-posta, Slack vb. üzerinden sizi bilgilendirecek uyarılar kurun.