Kısa süre önce DataCamp'in Python ile Veri Bilimci kariyer yolunu tamamladığımda, gerçek veri zorluklarıyla yüzleşmeye hazır hissettim, ancak iş o kadar basit değil. DataCamp’te veya bir üniversitede dersleri tamamlamak, veri bilimci olma yolunda atılan uzun bir yolculuğun ilk adımıdır. Öğrendiğiniz becerilerin uygulanması, geliştirilmesi ve öğrendiklerinizi sergileyebilecek, potansiyel işverenlere ekibe değer katabileceğinizi kanıtlayacak bir portföye dönüştürülmesi gerekir.
Peki oraya nasıl varırsınız?
Araç çantanızda bazı araçların olması ve bunları nasıl kullanacağınıza dair iyi bir fikrinizin bulunması bir şey, ancak işe koyulmak göz korkutucu olabilir.
Öyleyse nasıl başlarsınız?
Bu yazı yazacağınız kodla ilgili değil, içinde ilerleyeceğiniz süreçle ilgili. Bu yazı, yukarıdaki soruyu ABD ordusundaki deneyimlerime dayanarak yanıtlamaya çalışacak.
Sivil İşler ve Sivil Bilgi Yönetimi
Veri Bilimci olma yoluna çıkmadan önce, yirmi yılımı ABD Ordusunda geçirdim; son beş yılını ise ABD Kara Kuvvetleri Yedekleri’nin Sivil İşler biriminde. Kısaca Sivil İşler, bir felaket veya çatışma sonrasında bir bölgenin istikrara kavuşturulmasından sorumlu ordu birimidir. 2014–2016 arasında Afrika Boynuzu’ndaki Ebola salgınından, Kasırga Katrina sonrası afet iyileştirme çalışmalarına kadar uzanan durumlarda görevlendirilirler. Irak Savaşı gibi çatışmalar sırasında da yoğun şekilde kullanılırlar. Görevleri, belirli bir bölgeyi felaket öncesindeki “normal hayata” geri döndürmektir.
Şimdi, “Bu, veri bilimciler için ne ifade ediyor?” diye düşünebilirsiniz.
Sivil İşler bilgiye dayanır. Yani veriye. Bir bölgeyi normale döndürmek için önce normalin ne olduğunu ve normalin o bölgeyi istikrarlı kılmaya yetip yetmeyeceğini bilmek gerekir. Bir bölgenin halkı için eğitim sisteminin, güvenliğin ya da hatta temiz suyun olmaması “normal” olabilir. Bir bölgenin istikrarı için nelere ihtiyaç duyulduğuna karar vermek, toplanması, analiz edilmesi ve karar vericilerin eline ulaştırılması gereken çok büyük miktarda veri gerektirir.
Sivil İşler’deki karar vericiler, kurumsal dünyadaki “üst yönetim”e denk gelir. Para, emek ve zamanın nereye ayrılacağına son kararı veren; yüksek rütbeli askerî ve kamu görevlileri ile Kızılhaç ve Dünya Sağlık Örgütü gibi kuruluşların liderleridir. Kararları, Sivil Bilgi Yönetimi (CIM) olarak bilinen bir süreçle toplanan doğru bilginin sonuçlarına büyük ölçüde dayanır.
Sivil İşler’deki zamanım, bir CIM ekibine liderlik etmekle, CIM sürecini Sivil İşler içindeki diğer birliklere öğretmekle ve bu süreçte kullandığımız teknikleri geliştirmekle geçti. CIM konusunda Uzman Kişi (SME) olarak geniş ölçüde kabul görüyordum ve şunu söyleyebilirim: Bu süreç yalnızca orduya özgü değil. Kullandığımız veriler gizli değildi. Ordu, yerel yönetimler, FEMA ve Kızılhaç ile DSÖ gibi sivil kuruluşlar tarafından tüketilebilir olması gerekiyordu.
Şimdi, söz konusu bilgiyi toplamak, analiz etmek ve yaymak için kullandığımız CIM süreci veri bilimine uygulanabilir ve DataCamp’te şimdiye kadar gördüğüm kadarıyla adı anılmasa da yaygın şekilde kullanılıyor.
Veri bilimi komut satırının ya da bir Jupyter Notebook’un ötesine geçer. Bir veri kümesiyle çalışırken neredeyse her zaman bir nihai hedef ve bir müşteri vardır. Bir veri kümesini meraktan ya da beceri pratiği için işliyorsanız, müşteri sizsiniz. Müşteri blog okuyucularınız, işteki diğer çalışma arkadaşlarınız, yöneticiniz ya da ücretli bir müşteri olabilir.
Her zaman bir müşteri olduğunu kabul ediyorsanız, o hâlde her zaman bir ürün olması gerektiğini ve bu ürünün o en önemli “soruya” yanıt vermesi gerektiğini de kabul etmelisiniz.
Soru
Altı adımlı CIM Sürecine girmeden önce “Soru”nun ne olduğunu bilmeniz gerekir. En basit haliyle, analizi yapmanızın nedeni budur.
Örneğin, Intro to Python for Data Science dersinde soru şudur: “FIFA’da kalecilerin medyan boyu nedir?”. Kaggle’ın Titanic Yarışmasında ise soru: “Titanic’in batmasından hayatta kalma olasılığı en yüksek kişi tipi hangisiydi?”.
Her zaman bir soru vardır ve çoğu durumda yanıtlanması gereken birkaç soru birden bulunur. Artık “Soru”nun ne olduğunu bildiğinize göre sürece başlayabilirsiniz.
CIM Süreci
Toplama
Veri olmadan analiz edecek bir şey, dolayısıyla veri bilimciye pek gerek kalmazdı. DataCamp, Kaggle, Driven Data ve Data.gov üzerinde kullanılan veri kümelerinin hepsi toplanmak zorundaydı. İnternette neredeyse sınırsız miktarda veri mevcut ve toplamanın büyük kısmı web kazıma veya diğer otomatik tekniklerle otomatikleştirilebilir. Sivil İşler’deyken CIA World Factbook, Nüfus Sayımı Verileri ve Google Haritalar’a yoğun şekilde başvuruyordum.
Ancak her zaman bu kadar kolay değil.
Kasım 2016’da, Tennessee eyaletindeki Gatlinburg kasabası, 2.500’den fazla ev ve iş yerini yok eden yıkıcı bir orman yangınına maruz kaldı. O sırada Knoxville, TN’deki bir Sivil İşler birimine bağlıydım ve hasarın değerlendirilmesine yardımcı olmamız istendi. Gatlinburg çevresi, dağlara serpiştirilmiş evlerin bulunduğu kırsal ve dağlık bir araziydi ve haritaları güncel tutmak neredeyse imkânsızdı. Hangi binaların ayakta kaldığına ilişkin veriyi toplamanın tek yolu manuel toplamaktı. Yerel gönüllüler ve devlet kurumlarıyla birlikte çalışarak ekipler hâlinde bölündük ve bu kırsal yolları araçla ya da yürüyerek evleri bulmak için taradık. Karşılaştığımız her bina için haritada işaret koyup hasar durumunu not ettik. Bu veriler sonra yerel kurumlarca birleştirilmek üzere gönderildi.
Manuel veri toplamaya başka güzel bir örnek de, Statistical Thinking in Python Part 2 dersinde kullanılan Scandens Gaga Derinliği Kalıtımı veri setidir. O veriler, 40+ yıllık kişisel gözlemlerden elde edilmiştir!
Eminim çalışacak veri bulmak için bu kadar ileri gitmeniz gerekmeyecektir. Her DataCamp dersinin başında sağlanan veri kümeleriyle başlayabilir, orada hoşunuza giden bir şey yoksa yukarıda listelenen kaynaklara göz atabilir ya da aradığınız veri için basitçe Google’da arama yapabilirsiniz.
Derleme
Aradığınız tüm bilgileri tek bir pakette sunan bir veri kümesi bulduğunuzda harika bir his olur. Ne yazık ki bu kuraldan ziyade istisnadır. Çoğu zaman verinizi birleştirilmesi gereken parçalarda bulursunuz.
Derleme, verinin ham hâlinden, üzerinde çalışılabilir bir veri kümesine dönüştürülmeye başlandığı aşamadır.
Sivil İşler’de ilk verilerin bir kısmı internetten gelse de bu küçük bir azınlıktır. Verilerin büyük çoğunluğu sahadaki insanlardan gelir. Sivil İşler Ekipleri bir bölgeye gidip fotoğraf çeker, yerel halkla röportaj yapar ve havaalanları, okullar, polis karakolları, enerji santralleri gibi yerel binaları değerlendirir. Tüm bu veriler, üzerinde çalışılabilir bilgiye dönüştürülmesi gereken yazılı raporlar hâlinde geri gelir. Daha önce bahsettiğim orman yangınlarından toplanan verilerin derlenmesine ben bizzat dahil olmadım, ancak eldeki o el ile işaretlenmiş haritaların her biri, her konumun koordinatlarını, durumunu ve mülk tanımını gösteren tek bir kaynağa derlenmek zorundaydı.
Gelişmekte olan bir Veri Bilimci olarak, çoğumuzun veriyi ele almaya derleme aşamasında başlayacağını düşünüyorum.
Örneğin Scandens Gaga Derinliği Kalıtımı verilerini ele alalım. Her günlük raporun, haftalık ya da aylık rapora, ardından yıllık rapora ve nihayetinde 40 yıllık veriyi temsil eden tek bir veri kümesine derlenmesi gerekti.
İyi bir derleme, verileri gidişat sırasında temizleme ve daha sonra çalışması kolay olacak uygun kategorilere yerleştirme fırsatı sunduğundan, ileride çokça iş tasarrufu sağlayabilir. Birleştirme, join ve append gibi teknikler, derleme aşamasında değerini gösterir.
İşleme
Kabul edelim, aradığımız tüm bilgileri içeren toplanmış ve derlenmiş bir veri kümesi bulsak bile muhtemelen “çirkin” olacaktır ve biraz temizlenmeye ihtiyaç duyar. İşleme, “veriyi” alıp analiz için hazır, kullanılabilir bir forma dönüştürdüğümüz yerdir. Sivil İşler’de veri toplama ve derlemeye çok zaman harcadım; ancak veriyi asıl tanıdığım ve analiz planımı şekillendirmeye başladığım yer işleme aşamasıydı.
CIM Ekibinde çok sayıda “alan değerlendirmesi” yapardım. Bu, basitçe, sahaya gitmeden önce belirli bir bölgenin ilk analizidir ve o bölgede önceliklendirmemiz gerekebilecek konulara dair fikir verir. Bölgeye ait ilgili tüm veriler toplandıktan ve derlendikten sonra, analiz öncesinde bile, tüketilebilir bilgiye dönüştürülür. Ortaya genellikle temel soruları analiz gerektirmeden yanıtlayabilecek, temizlenmiş ve kategorize edilmiş bilgileri içeren Excel çalışma kitapları veya veritabanları çıkar.
Veri biliminde bu, veriyi düzenleyip keşfettiğimiz ve Keşifsel Veri Analizi yaptığımız aşamadır. Veriyi uygun şekilde kategorize edip etiketlemeye ve doğru “tür”de olduğundan emin olmaya özen gösterirseniz, analiz bölümünde kendinize epey zahmetten kurtarabilirsiniz. Veriyi doğru şekilde işleyerek iyi bir analizin temelini atabilirsiniz.
Analiz
Biraz önceki alan değerlendirmeme dönersek, sorgulanabilir ve yanıt alabileceğim bir veri kümesine sahip olmak harika. Bölgede kaç doktor olduğunu ya da kişi başına yıllık kaç galon temiz su düştüğünü bulabilirim. Bu önemli bir bilgidir, ancak analiz değildir. Analiz şunlar gibi soruları yanıtlar: “Bölge, Yönetişim, Ekonomi, Altyapı, Güvenlik ve Sağlık alanlarında çevre bölgelere kıyasla nasıl bir tablo sergiliyor?” ve “Mevcut kullanım hızında, bölgenin temiz suyu ne kadar süre sonra tükenecek?”.
Analiz, çoğumuzun DataCamp’e muhtemelen yapmak için geldiği şeyin özüdür; benim en çok keyif aldığım bölümdür ve o en önemli soruyu yanıtladığımız yerdir. Neredeyse her DataCamp dersinde kapsamlı biçimde işlendiğinden burada fazla ayrıntıya girmeyeceğim. Analizin kilit kısmı, verilerle çalışıp onlardan sonuçlar çıkarmaktır.
Üretim
Gatlinburg Orman Yangınına geri dönelim. Tüm veriler toplanıp derlendikten ve her binanın koordinatlarını, mevcut durumunu ve hasar açıklamasını listeleyen bir veritabanına işlendiğinde, etkilenen bölgedeki binaların yüzde 60’ının onarımın ötesinde hasarlı olduğunu belirlediğimizi varsayalım. “Çevredeki bölgenin ne kadarı yangından etkilendi?” sorusunu yanıtlamış oluruz.
Bir adım daha ileri gidip hasarlı her binanın değerini bulabilir ve tüm bölgenin yeniden inşa maliyetini, mahalle ve sokak bazında hesaplayabiliriz. Hatta hangi mahallelerin en ağır darbeyi aldığını belirleyip yeniden inşa çalışmalarında önceliği nereye vermemiz gerektiğini saptayabiliriz.
Analiz harikadır, ancak bir ürüne dönüştürülmezse bir işe yaramaz; CIM Sürecinin Üretim adımı bununla ilgilidir. Şu ana kadarki her adım bu ana inşa edilmiştir; müşterinizle paylaşacağınız, vitrine koyacağınız şeyi burada üretirsiniz.
Bu, verilerle yaptığınız her şeyin doruk noktasıdır. Ürün bir Jupyter Notebook, tablolar ve grafikler içeren bir e-tablo, web sayfası, PDF dosyası ya da kaynak kod olabilir. Diğer fikirler arasında yüz yüze bir sunum, analizi adım adım anlattığınız bir video sunumu veya Sway ya da PowerPoint ile hazırlanan bir slayt gösterisi yer alır. Seçiminiz ne olursa olsun, müşterinin ihtiyaçlarına uygun olmalıdır. Ayrıca bazı ilave gereklilikler vardır:
- Net, öz ve müşteri tarafından tüketilebilir olun.
- Hikâyeyi anlatın ve müşteri için anlamlı kılın.
- Müşterinin teknik ve eğitim düzeyine göre uyarlayın.
Yayılım
Yayılım, CIM Sürecinin son adımıdır ve ilk bakışta oldukça basit gelebilir; ürünü müşteriye ulaştırın. Ancak durup düşünürseniz, bu muhtemelen tüm sürecin en önemli adımıdır. CIM Ekibindeyken analizlerimize dayanarak çoğunlukla PDF’ler, PowerPoint slaytları veya Excel raporları üretirdik. Neden bu yöntemler? Hepsi erişilebilir, kullanımı kolay, taşınabilir ve neredeyse herkesin nasıl kullanacağını bildiği yöntemlerdir.
Şimdiki beceri setimle, raporlar içeren etkileşimli web sayfaları, kaydırıcılar ve filtreler barındıran Bokeh grafikleri ve etkileşimli haritalar üretebilirdim. Bu, neredeyse herkesin kullanabileceği, çünkü bir Web Sayfasına sarılmış karmaşık ve dinamik bir ürün olurdu. Nihai ürün ne kadar harika olursa olsun, müşteriye şu şekilde ulaştırılmadıkça bir işe yaramaz:
- Erişilebilir: bilgiyle uğraştığınız için müşterilerin erişebilmesi gerekir. Ürünü hedef kitle tarafından erişilemeyecek bir yere gömmek, tüketimini zorlaştırır ve hızla unutulmasına yol açar.
- Kullanımı kolay: seçtiğiniz teslim yöntemi, ulaştırdığınız müşterilerin mutlak çoğunluğu için kullanımı kolay olmalıdır. Örneğin, bir grup Veri Bilimciye bir Python betiği teslim etmek uygun olabilir; ancak “
data_analysis.py” komutunu nasıl çalıştıracağını bilmeyen birine aynı betiği göndermek pek iyi karşılanmayabilir. - Taşınabilir: kabul edelim, bilgilerin giderek daha fazlasını mobil cihazlarda tüketiyoruz. Masaya oturup uzun miktarda bilgi tüketmeye vaktimizin olduğu durumlar nadir. Veri ürünleri, PowerPoint ve Excel gibi Office uygulamaları, PDF’ler veya İnternet üzerinden taşınabilir olmalıdır.
Bu yazıyı okuyan herkesin kullanımına açık bolca yayılım yöntemi var ve hepsini saymaya bile başlayamam. Ürününüzü nasıl yayacağınıza karar vermek bir miktar değerlendirme gerektirir. Kendinize daima şunu sorun: “Bu ürünü müşteriye erişilebilirlik, kullanım kolaylığı ve taşınabilirlik ihtiyaçlarına en iyi uyacak şekilde nasıl ulaştırabilirim?”
Öte yandan bir portföy oluşturuyorsanız, Github, Anaconda Cloud, kişisel web sayfaları ve bloglar ile sosyal medya siteleri başlamak için harika yerlerdir. İşlerinizi ortaya koymaktan ve benzer düşüncedeki kişilerle paylaşmaktan çekinmeyin.
Son Düşünceler
Veriyle ilgileniyorsanız, muhtemelen bahsettiğim adımların bazılarını zaten kullanıyorsunuzdur. Her ne kadar altı adımın hepsinde bizzat yer almıyor olsanız da artık bu adımları ve ham veriyi bitmiş bir ürüne dönüştürmenin bir sürecini daha iyi anlıyorsunuz. Veri Bilimi için askerî prosedürleri tartışmak ilk başta tuhaf gelebilir, ancak bu altı adım hem Orduda hem de Kurumsal Amerika’da bana çok fayda sağladı; umarım veri bilimci olma yolculuğunuzda size de yardımcı olur.
