Kurs
Veri Bilimini Anlamak
2 sa
875.6K
Not defterleri, son 10 yılın büyük bölümünde veri biliminde yaygın olarak kullanıldı ve her veri bilimci en az bir kez onlarla çalıştı. Hızlı ortam oluşturma, etkileşimli çıktı ve herhangi bir sırayla çalıştırılabilen kod parçacıkları sayesinde veri bilimcilerin hızla deney yapmasına ve içgörüleri paylaşmasına olanak tanırlar.
Kuruluşlar veri bilimi ve analitiğe büyük yatırımlar yapıyor ve yatırımın kilit alanlarından biri, veri bilimcilerin verimli çalışmasına ve verilerle hızla deney yapmasına olanak tanıyan araçlar oldu. Not defterleri bunun merkezinde yer alıyor ve bugün modern veri yığındaki birçok araç yeniliğinin bir bileşeni. Daha da önemlisi, not defterleri vatandaş veri bilimcilerini güçlendirerek veri içgörülerinin demokratikleşmesini sağlıyor.
Bu makale, not defterlerinin geçmişine, bugününe ve geleceğine ve not defterlerinin veri çalışması ile iş birliği için nasıl silo duvarlarını yıktığına bakıyor.
Veri Bilimi Not Defterinin Tarihi
Bugün neredeyse her veri bilimci bir not defteri kullanmıştır; bunların en popüleri Jupyter Notebooks’tur. Ancak not defterlerinin veri biliminden daha eskiye uzanan zengin bir geçmişi vardır—1980’lerin başlarına kadar gider.
Okunur Programlamanın Yükselişi
1984’te Donald Knuth tarafından tanıtılan okunur programlama, insanların okuyabileceği programlar oluşturmak için bir yöntem olarak tasarlandı. Fikir; program mantığını, ayrı yorumlar olarak yazılan kod parçacıkları ve makrolarla birlikte, insan diliyle yazmaktı; bu, “WEB” olarak biliniyordu. Makrolar, bilgisayar bilimi öğretiminde kullanılan sözde koda benzerdi.
Bir önişlemci daha sonra WEB’i ayrıştırarak kaynak kodu (“tangle”) ve dokümantasyon (“weave”) oluşturur. Okunur programlama bugün hâlâ kullanılmaktadır; örneğin Axiom’da. Ancak okunur programlamanın temel fikirleri, bugün gördüklerimize çok benzeyen not defterlerinin geliştirilmesine yol açtı.
Erken Dönem Not Defterleri
Önemli erken dönem not defterleri, 1980’lerin sonunda yayımlanan Wolfram Mathematica ve Maple idi. Ön yüzde bir arayüz, arka planda ise bir çekirdek ile çalışıyorlardı. Aşağıdaki görsel, Mathematica kullanılarak oluşturulmuş bir 3B grafiği ve bugün not defterlerinde görmeye devam ettiğimiz tanıdık In[ ] ve Out[ ] gösterimini sunuyor.
Erken Wolfram Mathematica Not Defteri
Bu araçların, kod çalıştırmak için shift + enter yerine enter kullanmak veya matematiksel işlemleri gösterme biçimlerindeki farklılıklar gibi küçük ayrımları vardı. Ancak her ikisi de modern not defterlerinin tasarımını etkileyen fikirler barındırıyordu.
Yaygın benimsenmenin önündeki önemli bir engel maliyetti; zira bu araçlar pahalıydı ve kullanım için lisans gerekiyordu. Bu, 1998’de Açık Kaynak Girişimi’nin kurulmasına yol açan ve bugün kullandığımız güçlü, ücretsiz araçların (ör. Jupyter Notebooks!) ortaya çıkmasını sağlayan sektör genelindeki bir sorundu.
Modern Veri Bilimi Not Defterlerinin Erken Temelleri
2001’de IPython ve SciPy yayımlandı; 2003’te ise Matplotlib geldi. SciPy, Python’da çeşitli bilimsel hesaplamaların yapılmasını sağlarken IPython, terminalde kullanıcı deneyimini iyileştirdi ve dağıtık hesaplama desteği ekledi. Tıpkı bugün olduğu gibi, Matplotlib Python’da veri görselleştirmelerini kolayca oluşturmayı sağladı.
Açık kaynaklı bu araçlar (ve diğerleri) 2005’e kadar SageMath adı verilen tek bir araçta bir araya getirilmedi. Amaç, diğer bilimsel açık kaynak araçlarını birleştirip onların üzerine inşa eden ve bugün modern not defterlerinin temelini oluşturan web tabanlı özellikler sunan, Mathematica ve Maple’a açık kaynaklı bir alternatif sağlamaktı.
2011’de IPython, web uygulaması ön yüzü ile alttaki not defteri belgesi arasında net bir ayrım olan not defterini yayımladı.
IPython Not Defteri
Jupyter Notebooks’un Doğuşu
Jupyter, 2014’te IPython’dan ayrılarak not defteri arayüzünü ve IPython’ın dil bağımsız diğer bölümlerini tanıttı. Adını başlangıçta desteklediği dillerden aldı: Julia, Python ve R. Jupyter not defterleri artık veri bilimcilerin başvurduğu araçtır ve bugün tartışmasız en yaygın kullanılan not defteri arayüzüdür.
Son yıllardaki önemli bir geliştirme alanı, ön yüzü çekirdekten ayıran uygulamalar oldu; böylece kullanıcı ön yüze tarayıcıdan erişirken çekirdek bulut tabanlı veri merkezlerinde çalışıyor. Bu tür araçlara harika bir örnek, bir Jupyter Notebook örneğiyle doğrudan tarayıcınızda çalışmaya başlayabileceğiniz DataCamp Workspace’tir.
DataCamp Workspace’te JupyterLab
Not defterlerinin benimsenmesi ve popülerliği arttıkça, son birkaç yıl herkesin verilerle kolayca çalışmasını sağlayan modern not defteri arayüzlerinde bir dalga getirdi. Bir sonraki bölümde, modern not defterlerinin verilerle çalışma konusundaki engelleri nasıl kaldırdığını ele alacağız.
Modern Veri Bilimi Not Defterleri Vatandaş Veri Bilimcileri Nasıl Güçlendiriyor
Vatandaş Veri Bilimcileri fikri Gartner tarafından 2016’da ortaya atıldı. Vatandaş Veri Bilimcileri teknik becerilere sahiptir ancak geleneksel veri bilimi, istatistik veya bilgisayar bilimi geçmişine sahip olmayabilirler.
Veri bilimi giderek bir alan olmaktan çıkıp iş problemlerini çözmeye yönelik bir yöntem haline geldikçe, Vatandaş Veri Bilimcileri modern veri odaklı kuruluşların yüzü oluyor. Not defterleri, düşük hatta sıfır giriş engeliyle hızlı denemeler ve paylaşılabilir içgörüler sunabildikleri için Vatandaş Veri Bilimciler için mükemmel araçlardır.
Not defterleri her zaman bir veri kümesini hızlıca keşfetmek ve analiz etmek için harika olsa da, geçmişte iş birliği ve içgörü paylaşımı gibi alanlarda eksik kalıyordu. 2022 itibarıyla bu artık geçerli değil; modern not defterleri ve çevresindeki ekosistem bu tarihsel kör noktaların çoğunu kapatıyor. İşte not defterlerinin üretkenlik, verimlilik ve iş birliğinde kazançlar sağladığı bazı yollar.
Modern Veri Bilimi Not Defterleri İş Birliğine Uygundur
Modern bir iş birliği aracına açık bir örnek Google Dokümanlar’dır. Birçok kullanıcı belgeleri kullanabilir ve düzenleyebilir; kullanıcılar kimlerin düzenleme yapabileceğini, kimlerin yalnızca yorum önerebileceğini de kontrol edebilir. Değişiklikler, felaketleri önlemek için düzenli olarak kaydedilir.
Benzer teknoloji artık Deepnote ve Datacamp Workspace gibi araçlarla not defterleri için de mevcut. Birden çok kullanıcı not defterlerini düzenleyebilir, çalıştırabilir ve yorum bırakabilir. Tüm bu iş birliği gerçek zamanlı gerçekleşir; bu da süreci çok daha verimli kılar.
DataCamp Workspace’te İş Birliği
Verilerle çalışan herkes için iş birliği esastır. İş birliği engellerini azaltmak, bilgi ve uzmanlığı paylaşarak veri silolarını azaltmak anlamına da gelir. Geleneksel olarak, not defterleriyle iş birliği yavaş olabilirken, modern veri yığını hızlı ve verimlidir. Birçok araç mevcut teknoloji yığınına sorunsuz şekilde entegre olur; bu da kullanıcıların alışık oldukları araçlarla çalışırken meslektaşlarıyla iş birliği yapabilmelerini sağlar.
Veri İçgörülerinin Demokratikleşmesine Yardımcı Olurlar
Analizleri diğer kullanıcılarla paylaşmak zor olabilir—ister iş paydaşları olsun ister daha teknik kişiler. Tarihsel olarak, uygulayıcılar not defteri raporlarını ve içgörüleri e-posta, Slack, sunumlar veya özel geliştirilmiş web uygulamalarıyla paylaştı.
Ancak modern not defterleri, not defterlerinin sorunsuzca paylaşılmasına olanak tanıyarak içgörüleri demokratikleştiriyor. Örneğin IPyWidgets, not defterlerine etkileşimli bileşenler eklenmesini sağlar; böylece kullanıcılar grafikleri değiştirmek için kaydırıcıları sürükleyebilir ve içgörülerle daha fazla etkileşime girebilir. Binder, bir depoyu barındırılan etkileşimli not defterlerine dönüştürür; bu da etkileşimli bir not defterinin başkaları tarafından paylaşılmasını ve çalıştırılmasını mümkün kılar. Voila, bir not defterini barındırılan bir web uygulamasına dönüştürür; böylece kullanıcılar tüm kodu görmeden tamamen etkileşim kurabilir. Datacamp Workspace, kullanıcıların not defterlerini paylaşmasına ve verilere hikâye katmak için şablonlar sunmasına olanak tanır.
DataCamp Workspace’te Rapor Yayınlama
Yetenek Açığını Kapatabilirler
Veri bilimi hem geniş hem derindir: birçok farklı alanda öğrenilecek çok şey vardır. NLP uzmanı olmak sizi harika bir veri mühendisi yapmaz; hatta bilgisayarla görmeyi anladığınız anlamına gelmez.
Veri biliminin farklı alt alanları arasındaki kilit bağ, veri ve altyapıdır. İyi veri olmadan modeller iyi performans göstermez. Benzer şekilde, model geliştirmeyi ve veri temizliğini destekleyecek altyapı olmadan işe başlamak çok zordur.
Vatandaş Veri Bilimciler için mühendislik becerileri şart değildir. Modern not defterleri, bulut tabanlı altyapıdan yararlanarak herkesin hızla işe koyulmasını sağlar. Ortamlar ve paketler iyi yönetilir; çoğu kullanıcı tarafından kolayca güncellenip değiştirilebilir. Bu, mühendislik becerilerindeki boşlukların doldurulmasını gereksiz kılar ve uygulayıcıların zamanlarını içgörüler sunmaya ayırmalarını sağlar.
Ayrıca, çoğu veri bilimi tekniği not defterleriyle tamamen uyumludur—modeller eğitilebilir, 3B grafikler çizilebilir ve veri boru hatları oluşturulabilir. Bu sayede Vatandaş Veri Bilimciler, tekniklerin tamamıyla deney yapabilir ve sonuçları paydaşlara kolayca iletebilir veya kodu diğer teknik kullanıcılarla paylaşabilir.
Modern Not Defterleri Diğer Araçlarla Entegre Olur
Modern not defterlerinin ekipler arasındaki veri silolarını nasıl yıktığını ve verilerle çalışmanın giriş engelini nasıl düşürdüğünü gördük. Ancak not defterlerinin tarihsel olarak yaşadığı bir diğer sıkıntı, veri bilimi iş akışı içinde kullanılan diğer araçlarla entegrasyon eksikliğiydi. Bunun önemli bir örneği SQL’dir.
Geçmişte uygulayıcılar, Python’da `mysql.connector` veya R’da `DBI` gibi paketlerle veritabanı bağlantıları kurardı. Bu paketler, veritabanı bağlantılarının manuel kurulmasını ve veri erişimi için ilgili kimlik bilgilerinin elle girilmesini gerektirirdi.
Modern not defterleri ise yerel SQL desteği sağlar. Örneğin DataCamp Workspace kullanarak kullanıcılar, DataCamp Notebook Editor’dan PostgreSQL, MySQL ve Amazon Redshift gibi veritabanlarına doğrudan güvenli bağlantılar kurabilir. Entegre veritabanlarından çıkarılan veriler daha sonra R veya Python kullanılarak analiz edilebilir.
DataCamp Workspace’te SQL Hücreleri
Veri Bilimi Not Defterinin Geleceği
Modern Not Defteri, veri devriminin merkezindedir. Farklı beceri setlerine sahip uygulayıcıların verilerle kolayca deney yapmasını, içgörüleri paylaşmasını ve iş ile veri ekibi arasındaki uçurumu kapatmasını sağlar. Dahası, not defterleri vatandaş veri bilimcilerini güçlendirerek bugün kuruluşlarda yeni bir veri okuryazarlığı dalgası başlatıyor.
Netflix gibi veri odaklı kuruluşlar, not defterlerinin yenilikleriyle ünlüdür; çünkü not defterleri, kişiler ve ekipler arasında verilerle çalışmak için en popüler araçlarıdır. Not defterlerinin geleceği, artan çeviklik, kalan veri yığınıyla daha iyi entegrasyon ve veri içgörülerini demokratikleştirmek için sağlam iş birliği ve paylaşım ile şekillenecek. Not defterleri hakkında daha fazla bilgi edinmek için şu kaynaklara göz atın:
Konular
