Veri Bilimi için 40+ Python İstatistik Kaynağı

Bu liste, veri biliminde kullanılan istatistiklerin tamamını kapsamaz; amacımız sizi başlatmaktır. :) 

Bu arada, veri bilimi için Python öğrenmeye yeni başlayacaksanız, Intro to Python For Data Science kursumuzu düşünmelisiniz. Python ile istatistiği uygulamanıza yardımcı olacaktır. 

Veri bilimi için istatistik öğrenmek son derece pratiktir; bu yüzden, veri bilimi yolculuğunuzun başında öğrendiğiniz teorik kavramları uygulamaya odaklanmayı (sürdürmeyi) de unutmayın.

Peki istatistik ile veri bilimi arasındaki fark tam olarak nedir?

Çoğu zaman birbirine karıştırılır ve arada fark olmadığını, veri bilimcisinin aslında bir istatistikçi olduğunu söyleyenler vardır.

Ancak bu görüşleri bir anlığına bir kenara koyarsanız, çoğu kişi istatistiğin veri biliminde kullanılan ve temel bileşenlerden biri olduğu konusunda hemfikirdir.

Python ile İstatistik

Bugünkü yazı, Python ile istatistiği nasıl öğrenebileceğinize odaklanıyor. Python kullanarak veri bilimi yolculuğunuzda keşfetmeniz gereken istatistiksel analiz konuları dahil.

Neden Python?

R, istatistik için başlamak adına iyi bir yerdir. İstatistiksel hesaplama ve görselleştirme için geliştirilmiştir; bu nedenle kullanıcılara çok sayıda istatistiksel paket sunar. Python ise çok amaçlı bir dildir ve birçok alanda kullanılır.

Ancak istatistik için Python'u da kullanabilirsiniz.

Bazı kişiler Python'u performansı nedeniyle ya da R'nin yapabildiği pek çok şeyi yapabildiği için kullandıklarını söyler. 

Özetle, bu programlama dili giderek daha popüler hale geliyor ve veri bilimi için kullanılabilecek paketlerin sayısı son yıllarda kesinlikle arttı. 

Kısacası, istatistiksel analiz için Python kullanmak için kesinlikle geçerli nedenler var.

Sonuçta seçeceğiniz araç, yapmak istediğiniz analiz türüne bağlı olacaktır.

Öyleyse, Python ile istatistiğe başlamaya hazır mısınız?

Not: İstatistiği R ile ya da R için öğrenmeye yönelik kaynaklar da arıyorsanız, DataCamp'in açık kurslarına veya Intro to Statistics With R'ye göz atın.

Python İstatistik & Olasılık Kuramı

Ele almanız gereken ilk konu muhtemelen istatistik ve olasılık kuramıdır. Sizi destekleyecek çok sayıda video ve kursun yanı sıra, Python ile istatistiğe başlamanıza yardımcı olacak pek çok (basılı) kitap da var.

Python ile İstatistiğe Giriş 

İstatistiğe giriş için, gerçek hayat örnekleri içeren bu eğitim doğru adres. Bu eğitimin not defterleri sizi ortalama, medyan, standart sapma gibi kavramlara ve hipotez testi ile olasılık dağılımları gibi konuların temellerine giriş yapacaktır.

İstatistik öğrenimine başlamak için iyi bir yol; çünkü aşağıda tekrar karşımıza çıkacak iki üst düzey öneri olan "Think Bayes" ve "Think Stats" kitaplarından esinlenmiştir!

Kitap arıyorsanız, Python ile hesaplamalı istatistik üzerine bu ücretsiz kitabı deneyebilirsiniz; yalnızca Python ile programlamaya giriş değil, aynı zamanda Markov Zinciri Monte Carlo, Beklenti-Enbüyütme (EM) algoritması, yeniden örnekleme yöntemleri ve daha pek çok konuyu içerir.

Ya da Thomas Haslwanter'ın, yaygın istatistiksel testlere, doğrusal regresyon analizine ve sağkalım analizi ile Bayes istatistiğinden konulara genel bir giriş sunan bu kitabını satın alabilirsiniz. Bu kitabın yaşam ve tıp bilimlerini uygulama alanı olarak ele aldığını unutmayın.

Gördüğünüz gibi, yukarıdaki her iki kitap da Python ile daha ileri istatistik konularına giriş niteliğindedir.

Videolardan hoşlanıyorsanız, Vanderbilt Üniversitesi Tıp Fakültesi Biyoistatistik Bölümü'nde Yardımcı Doçent olan Christopher Fonnesbeck ile SciPy ile istatistiksel veri analizi üzerine bu eğitimi izlemeyi düşünebilirsiniz. Ayrıca Gaël Varoquaux'un Python ile çıkarımsal ve keşfedici istatistik üzerine bu videosu da var. Bu son video, Python paketleri olan Pandas ve StatsModels'ı kullanır. 

Bu kaynakların Python ile istatistiğe başlamanız için oldukça genel nitelikte olduğunu göreceksiniz.

Temel istatistik bilgilerini hızla tazelemenizi sağlayacak kaynaklar arıyorsanız, Justin Bois tarafından verilen DataCamp'in Statistical Thinking in Python kursuna göz atın. Keşfedici Veri Analizi (EDA), varyans ve kovaryans, ortalama ve medyanlar, olasılık dağılımları ve çok daha fazla kavrama giriş yapacaksınız.

Python ile Olasılık Kuramı

Olasılık kuramı da Python ile istatistik öğrenirken kesinlikle dikkate almanız gereken bir başka konudur. Rastlantısal olguların analizidir. Yani herhangi bir rastgele olayın sonucu belirlenemez: birkaç olası sonuçtan herhangi biri olabilir ve nihai sonuç şans tarafından belirlenir.

Olasılık kuramı, istatistiğin kavramsal kökenlerini barındırır.

Yukarıda belirtilen kaynaklar istatistiğe genel bir giriş sunar ve bazı durumlarda olasılık kuramını da kapsar (ki yukarıdakiler göz önüne alındığında bu mantıklıdır); fakat yalnızca bu konuya odaklanan kaynaklar da vardır.

Aşağıdaki kaynaklara da göz atabilirsiniz:

En üst düzey önerilerden biri, EdX'teki Computational Probability and Inference kursudur. MIT eğitmenleri tarafından verilen bu uygulamalı kurs, olasılık ve çıkarım ilkeleriyle rahat etmenizi sağlayacaktır.

Ayrıca, Profesör Brian Blais tarafından yazılmış ve olasılık kuramını mantık olarak temel alan giriş düzeyinde bir istatistiksel çıkarım ders kitabı olan bu ücretsiz kitabı okumalısınız.

Python Olasılık Dağılımları

Veri bilimi için Python ile istatistiği gerçekten öğrenmek istiyorsanız, hangi dağılımın ne zaman kullanıldığını iyi sezmeniz gerekir. Bir dağılım, verilerin tüm olası değerlerini veya aralıklarını ve bunların ne sıklıkla ortaya çıktığını gösteren bir liste veya fonksiyondur.

Ve bu listeye bakarsanız, dikkate alınması gereken epey dağılım olduğunu göreceksiniz.

SciPy ile düzgün, normal, binom ve Poisson olasılık dağılımlarına giriş için bu blog yazısına göz atabilirsiniz.

Üst düzey bir öneri de “Think Stats: Probability and Statistics for Programmers” kitabının dördüncü bölümüdür; bu bölüm sizi sürekli dağılımlara tanıtacaktır. Ancak beşinci bölüm de olasılık dağılımlarına sağlam bir giriş sunar.

Dağılımları görselleştirmek için başta histogramlar olmak üzere çeşitli yöntemler kullanabilirsiniz. Hızlı bir genel bakış için, ortalama değerler, çeyreklikler, histogramlar ve aralarındaki ilişkilerle birlikte tanımlayıcı istatistiklere kısa bir giriş sunan bu IPython not defterine bakabilirsiniz. Dağılımları nasıl görselleştirebileceğiniz hakkında daha fazla bilgi için bu Seaborn eğitimine göz atın.

Ayrıca Python'da temel istatistikler hakkında bu plotly eğitimi de mevcut.

Binom ve Poisson gibi bazı dağılımları ve ampirik kümülatif dağılım fonksiyonu gibi dağılım fonksiyonlarını kapsayan; ya da bu dağılımları nasıl görselleştireceğinizi öğreten bir kursu takip etmek isterseniz, DataCamp'in Statistical Thinking in Python kursuna bakabilirsiniz.

Python Hipotez Testi

Hipotez testleri, belirli bir koşulun tüm popülasyon için doğru olduğunu çıkarsamak üzere bir veri örneğinde yeterli kanıt olup olmadığını belirlemek için kullanılan istatistiksel testlerdir.

Bu testlerin iki merkezi kavramı sıfır hipotezi ve alternatif hipotezdir; ancak p-değeri de hipotez testinin temelidir. Bu kavramlar, alana yeni başladığınızda anlaması oldukça zordur ve p-değeriniz için alfa değeri veya anlamlılık düzeyini ve sıfır hipotezini reddetmekle reddedememek arasındaki farkı kavramak için çaba gerektirir.

SciPy kütüphanesinin sitesinde p-değerleri ve tahminle kısaca çalışan bir eğitim bulacaksınız.

Bu SciPy dersleri, iki popülasyon ortalamasını analiz ederek hipotezinizi test etmek için kullanabileceğiniz t-testine sizi tanıtacaktır. T-testlerini keşfetmek isterseniz bu blog yazısına da başvurabilirsiniz.

Kitap okumak isterseniz, “Think Stats: Probability and Statistics for Programmers” hâlâ en üst düzey öneridir ve hipotez testi için de geçerlidir. Yedinci bölüm, dağılımlar hakkında öğrenmek için önceki bölümlerden geçmediyseniz bile size hipotez testi hakkında her şeyi öğretecektir.

Kurs arayanlar için DataCamp'in Statistical Thinking in Python (Part 2) kursu, hipotez testi ve çok daha fazlası için gerekli bilgi ve pratiği edinmenize yardımcı olacak bir giriş ve test örnekleri sunar. 

Python'da İstatistiksel Modelleme ve Uydurma

Artık hipotez testi ve dağılımların mantığını kavradığınıza göre, istatistiksel modelleri nasıl oluşturabileceğinizi ve dağılımları verilere nasıl uydurabileceğinizi gözden geçirebilir ya da derinleşebilirsiniz.

İstatistiksel modeller, verinizi üreten sürecin yaklaşık bir temsilidir ve verileri özetlemek, tahmin etmek ve benzetim yapmak için veri analizinde kullanılabilir. Başka bir deyişle, veriyi üreten karmaşık olguların bir temsilidir ve özetler, tahminler veya benzetimler için kullanılabilir.

Bu ise verinizin o modele uyup uymadığını belirleyebilmeniz gerektiği anlamına gelir.

Model ile veri arasındaki en iyi uyumu sağlamak için tahmin (estimation) kullanılabilir. Tahmin, bir örnekten elde edilen bilgilere dayanarak bir popülasyon hakkında çıkarım yapmayı konu alır. Hipotez testine ek olarak, örnekten hareketle popülasyon hakkında bir şeyler öğrenmenin bir yoludur.

Bu eğitim, Python kütüphanesi SciPy yardımıyla uydurma konusuna giriş yapar.

İstatistiksel veri modelleme ve uydurma, Christopher Fonnesbeck tarafından not defterlerinde hazırlanmış bu istatistiksel analiz eğitiminde de bir bölümdür. Bu isim artık tanıdık gelmeli! 

Videoları tercih edenler için bu eğitim YouTube'da dört video halinde de mevcut olup, tahmin (En Büyük Olabilirlik ve Anlar Yöntemi) gibi konuları işler.

Bu eğitimin videolarını burada görebilirsiniz.

Bu arada, istatistiksel örüntü sınıflandırması için En Büyük Olabilirlik Tahmini hakkında daha fazla bilgi edinmek isterseniz, bu IPython not defterini veya farklı dağılımlar için bu tahminin nasıl hesaplandığını açıklayan bu not defterini kaçırmayın. Bu not defterleri, Sebastian Raschka tarafından hazırlanan örüntü sınıflandırması deposunun parçasıdır; kendisinin ayrıca Python Machine Learning kitabı için bir başka deposu da vardır. 

Python ile Makine Öğrenimi

Ve Makine Öğrenimi kitabına dair bu son öneriyle birlikte aklınıza şu soru gelebilir: Bu yazı istatistik hakkında değil miydi?

Kesinlikle.

Makine öğrenimi ile istatistik aynı şey değildir; ancak ikisi de aynı soruyu sorar: verilerden nasıl öğrenebiliriz?

Ayrıca, örüntü tanıma veya veri madenciliği gibi alanlarda hem makine öğrenimi hem de istatistik teknikleri sıklıkla kullanılır. 

Makine öğrenimi, veri bilimi araç kutunuzda oldukça faydalı bir araçtır. Oldukça geniş bir konudur ve kavramlarını ve algoritmalarını anlamak için epey zaman harcayabilirsiniz.

Bu yüzden en iyisi şimdi başlamaktır!

Ancak konu çok geniş olduğu ve Python ile makine öğreniminde yetkinleşmek için pek çok kaynak bulunduğu için nereden başlayacağınızı belirlemek çok da kolay değildir.

Andrew Ng tarafından verilen genel makine öğrenimi kursu oldukça teoriktir; ancak temel kavram ve algoritmalara önce kuramsal açıdan yaklaşmak isterseniz yine de önerilir.

Bununla birlikte, başlamanıza yardımcı olabilecek çok daha pratik kaynaklar da vardır.

Aşağıdaki kaynaklar, mevcut olanların yalnızca küçük bir kısmıdır:

SciPy ile makine öğrenimine nazik bir giriş, doğru yola girmenize yardımcı olacaktır. Bu eğitim, temel istatistik bilgilerini tazelemek ve bunun üzerine inşa etmek isteyenler için idealdir. Kyle Kastner sizi parametre tahmini, regresyon, model tahmini ve temel sınıflandırmaya götürür.

Bu konuya bir kitapla yaklaşmak isterseniz, IPython Interactive Computing and Visualization Cookbook'a bakabilirsiniz. Sekizinci bölüm, temel makine öğrenimi kavramlarına giriş yapar ve lojistik regresyon, Naive Bayes, en yakın k-komşular, Destek Vektör Makineleri, rastgele ormanlar ve diğer algoritmaları örnekler. Kitap, örneklerinde Scikit-learn paketini kullanır.

Scikit-learn ile makine öğrenimine giriş içeren bir eğitim istiyorsanız, buraya gidin. 

Ayrıca, Naive Bayes sınıflandırıcısı üzerine bu eğitimi kaçırmayın.

Python ile Regresyon Analizi

Regresyon, veri bilimi için istatistiğin asla gözden kaçırılmaması gereken bir konusudur. Değişkenler arasındaki ilişkiyi tahmin etmeye yönelik istatistiksel bir süreçtir.

Python ile regresyonu nasıl yapabileceğinizi anlamak için önce doğrusal regresyon üzerine bazı materyallerle başlamalısınız.

Ancak önce bu eğitime göz atın: StatsModels paketini Quandl ile kullanarak regresyon analizini kapsar. Önce mevcut farklı regresyon türlerini açıklar, ardından pratik bir örnek sunar.

Sonra, daha fazla pratik için bu doğrusal regresyon eğitimini inceleyin.

Ardından doğrusal olmayan regresyona geçebilirsiniz. Python'da ridge ve lasso regresyonuna ilişkin bir eğitim için bu Analytics Vidhya eğitimine bakabilirsiniz. Makale, konuyu nasıl ele alacağınızı açıkça anlatmak için NumPy, Pandas, Matplotlib ve Scikit-learn Python kütüphanelerini kullanır.  

Burada bulabileceğiniz harika bir not defteri eğitimi de lojistik regresyon üzerinedir.

Ayrıca, Rodeo ile lojistik regresyon üzerine bu Yhat blog yazısını kaçırmayın.

Python'da Bayesçi Düşünme & Modelleme

Bayesçi istatistik, dünyanın gerçek durumu hakkındaki kanıtı Bayes olasılıkları olarak bilinen inanma dereceleriyle ifade eden bir kuramdır. Bazen veri bilimi problemlerine Bayesçi bir yaklaşımla yaklaşmak istersiniz.

Bunun tam olarak ne anlama geldiği, sizi sıkçılık (frequentism) ve Bayesçilikle tanıştıracak olan bu harika beş bölümlük giriş serisinde netleşecektir.

Kitap meraklısıysanız, “Think Bayes: Bayesian Statistics in Python”'a bakabilirsiniz. "Bayesian Methods For Hackers" da Bayesçi çıkarıma giriş için harika bir kaynaktır. Bayesçi düşünme ve modellemeye başlamak isteyen herkes için okunması gereken iki kitap! 

Ya da bir not defteri içinde giriş istiyorsanız, sizi Bayes teoremine tanıtacak bu eğitimi inceleyebilirsiniz.

Ayrıca Python'da Bayesçi İstatistiksel Analiz üzerine bu eğitimi ve Bayesçi istatistik, Markov zinciri Monte Carlo, PyMC, Hiyerarşik Modellemenin yanı sıra model kontrolü ve doğrulamayı tanıtacak eşlik eden YouTube videolarını kaçırmayın.

Python'da Bayesçi model uydurma üzerine bir eğitim için bu IPython Not Defterlerine ve ESAC Veri Analizi ve İstatistik Atölyesi 2014'te Jake VanderPlas tarafından verilen eşlik eden YouTube videosuna göz atmalısınız.   

Kaynakları yeniden kullanmak isterseniz, makine öğrenimine bakmak için belki zaten kullandığınız IPython Interactive Computing and Visualization Cookbook'u inceleyebilirsiniz. Bu kitabın yedinci bölümü, istatistiksel veri analizi hakkındadır; ancak hipotez testi, parametrik ve parametrik olmayan tahmin ve model çıkarımı için sıkçı ve Bayesçi yöntemlere odaklanır.

Burada, Markov Zinciri Monte Carlo (MCMC) dâhil olmak üzere Bayesçi istatistiksel modelleri ve uydurma algoritmalarını uygulayan bir Python modülü olan PyMC üzerine bir eğitim var. Ayrıca, bu eğitimde PyMC3 ile Bayesçi doğrusal regresyon modellerini nasıl uygulayacağınızı öğreneceksiniz; mutlaka göz atın. 

Markov Zincirleri

Basitçe ifade etmek gerekirse, Markov zincirleri bir “durum”dan diğerine atlayan matematiksel sistemlerdir. Bu durumlar bir durumlar kümesi ya da değerler kümesi olabilir. Yani elinizde mevcut durumların bir listesi vardır ve bir Markov zinciri bir durumdan herhangi bir başka duruma “geçiş” yapma olasılığını size söyler.

Yukarıda bahsedilen bazı kaynaklar sizi bu konuya zaten tanıtıyor.

Bu kaynaklara ek olarak, bu videoyu da izlemek isteyebilirsiniz: hipotez testi ve istatistiksel modellemeyi keşfetmek için Monte Carlo benzetimi ve yeniden örnekleme gibi yöntemler kullanan bir eğitimdir. Markov zincirlerine geçmeden önce bilginizi pekiştirmek için iyi bir yol olabilir.

Ayrıca, Python'da Hesaplamalı İstatistik kitabı size Markov Zincirleri hakkında bazı içgörüler sunacaktır. Markov Zinciri Monte Carlo'ya harika bir giriş niteliğindedir.

Python'da İstatistiğe Başlamak

Bu liste sadece başlamak içindir. Pek çok kaynağın örtüştüğünü göreceksiniz ya da orada başka kaynaklar da bulabilirsiniz. Bize Twitter üzerinden mutlaka bildirin!

Her hâlükârda, Python ile istatistik öğrenmeye başlamak için daha fazla beklemek için bir neden yok.

Hemen başlayın