Lognormal Dağılım: Tanım, Özellikler ve Uygulamalar

Gelir verilerini düşünün. Az sayıda kişi milyonlar kazanır, çoğu ortalarda bir yerde kazanır ve dağılım sağa doğru uzayan uzun bir kuyruk gösterir. Bunu standart bir çan eğrisine göre çizdiğinizde hiçbir şey örtüşmez çünkü normal dağılım zayıf bir uyum sağlar.

Lognormal dağılım, yalnızca pozitif değerler alan ve sağa çarpık olan, yayılımın değerin büyüklüğüyle arttığı değişkenler için tasarlanmıştır. Hanehalkı geliri, hisse senedi fiyatları, dosya boyutları ve biyolojik ölçümler bu şekilde davranır.

Lognormal dağılımın ne olduğunu, normal dağılımla nasıl karşılaştırıldığını, temel özellikleri ve formülünü, ne zaman kullanılacağını ve gerçek verilerde nasıl tespit edileceğini—yaygın hatalar dahil—ele alacağız.

Lognormal Dağılım Nedir?

Bir rassal değişkenin doğal logaritması normal dağılıyorsa, bu değişken lognormal dağılıma uyar.

Eğer X lognormal dağılmışsa, ln(X) normaldir. İsim buradan gelir: log-normal, yani logu normal olan bir dağılım.

Bundan iki şey hemen çıkar. Birincisi, değerler daima pozitiftir. Logaritmalar yalnızca pozitif sayılar için tanımlıdır, bu nedenle lognormal değişkenler asla sıfır veya negatif olamaz. İkincisi, dağılım sağa çarpıktır. Sıfırda fiziksel bir alt sınır vardır ancak üst sınır yoktur; bu da sağ kuyruğun sol kuyruğa kıyasla çok daha fazla uzaması anlamına gelir.

İki dağılımı birbirine bağlayan anahtar, logaritma dönüşümüdür. Lognormal dağılmış bir değişken alın, her gözleme doğal log uygulayın; sonuç normal dağılmış verilerdir. Bu sadece matematiksel bir ilginçlik değildir. Lognormalı yönetilebilir kılan şey budur. Verilerinizi dönüştürdüğünüz anda normal dağılım için geliştirilmiş tüm istatistiksel araçlar kullanılabilir hale gelir.

Lognormal Dağılım ve Normal Dağılım

En belirgin fark şekildir. Normal dağılım simetriktir; ortalama, medyan ve tepe değeri aynı merkez noktasındadır. Lognormal dağılım ise simetrik değildir; sağa çarpıktır ve uzun bir sağ kuyruğa sahiptir. Ortalama, medyan ve tepe değeri birbirinden farklıdır. Nedenini bir sonraki bölümde ele alacağız.

Olası değer aralığı da farklıdır. Normal dağılım eksi sonsuzdan artı sonsuza kadar uzanır. Lognormal dağılım ise aşağıda sıfırla sınırlıdır ve yukarı doğru sınırsız uzanır. Bu, değişkeninizin fiziksel olarak negatif olamayacağı her durumda doğru model olduğu anlamına gelir.

Son satır uygulamada en çok önemlidir. Lognormal dağılmış bir değişkenin logaritmasını almak normal bir dağılım üretir. Bu dönüşüm, lognormalı kullanışlı kılar. Yalnızca çarpık verilerin bir betimi değil, normal dünyayla doğrudan köprü kuran bir modeldir.

Lognormal Dağılımın Özellikleri

Lognormal dağılımı özel kılan birkaç temel özellik vardır. 

Her zaman pozitif ve uzun bir sağ kuyruğa sahip

Lognormal dağılım yalnızca pozitif değerler üretir. ln(X) normal ise X = e^(ln(X)) her zaman pozitiftir; çünkü üstel fonksiyonlar daima pozitiftir. Sıfırda bir taban vardır, ancak tavan yoktur. Sağa çarpıklıkla birleştiğinde bu, dağılıma karakteristik şeklini verir: sıfırdan keskin bir yükseliş, ortalamanın solunda bir yerde bir tepe, ardından uzun bir giderek azalan kuyruk.

Ortalama, medyan ve tepe değeri farklıdır

Merkezi tanımlayan bu üç ölçü farklı hikâyeler anlatır. Tepe değeri (en sık görülen değer) en solda yer alır. Medyan (ortadaki değer) daha yüksektir. Ortalama (aritmetik ortalama) ise sağ kuyruk tarafından yukarı çekildiği için daha da yüksektir. Gelir verilerinde ortalama hane geliri, medyandan belirgin biçimde yüksektir. Çok az sayıdaki çok yüksek kazançlı kişi ortalamayı yukarı iterken dağılımın ortasını değiştirmez. Bu yüzden ekonomistler tipik haneleri tanımlarken genellikle medyan geliri rapor eder. Burada yanlış merkezi ölçüyü seçmek sadece özensiz istatistik değildir; aktif olarak yanıltıcıdır.

Formüle geldiğimizde bunu aklınızda tutun: μ ve σ, X'in değil ln(X)'in temel normal dağılımını tanımlar. Bu ayrım birçok kişiyi hazırlıksız yakalar.

Lognormal Dağılımın Formülü

Lognormal dağılımın olasılık yoğunluk fonksiyonu (PDF) şöyledir:

x > 0 için; burada:

• x, rassal değişkenin değeridir (pozitif olmalıdır)
• μ (mu), ln(X)'in ortalamasıdır. Dağılımın konumunu belirler—μ'nun artması tepeyi sağa kaydırır.
• σ (sigma), ln(X)'in standart sapmasıdır. Yayılımı ve çarpıklık derecesini belirler. Daha büyük σ daha ağır bir sağ kuyruk üretir.

μ ve σ, X'in ortalaması ve standart sapması değildir. ln(X)'in parametreleridir. X'in gerçek ortalaması e^{(μ + σ²/2)}'dir; bu nedenle medyanın sağında yer alır. Python veya R'de lognormal uyumu yapıyorsanız, kütüphane işlevleri bu dönüşümü sizin için halleder; ancak parametrelerin gerçekte neyi temsil ettiğini bilmek faydalıdır.

Lognormal Dağılımı Ne Zaman Kullanmalısınız?

Pratik test: Değişkeniniz sıkı biçimde pozitifse ve büyüme süreci toplamsal değil çarpımsalsa, lognormal büyük olasılıkla iyi bir uyum sağlar.

Toplamsal süreçler genellikle normal dağılımlar üretir. Merkezi limit teoremine göre, birçok küçük rassal etkinin toplamı normale yakınsar. Çarpımsal süreçler farklıdır. Her dönemin değeri önceki değerin rassal bir katsayıyla çarpımı olduğunda (bileşik faiz, bakterilerin ikiye katlanması), çok sayıda dönem sonunda sonuç lognormal olur. Bu yüzden lognormal, finansta ve biyolojide bu kadar sık görülür.

Lognormal şu değişkenlere iyi uyar:

• Uzun vadeli finansal getiriler—günlük log getiriler çarpımsal olarak bileşiklenir
• Sigorta talepleri—çoğu küçüktür; az sayıda çok büyüktür
• Gelir dağılımları—sıfırla aşağıdan sınırlı, pratikte sağa çarpık
• Biyolojik büyüme—organizma boyutu, hücre sayıları, konsantrasyon ölçümleri
• Bekleme süreleri—araç onarım süreleri ve ara sıra aykırı değerlere sahip hizmet süreleri
• Çevresel ölçümler—suda veya havadaki kirletici konsantrasyonları

Lognormalın uygun olup olmadığından emin değilseniz, Python ile Makine Öğrenimi için Özellik Mühendisliği kursumuz log dönüşümlerini ayrıntılı biçimde ele alır; bir dönüşümün verilerinize uygun olup olmadığını değerlendirmenin yollarını da içerir.

Lognormal Dağılımın Gerçek Dünya Örnekleri

Lognormal dağılım pek çok gerçek dünya senaryosunda ortaya çıkar; bunlardan birkaçı aşağıda vurgulanmıştır. 

Gelir ve servet

Gelir verileri, lognormalin ders kitabı örneğidir. Çoğu insanın gelirleri orta bir aralıkta kümelenir; ancak üst sınır yoktur—az sayıda birey medyandan katbekat daha fazla kazanır. Ham hane geliri dağılımını çizerseniz keskin biçimde sağa çarpık bir histogram elde edersiniz; logunu aldığınızda kabaca normal görünür. Servet verileri de aynı deseni gösterir, çoğu zaman daha belirgin bir çarpıklıkla.

Hisse senedi fiyatları

Günlük hisse fiyatı değişimleri log terimlerinde yaklaşık olarak normal dağılır; bu da fiyat seviyesinin zaman içinde lognormal dağılım izlediği anlamına gelir. Bu varsayım Black-Scholes opsiyon fiyatlama modelinin temelidir. Hisse fiyatları sıfırın altına inemez, çarpımsal olarak bileşiklenir ve karakteristik sağ kuyruğu üretir.

İnternet dosya boyutları

Dosya boyutları birkaç kilobayttan birçok gigabayta kadar geniş bir aralığa yayılır ve dağılım ağır şekilde sağa çarpıktır. Lognormal burada iyi uyar çünkü dosya boyutu aşağıda sıfırla sınırlıdır ve çarpımsal olarak büyür. Web trafiği analizi ve ağ mühendisliği bunun üzerine kuruludur.

Biyolojik ölçümler

Biyolojik maddelerin konsantrasyonları (hormon seviyeleri, dokudaki kirletici konsantrasyonları, mikrobiyal sayımlar) genellikle lognormal dağılımları izler. Biyolojik süreçler sıklıkla toplamsal artışlardan ziyade oranlar ve büyüme hızları içerir. Tıbbi çalışmalardaki gecikme süreleri de aynı deseni gösterir.

Bu alanların her birinde mantık aynıdır: doğası gereği çarpımsal olan, sıfırla sınırlı ve nadir aşırı değerler üretebilen bir süreç, lognormal modelleme için doğal bir adaydır.

Makine Öğrenimi ve Veri Biliminde Lognormal Dağılım

Lognormal dağılım, makine öğreniminde birkaç farklı biçimde karşımıza çıkar ve her biri biraz farklı bir yaklaşım gerektirir.

Pozitif sürekli değişkenleri modelleme

Hedef değişken sıkı biçimde pozitif ve sağa çarpıksa—konut fiyatları, gelir, kullanıcı yaşam boyu değeri—modellemeden önce log dönüşüm uygulamak sonuçları çoğu zaman önemli ölçüde iyileştirir. Doğrusal regresyon artıkların normal dağıldığını varsayar; ham lognormal verilere uydurmak bu varsayımı ihlal eder. Çözüm: hedefi loglayın, modeli uydurun, ardından tahminleri orijinal ölçeğe geri üstel olarak dönüştürün. Bir uyarı: katsayıları log-uzayında yorumlamak dikkat gerektirir; çünkü bir yordayıcıda bir birim artış artık orijinal ölçekte çarpımsal bir değişime karşılık gelir.

Log dönüşümleriyle özellik mühendisliği

Çarpık özellikleri, ölçeğe duyarlı modellere (doğrusal regresyon, lojistik regresyon, k-means) beslemeden önce loglamak, aşırı değerlerin etkisini azaltır ve ilişkileri daha doğrusal hale getirir. Bu, sağa çarpık sürekli özellikler için standart bir önişlemedir. Dönüşüm, aykırı değerleri de örtük olarak ele alır: ham uzayda medyanın 100 katı olan bir değer, log uzayında medyanın yaklaşık 4,6 birim üzerine iner.

Olasılıksal modelleme ve benzetim

Bazı olasılıksal modeller lognormal dağılımı açıkça kullanır. Bayesçi modellemede, pozitif olmak zorunda olan parametreler için yaygın bir önseldir. Benzetimde, çarpımsal yapının gerçek süreçlerle örtüştüğü onarım süreleri, sigorta talep büyüklükleri ve ağ gecikmeleri gibi büyüklükleri modellemek için kullanılır. Bunlar uygulamalı çalışmalarda düzenli olarak görülür.

Bir Lognormal Dağılımı Nasıl Tanımlarsınız?

Sadece histograma bakmak yeterli değildir. Gerçekte işe yarayan yaklaşımlar aşağıdadır; yaklaşık olarak artan titizlik sırasıyla.

Histogram ve log-dönüştürülmüş histogram

Ham verilerin bir histogramıyla başlayın. Uzun bir sağ kuyruğa sahip sağa çarpık ve sıfıra yakın bir alt sınıra sahipse bu, işaret vericidir. Ardından log-dönüştürülmüş değerlerin histogramını çizin. Bu histogram yaklaşık olarak simetrik ve çan şeklindeyse, lognormal makul bir modeldir. Bu iki grafikli karşılaştırma hızlıdır. Ama burada durmayın.

Q-Q grafikleri

Kantilden-kantile (Q-Q) grafik, verinizin kantillerini teorik bir dağılımın kantilleriyle karşılaştırır. Lognormal veriler için ln(X)'in kantillerini standart normalin kantillerine karşı çiziniz. Noktaların yaklaşık olarak düz bir çizgi boyunca yer alması iyi bir uyuma işaret eder. Özellikle kuyruklarda sistematik eğrilik, lognormalın tam olarak uygun olmadığını düşündürür. Q-Q grafikleriyle ilgili eğitimimiz, bunların Python ve R'de nasıl okunup yorumlanacağını kapsar.

Uygunluk testleri

Resmî bir test için, log-dönüştürülmüş verilere bir normallik testi (Shapiro-Wilk, Kolmogorov-Smirnov, Anderson-Darling) uygulayın. ln(X) testi geçerse, lognormal modelini destekleyen istatistiksel kanıtınız vardır. Ancak çok büyük veri setlerinde bu testler, önemsiz derecede küçük sapmalar için bile lognormalliği reddedecek kadar hassaslaşır. Daima resmî testleri görsel incelemeyle birlikte kullanın.

Bu üç yaklaşımı birlikte kullanmak, tek başına herhangi bir yöntemden çok daha güvenilir bir tablo sunar.

Lognormal Verilerle Çalışırken Yaygın Hatalar

Birçok uygulayıcının sıkça yaptığı birkaç hata burada vurgulanmıştır. 

Verilerin normal dağıldığını varsaymak

En yaygın hatadır. Lognormal verilere normal dağılım uydurmak, aşırı değerlerin olasılığını olduğundan düşük gösterir, ortalama tahminlerini saptırır ve istatistiksel testleri güvenilmez kılabilir. Verileriniz pozitif ve sağa çarpıksa, normal dağılıma başvurmadan önce kontrol edin.

Aritmetik ortalamayı yanlış yorumlamak

Lognormal verilerde aritmetik ortalama, sağ kuyruğun etkisiyle medyanın oldukça üzerine çekilir. Ortalamayı “tipik” olarak raporlamak yanıltıcıdır. Tipik bir gözlemi yansıtmak için genellikle medyan daha iyi bir ölçüdür. Hangi ölçüyü ve neden rapor ettiğiniz konusunda açık olun.

Değerlerin pozitif olması gerektiğini unutmak

Lognormal dağılım sıfır veya negatif değerler için tanımsızdır. Veri kümenizde sıfırlar varsa—sayımlarda veya atıl dönemleri olan satış verilerinde yaygındır—lognormal doğrudan uygulanamaz. Yaygın geçici çözümler arasında loglamadan önce küçük bir sabit eklemek (istatistiksel olarak ideal değildir) veya sıfırları ayrı ele alan sıfır-aşırı (zero-inflated) bir model kullanmak bulunur.

Uygun olmayan istatistiksel testler uygulamak

Normal dağılım varsayımına dayanan testler (t-testleri, standart güven aralıkları, ANOVA) doğrudan lognormal verilere uygulanamaz. İki seçeneğiniz vardır: verileri loglayıp normal temelli yöntemleri uygulayın ya da şekil hakkında varsayım yapmayan parametrik olmayan yöntemleri kullanın. Yanlış test her zaman dramatik biçimde yanlış sonuçlar vermeyebilir; ancak tespit edilmesi zor, ince yanlılıklara yol açabilir.

Sonuç

Lognormal dağılım, pozitif ve sağa çarpık değişkenleri, bir logaritma dönüşümüyle normal dağılıma bağlayarak modeller. X lognormalken ln(X)'in normal olduğunu fark ettiğinizde gerisi gelir. Standart normal araçları kullanarak log-uzayında çalışabilir, sonra sonuçları orijinal ölçeğe geri çevirebilirsiniz.

Dağılımın temel özelliklerini ele aldık, bunları o dönüşüme dayandırdık ve pratikte nerelerde göründüğüne baktık. Pratik çıkarım nettir: Pozitif, sağa çarpık verileri modellemeden önce lognormalliği kontrol edin. Log-dönüştürülmüş verileri çizin, üzerinde bir normallik testi çalıştırın ve bir Q-Q grafiğine bakın. Python ile İstatistiğe Giriş kursumuz ve Python'da Olasılık Dağılımları eğitimi, bu fikirlerin gerçek veri setlerine uygulanmış hâlini görmek için iyi birer sonraki adımdır.