Metrekareye göre konut fiyatlarını tahmin etmeye çalıştığınızı hayal edin. Elinizde son satışlardan veri noktaları var, ancak mükemmel bir örüntü oluşturmuyorlar. Bazı evler beklenenden daha yüksek fiyata satılırken bazıları daha düşük fiyata satılıyor. Tek tek evlerin tahmininizi bozmasına izin vermeden, boyut ile fiyat arasındaki genel ilişkiyi yansıtan en iyi eğilim doğrusunu nasıl bulursunuz?
En küçük kareler yöntemi tam aradığınız çözüm olabilir. Bu yazıda, en küçük kareler yönteminin temel kavramlarını, varyasyonlarını ve kullanım alanlarını inceleyeceğiz. Sonunda, bu yöntemi nasıl kullanacağınızı ve gerçek problemlere nasıl uygulayacağınızı sağlam bir şekilde kavramış olacaksınız.
En Küçük Kareler Yöntemi Nedir?
En küçük kareler yöntemi, bir veri noktası kümesi için en iyi uyumlu doğruyu veya eğriyi belirlemek amacıyla kullanılan bir istatistiksel tekniktir. Bir veri setindeki gözlenen değerlerle tahmin edilen değerler arasındaki kare farkları en aza indirerek çalışır. Gerçek veri noktaları ile modelin tahmin ettiği değerler arasındaki farklara artıklar denir. Amaç, bu kare artıkların toplamını en aza indiren modeli bulmaktır; böylece mümkün olan en doğru tahminler elde edilir.
Yukarıdaki diyagram, en küçük kareler yönteminin adımlarını kısaca açıklar.
Bu yöntem, 1795 yılında 18 yaşındaki Carl Friedrich Gauss tarafından türetildi (adını Gauss dağılımından hatırlayabilirsiniz). Adrien-Marie Legendre daha sonra 1805’te tekniği resmileştirdi ve bir asteroidin yörüngesini yeniden kurmak için en küçük kareler yöntemini kullanan ilk makaleyi yazdı.
En Küçük Kareler Yöntemi Nasıl Çalışır
En küçük kareler yöntemi, gözlenen değerlerle tahmin edilen değerler arasındaki kare farkların toplamını en aza indirerek, bir nokta kümesine en iyi uyan doğruyu bulur. Bu, mümkün olan en yakın uyumu sağlayan model parametrelerini bulmak için kullanılır.
Bunu çok küçük bir veri setiyle deneyelim: sadece 10 nokta. Önce, verilerimize uyacak bir model seçmemiz gerekiyor. Bu basit örnekte, basit doğrusal regresyonu seçeceğiz; yani tam olarak bir bağımsız ve bir bağımlı değişkenimiz olan bir regresyon yapıyoruz.
Yukarıdaki grafik, küçük veri setimizin çizimini ve üzerine yerleştirilmiş doğrusal regresyonu gösterir. Veri noktalarını tahmin edilen doğruya bağlayan sarı noktalı çizgiler artıklardır. Amaç, bu sarı noktalı artık çizgilerini en aza indiren doğrusal regresyon modelini bulmaktır.
Veri setimizdeki her veri noktası için, nokta ile doğru arasındaki y-koordinatlarındaki farkı bulmamız gerekir. Bunlar artıklarımız olacaktır. Daha sonra her bir artığı, negatif sayıları ortadan kaldırmak için kareye alır ve toplamını hesaplarız. Bu, doğrumuzun verilerimize ne kadar iyi uyduğuna dair bir fikir verecektir. Aşağıdaki tabloda, özel grafiğimiz için dökümü görebilirsiniz.
|
X Koordinatı
|
Gözlenen Y Koordinatı (Veri Noktası)
|
Tahmin Edilen Y Koordinatı (Doğru)
|
Artıklar (Gözlenen - Tahmin)
|
Kare Artıklar
|
|
0
|
2.5
|
2.0
|
0.5
|
0.25
|
|
1
|
3.1
|
2.3
|
0.8
|
0.64
|
|
2
|
1.8
|
2.6
|
-0.8
|
0.64
|
|
3
|
3.5
|
2.9
|
0.6
|
0.36
|
|
4
|
2.2
|
3.2
|
-1.0
|
1.0
|
|
5
|
4.0
|
3.5
|
0.5
|
0.25
|
|
6
|
3.8
|
3.8
|
0.0
|
0.0
|
|
7
|
5.0
|
4.1
|
0.9
|
0.81
|
|
8
|
4.5
|
4.4
|
0.1
|
0.01
|
|
9
|
5.2
|
4.7
|
0.5
|
0.25
|
|
Kare Artıkların Toplamı
| | | |
4.21
|
Artık bu doğrunun verilerimize ne kadar iyi uyduğuna dair bir fikrimiz olduğuna göre, doğrunun parametrelerini, eğimini veya kesişimini değiştirip hesaplamalarımızı yeniden çalıştırabiliriz. Kare artıkların toplamı en düşük olan doğru, verilerimize en iyi uyan doğrudur. Dolayısıyla, en iyi tahminleri de o doğru verecektir.
En iyi doğruyu bulmak için en küçük kareler yöntemini kullanma
Yukarıdaki örnekte, en iyi uyumlu doğruyu bulmadık. Bunun yerine, o doğrunun verilere ne kadar iyi uyduğunu hesapladık. Şimdi birçok olası doğruyu yinelemeli olarak deneyip hangisinin en iyi uyduğunu aynı hesapla bulabiliriz. Ya da biraz cebir kullanarak en iyi doğruyu daha hızlı bulabiliriz. Haydi bunu deneyelim.
Doğrusal regresyon denklemiyle başlayacağız: y=mx+b; burada b y-kesişimi, m ise eğimdir. Şimdi bazı veriler uyduralım.
|
X Koordinatı
|
Y Koordinatı
|
|
0
|
2.5
|
|
1
|
3.1
|
|
2
|
1.8
|
|
3
|
3.5
|
|
4
|
2.2
|
|
5
|
4.0
|
|
6
|
3.8
|
|
7
|
5.0
|
|
8
|
4.5
|
|
9
|
5.2
|
Önce, X ve Y değerlerinin ortalamasını hesaplamamız gerekiyor. Bunlar tahmin değerlerimiz olacak:
Sonra, her veri noktası ile tahmin değerimiz (ortalama) arasındaki artıkların kareleri toplamını kullanarak eğimi bulabiliriz. Kullanacağımız denklem şöyle:
Bu denklemi elde hesaplamak epey hantal olduğundan, pay ve paydayı ayrı ayrı hesaplayacağız. Paydan başlayalım:
|
xi
|
yi
|
xi - xortalama
|
yi - yortalama
|
(xi - xortalama)(yi -yortalama)
|
|
0
|
2.5
|
-4.5
|
-1.06
|
4.77
|
|
1
|
3.1
|
-3.5
|
-0.46
|
1.61
|
|
2
|
1.8
|
-2.5
|
-1.76
|
4.40
|
|
3
|
3.5
|
-1.5
|
-0.06
|
0.09
|
|
4
|
2.2
|
-0.5
|
-1.36
|
0.68
|
|
5
|
4.0
|
0.5
|
0.44
|
0.22
|
|
6
|
3.8
|
1.5
|
0.24
|
0.36
|
|
7
|
5.0
|
2.5
|
1.44
|
3.60
|
|
8
|
4.5
|
3.5
|
0.94
|
3.29
|
|
9
|
5.2
|
4.5
|
1.64
|
7.38
|
|
Σ (xi - xortalama)(yi - yortalama)
| | | |
26.4
|
Şimdi aynısını payda için yapalım:
|
xi
|
xi - xortalama
|
(xi - xortalama)2
|
|
0
|
-4.5
|
20.25
|
|
1
|
-3.5
|
12.25
|
|
2
|
-2.5
|
6.25
|
|
3
|
-1.5
|
2.25
|
|
4
|
-0.5
|
0.25
|
|
5
|
0.5
|
0.25
|
|
6
|
1.5
|
2.25
|
|
7
|
2.5
|
6.25
|
|
8
|
3.5
|
12.25
|
|
9
|
4.5
|
20.25
|
|
Σ(xi - xortalama)2
| |
82.50
|
Artık en iyi uyum doğrumuzun eğimini hesaplayabiliriz.
Böylece, verilerimize en iyi uyacak doğrunun eğimini biliyoruz. Sırada y-kesişimini bulmak var. b kesişimi için formül, biraz cebirsel düzenlemeyle kolayca elde edilir:
Eğimi zaten bildiğimiz için, ortalama x ve y değerlerimizi yerine koyup b için çözebiliriz.
Artık hem m hem b elimizde olduğuna göre, en iyi uyumlu doğrunun denklemini yazabiliriz:
En küçük kareler yöntemi, en iyi doğrusal regresyon doğrusunu hızlı ve kolay bir şekilde, hatta elde türetmemizi sağladı! Elbette, ne kadar çok veriniz varsa, bunu elde yapmak o kadar zorlaşır. Neyse ki, matematik oldukça yalın olduğundan, bu yöntemi Python veya R ile uygulamak çok kolaydır. Bunu ayrıntılı olarak nasıl yapacağınızı öğrenmek için Python ile Doğrusal Regresyonun Temelleri ve R’de Doğrusal Regresyon Nasıl Yapılır içeriklerine göz atın.
En küçük kareler yönteminin matematiksel temelleri
Yukarıda, basit doğrusal regresyonla bir örnek kullandık ve kapalı form denklemleriyle eğimi ve kesişimi bulduk; bağımlı değişkeni bağımsız değişkenin bir fonksiyonu olarak modelledik: y=mx+b.
Ancak, yukarıda gösterdiğim denklemler yalnızca bir bağımsız değişkeniniz olduğunda çalışır. Regresyon katsayılarını bulmanın bir başka yolu da normal denklemi kullanmaktır; bu, en küçük kareler problemine matris tabanlı bir çözüm sunar. Normal denklem, en küçük kareler yöntemiyle kare artıkların toplamını en aza indirmekten doğan matris denklemine karşılık gelir. Geometrik olarak ve lineer cebirin diliyle ifade edersek, en küçük kareler çözümü, gözlenen veri vektörünün model matrisinin sütun uzayına ortogonal izdüşümü olarak görselleştirilebilir. Basitçe söylemek gerekirse, bu, modelin kısıtları göz önünde bulundurulduğunda, tahmin edilen değerlerin gözlenen verilere mümkün olduğunca yakın olacak şekilde hataların minimize edilmesi demektir.
Matris terslenebilir olmadığında (yani denklem sisteminin tekil bir çözümü olmadığında), Moore-Penrose yalancı tersi bir en küçük kareler çözümü hesaplama olanağı sağlar. Bu, sistemin eksik belirlenmiş olduğu (denklemden çok bilinmeyen olduğu) veya aşırı belirlenmiş olduğu (bilinmeyenden çok denklem olduğu) durumları ele alma esnekliği sağlar.
Matris cebrine kısa bir geri hatırlatma ihtiyacınız varsa, R ile Veri Bilimi için Lineer Cebir kursunu öneririm.
En Küçük Kareler Yöntemi Türleri
Şimdiye kadar, en küçük kareler yöntemini sıradan en küçük kareler kestiricisiyle kullanmaktan bahsettik. Ancak bu, ele aldığınız problemin niteliğine bağlı olarak birçok senaryoya uyarlanabilen çok yönlü bir araçtır. Birkaç en küçük kareler türünü, onları benzersiz kılan noktaları ve pratik kullanım alanlarını inceleyelim.
Doğrusal en küçük kareler
Bu noktada doğrusal en küçük karelere (diğer adıyla sıradan en küçük kareler) epey aşina olmalısınız. Basit veya çoklu doğrusal regresyon gibi, katsayıları doğrusal olan modellerle kullanılır. Amaç, kare artıkların toplamını en aza indiren doğruyu (çoklu doğrusal regresyonda hiper düzlemi) bulmaktır.
Bu tür en küçük kareler, artıkların varyansının sabit olduğunu ve veride belirgin aykırı değerler bulunmadığını varsayar. Doğrusal ilişki olan çoğu durumda uygulanabilir. Örneğin, gebelik süresi ile doğum ağırlığı arasındaki ilişki ya da reklam harcaması ile satış geliri arasındaki ilişki için kullanılabilir. Bu, benim de en sık kullandığım ve başkalarının da en çok bahsettiğini duyduğum en küçük kareler türüdür.
Ağırlıklı en küçük kareler
Ağırlıklı en küçük kareler, artıkların varyansının sabit olmadığı durumlarda çalışan bu yöntemin bir uzantısıdır. Her veri noktasına ağırlık atayarak, ağırlıklı en küçük kareler, varyansı daha düşük olan gözlemlere daha fazla önem verir. Bunun denklemi, önceki kareler toplamına benzer; ancak her artık için bir ağırlık (wi) uygulanır:
Bu yöntem, ölçüm hatasının gözlemler arasında değiştiği veri setlerinde kullanışlıdır; örneğin sensör kalibrasyonunda. Ağırlıklar genellikle her gözlemin varyansının tersidir.
Sağlam (robust) en küçük kareler
Sağlam en küçük kareler, sıradan en küçük karelerin sonuçlarını orantısız şekilde etkileyebilecek aykırı değerlere sahip veri setlerini ele almak için tasarlanmıştır. Aykırı değerlerin etkisini azaltmak için yinelemeli yeniden ağırlıklandırma teknikleri kullanır.
Sağlam en küçük karelerde, ağırlıkları yinelemeli olarak ayarlamak ve aykırı değerlerin etkisini azaltmak için en küçük mutlak sapmalar (LAR) veya bisquare ağırlıklar gibi yöntemler kullanılabilir.
Bunu, aşırı piyasa çöküşlerini dikkate almak istediğiniz finansal modellemede kullanabilirsiniz. Veri setinizde aykırı değerleri çıkarmak istemiyor, ancak yine de onları hesaba katmak istiyorsanız, sağlam en küçük kareler uygun bir yol olabilir.
Doğrusal olmayan en küçük kareler
En küçük kareler yalnızca doğrusal regresyonlar için değildir. Modelin katsayılar açısından doğrusal olmadığı durumlarda doğrusal olmayan en küçük kareler kullanılır. Bu, doğrusal en küçük karelerden daha karmaşıktır ve en iyi uyumu bulmak için (örneğin Gauss–Newton veya Levenberg–Marquardt gibi) yinelemeli optimizasyon teknikleri gerektirebilir.
Doğrusal olmayan en küçük karelerde dikkatli olmak önemlidir. Hesaplama, başlangıç parametre tahminlerine ve yakınsama sorunlarına karşı hassas olabilir. Kullanım örnekleri arasında, bir enfeksiyon sırasında vücutta virüslerin üssel büyümesini modellemek veya laboratuvarda kimyasal reaksiyon hızlarını modellemek sayılabilir.
Toplam en küçük kareler
Şimdiye dek çoğunlukla yalnızca bağımlı değişkende hata olduğu durumları konuştuk. Ve modelimizle verimiz arasındaki dikey mesafeleri minimize ettik. Peki ya bağımsız ölçümlerinizde de hatalar varsa?
Toplam en küçük kareler, hem bağımsız hem bağımlı değişkenlerde ölçüm hatalarının bulunduğu durumlarda kullanışlıdır. Bu yöntem, tüm değişkenlerdeki hataları hesaba katar. Özellikle astronomi ve jeodezi (Dünya’nın şekli ve yerçekimi alanını ölçen alan) gibi, gerekli yüksek hassasiyet nedeniyle tüm boyutlarda ölçüm hatalarının bulunduğu alanlarda faydalıdır. Toplam en küçük kareler sıklıkla tekil değer ayrışımıyla birlikte kullanılır.
Genelleştirilmiş en küçük kareler
Genelleştirilmiş en küçük kareler, ilişkili artıkların yarattığı zorlukları ele alan en küçük kareler yönteminin bir uzantısıdır. Genelleştirilmiş en küçük karelerde, veriler, sıradan en küçük karelerin uygulanabileceği bir forma dönüştürülür. Bu dönüşüm, artıkların korelasyon yapısını hesaba katmak için artıkların kovaryans matrisinin kullanılmasını içerir ve daha doğru parametre tahminlerine olanak tanır.
Bu, artıkların otokorelasyon gösterebileceği zaman serisi analizleri gibi durumlarda özellikle yararlı olabilir.
En Küçük Kareler Yönteminin Uygulamaları
En küçük kareler yöntemi, çok sayıda alanda uygulamaları olan yaygın bir istatistiksel tekniktir.
İstatistik ve veri biliminde, bilinen girdilere dayanarak tahmin yapmak için doğrusal ve doğrusal olmayan regresyon modelleri kurmada kullanılır. Özellikle zaman serisi verilerinde eğilimlerin analizinde de faydalıdır.
Finansta, en küçük kareler hisse performansı analizinde kullanılır; bir hissenin getirisi ile piyasa endeksleri arasındaki ilişkiyi belirlemeye yardımcı olur. Örneğin, bir hissenin piyasa hareketlerine duyarlılığını hesaplamak için kullanılabilir. Ayrıca, tarihsel finansal verilere modeller uydurarak risk ve getiriyi tahmin etmek için risk modellemede yardımcı olur.
Mühendisler, sensör kalibrasyonunda gözlenen verilere modeller uydurmak ve ölçüm hatalarını en aza indirmek için en küçük kareleri kullanır. Sinyal işlemede de filtreleme ve gürültü azaltma amacıyla uygulanır; bu da verinin daha net yorumlanmasını sağlar.
Elbette, en küçük karelerin başlangıcı astronomiye dayanır; ilk kullanımını Carl Friedrich Gauss, Ceres asteroidinin yörüngesini tahmin etmek için yapmıştır. Jeodezide de gözleme dayalı verilerle Dünya’nın şeklini modellemede kullanılır; bu, doğru coğrafi ölçümler için esastır.
Makine öğrenimiyle ilgilendiyseniz, en küçük kareler yöntemini, doğrusal regresyon modellerinin eğitimi sırasında kayıp fonksiyonunu en aza indirme yöntemi olarak tanıyacaksınız. Özellik seçimi sırasında da modele en çok katkı yapan değişkenleri belirlemek için kullanmış olabilirsiniz.
Ayrıca fizik ve kimya gibi diğer temel bilimlerde de önemli bir rol oynar. Tepki hızları veya fiziksel ölçümler gibi deneysel verilere eğriler uydurmak ve deneysel düzeneklerdeki hataları en aza indirmeye yardımcı olmak için kullanılabilir.
En küçük kareler yöntemi çok yönlü bir istatistiksel araçtır. Ben kişisel olarak bu yöntemi basınç sensörlerini kalibre etmek, deneysel verilerime dayalı tahminler yapmak ve makine öğrenimi eğitiminde kullandım. İlişkileri güvenilir biçimde modelleme ve hataları en aza indirme yeteneği, pek çok farklı disipline değer katan bir özelliktir.
Varsayımlar ve Tanılama
En küçük kareler yöntemi, verileriniz ve kullanılan model hakkında bazı temel varsayımlar yapar. Bu varsayımları anlamak önemlidir; çünkü bunların ihlali, yanlı veya güvenilmez sonuçlara yol açabilir. Bu nedenle, bu varsayımları ve olası sorunları nasıl teşhis edip gidereceğinizi konuşalım.
Bir varsayım, hataların bağımsızlığıdır; yani artıkların birbiriyle ilişkili olmaması gerekir. Hatalar birbirleriyle, özellikle sıralı veya mekansal verilerde ilişkiliyse, tahminler bozulabilir. Durbin-Watson testi, özellikle zamana bağlı veri setlerinde, artıklardaki otokorelasyonu tespit edebilir. Bir korelasyon bulursanız, bunu hesaba katmak için genelleştirilmiş en küçük kareleri kullanabilirsiniz.
Bir diğer varsayım, artıkların varyansının bağımsız değişkenin tüm seviyelerinde sabit kalmasıdır. Artıklar, uyarlanmış değerlere karşı çizildiğinde huni biçimli bir yayılım gösteriyorsa, bu varsayım muhtemelen ihlal ediliyordur. Bu sorunu gidermek için, gözlemlerinize uygun ağırlıklar atamak amacıyla ağırlıklı en küçük kareleri kullanabilirsiniz. Alternatif olarak, eşitsiz varyansı istikrara kavuşturmak ve heteroskedastisite sorunlarını düzeltmek için logaritmik veya karekök gibi dönüşümler kullanabilirsiniz.
Tüm modellemede olduğu gibi, yapının değişkenler arasındaki temel ilişkiyi yansıtması önemlidir. Aksi takdirde, uyumunuz ne kadar optimize edilirse edilsin, sonuçlar yanıltıcı olacaktır. Artık grafikleri ve R² gibi uyum iyiliği metrikleri, seçtiğiniz modelin verideki örüntüleri yakalayıp yakalamadığını değerlendirmenize yardımcı olabilir.
Standart en küçük kareler yöntemi, bağımsız değişkenlerin hatasız ölçüldüğünü varsayar. Bu nedenle bağımsız ölçümünüzün hassasiyetini bilmek önemlidir. Toplama yöntemlerine bakarak bu ölçümün hassasiyeti hakkında fikir sahibi olmalısınız. Yordayıcınızda ölçüm hataları varsa, modellemedeki yanlışlıkları azaltmak için toplam en küçük kareler yöntemini kullandığınızdan emin olun.
Son olarak, artık hatalarının dağılımı, özellikle hipotez testi ve güven aralığı tahmininde önemli bir rol oynar. En küçük kareler, hataların normal (Gauss) dağılıma uyduğunu varsayar; normallikten sapmalar çıkarımı etkileyebilir. Histogramlar ve Q-Q grafikleri, artıkların beklenen dağılımlarla uyumunu değerlendirmeye yardımcı olur. Normallikten önemli sapmalar varsa, sağlam regresyon teknikleri veya bootstrap yöntemleri, aykırı değerlere daha az duyarlı, daha güvenilir tahminler sağlayabilir.
En Küçük Karelerin Avantaj ve Dezavantajları
En küçük kareler yöntemi, veri analizinde yaygın olarak kullanılan bir araçtır. Ancak bu, her veri seti için kullanılacağı anlamına gelmez.
En küçük kareler yöntemi çeşitli avantajlar sunar. Özellikle doğrusal modellerde hesaplaması oldukça kolaydır. Hem teknik hem teknik olmayan kitleler için yorumlanması rahattır. Ayrıca ağırlıklı, sağlam ve doğrusal olmayan regresyon gibi farklı stilleri vardır; bu da onu oldukça çok yönlü kılar. Ve önemlisi, Gauss-Markov teoremi ile güçlü bir teorik temele sahiptir. Tüm bunlar, en küçük kareleri ekonomiden mühendisliğe birçok alanda yaygın biçimde uygulanabilir kılar.
Bununla birlikte, yöntem aykırı değerlere duyarlıdır; bu da modelin sonuçlarını orantısız şekilde etkileyebilir. Ayrıca yordayıcılarda hata olmadığını varsayar; bu, gerçek dünya verilerinde her zaman geçerli olmayabilir. Ek olarak, en küçük kareler çoklu doğrusal bağlantıdan olumsuz etkilenebilir. Yani, yüksek korelasyonlu yordayıcılar kararsız katsayılara ve dolayısıyla güvenilmez tahminlere yol açabilir. Artıkların sabit varyansını da gerektirir; bu koşul her zaman sağlanmayabilir.
En küçük kareler yönteminin sizin koşullarınız için en iyi araç olduğuna karar vermeden önce, veri setinizi ve amacınızı yakından incelemeniz önemlidir.
|
Avantajlar
|
Dezavantajlar
|
|
Hesaplama Kolaylığı
|
Aykırı Değerlere Duyarlılık
|
|
Yorumlanabilirlik
|
Yordayıcılarda Hata Olmadığını Varsayar
|
|
Geniş Uygulanabilirlik
|
Çoklu Doğrusal Bağlantıda Sınırlı
|
|
Güçlü Teorik Temel
|
Sabit Varyans Varsayımı
|
Sonuç
En küçük kareler yöntemi, her veri analisti için temel bir araçtır. Verilerimize en iyi uyumu bularak daha doğru tahminler yapabilir ve daha anlamlı eğilimler yakalayabiliriz.
Öklidyen uzayda doğru uzunluklarının ölçümüne dair daha fazla okuma için Öklidyen Mesafeyi Anlamak: Teoriden Pratiğe başlıklı içeriğimizi öneririm. Ayrıca, gerçekten uzmanlaşmak için regresyon kurslarımıza kaydolduğunuzdan emin olun.
%22%3E%3Cpath%20d%3D%22m-369%200h408v79h-408z%22%20fill%3D%22%237933ff%22%2F%3E%3Cpath%20d%3D%22m-148%200h306v45h-306z%22%20fill%3D%22%23974dff%22%2F%3E%3C%2Fg%3E%3C%2Fsvg%3E)
%22%2F%3E%3C%2FclipPath%3E%3Cg%20clip-path%3D%22url(%23a)%22%3E%3Cpath%20d%3D%22m76%200h484v36h-484z%22%20fill%3D%22%23974dff%22%2F%3E%3Cpath%20d%3D%22m0%200h384v24h-384z%22%20fill%3D%22%2306bdfc%22%20transform%3D%22matrix(1%200%200%20-1%200%2060)%22%2F%3E%3C%2Fg%3E%3C%2Fsvg%3E)
%22%3E%0A%20%20%20%20%20%20%20%20%3Crect%20fill%3D%22%23EFEBE4%22%20height%3D%22180%22%20width%3D%22336%22%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23FF931E%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%22106.6%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20-208.588%20220.18)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22456.125%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22-208.588%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22220.18%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23F7F3EB%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20-208.588%20220.18)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22347.576%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22-208.588%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22220.18%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23000820%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20-226.525%20189.111)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22347.576%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22-226.525%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22189.111%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23000820%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%22106.6%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%2085.5879%20256.055)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22456.125%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%2285.5879%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22256.055%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23D87300%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%2085.5879%20256.055)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22184.5%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%2285.5879%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22256.055%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23FF931E%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20227.432%20132.736)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22271.625%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22227.432%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22132.736%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%3C%2Fg%3E%0A%20%20%20%20%20%20%3Cdefs%3E%0A%20%20%20%20%20%20%20%20%3CclipPath%20id%3D%22clip%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Crect%20fill%3D%22white%22%20height%3D%22180%22%20width%3D%22336%22%20%2F%3E%0A%20%20%20%20%20%20%20%20%3C%2FclipPath%3E%0A%20%20%20%20%20%20%3C%2Fdefs%3E%0A%20%20%20%20%3C%2Fsvg%3E)
%22%3E%0A%20%20%20%20%20%20%20%20%3Crect%20fill%3D%22%2305192D%22%20height%3D%22180%22%20width%3D%22336%22%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23B08EFF%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%22106.6%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20-208.588%20220.18)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22456.125%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22-208.588%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22220.18%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%237933FF%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20-208.588%20220.18)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22347.576%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22-208.588%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22220.18%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%2372E5FE%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20-226.525%20189.111)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22347.576%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22-226.525%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22189.111%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%235EB1FF%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%22106.6%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%2085.5879%20256.055)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22456.125%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%2285.5879%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22256.055%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23B08EFF%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%2085.5879%20256.055)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22184.5%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%2285.5879%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22256.055%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%2372E5FE%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20227.432%20132.736)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22271.625%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22227.432%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22132.736%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%3C%2Fg%3E%0A%20%20%20%20%20%20%3Cdefs%3E%0A%20%20%20%20%20%20%20%20%3CclipPath%20id%3D%22clip%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Crect%20fill%3D%22white%22%20height%3D%22180%22%20width%3D%22336%22%20%2F%3E%0A%20%20%20%20%20%20%20%20%3C%2FclipPath%3E%0A%20%20%20%20%20%20%3C%2Fdefs%3E%0A%20%20%20%20%3C%2Fsvg%3E)
%22%3E%0A%20%20%20%20%20%20%20%20%3Crect%20fill%3D%22%23F7F3EB%22%20height%3D%22180%22%20width%3D%22336%22%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23000820%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%22106.6%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20-208.588%20220.18)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22456.125%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22-208.588%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22220.18%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%2300C74E%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20-208.588%20220.18)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22347.576%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22-208.588%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22220.18%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23FF931E%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20-226.525%20189.111)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22347.576%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22-226.525%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22189.111%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23D87300%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%22106.6%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%2085.5879%20256.055)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22456.125%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%2285.5879%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22256.055%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23000820%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%2085.5879%20256.055)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22184.5%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%2285.5879%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22256.055%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%2300C74E%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20227.432%20132.736)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22271.625%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22227.432%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22132.736%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%3C%2Fg%3E%0A%20%20%20%20%20%20%3Cdefs%3E%0A%20%20%20%20%20%20%20%20%3CclipPath%20id%3D%22clip%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Crect%20fill%3D%22white%22%20height%3D%22180%22%20width%3D%22336%22%20%2F%3E%0A%20%20%20%20%20%20%20%20%3C%2FclipPath%3E%0A%20%20%20%20%20%20%3C%2Fdefs%3E%0A%20%20%20%20%3C%2Fsvg%3E)
Metrekareye göre konut fiyatlarını tahmin etmeye çalıştığınızı hayal edin. Elinizde son satışlardan veri noktaları var, ancak mükemmel bir örüntü oluşturmuyorlar. Bazı evler beklenenden daha yüksek fiyata satılırken bazıları daha düşük fiyata satılıyor. Tek tek evlerin tahmininizi bozmasına izin vermeden, boyut ile fiyat arasındaki genel ilişkiyi yansıtan en iyi eğilim doğrusunu nasıl bulursunuz?
En küçük kareler yöntemi tam aradığınız çözüm olabilir. Bu yazıda, en küçük kareler yönteminin temel kavramlarını, varyasyonlarını ve kullanım alanlarını inceleyeceğiz. Sonunda, bu yöntemi nasıl kullanacağınızı ve gerçek problemlere nasıl uygulayacağınızı sağlam bir şekilde kavramış olacaksınız.
En Küçük Kareler Yöntemi Nedir?
En küçük kareler yöntemi, bir veri noktası kümesi için en iyi uyumlu doğruyu veya eğriyi belirlemek amacıyla kullanılan bir istatistiksel tekniktir. Bir veri setindeki gözlenen değerlerle tahmin edilen değerler arasındaki kare farkları en aza indirerek çalışır. Gerçek veri noktaları ile modelin tahmin ettiği değerler arasındaki farklara artıklar denir. Amaç, bu kare artıkların toplamını en aza indiren modeli bulmaktır; böylece mümkün olan en doğru tahminler elde edilir.
Yukarıdaki diyagram, en küçük kareler yönteminin adımlarını kısaca açıklar.
Bu yöntem, 1795 yılında 18 yaşındaki Carl Friedrich Gauss tarafından türetildi (adını Gauss dağılımından hatırlayabilirsiniz). Adrien-Marie Legendre daha sonra 1805’te tekniği resmileştirdi ve bir asteroidin yörüngesini yeniden kurmak için en küçük kareler yöntemini kullanan ilk makaleyi yazdı.
En Küçük Kareler Yöntemi Nasıl Çalışır
En küçük kareler yöntemi, gözlenen değerlerle tahmin edilen değerler arasındaki kare farkların toplamını en aza indirerek, bir nokta kümesine en iyi uyan doğruyu bulur. Bu, mümkün olan en yakın uyumu sağlayan model parametrelerini bulmak için kullanılır.
Bunu çok küçük bir veri setiyle deneyelim: sadece 10 nokta. Önce, verilerimize uyacak bir model seçmemiz gerekiyor. Bu basit örnekte, basit doğrusal regresyonu seçeceğiz; yani tam olarak bir bağımsız ve bir bağımlı değişkenimiz olan bir regresyon yapıyoruz.
Yukarıdaki grafik, küçük veri setimizin çizimini ve üzerine yerleştirilmiş doğrusal regresyonu gösterir. Veri noktalarını tahmin edilen doğruya bağlayan sarı noktalı çizgiler artıklardır. Amaç, bu sarı noktalı artık çizgilerini en aza indiren doğrusal regresyon modelini bulmaktır.
Veri setimizdeki her veri noktası için, nokta ile doğru arasındaki y-koordinatlarındaki farkı bulmamız gerekir. Bunlar artıklarımız olacaktır. Daha sonra her bir artığı, negatif sayıları ortadan kaldırmak için kareye alır ve toplamını hesaplarız. Bu, doğrumuzun verilerimize ne kadar iyi uyduğuna dair bir fikir verecektir. Aşağıdaki tabloda, özel grafiğimiz için dökümü görebilirsiniz.
X Koordinatı
Gözlenen Y Koordinatı (Veri Noktası)
Tahmin Edilen Y Koordinatı (Doğru)
Artıklar (Gözlenen - Tahmin)
Kare Artıklar
0
2.5
2.0
0.5
0.25
1
3.1
2.3
0.8
0.64
2
1.8
2.6
-0.8
0.64
3
3.5
2.9
0.6
0.36
4
2.2
3.2
-1.0
1.0
5
4.0
3.5
0.5
0.25
6
3.8
3.8
0.0
0.0
7
5.0
4.1
0.9
0.81
8
4.5
4.4
0.1
0.01
9
5.2
4.7
0.5
0.25
Kare Artıkların Toplamı
4.21
Artık bu doğrunun verilerimize ne kadar iyi uyduğuna dair bir fikrimiz olduğuna göre, doğrunun parametrelerini, eğimini veya kesişimini değiştirip hesaplamalarımızı yeniden çalıştırabiliriz. Kare artıkların toplamı en düşük olan doğru, verilerimize en iyi uyan doğrudur. Dolayısıyla, en iyi tahminleri de o doğru verecektir.
En iyi doğruyu bulmak için en küçük kareler yöntemini kullanma
Yukarıdaki örnekte, en iyi uyumlu doğruyu bulmadık. Bunun yerine, o doğrunun verilere ne kadar iyi uyduğunu hesapladık. Şimdi birçok olası doğruyu yinelemeli olarak deneyip hangisinin en iyi uyduğunu aynı hesapla bulabiliriz. Ya da biraz cebir kullanarak en iyi doğruyu daha hızlı bulabiliriz. Haydi bunu deneyelim.
Doğrusal regresyon denklemiyle başlayacağız: y=mx+b; burada b y-kesişimi, m ise eğimdir. Şimdi bazı veriler uyduralım.
X Koordinatı
Y Koordinatı
0
2.5
1
3.1
2
1.8
3
3.5
4
2.2
5
4.0
6
3.8
7
5.0
8
4.5
9
5.2
Önce, X ve Y değerlerinin ortalamasını hesaplamamız gerekiyor. Bunlar tahmin değerlerimiz olacak:
Sonra, her veri noktası ile tahmin değerimiz (ortalama) arasındaki artıkların kareleri toplamını kullanarak eğimi bulabiliriz. Kullanacağımız denklem şöyle:
Bu denklemi elde hesaplamak epey hantal olduğundan, pay ve paydayı ayrı ayrı hesaplayacağız. Paydan başlayalım:
xi
yi
xi - xortalama
yi - yortalama
(xi - xortalama)(yi -yortalama)
0
2.5
-4.5
-1.06
4.77
1
3.1
-3.5
-0.46
1.61
2
1.8
-2.5
-1.76
4.40
3
3.5
-1.5
-0.06
0.09
4
2.2
-0.5
-1.36
0.68
5
4.0
0.5
0.44
0.22
6
3.8
1.5
0.24
0.36
7
5.0
2.5
1.44
3.60
8
4.5
3.5
0.94
3.29
9
5.2
4.5
1.64
7.38
Σ (xi - xortalama)(yi - yortalama)
26.4
Şimdi aynısını payda için yapalım:
xi
xi - xortalama
(xi - xortalama)2
0
-4.5
20.25
1
-3.5
12.25
2
-2.5
6.25
3
-1.5
2.25
4
-0.5
0.25
5
0.5
0.25
6
1.5
2.25
7
2.5
6.25
8
3.5
12.25
9
4.5
20.25
Σ(xi - xortalama)2
82.50
Artık en iyi uyum doğrumuzun eğimini hesaplayabiliriz.
Böylece, verilerimize en iyi uyacak doğrunun eğimini biliyoruz. Sırada y-kesişimini bulmak var. b kesişimi için formül, biraz cebirsel düzenlemeyle kolayca elde edilir:
Eğimi zaten bildiğimiz için, ortalama x ve y değerlerimizi yerine koyup b için çözebiliriz.
Artık hem m hem b elimizde olduğuna göre, en iyi uyumlu doğrunun denklemini yazabiliriz:
En küçük kareler yöntemi, en iyi doğrusal regresyon doğrusunu hızlı ve kolay bir şekilde, hatta elde türetmemizi sağladı! Elbette, ne kadar çok veriniz varsa, bunu elde yapmak o kadar zorlaşır. Neyse ki, matematik oldukça yalın olduğundan, bu yöntemi Python veya R ile uygulamak çok kolaydır. Bunu ayrıntılı olarak nasıl yapacağınızı öğrenmek için Python ile Doğrusal Regresyonun Temelleri ve R’de Doğrusal Regresyon Nasıl Yapılır içeriklerine göz atın.
En küçük kareler yönteminin matematiksel temelleri
Yukarıda, basit doğrusal regresyonla bir örnek kullandık ve kapalı form denklemleriyle eğimi ve kesişimi bulduk; bağımlı değişkeni bağımsız değişkenin bir fonksiyonu olarak modelledik: y=mx+b.
Ancak, yukarıda gösterdiğim denklemler yalnızca bir bağımsız değişkeniniz olduğunda çalışır. Regresyon katsayılarını bulmanın bir başka yolu da normal denklemi kullanmaktır; bu, en küçük kareler problemine matris tabanlı bir çözüm sunar. Normal denklem, en küçük kareler yöntemiyle kare artıkların toplamını en aza indirmekten doğan matris denklemine karşılık gelir. Geometrik olarak ve lineer cebirin diliyle ifade edersek, en küçük kareler çözümü, gözlenen veri vektörünün model matrisinin sütun uzayına ortogonal izdüşümü olarak görselleştirilebilir. Basitçe söylemek gerekirse, bu, modelin kısıtları göz önünde bulundurulduğunda, tahmin edilen değerlerin gözlenen verilere mümkün olduğunca yakın olacak şekilde hataların minimize edilmesi demektir.
Matris terslenebilir olmadığında (yani denklem sisteminin tekil bir çözümü olmadığında), Moore-Penrose yalancı tersi bir en küçük kareler çözümü hesaplama olanağı sağlar. Bu, sistemin eksik belirlenmiş olduğu (denklemden çok bilinmeyen olduğu) veya aşırı belirlenmiş olduğu (bilinmeyenden çok denklem olduğu) durumları ele alma esnekliği sağlar.
Matris cebrine kısa bir geri hatırlatma ihtiyacınız varsa, R ile Veri Bilimi için Lineer Cebir kursunu öneririm.
En Küçük Kareler Yöntemi Türleri
Şimdiye kadar, en küçük kareler yöntemini sıradan en küçük kareler kestiricisiyle kullanmaktan bahsettik. Ancak bu, ele aldığınız problemin niteliğine bağlı olarak birçok senaryoya uyarlanabilen çok yönlü bir araçtır. Birkaç en küçük kareler türünü, onları benzersiz kılan noktaları ve pratik kullanım alanlarını inceleyelim.
Doğrusal en küçük kareler
Bu noktada doğrusal en küçük karelere (diğer adıyla sıradan en küçük kareler) epey aşina olmalısınız. Basit veya çoklu doğrusal regresyon gibi, katsayıları doğrusal olan modellerle kullanılır. Amaç, kare artıkların toplamını en aza indiren doğruyu (çoklu doğrusal regresyonda hiper düzlemi) bulmaktır.
Bu tür en küçük kareler, artıkların varyansının sabit olduğunu ve veride belirgin aykırı değerler bulunmadığını varsayar. Doğrusal ilişki olan çoğu durumda uygulanabilir. Örneğin, gebelik süresi ile doğum ağırlığı arasındaki ilişki ya da reklam harcaması ile satış geliri arasındaki ilişki için kullanılabilir. Bu, benim de en sık kullandığım ve başkalarının da en çok bahsettiğini duyduğum en küçük kareler türüdür.
Ağırlıklı en küçük kareler
Ağırlıklı en küçük kareler, artıkların varyansının sabit olmadığı durumlarda çalışan bu yöntemin bir uzantısıdır. Her veri noktasına ağırlık atayarak, ağırlıklı en küçük kareler, varyansı daha düşük olan gözlemlere daha fazla önem verir. Bunun denklemi, önceki kareler toplamına benzer; ancak her artık için bir ağırlık (wi) uygulanır:
Bu yöntem, ölçüm hatasının gözlemler arasında değiştiği veri setlerinde kullanışlıdır; örneğin sensör kalibrasyonunda. Ağırlıklar genellikle her gözlemin varyansının tersidir.
Sağlam (robust) en küçük kareler
Sağlam en küçük kareler, sıradan en küçük karelerin sonuçlarını orantısız şekilde etkileyebilecek aykırı değerlere sahip veri setlerini ele almak için tasarlanmıştır. Aykırı değerlerin etkisini azaltmak için yinelemeli yeniden ağırlıklandırma teknikleri kullanır.
Sağlam en küçük karelerde, ağırlıkları yinelemeli olarak ayarlamak ve aykırı değerlerin etkisini azaltmak için en küçük mutlak sapmalar (LAR) veya bisquare ağırlıklar gibi yöntemler kullanılabilir.
Bunu, aşırı piyasa çöküşlerini dikkate almak istediğiniz finansal modellemede kullanabilirsiniz. Veri setinizde aykırı değerleri çıkarmak istemiyor, ancak yine de onları hesaba katmak istiyorsanız, sağlam en küçük kareler uygun bir yol olabilir.
Doğrusal olmayan en küçük kareler
En küçük kareler yalnızca doğrusal regresyonlar için değildir. Modelin katsayılar açısından doğrusal olmadığı durumlarda doğrusal olmayan en küçük kareler kullanılır. Bu, doğrusal en küçük karelerden daha karmaşıktır ve en iyi uyumu bulmak için (örneğin Gauss–Newton veya Levenberg–Marquardt gibi) yinelemeli optimizasyon teknikleri gerektirebilir.
Doğrusal olmayan en küçük karelerde dikkatli olmak önemlidir. Hesaplama, başlangıç parametre tahminlerine ve yakınsama sorunlarına karşı hassas olabilir. Kullanım örnekleri arasında, bir enfeksiyon sırasında vücutta virüslerin üssel büyümesini modellemek veya laboratuvarda kimyasal reaksiyon hızlarını modellemek sayılabilir.
Toplam en küçük kareler
Şimdiye dek çoğunlukla yalnızca bağımlı değişkende hata olduğu durumları konuştuk. Ve modelimizle verimiz arasındaki dikey mesafeleri minimize ettik. Peki ya bağımsız ölçümlerinizde de hatalar varsa?
Toplam en küçük kareler, hem bağımsız hem bağımlı değişkenlerde ölçüm hatalarının bulunduğu durumlarda kullanışlıdır. Bu yöntem, tüm değişkenlerdeki hataları hesaba katar. Özellikle astronomi ve jeodezi (Dünya’nın şekli ve yerçekimi alanını ölçen alan) gibi, gerekli yüksek hassasiyet nedeniyle tüm boyutlarda ölçüm hatalarının bulunduğu alanlarda faydalıdır. Toplam en küçük kareler sıklıkla tekil değer ayrışımıyla birlikte kullanılır.
Genelleştirilmiş en küçük kareler
Genelleştirilmiş en küçük kareler, ilişkili artıkların yarattığı zorlukları ele alan en küçük kareler yönteminin bir uzantısıdır. Genelleştirilmiş en küçük karelerde, veriler, sıradan en küçük karelerin uygulanabileceği bir forma dönüştürülür. Bu dönüşüm, artıkların korelasyon yapısını hesaba katmak için artıkların kovaryans matrisinin kullanılmasını içerir ve daha doğru parametre tahminlerine olanak tanır.
Bu, artıkların otokorelasyon gösterebileceği zaman serisi analizleri gibi durumlarda özellikle yararlı olabilir.
En Küçük Kareler Yönteminin Uygulamaları
En küçük kareler yöntemi, çok sayıda alanda uygulamaları olan yaygın bir istatistiksel tekniktir.
İstatistik ve veri biliminde, bilinen girdilere dayanarak tahmin yapmak için doğrusal ve doğrusal olmayan regresyon modelleri kurmada kullanılır. Özellikle zaman serisi verilerinde eğilimlerin analizinde de faydalıdır.
Finansta, en küçük kareler hisse performansı analizinde kullanılır; bir hissenin getirisi ile piyasa endeksleri arasındaki ilişkiyi belirlemeye yardımcı olur. Örneğin, bir hissenin piyasa hareketlerine duyarlılığını hesaplamak için kullanılabilir. Ayrıca, tarihsel finansal verilere modeller uydurarak risk ve getiriyi tahmin etmek için risk modellemede yardımcı olur.
Mühendisler, sensör kalibrasyonunda gözlenen verilere modeller uydurmak ve ölçüm hatalarını en aza indirmek için en küçük kareleri kullanır. Sinyal işlemede de filtreleme ve gürültü azaltma amacıyla uygulanır; bu da verinin daha net yorumlanmasını sağlar.
Elbette, en küçük karelerin başlangıcı astronomiye dayanır; ilk kullanımını Carl Friedrich Gauss, Ceres asteroidinin yörüngesini tahmin etmek için yapmıştır. Jeodezide de gözleme dayalı verilerle Dünya’nın şeklini modellemede kullanılır; bu, doğru coğrafi ölçümler için esastır.
Makine öğrenimiyle ilgilendiyseniz, en küçük kareler yöntemini, doğrusal regresyon modellerinin eğitimi sırasında kayıp fonksiyonunu en aza indirme yöntemi olarak tanıyacaksınız. Özellik seçimi sırasında da modele en çok katkı yapan değişkenleri belirlemek için kullanmış olabilirsiniz.
Ayrıca fizik ve kimya gibi diğer temel bilimlerde de önemli bir rol oynar. Tepki hızları veya fiziksel ölçümler gibi deneysel verilere eğriler uydurmak ve deneysel düzeneklerdeki hataları en aza indirmeye yardımcı olmak için kullanılabilir.
En küçük kareler yöntemi çok yönlü bir istatistiksel araçtır. Ben kişisel olarak bu yöntemi basınç sensörlerini kalibre etmek, deneysel verilerime dayalı tahminler yapmak ve makine öğrenimi eğitiminde kullandım. İlişkileri güvenilir biçimde modelleme ve hataları en aza indirme yeteneği, pek çok farklı disipline değer katan bir özelliktir.
Varsayımlar ve Tanılama
En küçük kareler yöntemi, verileriniz ve kullanılan model hakkında bazı temel varsayımlar yapar. Bu varsayımları anlamak önemlidir; çünkü bunların ihlali, yanlı veya güvenilmez sonuçlara yol açabilir. Bu nedenle, bu varsayımları ve olası sorunları nasıl teşhis edip gidereceğinizi konuşalım.
Bir varsayım, hataların bağımsızlığıdır; yani artıkların birbiriyle ilişkili olmaması gerekir. Hatalar birbirleriyle, özellikle sıralı veya mekansal verilerde ilişkiliyse, tahminler bozulabilir. Durbin-Watson testi, özellikle zamana bağlı veri setlerinde, artıklardaki otokorelasyonu tespit edebilir. Bir korelasyon bulursanız, bunu hesaba katmak için genelleştirilmiş en küçük kareleri kullanabilirsiniz.
Bir diğer varsayım, artıkların varyansının bağımsız değişkenin tüm seviyelerinde sabit kalmasıdır. Artıklar, uyarlanmış değerlere karşı çizildiğinde huni biçimli bir yayılım gösteriyorsa, bu varsayım muhtemelen ihlal ediliyordur. Bu sorunu gidermek için, gözlemlerinize uygun ağırlıklar atamak amacıyla ağırlıklı en küçük kareleri kullanabilirsiniz. Alternatif olarak, eşitsiz varyansı istikrara kavuşturmak ve heteroskedastisite sorunlarını düzeltmek için logaritmik veya karekök gibi dönüşümler kullanabilirsiniz.
Tüm modellemede olduğu gibi, yapının değişkenler arasındaki temel ilişkiyi yansıtması önemlidir. Aksi takdirde, uyumunuz ne kadar optimize edilirse edilsin, sonuçlar yanıltıcı olacaktır. Artık grafikleri ve R² gibi uyum iyiliği metrikleri, seçtiğiniz modelin verideki örüntüleri yakalayıp yakalamadığını değerlendirmenize yardımcı olabilir.
Standart en küçük kareler yöntemi, bağımsız değişkenlerin hatasız ölçüldüğünü varsayar. Bu nedenle bağımsız ölçümünüzün hassasiyetini bilmek önemlidir. Toplama yöntemlerine bakarak bu ölçümün hassasiyeti hakkında fikir sahibi olmalısınız. Yordayıcınızda ölçüm hataları varsa, modellemedeki yanlışlıkları azaltmak için toplam en küçük kareler yöntemini kullandığınızdan emin olun.
Son olarak, artık hatalarının dağılımı, özellikle hipotez testi ve güven aralığı tahmininde önemli bir rol oynar. En küçük kareler, hataların normal (Gauss) dağılıma uyduğunu varsayar; normallikten sapmalar çıkarımı etkileyebilir. Histogramlar ve Q-Q grafikleri, artıkların beklenen dağılımlarla uyumunu değerlendirmeye yardımcı olur. Normallikten önemli sapmalar varsa, sağlam regresyon teknikleri veya bootstrap yöntemleri, aykırı değerlere daha az duyarlı, daha güvenilir tahminler sağlayabilir.
En Küçük Karelerin Avantaj ve Dezavantajları
En küçük kareler yöntemi, veri analizinde yaygın olarak kullanılan bir araçtır. Ancak bu, her veri seti için kullanılacağı anlamına gelmez.
En küçük kareler yöntemi çeşitli avantajlar sunar. Özellikle doğrusal modellerde hesaplaması oldukça kolaydır. Hem teknik hem teknik olmayan kitleler için yorumlanması rahattır. Ayrıca ağırlıklı, sağlam ve doğrusal olmayan regresyon gibi farklı stilleri vardır; bu da onu oldukça çok yönlü kılar. Ve önemlisi, Gauss-Markov teoremi ile güçlü bir teorik temele sahiptir. Tüm bunlar, en küçük kareleri ekonomiden mühendisliğe birçok alanda yaygın biçimde uygulanabilir kılar.
Bununla birlikte, yöntem aykırı değerlere duyarlıdır; bu da modelin sonuçlarını orantısız şekilde etkileyebilir. Ayrıca yordayıcılarda hata olmadığını varsayar; bu, gerçek dünya verilerinde her zaman geçerli olmayabilir. Ek olarak, en küçük kareler çoklu doğrusal bağlantıdan olumsuz etkilenebilir. Yani, yüksek korelasyonlu yordayıcılar kararsız katsayılara ve dolayısıyla güvenilmez tahminlere yol açabilir. Artıkların sabit varyansını da gerektirir; bu koşul her zaman sağlanmayabilir.
En küçük kareler yönteminin sizin koşullarınız için en iyi araç olduğuna karar vermeden önce, veri setinizi ve amacınızı yakından incelemeniz önemlidir.
Avantajlar
Dezavantajlar
Hesaplama Kolaylığı
Aykırı Değerlere Duyarlılık
Yorumlanabilirlik
Yordayıcılarda Hata Olmadığını Varsayar
Geniş Uygulanabilirlik
Çoklu Doğrusal Bağlantıda Sınırlı
Güçlü Teorik Temel
Sabit Varyans Varsayımı
Sonuç
En küçük kareler yöntemi, her veri analisti için temel bir araçtır. Verilerimize en iyi uyumu bularak daha doğru tahminler yapabilir ve daha anlamlı eğilimler yakalayabiliriz.
Öklidyen uzayda doğru uzunluklarının ölçümüne dair daha fazla okuma için Öklidyen Mesafeyi Anlamak: Teoriden Pratiğe başlıklı içeriğimizi öneririm. Ayrıca, gerçekten uzmanlaşmak için regresyon kurslarımıza kaydolduğunuzdan emin olun.