Özvektörler ve Özdeğerler: Veri Bilimi için Temel İçgörüler

Özvektörler ve özdeğerler, doğrusal cebirin veri bilimi ve makine öğreniminde geniş etkileri olan temel kavramlarıdır. Bu matematiksel yapılar, doğrusal dönüşümlerin davranışı hakkında değerli içgörüler sunar; verinin altında yatan yapıyı anlamamızı, çok sayıda özelliğe sahip karmaşık veri kümelerini basitleştirmemizi ve böylece istenen hedefe ulaşmak için işlenmelerini mümkün kılmamızı sağlar.

Bu size boyut indirgeme gibi geliyorsa, haklısınız. Özvektörler ve özdeğerler, temel bileşen analizi (PCA) gibi birçok boyut indirgeme tekniğinin kaputunun altında çalışır. Ayrıca, ilk adım olarak boyut indirgeme içeren spektral kümeleme yönteminin de dişlileridir.

Öz dünyası kavramını kavrayabilmek için, öncelikle doğrusal cebirdeki bazı ön kavramları —özellikle vektörler ve skalerler, doğrusal dönüşüm ve determinantlar— iyi anlamanız gerekir. Bu kavramlara yeniyseniz, uygulamalı R ile Veri Bilimi için Doğrusal Cebir kursumuzu alabilir veya Python kullanıyorsanız, şu vektörler ve diziler üzerine SciPy eğitimini inceleyebilirsiniz.

Özvektörler ve Özdeğerler Nelerdir?

“Eigen” kısmının, birilerinin soyadı olmadığını ve aslında bir anlamı olduğunu belirterek başlayalım. Eigen, bu bağlamda kabaca “özgü/karakteristik olan” ya da “içkin olan” anlamına gelen Almanca bir kelimedir.

Şimdi bir grup vektörü ölçekleme, kaydırma (shearing) veya döndürme gibi bir doğrusal dönüşüme tabi tuttuğumuzu hayal edin. Bazı vektörlerin yönü değişir, bazılarınki değişmez. Yönü değişmeyen (ya da tam tersi yöne dönen) vektörlere, gerçekleşen dönüşümün (veya onu tanımlayan matrisin) “karakteristik” vektörleri oldukları için özvektör denir. Bu vektörlerin ölçeklendiği miktar (büyüklük) ise özdeğerdir; yani özdeğer, dönüşümün ölçekleme katsayısıdır.

Özvektörler ve Özdeğerleri Anlama

İki kavramı daha iyi anlamak için önce geometrik bir örnekten geçelim, ardından veri bilimindeki uygulamalarına bakalım.

Geometrik yorum

İki boyutlu bir uzay düşünün: x ekseni üzerinde duran mavi bir vektör, y ekseni üzerinde duran kırmızı bir vektör ve ikisinin arasında çapraz duran yeşil bir vektör var. Şimdi, aşağıdaki görsellerde gösterildiği gibi y ekseni boyunca iki katsayısıyla bir ölçekleme dönüşümü uyguluyoruz.

Gerilmeden önceki vektörler. Görsel: Yazar

Gerilmeden sonraki vektörler. Görsel: Yazar

Yön vektörlerine ne oldu? Kırmızı ve mavi olanların yönü ölçekleme ile değişmedi, yeşilin yönü ise değişti, öyle değil mi? Dolayısıyla bu tür bir dönüşümde kırmızı ve mavi vektörler, dönüşümün karakteristik vektörleri oldukları için özvektörlerdir.

Yukarıdaki görsellere tekrar bakın ve özvektörlerin (kırmızı ve mavi) büyüklüklerine ne olduğuna dikkat edin. Mavi özvektörün büyüklüğü değişmedi, kırmızı ise iki katına çıktı, yani iki katsayısıyla ölçeklendi. Her bir özvektörün dönüşümle ölçeklendiği miktara özdeğer denir. Dolayısıyla burada mavi özvektörün özdeğeri 1’dir (bunu çarpma gibi düşünün), kırmızı özvektörün özdeğeri ise 2’dir; çünkü büyüklüğü ikiye katlanmıştır.

Özdeğerlerin özellikleri

Aşağıdaki görsellerde gösterilen dönüşümü ele alın ve önce bu durumda özvektörlerin hangileri olduğunu düşünün. “Üç vektör de —kırmızı, yeşil ve sarı—” dediyseniz, haklısınız; çünkü dönüşümden sonra hepsi tam tersi yöne dönüyor. Sayı işaretinin (özdeğerin) gerçekleşen dönüşüm hakkında ek bilgi verebildiğini görüyoruz. Pozitif bir özdeğer, dönüşümde bir döndürme olmadığını; negatif bir özdeğer ise özvektörün başlangıç noktası etrafında döndürüldüğünü gösterir.

Dönmeden önceki vektörler. Görsel: Yazar

Dönmeden sonraki vektörler. Görsel: Yazar

Peki bu özvektörlerin özdeğeri nedir? Büyüklüklerinin aynı kalması özdeğerin 1 olduğu anlamına gelir; ancak dönmüş olmaları, bu 1’in işaretinin negatif olması gerektiğini gösterir. Dolayısıyla bu durumda özdeğer -1’dir.

Örneğimizde özdeğerler basittir (hepsi 1), ancak özdeğerler herhangi bir sayı olabilir: 1 ve 2 gibi tam sayılar ya da ½ ve 0.75 gibi rasyonel sayılar. π değeri gibi irrasyonel sayılar da olabilir. Özdeğerler, a + bi gibi karmaşık sayılar da olabilir; burada “a” ve “b” ayrı ayrı gerçek sayılardır ve “i” -1’in karekökü gibi hayalî birimdir. Karmaşık özdeğerler, dönüşümün bir döndürme olup olmadığını ya da salınım gibi daha karmaşık bir dönüşüm türünü de gösterebilir.

Özvektörler ve Özdeğerler Nasıl Hesaplanır

R’nin temel paketindeki kütüphaneler ve Python’daki SciPy ile NumPy gibi kütüphaneler özvektörleri ve özdeğerleri kolayca bulabilir; ancak arkalarındaki denklemleri anlamak son derece değerlidir. Bu bölümde, verilen basit bir matris için adım adım özvektörleri ve özdeğerleri hesaplayan karakteristik denklemi gözden geçireceğiz. Ardından, daha büyük matrisler (yani büyük veri kümeleri) için diğer sayısal hesaplama yöntemlerine değineceğiz.

Karakteristik denklem

Özvektörleri ve özdeğerleri, karakteristik denklem olarak bilinen yaklaşımı kullanarak bulabiliriz. Bu yöntemde önce özdeğerler, sonra özvektörler bulunur. Özdeğer bilindikten sonra, ilgili özvektör doğrusal denklem sistemini çözerek hesaplanır. 

Adım 1: Matris dönüşüm denklemiyle başlayın

Bir 𝐴 matrisi ve bir 𝑣 vektörü için özvektörler ve özdeğerlerin temel denklemi şudur:

Bu, 𝐴 matrisinin 𝑣 vektörü üzerinde etkidiğinde, sonucun 𝑣’nin ölçeklenmiş bir hali olduğu anlamına gelir. Burada:

• 𝐴 bir matristir (sayıların kare ızgarası).
• 𝑣 özvektördür
• λ (lambda) özdeğerdir.

Amacımızın hem λ (özdeğer) hem de 𝑣 (özvektör) olduğunu akılda tutalım.

Adım 2: Denklemi yeniden düzenleyin

Hedefimize ilerlemek için λ için çözmemiz gerekir. Bu yüzden, sağ tarafı eksi işaretiyle sol tarafa taşıyarak denklemi çalışması kolay bir hale getireceğiz:

Şimdi 𝑣’yi ortak çarpan olarak dışarı alabiliriz; ancak 𝐴 bir matris, 𝑣 ise bir vektör olduğu için, 𝑣’yi I ile gösterilen birim matrisle çarpmamız gerekir. Birim matris, köşegeni 1’lerden ve diğer tüm elemanları 0’lardan oluşan kare (nxn) bir matristir. Matris çarpımının özellikleri nedeniyle, birim matris matrisler için 1 sayısı gibi davranır. Örneğin 3x3 boyutlu şu birim matrise bakın:

Denklemimize dönersek, 𝑣’yi dışarı ortak çarpan alıp I ile çarparsak, aşağıdaki sonucu elde ederiz:

Adım 3: Determinantı kurun

Ulaştığımız denklemi çözmek için, ya özvektör 𝑣 sıfır olmalıdır ya da özvektör 𝐴 −λ⋅I ifadesine eşit olmalıdır. Şimdi özvektörler hakkında bir şey daha eklemenin tam zamanı: sıfıra eşit olamazlar. Bu nedenle, 𝐴 −λ⋅I sıfıra eşit olmalıdır. Ancak lambda bilinmeyen olduğundan, 𝐴 −λ⋅I ifadesinin determinantını alırsak, denklemin sol tarafını sağ tarafına eşitleyebiliriz. Böylece aşağıdaki denkleme ulaşırız:

Burada karakteristik denkleme ulaştık. Karakteristik denklemi çözmek bize hem özdeğerleri λ hem de özvektörü 𝑣 verebilir; kalan adımlarda gösterildiği gibi.

Adım 4: Özdeğerleri çözün

Aşağıdaki 𝐴 matrisine sahip olduğumuzu varsayalım:

Karakteristik denklemde 𝐴’yı gerçek matrisle değiştirdiğimizde, denklem şu hale gelir:

Ve dolayısıyla:

Ve tekrar dolayısıyla:

Bu çok daha basit denklem formundan, yalnızca matris değerlerini yerine koyarak özdeğerlerin λ değerlerini hesaplayabiliriz.

Adım 5: Özvektörleri çözün 𝑣

Özdeğerleri λ elde ettikten sonra geriye özvektörleri 𝑣 bulmak kalır. Bunu, denklemin şu önceki formuna dönerek yapabiliriz:

Şimdi, 𝐴, λ ve I değerlerini yerine koyarsak, özvektör 𝑣’nin değerini kolayca hesaplayabiliriz.

Sayısal hesaplama yöntemleri

Gördüğümüz üzere, özvektörler ve özdeğerlerin hesaplanmasının karmaşıklığı büyük ölçüde matrisin boyutuna bağlıdır. Örneğimizde basit bir 2x2 𝐴 matrisi kullandık. Ancak matrisler yüzlerce ya da binlerce satır ve sütuna sahip olduğunda, bu biçimde özvektör ve özdeğer bulmak pratik değildir. Bu durumda, sembolik yöntemler yerine sayısal hesaplama yöntemlerini kullanan Python ve R gibi programlama dillerine başvururuz. Başvurulan tekniklerden bazıları şunlardır:

1. QR Algoritması: Özdeğerleri bulmak için yaygın bir yöntemdir. Özdeğerlere yinelemeli olarak yakınsamak için bir dizi matris ayrışımı (QR ayrışımları) içerir.
2. Cholesky veya LU Ayrışımı: Belirli türden matrisler için (ör. simetrik veya pozitif tanımlı matrisler) Cholesky veya LU gibi özelleşmiş yöntemler daha verimli hesaplama sağlayabilir.
3. Dengeleme ve Ölçekleme: Sayısal kararlılığı artırmak için R ve Python, hesaplamalardan önce matrisleri sıkça ölçekler ve dengeler.

Veri Bilimi ve Makine Öğreniminde Dikkat Edilecekler

Özvektörler ve özdeğerler, aşağıdakiler dahil birçok uygulamada esastır:

• Görüntü İşleme: Yüz tanıma ve görüntü sınıflandırmada kullanılır.
• Doğal Dil İşleme (NLP): Konu modellemede ve kelime gömme yöntemlerinde kullanılır.
• Öneri Sistemleri: İşbirlikçi ve içerik tabanlı filtrelemede olduğu gibi, boyut indirgeme öneri sistemlerinin doğruluğunu artırabilir.
• Spektral Kümeleme: Özvektörler ve özdeğerler, veriyi yalnızca uzaklık yerine yapısından gelen bilgiye dayanarak, bir grafikteki bağlantılarına göre gruplandıran bir yöntem olan spektral kümelemenin de kurucu bileşenleridir; görüntü işlemeye kadar uzanan çeşitli pratik uygulamaları vardır.
• Temel Bileşen Analizi: PCA, makine öğreniminde yaygın bir boyut indirgeme tekniğidir. PCA ile standartlaştırılmış kovaryans matrisinin özvektörlerini bulur ve bunları özdeğere göre sıralarız. 

Özdeğerlerin herhangi bir gerçek ya da karmaşık sayı olabileceğini söylemiştik. Bu, özdeğerin sıfır olabileceği ve incelenen matriste birbirine eşit birden çok özdeğer bulunabileceği anlamına gelir. Bu iki durum, herhangi bir öz analizinde ortaya çıkabilecek iki sorun olarak kabul edilir. Her birine bakalım.

Sıfır özdeğer sorunu

Sıfır özdeğer bir sorundur; çünkü karşılık gelen özvektörün dönüşümü sıfır vektöre yol açar. Bu, uzayda büyüklüğü olmayan tek bir nokta olarak düşünülebilir ve bu nedenle veri kümesindeki varyansı açıklamaz. Sorun, ridge regresyonu (Tikhonov düzenlileştirme) gibi düzenlileştirme teknikleriyle ya da birlikte doğrusal (koliner) özellikleri kaldırmakla (diğer adıyla boyut indirgeme) ele alınabilir; bu da PCA algoritmasında doğal olarak gerçekleşir. Dolayısıyla sıfır özdeğer PCA için bir sorun değildir; hatta PCA bunun bir çözümü olabilir. Ancak doğrusal sistemleri çözmeyi içeren diğer makine öğrenimi algoritmaları —örneğin doğrusal, ridge ve lasso regresyonları— için sıfır özdeğer sorunu önceden ele alınmalıdır.

Dejenere özdeğerler

Birden fazla özdeğer aynı değere sahip olduğunda, bunlara dejenere denir ve veri biliminde —özellikle pratik açıdan PCA ve spektral kümelemede— sorun teşkil ederler. PCA’de, birden çok özvektörün özdeğeri aynıysa, bu özvektörlerin veri kümesindeki aynı miktarda varyansı yakaladığı anlamına gelir ve dolayısıyla k adet temel bileşen seçimi sorunlu hale gelir. Spektral kümelemede ise, benzerlik matrisinin özdeğerleri veri noktalarını gruplamak için kullanılır; dejenere özdeğerler, veri noktalarının birden çok boyutta eşit derecede benzer olduğunu gösterebilir; bu da kümeleri ayırmak için hangi boyutların ya da özvektörlerin kullanılacağına karar vermeyi zorlaştırır.

Özvektörler, Özdeğerler ve Öz Ayrışım (Eigendecomposition)

Özvektörler ve özdeğerlerle ilgili herhangi bir tartışma, öz ayrışımdan da söz edilmeden tamamlanmış olmaz. Öz ayrışım, kare bir A matrisinin özvektörlerine ve özdeğerlerine ayrıştırılması sürecidir. Ayrıştırılabilen bir matris şu şekilde ifade edilebilir:

Öz ayrışım bize, A matrisinin, özvektörler matrisi Q, özdeğerlerinin diyagonal matrisi Λ ve özvektörler matrisinin tersi Q^-1’in çarpımı olarak ifade edilebileceğini söyler. Bu matrisler matris çarpımıyla birlikte çarpıldığında, özgün A matrisini yeniden oluştururlar. Öz ayrışım önemlidir; çünkü karmaşık doğrusal dönüşümleri anlamanın ve basitleştirmenin bir yolunu sunar, sistem davranışına dair içgörüler sağlar ve birçok hesaplamayı da kolaylaştırır. 

Sonuç

Bu yazıda, özvektörlerin ve özdeğerlerin ne olduğunu ve veri bilimi ile makine öğrenimi için neden son derece ilgili olduklarını gördük. Ayrıca bunların matematiksel olarak nasıl hesaplandığını ve özvektörler ile özdeğerleri bulmaya çalışırken hangi sorunların ortaya çıkabileceğini ele aldık.

R ile Doğrusal Cebir kursuna ve vektörler ve diziler üzerine SciPy eğitimine ek olarak, özvektörler ve özdeğerler ile bunların makine öğrenimindeki uygulamalarını ciddiye alıyorsanız, Python ile Makine Öğrenimi Bilimcisi kariyer yolumuzu deneyin ve tabii ki boyut indirgeme dahil olmak üzere denetimli ve denetimsiz öğrenmede uzmanlaşın.