Karakteristik Denklem: Veri Bilimi için Bilmeniz Gereken Her Şey

Veri ve makine öğrenimi tekniklerinin erişilebilirliğinin katlanarak artmasıyla birlikte, lineer cebir makine öğrenimi ve veri biliminin matematiğinde temel bir yer edinmiştir. Bu nedenle, makine öğrenimi ve veri bilimi alanında ilerlemek isteyenlerin, vektörler ve matrisler, bunların özellikleri ve üzerlerinde uygulanan yaygın işlemler gibi lineer cebirin temel kavramlarını öğrenmeleri büyük fayda sağlayacaktır.

Sağlam bir matematiksel temel oluşturmak için R ile Veri Bilimi için Lineer Cebir kursumuzu almanızı öneririm. Bu kurs sayesinde lineer cebirin, cebir ile geometrinin (doğrular, düzlemler ve hacimler üzerinden) sentezini içeren, güzel ve ilgi çekici bir konu olduğunu göreceksiniz. Özellikle, yüksek boyutlu verilerin (ör. metin, görüntü, ses ve öznitelikler) vektör nesneleri biçiminde temsil edilmeye son derece uygun olduğunu ve bu matematiksel nesnelerin vektörler olarak fizik, istatistik ve bilgisayar bilimi gibi bilim ve mühendislik alanlarında geniş uygulamalara sahip olduğunu göreceksiniz.

Bu yazıda lineer cebirdeki temel nesnelerden biri olan matrise yakından bakacağız. Diğer matematiksel nesneler gibi, matrislerin de onları tanımlayan bazı öznitelikleri vardır. Özellikle, kare bir matrisin ayırt edici bir özniteliğini gözden geçirip sunacağım: karakteristik polinom veya karakteristik denklem. Hadi bakalım.

Karakteristik Denklemin Tanımı

Bir polinom, bilinmeyenin n’inci kuvvetlerini içeren bir fonksiyondur. Bilinmeyen genellikle x harfiyle gösterilir; ancak bazı özel kullanımlarda, bu yazıda da kullanacağımız Yunanca 𝝀 (lambda) gibi farklı gösterimler kullanılır. Kareköşeli bir matrisin A ∈R^n×n ve bilinmeyenin 𝝀 karakteristik polinomu şu şekilde tanımlanır:

Burada det(.) kare bir matrisin determinantını, I ise birim matrisi ifade eder. 

Bu karakteristik polinomu sıfıra eşitlediğimizde ( 𝝀’yı çözmek için), buna karakteristik denklem denir. Bu polinom denkleminin kökleri özdeğerlerdir; bunlar matris dönüşümleri ve makine öğreniminde (ör. boyut indirgeme) önemli kavramlardır. Özvektörler ve özdeğerler konusunda emin değilseniz, şu eğitimi öneririz: Özvektörler ve Özdeğerler: Veri Bilimi için Temel İçgörüler.

Karakteristik Denklemi Türetme ve Hesaplama

Karakteristik polinomun 2x2 kare bir matris A için nasıl formüle edildiğini gösteriyoruz; buna göre:

Karakteristik polinom tanımından hareketle şunu elde ederiz:

Dolayısıyla, yukarıdaki A matrisi için karakteristik polinom p_A(𝝀)=𝝀²-7𝝀+10’dur. Bu polinomun köklerini, sıfıra eşitleyerek bulabiliriz.

Karakteristik Denklemi Kullanarak Özdeğer ve Özvektörleri Bulma

Kare bir matrisin karakteristik polinomu, özdeğerler ve determinant dahil olmak üzere ilgili matris hakkında önemli özellikler içerir. Bu nedenle, karakteristik polinomdan, bilinmeyen için çözüm yaparak özdeğerleri elde etmek mümkündür. Yukarıdaki 2x2 kare matris A için özdeğer bulma sürecini örnekliyoruz. Gösterdiğimiz gibi, bu matrisin karakteristik polinomu şöyledir:

Şimdi, özdeğer(ler)i bulmak için bu polinomu sıfıra eşitler ve kökleri cebirsel (veya hesaplamalı) yöntemlerle buluruz:

Dolayısıyla özdeğerler 𝝀₁=5 ve 𝝀₂=2’dir (özdeğerler geleneksel olarak azalan sırada listelenir; çünkü belirli veri matrislerindeki bilgi miktarını ima ederler). Bir matrisin tüm özdeğer kümesine özspektrum veya matrisin spektrumu denir. Özdeğerlerden, özvektörleri sıfır uzayında (A-𝝀I)x=0 eşitliğiyle her özdeğer için türetebiliriz:

𝝀₁=5 için 5’i yerine koyar ve homojen denklem sistemini çözeriz:

Bu da bir boyutlu (yani tek bir baz vektörlü) bir özuzay verir. Aynı işlemi 𝝀₂=2 için yapar ve şunu elde ederiz:

Bu örnekte iki farklı özdeğere sahibiz. Bir matrisin birden çok kez tekrarlanan özdeş özdeğerleri de olabilir; bu durumda çok boyutlu (yani birden çok baz vektörlü) bir özuzay elde edilir. Bu durumda, farklı özvektörlerin oluşturduğu özuzayın boyutuna, ilgili özdeğerin geometrik çokluğu denir. 

Öte yandan, bir matrisin bir özdeğerinin kaç kez tekrarlandığına cebirsel çokluk denir. Özdeğerler ve özvektörlerin en ilginç uygulamalarından biri, Google’ın arama sonuçlarının önem sıralaması için kullandığı PageRank algoritmasıdır. İlginizi çekerse, R ile Ağ Verisi Kullanarak Öngörüsel Analitik kursumuzda PageRank algoritmasına ayrılmış ilgi çekici bir bölüm bulunuyor. 

Hesaplamalı Teknikler

Karakteristik polinom, aslında özel özelliklere sahip bir matematiksel polinomdur (ör. kare bir matrisin izi, determinantı ve özdeğerlerini içerir). Bu nedenle, karakteristik denklemin köklerini bulmak, n derecesi büyüdükçe zahmetli hale gelir. 

Ayrıca, karakteristik polinomu türetmek, kare matrisin determinantını hesaplamayı gerektirir. Pedagojik nedenlerle karakteristik polinomu kâğıt üzerinde türetme ve çözme yöntemi ile bir örnek sunmuş olsak da, gerçek veri bilimi uygulamalarında karakteristik polinomun köklerini hesaplamak veya yaklaştırmak için sayısal (hesaplamalı) yöntemler kullanılır. Laplace açılımı, Gauss elemesi ve QR ayrışımları, determinantları sayısal olarak bulabilen yöntemlerden bazılarıdır. 

Karakteristik polinomun köklerini bulmak için yaygın algoritmalar arasında Newton-Raphson yöntemi, ikili arama (bisection), sekant yöntemi ve Muller yöntemi bulunur.

Karakteristik Denklemin Uygulamaları

Özdeğerler ve özvektörler, kare bir matrisin karakteristik denkleminden türetilebilen temel matematiksel özelliklerdir. İstatistik ve makine öğreniminde, karakteristik denklemler, özdeğer temelli ve veri indirgeme ile bilgi çıkarımı yapan çeşitli algoritmalarda kullanılır; örneğin:

• Temel Bileşen Analizi (PCA) ve boyut indirgeme; burada, bir veri kümesi, çıkarılan özdeğerlerin büyüklüklerine göre daha az sayıda vektöre indirgenir.
• Spektral Kümeleme; bu yaklaşımda, bir veri kümesinin benzerlik matrisinin özspektrumu kullanılarak, k-ortalamalar gibi kümeleme algoritmalarını çalıştırmadan önce bir ön adım olarak veri boyutu azaltılır.
• Graf Teorisi ve ağ analizi; burada özdeğerler ve özvektörler bir grafı topluluklara (ana bileşenlere) ayırmak, grafı görselleştirme için daha düşük boyutlu bir uzaya yerleştirmek ve benzer özspektruma sahip olacak şekilde yaklaşık bir graf elde etmek için spektral seyreltme amacıyla kullanılır.
• Zaman serileri; burada tekil spektrum analizi, eğilimler, döngüler ve anormallikler gibi serideki temel kalıpları keşfetmek için kullanılır.

Karakteristik Polinomun Özellikleri

Matematiksel bir nesne olarak, karakteristik polinomun şu ilginç özellikleri vardır:

• Monik: Karakteristik polinomun baş katsayısı her zaman birdir (monik).
• Derece: Karakteristik polinomun n derecesi, her zaman ilgili nxn matrisin boyutuna eşittir.
• Matris Benzerliği Altında Değişmezlik: Bir matrisi dönüştürdüğümüzde ve sonuç benzer bir matris olduğunda, her ikisinin de karakteristik polinomu aynıdır (yani, dönüştürülmüş benzer matris özgün karakteristik polinomu korur).
• Katsayılar: Karakteristik polinomun ilk (sabit) terimi ilgili matrisin determinantıdır ve sondan bir önceki katsayı ilgili matrisin işaretsiz izidir; c₀=det(A) ve c_n-1=-1^n-1tr(A)
• Karakteristik polinomda, her bilinmeyeni özgün kare matris ile değiştirirsek sonuç sıfır matrisi olur (Cayley-Hamilton Teoremi). Başka bir deyişle, karakteristik polinom kare matris için yok edici (annihilating) bir polinomdur. Bu biçimde, özdeğerler doğrudan kare matristen türetilebilir. Buna göre, her kare matrisin kendi karakteristik denklemini sağladığı ifade edilebilir.

İleri Konular

Son olarak, karakteristik polinomlar ve matris özellikleriyle ilgili, ayrıntıya çok girmeden, matematiğe biraz daha derin bakış sağlayacak bazı ileri bilgiler paylaşmak istiyorum.

• Minimal Polinom: Karakteristik polinoma yakın ilişkili monik bir polinom da minimal polinomdur; bu, kare matris A’yı yok eden en küçük pozitif dereceye sahip polinomdur. Karakteristik polinom da kendi karesel matrisini yok edebildiğinden, minimal polinom bu karakteristik polinomdan türetilebilir.
• Benzerlik ve Diyagonalizasyon: İki matris, ortak bir lineer dönüşüm aracılığıyla birbirine ilişkiliyse benzerdir. İki matris benzerse, rütbe (rank), iz (trace), determinant, özdeğerler, karakteristik polinom ve minimal polinomları da aynıdır. 
• Matris Kuvvetleri ve Fonksiyonlarının Karakteristik Denklemi: Bir matris kuvvetinde, özdeğerler A^k matrisinin k’ncı kuvvetine yükseltilir ve karşılık gelen karakteristik polinom det(A^k-λI) olarak türetilir. Bir matris fonksiyonu f(x) için, karakteristik polinom A’nın özdeğerlerinde f() değerlendirilerek elde edilebilir.

Sonuç

Bu yazıda, karakteristik polinomu ve kare bir matrisin özdeğerler, iz ve determinant gibi önemli özelliklerini nasıl içerdiğini öğrendik. Özdeğerlerin veri bilimi ve makine öğrenimindeki önemli rolü göz önüne alındığında, karakteristik denklemi kavramak; makine öğrenimi ve istatistiksel algoritmaların bir veri matrisinden ana bileşenleri nasıl çıkardığını anlamamıza ve böylece örüntüleri bulup hesaplama verimliliğini artırmamıza büyük ölçüde yardımcı olur.

Veri bilimi ve makine öğrenimindeki diğer önemli ve iyi bilinen denklemler hakkında okumak isterseniz, Doğrusal Regresyon için Normal Denklem Eğitimimize göz atın. Ayrıca, daha kapsamlı ve yapılandırılmış bir öğrenim yolu için R ile Veri Bilimi için Lineer Cebir kursumuzu da şiddetle tavsiye ederim.