Persamaan Karakteristik: Semua yang Perlu Anda Ketahui untuk Data Science

Dengan pertumbuhan eksponensial ketersediaan data dan teknik machine learning, aljabar linear menempati posisi fundamental dalam matematika machine learning dan data science. Karena itu, calon praktisi machine learning dan data scientist akan sangat diuntungkan dengan mempelajari konsep dasar aljabar linear, termasuk vektor dan matriks, sifat-sifatnya, serta operasi umum yang diterapkan padanya.

Saya menganjurkan Anda mengikuti kursus Linear Algebra for Data Science in R untuk membangun fondasi matematis yang kuat bagi data science dan machine learning. Dengan mengikuti kursus ini, Anda akan menghargai aljabar linear sebagai subjek yang indah dan menarik yang melibatkan sintesis aljabar dan geometri (melalui garis, bidang, dan volume). Secara khusus, Anda akan melihat bagaimana data berdimensi tinggi cocok direpresentasikan dalam bentuk objek vektor (misalnya, teks, gambar, audio, dan fitur), dan bagaimana objek matematis sebagai vektor ini memiliki banyak aplikasi dalam sains dan rekayasa, seperti fisika, statistika, dan ilmu komputer.

Dalam artikel ini, kita akan meninjau lebih dekat salah satu objek fundamental dalam aljabar linear yang disebut matriks. Seperti objek matematis lainnya, matriks memiliki sejumlah atribut yang mencirikan dirinya. Secara khusus, saya akan meninjau dan memaparkan salah satu atribut yang mencirikan matriks bujur sangkar: polinomial karakteristik atau persamaan karakteristik. Mari kita lihat.

Definisi Persamaan Karakteristik

Polinomial adalah fungsi dengan peubah tak diketahui berpangkat n. Peubah tak diketahui umumnya dilambangkan dengan huruf x, namun dalam kasus khusus digunakan notasi berbeda, seperti huruf Yunani 𝝀 (lambda), yang akan kita gunakan dalam notasi kita. Polinomial karakteristik dari matriks bujur sangkar A ∈R^n×n dengan peubah tak diketahui 𝝀 didefinisikan sebagai:

Di mana det(.) adalah determinan dari matriks bujur sangkar dan I adalah matriks identitas. 

Ketika kita menyamakan polinomial karakteristik ini dengan nol (untuk mencari 𝝀), kita menyebutnya persamaan karakteristik. Akar dari persamaan polinomial ini disebut nilai eigen, yang merupakan konsep penting dalam transformasi matriks dan machine learning (misalnya, reduksi dimensi). Jika Anda belum yakin tentang vektor eigen dan nilai eigen, kami memiliki tutorial tentang topik tersebut: Eigenvectors and Eigenvalues: Key Insights for Data Science.

Menurunkan dan Menghitung Persamaan Karakteristik

Kami menunjukkan bagaimana polinomial karakteristik dirumuskan untuk matriks bujur sangkar 2x2 A, dengan:

Dari definisi polinomial karakteristik, kita peroleh:

Dengan demikian, polinomial karakteristik untuk matriks A di atas adalah p_A(𝝀)=𝝀²-7𝝀+10. Kita dapat mencari akar polinomial ini dengan menyamakannya dengan nol.

Menggunakan Persamaan Karakteristik untuk Menemukan Nilai Eigen dan Vektor Eigen

Polinomial karakteristik dari matriks bujur sangkar memuat karakteristik penting tentang matriks terkait, termasuk nilai eigen dan determinannya. Oleh karena itu, dimungkinkan mengekstrak nilai eigen dari polinomial karakteristik dengan menyelesaikan peubah tak diketahui. Kami ilustrasikan proses menemukan nilai eigen dari polinomial karakteristik untuk matriks bujur sangkar 2x2 A di atas. Seperti yang telah ditunjukkan, polinomial karakteristik untuk matriks ini adalah:

Sekarang, untuk menemukan nilai eigen, kita samakan polinomial ini dengan nol dan cari akarnya menggunakan metode aljabar (atau komputasional):

Jadi, nilai eigennya adalah 𝝀₁=5 dan 𝝀₂=2 (secara konvensional nilai eigen dicantumkan dalam urutan menurun, karena menyiratkan banyaknya informasi pada matriks data tertentu). Himpunan semua nilai eigen dari sebuah matriks disebut eigenspektrum atau spektrum dari matriks tersebut. Dari nilai eigen, kita dapat menurunkan vektor eigen dari sebuah matriks pada ruang nol menggunakan (A-𝝀I)x=0 untuk setiap nilai eigen:

Untuk 𝝀₁=5 kita substitusikan 5 dan selesaikan sistem persamaan homogen:

Yang menghasilkan eigenspace satu dimensi (yaitu satu vektor basis). Kita lakukan proses yang sama untuk 𝝀₂=2 dan memperoleh:

Dalam contoh ini, kita memiliki dua nilai eigen yang berbeda. Sebuah matriks juga dapat memiliki beberapa nilai eigen identik yang berulang, menghasilkan eigenspace multidimensi (yaitu beberapa vektor basis). Dalam kasus ini, dimensi eigenspace yang direntang oleh vektor eigen yang berbeda disebut multiplisitas geometrik dari nilai eigen ke-i. 

Di sisi lain, banyaknya pengulangan suatu nilai eigen dari matriks disebut multiplisitas aljabar. Mungkin, salah satu aplikasi paling menarik dari nilai eigen dan vektor eigen adalah algoritma PageRank yang digunakan Google untuk pemeringkatan pentingnya hasil pencarian. Kursus kami Predictive Analytics using Networked Data in R memiliki bab menarik tentang algoritma PageRank jika Anda tertarik. 

Teknik Komputasional

Polinomial karakteristik pada hakikatnya adalah polinomial matematis dengan sifat khusus (misalnya, memuat jejak, determinan, dan nilai eigen dari matriks bujur sangkar). Karena itu, mencari akar persamaan karakteristik menjadi rumit ketika derajat n lebih tinggi. 

Selain itu, menurunkan polinomial karakteristik mengharuskan Anda menghitung determinan matriks bujur sangkar. Meskipun demi tujuan pedagogis kami memberikan contoh dan metode untuk menurunkan serta menyelesaikan polinomial karakteristik di atas kertas dan secara manual, dalam aplikasi data science nyata, metode numerik (komputasional) digunakan untuk menghitung atau mendekati akar polinomial karakteristik. Ekspansi Laplace, eliminasi Gauss, dan dekomposisi QR adalah beberapa metode yang dapat menemukan determinan secara numerik. 

Untuk mencari akar polinomial karakteristik, algoritma umum meliputi metode Newton-Raphson, biseksi, metode secant, dan metode Muller.

Aplikasi Persamaan Karakteristik

Nilai eigen dan vektor eigen adalah karakteristik matematis fundamental dari matriks yang dapat diturunkan dari persamaan karakteristik dari matriks bujur sangkar. Dalam statistika dan machine learning, persamaan karakteristik digunakan untuk berbagai algoritma berbasis nilai eigen yang dipakai untuk reduksi data dan ekstraksi informasi, seperti:

• Principal Component Analysis (PCA) dan reduksi dimensi, di mana suatu dataset direduksi menjadi sejumlah vektor yang lebih kecil berdasarkan nilai dari nilai eigen yang diekstrak.
• Clustering Spektral, yaitu teknik berbasis eigenspektrum dari matriks kesamaan suatu dataset untuk mereduksi dimensi data sebagai langkah sebelum menjalankan algoritma clustering, seperti k-means clustering.
• Teori Graf dan analisis jaringan, di mana nilai eigen dan vektor eigen digunakan untuk membagi graf menjadi komunitas (komponen utama), memetakan graf ke ruang berdimensi lebih rendah untuk visualisasi, serta penspasifan spektral untuk mengaproksimasi graf dengan eigenspektrum serupa.
• Deret waktu, di mana analisis spektrum singular digunakan untuk menemukan pola yang mendasari pada deret, seperti tren, siklus, dan anomali.

Sifat-sifat Polinomial Karakteristik

Sebagai objek matematis, polinomial karakteristik memiliki beberapa sifat menarik, antara lain:

• Monik: Koefisien utama dari polinomial karakteristik selalu satu (monik).
• Derajat: Derajat n dari polinomial karakteristik selalu sama dengan ukuran matriks terkait berukuran n xn.
• Invarian terhadap Kemiripan Matriks: Jika kita mentransformasi sebuah matriks dan hasilnya adalah matriks yang mirip, keduanya memiliki polinomial karakteristik yang identik (yaitu, matriks mirip hasil transformasi mempertahankan polinomial karakteristik asli).
• Koefisien: Suku terdepan dari polinomial karakteristik adalah determinan dari matriks terkait, dan koefisien terakhir tetapi kedua adalah jejak tak bertanda dari matriks terkait c₀=det(A) dan c_n-1=-1^n-1tr(A)
• Dalam polinomial karakteristik, jika kita mengganti setiap peubah tak diketahui dengan matriks bujur sangkar asalnya, hasilnya akan menjadi matriks nol (Teorema Cayley-Hamilton). Dengan kata lain, polinomial karakteristik adalah polinomial pemusnah bagi matriks bujur sangkar. Dalam bentuk ini, nilai eigen dapat langsung diturunkan dari matriks bujur sangkar. Dengan demikian, dapat dinyatakan bahwa setiap matriks bujur sangkar memenuhi persamaan karakteristiknya sendiri.

Topik Lanjutan

Terakhir, saya ingin menyampaikan beberapa detail yang lebih lanjut terkait polinomial karakteristik dan sifat-sifat matriks sebagai tinjauan matematika, namun tanpa pembahasan yang ekstensif.

• Polinomial Minimal: Polinomial monik yang erat kaitannya dengan polinomial karakteristik adalah polinomial minimal, yaitu polinomial dengan derajat positif paling kecil yang memusnahkan matriks bujur sangkar A. Karena polinomial karakteristik juga dapat memusnahkan matriks bujursangkarnya, polinomial minimal dapat diturunkan dari polinomial karakteristik tersebut.
• Kemiripan dan Diagonalisasi: Dua matriks dikatakan mirip jika saling terkait melalui satu transformasi linear yang sama. Jika dua matriks mirip, maka keduanya juga memiliki rank, jejak, determinan, nilai eigen, polinomial karakteristik, dan polinomial minimal yang sama. 
• Persamaan Karakteristik dari Pangkat dan Fungsi Matriks: Pada pangkat matriks, nilai eigen dipangkatkan hingga pangkat k dari matriks A^k dan polinomial karakteristik yang bersesuaian diturunkan sebagai det(A^k-λI). Untuk fungsi matriks f(x), polinomial karakteristik dapat diturunkan dengan mengevaluasi f() pada nilai eigen A.

Kesimpulan

Dalam artikel ini, kita mempelajari polinomial karakteristik dan bagaimana ia memuat sifat-sifat penting dari matriks bujur sangkar, seperti nilai eigen, jejak, dan determinan. Mengingat peran penting nilai eigen dalam data science dan machine learning, pemahaman tentang persamaan karakteristik sangat membantu kita memahami bagaimana algoritma machine learning dan statistika mengekstrak komponen utama dari matriks data untuk menemukan pola dan meningkatkan efisiensi komputasi.

Jika Anda tertarik membaca persamaan penting dan terkenal lainnya dalam data science dan machine learning, lihat Normal Equation for Linear Regression Tutorial. DataCamp juga memiliki kursus-kursus yang sangat baik untuk jalur belajar yang komprehensif dan terstruktur, seperti kursus Linear Algebra for Data Science in R yang saya sebutkan sebelumnya dan sangat saya rekomendasikan.