Matriks Singular: Konsep Kunci dan Contoh dalam Ilmu Data

Matriks singular adalah matriks persegi yang tidak dapat diinvers, artinya tidak memiliki invers perkalian. Konsep mendasar dalam aljabar linear ini berdampak besar pada aplikasi ilmu data, mulai dari algoritma pembelajaran mesin hingga stabilitas numerik dalam metode komputasi.

Dalam artikel ini, kita akan mendefinisikan apa yang membuat sebuah matriks menjadi singular dan menelusuri sifat serta karakteristik matematisnya. Kita kemudian akan menelaah metode untuk mendeteksi matriks singular. Kita akan memahami implikasi nyatanya dalam ilmu data, dan mempelajari cara menanganinya secara efektif.

Apa Itu Matriks Singular?

Matriks singular adalah matriks persegi yang determinannya sama dengan nol, sehingga tidak dapat diinvers. 

Secara matematis, untuk matriks persegi A, jika det(A) = 0, maka A bersifat singular dan tidak memiliki matriks invers A⁻¹.

Ciri mendasar dari matriks singular adalah baris atau kolomnya saling bergantung secara linear, artinya setidaknya satu baris (atau kolom) dapat dinyatakan sebagai kombinasi linear dari baris (atau kolom) lainnya. Ketergantungan ini menciptakan “kekurangan” dalam matriks yang mencegahnya memiliki invers yang unik.

Cara lain untuk memahami matriks singular adalah melalui peringkatnya (rank). Matriks persegi bersifat singular jika dan hanya jika peringkatnya kurang dari jumlah baris (atau kolom). Rank merepresentasikan jumlah maksimum baris atau kolom yang saling bebas secara linear, sehingga ketika nilai ini kurang dari dimensi matriks, terjadilah singularitas.

Konsep ini penting karena banyak algoritma bergantung pada invers matriks, dari menyelesaikan masalah regresi linear hingga menerapkan teknik pembelajaran mesin tertentu. Ketika sebuah matriks singular, operasi-operasi tersebut gagal, sehingga diperlukan pendekatan alternatif atau langkah prapemrosesan untuk menangani situasi ini.

Sifat dan Kondisi Matriks Singular

Memahami sifat matematis matriks singular membantu mengidentifikasi potensi masalah sebelum menimbulkan persoalan komputasi dalam alur kerja ilmu data.

• Determinan nol: Determinan matriks singular selalu bernilai nol, yang secara langsung menunjukkan tidak dapat diinvers. Determinan nol ini berarti transformasi matriks tidak bijektif, sehingga memungkinkan banyak vektor masukan dipetakan ke keluaran yang sama.
• Ketergantungan linear: Matriks singular mengandung baris atau kolom yang saling bergantung secara linear, di mana setidaknya satu baris dapat dinyatakan sebagai kombinasi linear dari yang lain. Ketergantungan ini menciptakan informasi berlebih yang menimbulkan tantangan komputasi.
• Kekurangan peringkat (rank deficiency): Matriks n×n yang singular memiliki rank kurang dari n, yaitu jumlah baris atau kolom yang saling bebas secara linear lebih sedikit daripada dimensinya. Kekurangan ini menjelaskan mengapa sistem yang melibatkan matriks singular tidak memiliki solusi unik.
• Nilai eigen nol: Setidaknya satu nilai eigen dari matriks singular tepat nol, yang berkaitan dengan arah di ruang yang benar-benar terlipat saat transformasi. Jumlah nilai eigen nol sama dengan nullity matriks.
• Ruang nol non-sepele: Matriks singular memiliki vektor tak nol yang, ketika dikalikan dengan matriks, menghasilkan vektor nol. Dimensi ruang nol ini menunjukkan seberapa banyak informasi yang hilang selama transformasi.

Setelah memahami sifat-sifat mendasar matriks singular, mari kita bandingkan dengan matriks non-singular.

Matriks Singular vs. Non-Singular

Matriks non-singular dapat diinvers dan mendukung komputasi numerik yang andal, sementara matriks singular tidak memiliki invers dan memerlukan penanganan khusus. Perbedaan mendasar ini menentukan kelayakan komputasi di berbagai aplikasi ilmu data. 

Perbedaan ini berlaku pada setiap sifat mendasar matriks singular yang kita lihat sebelumnya. Tabel di bawah merangkum perbedaan antara matriks singular dan non-singular:

Contoh Matriks Singular

Menelaah contoh spesifik membantu mengilustrasikan bagaimana singularitas muncul dalam praktik dan membangun intuisi untuk mengenali matriks-matriks ini.

Matriks singular 2×2 sederhana

Pertimbangkan contoh dasar ini di mana satu baris merupakan kelipatan dari baris lain:

Matriks singular 2×2 sederhana (Gambar oleh Penulis)

Di sini, baris kedua tepat setengah dari baris pertama, menciptakan ketergantungan linear. Determinannya adalah (2×2) — (4×1) = 0, mengonfirmasi singularitas.

Baris atau kolom nol

Setiap matriks yang berisi baris atau kolom yang seluruhnya nol secara otomatis bersifat singular:

Baris atau kolom nol (Gambar oleh Penulis)

Baris nol membuat matriks mustahil memiliki rank penuh, terlepas dari entri lainnya.

Baris atau kolom identik

Matriks dengan baris atau kolom yang identik selalu singular:

Baris atau kolom identik (Gambar oleh Penulis)

Baris pertama dan ketiga identik, menciptakan ketergantungan linear sempurna.

Ketergantungan kombinasi linear

Singularitas yang lebih halus terjadi ketika satu baris sama dengan kombinasi baris lainnya:

Ketergantungan kombinasi linear (Gambar oleh Penulis)

Di sini, baris ketiga sama dengan jumlah dari dua baris pertama: [3,5,2] = [1,2,1] + [2,3,1].

Setiap contoh di atas menunjukkan bagaimana matriks yang tampak berbeda dapat berbagi sifat mendasar berupa ketergantungan linear yang mendefinisikan singularitas.

Mengapa Matriks Singular Terjadi dalam Ilmu Data?

Matriks singular sering muncul dalam aplikasi ilmu data karena sifat data dunia nyata dan alur kerja analitis yang umum.

Multikolinearitas dalam himpunan fitur

Sumber paling umum matriks singular dalam ilmu data adalah multikolinearitas, ketika beberapa fitur dalam sebuah dataset berkorelasi sempurna atau hampir sempurna. Hal ini menciptakan ketergantungan linear di antara kolom dalam matriks desain, yang mengarah pada singularitas selama operasi matriks.

Pertimbangkan dataset ritel yang memiliki fitur total_sales, q1_sales, q2_sales, q3_sales, dan q4_sales. Jika nilai penjualan triwulanan selalu menjumlah tepat ke total penjualan, maka:

total_sales = q1_sales + q2_sales + q3_sales + q4_sales

Ketika hubungan ini berlaku sempurna di seluruh observasi, matriks desain yang dihasilkan menjadi singular. Setiap algoritma regresi linear yang mencoba membalikkan matriks ini akan gagal karena satu kolom dapat diprediksi secara sempurna dari kolom lainnya.

Skenario serupa terjadi pada fitur turunan seperti:

• Suhu dalam Celsius dan Fahrenheit
• Usia dan tahun lahir (dengan tahun acuan tetap)
• Rasio ketika pembilang dan penyebut juga menjadi fitur
• Variabel dumi yang jumlahnya konstan (dummy variable trap)

Data tidak mencukupi relatif terhadap fitur

Dataset berdimensi tinggi dengan observasi lebih sedikit daripada fitur secara alami menghasilkan matriks singular. Ketika Anda memiliki n sampel tetapi p fitur dengan p > n, matriks kovarians n×n atau matriks Gram yang dihasilkan akan memiliki rank paling tinggi n, sehingga menjadi singular jika Anda memerlukan matriks p×p yang dapat diinvers.

“Kutukan dimensi” ini umum memengaruhi:

• Data genomik dengan ribuan gen tetapi ratusan sampel
• Analisis teks dengan kosakata besar tetapi dokumen terbatas
• Pemrosesan citra dengan fitur beresolusi tinggi tetapi set pelatihan kecil
• Pemodelan keuangan dengan banyak indikator ekonomi, tetapi deret waktu pendek

Prapemrosesan data 

Langkah prapemrosesan data yang umum dapat tanpa sengaja memperkenalkan singularitas:

• Transformasi pemusatan: Memusatkan setiap fitur (mengurangi rata-rata) tidak menyebabkan singularitas dengan sendirinya, tetapi dalam kehadiran ketergantungan linear lain, hal ini dapat mempertahankan atau menekankannya. Dalam kasus fitur yang sudah hampir bergantung, pemusatan dapat mendorongnya lebih dekat ke ketergantungan tepat di bawah keterbatasan presisi.
• Penskalaan dan normalisasi: Operasi penskalaan tertentu dapat membuat hubungan linear yang halus menjadi lebih menonjol, mendorong fitur yang hampir bergantung menjadi bergantung sempurna karena batas presisi floating-point.
• Rekayasa fitur: Membuat fitur polinomial, istilah interaksi, atau pengembangan basis dapat memperkenalkan hubungan linear yang tak terduga. Misalnya, jika Anda membuat fitur x, x^², dan 2x^² — x, fitur ketiga (2x^² — x) sepenuhnya ditentukan oleh dua yang pertama.

Memahami sumber singularitas yang umum ini memungkinkan ilmuwan data menerapkan langkah pencegahan lebih awal dalam alur kerja mereka, seperti memeriksa multikolinearitas selama analisis data eksploratif atau menggunakan teknik regularisasi secara proaktif.

Sekarang setelah kita memahami mengapa matriks singular terjadi dalam ilmu data, mari jelajahi metode praktis untuk mendeteksinya sebelum menyebabkan kegagalan komputasi.

Cara Mendeteksi Matriks Singular

Cara paling langsung untuk mendeteksi matriks singular adalah dengan memeriksa determinan-nya. Jika determinan matriks persegi nol, matriks tersebut singular dan tidak dapat diinvers. Metode ini sederhana, kuat secara matematis, dan banyak digunakan dalam praktik.

Mari pahami cara melakukan pemeriksaan ini menggunakan Python:

import numpy as np

# Example 2x2 matrix
A = np.array([[2, 4],
             [1, 2]])

# Calculate the determinant
det_A = np.linalg.det(A)

print(f"Determinant of A: {det_A}")

# Check if matrix is singular
if np.isclose(det_A, 0):
   print("Matrix A is singular.")
else:
   print("Matrix A is non-singular.")

Pada contoh di atas, kita mendefinisikan matriks 2×2 A dan menggunakan np.linalg.det() untuk menghitung determinannya. Karena aritmetika floating-point dapat menimbulkan kesalahan numerik kecil, kita menggunakan np.isclose() untuk memeriksa apakah determinan secara efektif nol. Jika ya, kita menyimpulkan bahwa matriks tersebut singular. 

Kita akan melihat keluaran di bawah ini yang mengonfirmasi singularitas:

Keluaran yang mendeteksi matriks singular. (Gambar oleh Penulis)

Metode ini intuitif dan praktis, sehingga menjadi langkah awal yang andal saat mendiagnosis masalah terkait keinversan matriks dalam alur kerja ilmu data.

Cara Menangani Matriks Singular dalam Praktik

Saat menghadapi matriks singular dalam alur kerja ilmu data, beberapa strategi dapat menyelesaikan tantangan komputasi sekaligus menjaga integritas analitis.

Teknik regularisasi

Menambahkan nilai kecil pada diagonal (regularisasi Ridge) adalah pendekatan yang paling umum untuk menangani matriks yang hampir singular dalam masalah regresi. Teknik ini mengubah matriks singular menjadi dapat diinvers sambil mempertahankan stabilitas numerik:

# Ridge regularization approach
lambda_reg = 1e-6
A_regularized = A + lambda_reg * np.eye(A.shape[0])

Perhitungan pseudoinvers

Pseudoinvers Moore-Penrose menyediakan invers tersgeneral untuk matriks singular, menawarkan solusi “terbaik” dalam pengertian kuadrat terkecil:

# Using pseudoinverse for singular matrices
A_pinv = np.linalg.pinv(A)
x = A_pinv @ b 

Reduksi dimensi

Menghapus fitur yang bergantung secara linear menghilangkan singularitas pada sumbernya. Principal component analysis atau teknik seleksi fitur dapat mengidentifikasi dan menghapus dimensi berlebih:

# PCA-based dimensionality reduction
from sklearn.decomposition import PCA
pca = PCA(n_components=0.95) 
X_reduced = pca.fit_transform(X)

Algoritma alternatif

Beberapa algoritma dirancang khusus untuk menangani matriks singular. Dekomposisi QR dengan pivoting dapat menyelesaikan sistem linear bahkan ketika matriks koefisiennya singular, memberikan solusi saat ada dan mengidentifikasi inkonsistensi saat tidak ada.

Strategi-strategi ini memastikan matriks singular tidak menggagalkan proyek ilmu data sekaligus menjaga ketelitian matematis dan keterjelasan interpretasi hasil.

Kesimpulan

Artikel ini membahas matriks singular, yang kita ketahui sebagai matriks persegi dengan determinan nol yang tidak dapat diinvers karena ketergantungan linear di antara baris atau kolomnya. Kita melihat mengapa matriks tersebut umum muncul dalam ilmu data, mulai dari multikolinearitas dan data berdimensi tinggi hingga persoalan yang muncul saat prapemrosesan. 

Dalam artikel ini, kita juga meninjau cara mendeteksi dan menangani matriks singular menggunakan teknik dasar seperti pemeriksaan determinan, regularisasi, pseudoinvers, dan reduksi dimensi. (Jika Anda masih ingin menggali lebih jauh secara mandiri, alat seperti analisis bilangan kondisi atau dekomposisi nilai singular dapat memberi wawasan lebih lanjut tentang perilaku matriks dan stabilitas numerik.)

Untuk memperdalam pemahaman Anda tentang aljabar linear dan perannya yang krusial dalam aplikasi ilmu data, daftarkan diri Anda di kursus kami Linear Algebra for Data Science, tempat Anda akan menguasai konsep fundamental ini dan penerapannya dalam skenario dunia nyata.