Bayangkan Anda mencoba memprediksi harga rumah berdasarkan luas bangunan. Anda memiliki titik data dari penjualan terbaru, tetapi data tersebut tidak membentuk pola yang sempurna. Beberapa rumah terjual lebih mahal dari perkiraan, dan yang lain lebih murah. Bagaimana cara menemukan garis tren terbaik yang mencerminkan hubungan keseluruhan antara ukuran dan harga tanpa membiarkan rumah tertentu mengacaukan prediksi Anda?
Metode kuadrat terkecil mungkin merupakan solusi yang Anda butuhkan. Dalam artikel ini, kita akan membahas konsep inti metode kuadrat terkecil, variasinya, dan penerapannya. Pada akhirnya, Anda akan memahami cara menggunakan metode ini dan mengaplikasikannya pada masalah nyata.
Apa Itu Metode Kuadrat Terkecil?
Metode kuadrat terkecil adalah teknik statistik yang digunakan untuk menentukan garis atau kurva paling sesuai untuk sekumpulan titik data. Metode ini bekerja dengan meminimalkan selisih kuadrat antara nilai yang diamati dan nilai yang diprediksi dalam sebuah himpunan data. Selisih antara titik data aktual dan nilai yang diprediksi oleh model disebut residual. Tujuannya adalah menemukan model yang meminimalkan jumlah kuadrat residual tersebut, sehingga menghasilkan prediksi yang seakurat mungkin.
Diagram di atas memberikan penjelasan singkat tentang langkah-langkah metode kuadrat terkecil.
Metode ini diturunkan oleh Carl Friedrich Gauss yang berusia 18 tahun pada 1795 (Anda mungkin mengenali namanya dari distribusi Gaussian). Adrien-Marie Legendre kemudian memformalkan teknik ini pada 1805 dan menjadi yang pertama menulis makalah menggunakan metode kuadrat terkecil untuk merekonstruksi orbit sebuah asteroid.
Cara Kerja Metode Kuadrat Terkecil
Metode kuadrat terkecil menemukan garis yang paling sesuai untuk sekumpulan titik dengan meminimalkan jumlah selisih kuadrat antara nilai teramati dan nilai yang diprediksi. Ini digunakan untuk menemukan parameter model dengan kecocokan sedekat mungkin.
Mari kita coba dengan himpunan data yang sangat kecil: hanya 10 titik. Pertama, kita perlu memilih model untuk menyesuaikan data kita. Untuk contoh sederhana ini, kita akan memilih regresi linear sederhana, yang berarti kita melakukan regresi dengan tepat satu variabel independen dan satu variabel dependen.
Grafik di atas adalah plot himpunan data kecil kita, dengan regresi linear di atasnya. Garis putus-putus kuning yang menghubungkan titik data dengan garis prediksi adalah residual. Tujuannya adalah menemukan model regresi linear yang meminimalkan garis residual putus-putus kuning tersebut.
Untuk setiap titik data dalam himpunan data kita, kita perlu menemukan selisih koordinat y antara titik data dan garisnya. Inilah residual kita. Lalu kita kuadratkan setiap residual untuk menghilangkan bilangan negatif dan menjumlahkannya. Ini akan memberi gambaran seberapa baik garis kita menyesuaikan data. Lihat tabel di bawah untuk rincian pada grafik spesifik kita.
|
Koordinat X
|
Koordinat Y Teramati (Titik Data)
|
Koordinat Y Terprediksi (Garis)
|
Residual (Teramati - Terprediksi)
|
Residual Kuadrat
|
|
0
|
2.5
|
2.0
|
0.5
|
0.25
|
|
1
|
3.1
|
2.3
|
0.8
|
0.64
|
|
2
|
1.8
|
2.6
|
-0.8
|
0.64
|
|
3
|
3.5
|
2.9
|
0.6
|
0.36
|
|
4
|
2.2
|
3.2
|
-1.0
|
1.0
|
|
5
|
4.0
|
3.5
|
0.5
|
0.25
|
|
6
|
3.8
|
3.8
|
0.0
|
0.0
|
|
7
|
5.0
|
4.1
|
0.9
|
0.81
|
|
8
|
4.5
|
4.4
|
0.1
|
0.01
|
|
9
|
5.2
|
4.7
|
0.5
|
0.25
|
|
Jumlah Residual Kuadrat
| | | |
4.21
|
Sekarang setelah kita mendapat gambaran seberapa baik garis ini menyesuaikan data kita, kita dapat menyetel parameter garis—baik kemiringan maupun intersepnya—dan menghitung ulang. Garis yang memiliki jumlah residual kuadrat terendah adalah garis yang paling sesuai dengan data kita. Karena itu, garis tersebut akan memberikan prediksi terbaik.
Menggunakan metode kuadrat terkecil untuk menemukan garis terbaik
Pada contoh di atas, kita belum menemukan garis yang paling sesuai. Kita hanya menghitung seberapa baik garis tersebut menyesuaikan data. Sekarang kita bisa melakukan iterasi melalui banyak kandidat garis dan melakukan perhitungan yang sama untuk menemukan yang paling sesuai. Atau kita bisa menggunakan sedikit aljabar untuk menemukan garis terbaik dengan lebih cepat. Mari kita coba.
Kita mulai dengan persamaan regresi linear: y=mx+b, di mana b adalah intersep-y dan m adalah kemiringan. Sekarang mari kita buat beberapa data.
|
Koordinat X
|
Koordinat Y
|
|
0
|
2.5
|
|
1
|
3.1
|
|
2
|
1.8
|
|
3
|
3.5
|
|
4
|
2.2
|
|
5
|
4.0
|
|
6
|
3.8
|
|
7
|
5.0
|
|
8
|
4.5
|
|
9
|
5.2
|
Pertama, kita perlu menghitung rata-rata nilai X dan Y. Nilai-nilai ini akan menjadi nilai prediksi kita:
Selanjutnya, kita dapat menggunakan jumlah kuadrat residual antara setiap titik data dan nilai prediksi kita (rata-rata) untuk menemukan kemiringan. Berikut persamaan yang akan kita gunakan:
Karena ini merupakan persamaan yang cukup merepotkan jika dilakukan manual, kita akan menghitung pembilang dan penyebutnya secara terpisah. Mari mulai dengan pembilang:
|
xi
|
yi
|
xi - xmean
|
yi - ymean
|
(xi - xmean)(yi -ymean)
|
|
0
|
2.5
|
-4.5
|
-1.06
|
4.77
|
|
1
|
3.1
|
-3.5
|
-0.46
|
1.61
|
|
2
|
1.8
|
-2.5
|
-1.76
|
4.40
|
|
3
|
3.5
|
-1.5
|
-0.06
|
0.09
|
|
4
|
2.2
|
-0.5
|
-1.36
|
0.68
|
|
5
|
4.0
|
0.5
|
0.44
|
0.22
|
|
6
|
3.8
|
1.5
|
0.24
|
0.36
|
|
7
|
5.0
|
2.5
|
1.44
|
3.60
|
|
8
|
4.5
|
3.5
|
0.94
|
3.29
|
|
9
|
5.2
|
4.5
|
1.64
|
7.38
|
|
Jumlah (xi - xmean)(yi - ymean)
| | | |
26.4
|
Sekarang mari lakukan hal yang sama untuk penyebut:
|
xi
|
xi - xmean
|
(xi - xmean)2
|
|
0
|
-4.5
|
20.25
|
|
1
|
-3.5
|
12.25
|
|
2
|
-2.5
|
6.25
|
|
3
|
-1.5
|
2.25
|
|
4
|
-0.5
|
0.25
|
|
5
|
0.5
|
0.25
|
|
6
|
1.5
|
2.25
|
|
7
|
2.5
|
6.25
|
|
8
|
3.5
|
12.25
|
|
9
|
4.5
|
20.25
|
|
Jumlah (xi - xmean)2
| |
82.50
|
Sekarang kita dapat menghitung kemiringan untuk garis kecocokan terbaik kita.
Jadi sekarang kita mengetahui kemiringan garis yang paling sesuai dengan data kita. Berikutnya, kita perlu menemukan intersep-y. Rumus untuk intersep b mudah ditemukan dengan sedikit penataan kembali secara aljabar:
Karena kita sudah mengetahui kemiringannya, kita cukup memasukkan rata-rata x dan y kita lalu menyelesaikan untuk b.
Sekarang karena kita memiliki m dan b, kita dapat menuliskan persamaan garis paling sesuai:
Metode kuadrat terkecil memungkinkan kita menurunkan garis regresi linear terbaik dengan cepat dan mudah, bahkan secara manual! Jelas, semakin banyak data yang Anda miliki, semakin sulit melakukan ini secara manual. Untungnya, karena matematikanya cukup lugas, sangat mudah menerapkan metode ini di Python atau R. Untuk penjelasan terperinci tentang cara melakukannya, lihat Essentials of Linear Regression in Python dan How to Do Linear Regression in R.
Landasan matematis metode kuadrat terkecil
Di atas, kita menggunakan contoh regresi linear sederhana dan menemukan kemiringan serta intersep menggunakan persamaan bentuk tertutup yang rapi, dan kita memodelkan variabel dependen sebagai fungsi dari variabel independen: y=mx+b.
Namun, persamaan yang saya tunjukkan di atas hanya bekerja ketika Anda memiliki satu variabel independen. Cara lain untuk menemukan koefisien regresi adalah menggunakan apa yang dikenal sebagai persamaan normal, yang memberikan solusi berbasis matriks untuk masalah kuadrat terkecil. Persamaan normal merujuk pada persamaan matriks yang dihasilkan dari meminimalkan jumlah residual kuadrat menggunakan metode kuadrat terkecil. Secara geometris, dan menggunakan bahasa aljabar linear, solusi kuadrat terkecil dapat divisualisasikan sebagai proyeksi ortogonal dari vektor data teramati ke ruang kolom matriks model. Sederhananya, ini berarti kesalahan diminimalkan sedemikian rupa sehingga nilai yang diprediksi berada sedekat mungkin dengan data teramati, sesuai dengan kendala model.
Dalam kasus ketika matriks tidak dapat dibalik (yang berarti sistem persamaan tidak memiliki solusi tunggal), pseudoinvers Moore-Penrose menyediakan cara untuk menghitung solusi kuadrat terkecil. Ini memberi kita fleksibilitas untuk menangani situasi ketika sistem tidak terdefinisi lengkap (lebih banyak peubah tak diketahui daripada persamaan) atau terlalu terdefinisi (lebih banyak persamaan daripada peubah tak diketahui).
Jika Anda perlu penyegaran tentang aljabar matriks, saya merekomendasikan kursus Linear Algebra for Data Science in R.
Jenis-Jenis Metode Kuadrat Terkecil
Sejauh ini, kita hanya membahas penggunaan metode kuadrat terkecil dengan penaksir kuadrat terkecil biasa. Namun, ini adalah alat serbaguna yang dapat diadaptasi ke banyak skenario tergantung pada sifat masalah yang Anda tangani. Mari kita jelajahi beberapa jenis metode kuadrat terkecil, apa yang membuatnya unik, dan kegunaan praktisnya.
Kuadrat terkecil linear
Sampai titik ini, Anda seharusnya cukup akrab dengan kuadrat terkecil linear (juga disebut sebagai kuadrat terkecil biasa). Ini digunakan pada model yang memiliki koefisien linear, seperti pada regresi linear sederhana atau regresi linear berganda. Tujuannya adalah menemukan garis (atau hiperbidang, dalam kasus regresi linear berganda) yang meminimalkan jumlah residual kuadrat.
Jenis kuadrat terkecil ini mengasumsikan residual memiliki varians konstan dan tidak ada pencilan signifikan dalam data. Ini dapat diterapkan pada sebagian besar hal yang memiliki hubungan linear. Misalnya, Anda dapat menggunakannya untuk hubungan antara lama kehamilan dan berat lahir atau antara belanja iklan dan pendapatan penjualan. Ini adalah jenis kuadrat terkecil yang paling sering saya gunakan dan paling sering saya dengar digunakan orang lain.
Kuadrat terkecil berbobot
Kuadrat terkecil berbobot adalah pengembangan metode ini yang bekerja ketika varians residual tidak konstan. Dengan memberikan bobot pada setiap titik data, kuadrat terkecil berbobot memberikan penekanan lebih pada pengamatan dengan varians lebih rendah. Persamaannya mirip dengan jumlah kuadrat sebelumnya, tetapi dengan bobot (wi) yang diterapkan pada setiap residual:
Metode ini berguna untuk himpunan data di mana kesalahan pengukuran bervariasi antar pengamatan, misalnya dalam kalibrasi sensor. Bobot biasanya merupakan kebalikan dari varians untuk setiap pengamatan.
Kuadrat terkecil robust
Kuadrat terkecil robust dirancang untuk menangani himpunan data dengan pencilan yang dapat secara tidak proporsional memengaruhi hasil kuadrat terkecil biasa. Metode ini menggunakan teknik pembobotan berulang untuk mengurangi dampak pencilan.
Dalam kuadrat terkecil robust, Anda dapat menggunakan metode seperti least absolute residuals (LAR) atau bisquare weights untuk menyesuaikan bobot secara iteratif dan mengurangi pengaruh pencilan.
Contoh kapan Anda mungkin menggunakan ini adalah pada pemodelan keuangan, ketika Anda ingin mengakomodasi kejatuhan pasar yang ekstrem. Jika Anda memiliki himpunan data di mana Anda tidak ingin menghapus pencilan, tetapi tetap ingin memperhitungkannya, kuadrat terkecil robust bisa menjadi pilihan.
Kuadrat terkecil nonlinier
Kuadrat terkecil tidak hanya untuk regresi linear. Kuadrat terkecil nonlinier digunakan ketika model yang Anda terapkan bersifat nonlinier pada koefisiennya. Ini lebih rumit daripada kuadrat terkecil linear, dan dapat memerlukan teknik optimisasi iteratif (seperti Gauss–Newton atau Levenberg–Marquardt) untuk menemukan kecocokan terbaik.
Penting untuk berhati-hati dengan kuadrat terkecil nonlinier. Perhitungannya bisa sensitif terhadap taksiran parameter awal serta terhadap isu konvergensi. Contoh penggunaannya termasuk memodelkan pertumbuhan eksponensial virus di dalam tubuh saat infeksi atau memodelkan laju reaksi kimia di laboratorium.
Kuadrat terkecil total
Sampai sekarang, kita terutama membahas kasus ketika hanya variabel dependen yang memiliki kesalahan. Dan kita meminimalkan jarak vertikal antara model kita dan data. Namun bagaimana jika Anda juga memiliki kesalahan pada pengukuran variabel independen?
Kuadrat terkecil total berguna ketika baik variabel independen maupun dependen memiliki kesalahan pengukuran. Metode ini memperhitungkan kesalahan pada semua variabel. Ini sangat berguna di bidang seperti astronomi dan geodesi (bidang yang mengukur bentuk Bumi dan medan gravitasinya), di mana kesalahan pengukuran hadir di semua dimensi karena tingkat presisi yang diperlukan sangat tinggi. Kuadrat terkecil total sering digunakan bersama dekomposisi nilai singular.
Kuadrat terkecil terumumkan
Kuadrat terkecil terumumkan adalah pengembangan metode kuadrat terkecil yang mengatasi tantangan akibat residual yang berkorelasi. Dengan kuadrat terkecil terumumkan, kita mentransformasikan data ke bentuk yang memungkinkan kuadrat terkecil biasa diterapkan. Transformasi ini melibatkan penggunaan matriks kovarians residual untuk memperhitungkan struktur korelasinya, sehingga menghasilkan taksiran parameter yang lebih akurat.
Ini sangat berguna dalam situasi seperti analisis deret waktu, di mana residual dapat menunjukkan autokorelasi.
Penerapan Metode Kuadrat Terkecil
Metode kuadrat terkecil adalah teknik statistik yang banyak digunakan dengan penerapan di berbagai bidang.
Dalam statistik dan data science, kuadrat terkecil digunakan untuk membangun model regresi linear dan nonlinier guna membuat prediksi berdasarkan masukan yang diketahui. Metode ini juga berguna untuk menganalisis tren, khususnya pada data deret waktu.
Dalam keuangan, kuadrat terkecil digunakan dalam analisis kinerja saham, membantu menentukan hubungan antara kinerja saham dan indeks pasar. Misalnya, metode ini dapat digunakan untuk menghitung sensitivitas saham terhadap pergerakan pasar. Metode ini juga membantu pemodelan risiko dengan menyesuaikan model terhadap data keuangan historis untuk memperkirakan risiko dan imbal hasil.
Para insinyur menggunakan kuadrat terkecil dalam kalibrasi sensor untuk menyesuaikan model dengan data teramati dan meminimalkan kesalahan pengukuran. Metode ini juga diterapkan dalam pemrosesan sinyal untuk penyaringan dan pengurangan derau, sehingga memungkinkan interpretasi data yang lebih jelas.
Tentu saja, kuadrat terkecil berawal dari astronomi; penggunaan pertamanya oleh Carl Friedrich Gauss adalah untuk memprediksi orbit asteroid Ceres. Metode ini juga digunakan dalam geodesi untuk memodelkan bentuk Bumi berdasarkan data observasi, yang penting untuk pengukuran geografis yang akurat.
Jika Anda pernah menekuni machine learning, Anda akan mengenali metode kuadrat terkecil sebagai metode untuk meminimalkan fungsi rugi selama pelatihan model regresi linear. Anda mungkin juga menggunakannya saat seleksi fitur untuk mengidentifikasi variabel paling penting yang berkontribusi pada model.
Metode ini juga berperan dalam banyak ilmu eksakta lainnya, seperti fisika dan kimia. Metode ini dapat digunakan untuk menyesuaikan kurva pada data eksperimen, seperti laju reaksi atau pengukuran fisik, dan membantu meminimalkan kesalahan dalam pengaturan eksperimen.
Metode kuadrat terkecil adalah alat statistik yang serbaguna. Secara pribadi, saya telah menggunakan metode ini untuk mengalibrasi sensor tekanan, membuat prediksi berdasarkan data eksperimen saya, dan selama pelatihan machine learning. Kemampuan untuk secara andal memodelkan hubungan dan meminimalkan kesalahan adalah fitur yang menawarkan nilai bagi banyak disiplin ilmu berbeda.
Asumsi dan Diagnostik
Metode kuadrat terkecil membuat beberapa asumsi kunci tentang data Anda dan model yang digunakan. Penting untuk memahami asumsi-asumsi ini, karena melanggarnya dapat menyebabkan hasil yang bias atau tidak andal. Jadi, mari kita bahas asumsi-asumsi ini, serta cara mendiagnosis dan mengatasi potensi masalah.
Salah satu asumsinya adalah independensi kesalahan, yang berarti residual tidak boleh saling berkorelasi. Jika kesalahan saling berkorelasi, terutama dalam data berurutan atau spasial, taksiran dapat menjadi terdistorsi. Uji Durbin-Watson dapat mendeteksi autokorelasi pada residual, khususnya untuk himpunan data bersifat waktu. Jika Anda menemukan korelasi, Anda dapat menggunakan kuadrat terkecil terumumkan untuk memperhitungkannya.
Asumsi lain adalah bahwa varians residual tetap konstan di seluruh tingkat variabel independen. Jika residual menampilkan sebaran berbentuk corong saat diplot melawan nilai yang dipasangkan, asumsi ini kemungkinan dilanggar. Untuk mengatasi masalah ini, Anda dapat menggunakan kuadrat terkecil berbobot untuk memberikan bobot yang sesuai pada pengamatan Anda. Alternatifnya, Anda dapat menggunakan transformasi seperti logaritmik atau akar kuadrat untuk menstabilkan varians yang tidak setara dan memperbaiki masalah heteroskedastisitas.
Seperti semua pemodelan, penting bahwa struktur mencerminkan hubungan mendasar antara variabel. Jika tidak, seberapa pun optimalnya kecocokan Anda, hasilnya tetap akan menyesatkan. Plot residual dan metrik goodness-of-fit seperti R² dapat membantu Anda menentukan apakah model yang dipilih menangkap pola dalam data.
Metode kuadrat terkecil standar mengasumsikan bahwa variabel independen diukur tanpa kesalahan. Jadi penting untuk mengetahui ketelitian pengukuran independen Anda. Anda seharusnya memiliki gambaran tentang ketelitian pengukuran ini dengan melihat metode pengumpulannya. Jika ada kesalahan pengukuran pada prediktor Anda, pastikan menggunakan metode kuadrat terkecil total untuk mengurangi ketidakakuratan dalam pemodelan Anda.
Terakhir, distribusi kesalahan residual berperan penting, khususnya dalam pengujian hipotesis dan estimasi interval kepercayaan. Kuadrat terkecil mengasumsikan bahwa kesalahan mengikuti distribusi normal (Gaussian), dan penyimpangan dari kenormalan dapat memengaruhi inferensi. Histogram dan plot Q-Q membantu menilai apakah residual selaras dengan distribusi yang diharapkan. Jika Anda memiliki penyimpangan besar dari kenormalan, teknik regresi robust atau metode bootstrapping dapat memberikan taksiran yang lebih andal dan kurang sensitif terhadap pencilan.
Kelebihan dan Kekurangan Kuadrat Terkecil
Metode kuadrat terkecil adalah alat yang banyak digunakan dalam analisis data. Namun bukan berarti metode ini harus digunakan untuk setiap himpunan data.
Metode kuadrat terkecil menawarkan beberapa kelebihan. Perhitungannya cukup mudah, terutama untuk model linear. Metode ini mudah diinterpretasikan oleh audiens teknis maupun nonteknis. Selain itu, ada berbagai gaya, seperti regresi berbobot, robust, dan nonlinier, yang membuatnya sangat serbaguna. Dan yang penting, metode ini memiliki landasan teoretis yang kuat yang diberikan oleh teorema Gauss-Markov. Semua ini membuat kuadrat terkecil berlaku luas dan digunakan di berbagai bidang mulai dari ekonomi hingga teknik.
Namun, metode ini sensitif terhadap pencilan, yang dapat secara tidak proporsional memengaruhi hasil model. Metode ini juga mengasumsikan tidak ada kesalahan pada prediktor, yang mungkin tidak selalu berlaku pada data dunia nyata. Selain itu, kuadrat terkecil dapat dibatasi oleh multikolinearitas. Artinya, prediktor yang sangat berkorelasi dapat menyebabkan koefisien yang tidak stabil dan dengan demikian taksiran yang tidak andal. Metode ini juga memerlukan varians residual yang konstan, suatu kondisi yang mungkin tidak selalu terpenuhi.
Penting untuk menelaah dengan cermat himpunan data dan tujuan Anda sebelum memutuskan bahwa metode kuadrat terkecil adalah alat terbaik untuk situasi Anda.
|
Kelebihan
|
Kekurangan
|
|
Mudah Dihitung
|
Sensitif terhadap Pencilan
|
|
Mudah Diinterpretasikan
|
Mengasumsikan Tidak Ada Kesalahan pada Prediktor
|
|
Berlaku Luas
|
Terbatas karena Multikolinearitas
|
|
Landasan Teoretis yang Kuat
|
Asumsi Varians Konstan
|
Kesimpulan
Metode kuadrat terkecil adalah alat fundamental bagi analis data mana pun. Dengan menemukan kecocokan terbaik untuk data kita, kita dapat membuat prediksi yang lebih akurat dan menemukan tren yang lebih bermakna.
Untuk bacaan lebih lanjut tentang mengukur garis lurus dalam ruang Euclidean, saya merekomendasikan tutorial Understanding Euclidean Distance: From Theory to Practice. Juga, pastikan untuk mendaftar di kursus regresi kami agar benar-benar menjadi ahli.
%22%3E%3Cpath%20d%3D%22m-369%200h408v79h-408z%22%20fill%3D%22%237933ff%22%2F%3E%3Cpath%20d%3D%22m-148%200h306v45h-306z%22%20fill%3D%22%23974dff%22%2F%3E%3C%2Fg%3E%3C%2Fsvg%3E)
%22%2F%3E%3C%2FclipPath%3E%3Cg%20clip-path%3D%22url(%23a)%22%3E%3Cpath%20d%3D%22m76%200h484v36h-484z%22%20fill%3D%22%23974dff%22%2F%3E%3Cpath%20d%3D%22m0%200h384v24h-384z%22%20fill%3D%22%2306bdfc%22%20transform%3D%22matrix(1%200%200%20-1%200%2060)%22%2F%3E%3C%2Fg%3E%3C%2Fsvg%3E)
%22%3E%0A%20%20%20%20%20%20%20%20%3Crect%20fill%3D%22%23EFEBE4%22%20height%3D%22180%22%20width%3D%22336%22%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23DD3400%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%22106.6%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20-208.588%20220.18)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22456.125%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22-208.588%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22220.18%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23FFEC3C%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20-208.588%20220.18)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22347.576%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22-208.588%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22220.18%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23FF931E%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20-226.525%20189.111)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22347.576%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22-226.525%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22189.111%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23DD3400%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%22106.6%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%2085.5879%20256.055)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22456.125%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%2285.5879%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22256.055%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23FFEC3C%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%2085.5879%20256.055)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22184.5%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%2285.5879%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22256.055%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23FF931E%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20227.432%20132.736)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22271.625%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22227.432%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22132.736%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%3C%2Fg%3E%0A%20%20%20%20%20%20%3Cdefs%3E%0A%20%20%20%20%20%20%20%20%3CclipPath%20id%3D%22clip%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Crect%20fill%3D%22white%22%20height%3D%22180%22%20width%3D%22336%22%20%2F%3E%0A%20%20%20%20%20%20%20%20%3C%2FclipPath%3E%0A%20%20%20%20%20%20%3C%2Fdefs%3E%0A%20%20%20%20%3C%2Fsvg%3E)
%22%3E%0A%20%20%20%20%20%20%20%20%3Crect%20fill%3D%22%23EFEBE4%22%20height%3D%22180%22%20width%3D%22336%22%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23FF931E%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%22106.6%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20-208.588%20220.18)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22456.125%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22-208.588%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22220.18%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23F7F3EB%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20-208.588%20220.18)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22347.576%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22-208.588%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22220.18%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23000820%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20-226.525%20189.111)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22347.576%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22-226.525%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22189.111%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23000820%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%22106.6%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%2085.5879%20256.055)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22456.125%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%2285.5879%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22256.055%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23D87300%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%2085.5879%20256.055)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22184.5%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%2285.5879%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22256.055%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23FF931E%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20227.432%20132.736)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22271.625%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22227.432%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22132.736%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%3C%2Fg%3E%0A%20%20%20%20%20%20%3Cdefs%3E%0A%20%20%20%20%20%20%20%20%3CclipPath%20id%3D%22clip%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Crect%20fill%3D%22white%22%20height%3D%22180%22%20width%3D%22336%22%20%2F%3E%0A%20%20%20%20%20%20%20%20%3C%2FclipPath%3E%0A%20%20%20%20%20%20%3C%2Fdefs%3E%0A%20%20%20%20%3C%2Fsvg%3E)
%22%3E%0A%20%20%20%20%20%20%20%20%3Crect%20fill%3D%22%23F7F3EB%22%20height%3D%22180%22%20width%3D%22336%22%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23000820%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%22106.6%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20-208.588%20220.18)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22456.125%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22-208.588%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22220.18%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%2300C74E%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20-208.588%20220.18)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22347.576%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22-208.588%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22220.18%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23FF931E%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20-226.525%20189.111)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22347.576%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22-226.525%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22189.111%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23D87300%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%22106.6%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%2085.5879%20256.055)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22456.125%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%2285.5879%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22256.055%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23000820%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%2085.5879%20256.055)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22184.5%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%2285.5879%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22256.055%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%2300C74E%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20227.432%20132.736)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22271.625%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22227.432%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22132.736%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%3C%2Fg%3E%0A%20%20%20%20%20%20%3Cdefs%3E%0A%20%20%20%20%20%20%20%20%3CclipPath%20id%3D%22clip%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Crect%20fill%3D%22white%22%20height%3D%22180%22%20width%3D%22336%22%20%2F%3E%0A%20%20%20%20%20%20%20%20%3C%2FclipPath%3E%0A%20%20%20%20%20%20%3C%2Fdefs%3E%0A%20%20%20%20%3C%2Fsvg%3E)
Bayangkan Anda mencoba memprediksi harga rumah berdasarkan luas bangunan. Anda memiliki titik data dari penjualan terbaru, tetapi data tersebut tidak membentuk pola yang sempurna. Beberapa rumah terjual lebih mahal dari perkiraan, dan yang lain lebih murah. Bagaimana cara menemukan garis tren terbaik yang mencerminkan hubungan keseluruhan antara ukuran dan harga tanpa membiarkan rumah tertentu mengacaukan prediksi Anda?
Metode kuadrat terkecil mungkin merupakan solusi yang Anda butuhkan. Dalam artikel ini, kita akan membahas konsep inti metode kuadrat terkecil, variasinya, dan penerapannya. Pada akhirnya, Anda akan memahami cara menggunakan metode ini dan mengaplikasikannya pada masalah nyata.
Apa Itu Metode Kuadrat Terkecil?
Metode kuadrat terkecil adalah teknik statistik yang digunakan untuk menentukan garis atau kurva paling sesuai untuk sekumpulan titik data. Metode ini bekerja dengan meminimalkan selisih kuadrat antara nilai yang diamati dan nilai yang diprediksi dalam sebuah himpunan data. Selisih antara titik data aktual dan nilai yang diprediksi oleh model disebut residual. Tujuannya adalah menemukan model yang meminimalkan jumlah kuadrat residual tersebut, sehingga menghasilkan prediksi yang seakurat mungkin.
Diagram di atas memberikan penjelasan singkat tentang langkah-langkah metode kuadrat terkecil.
Metode ini diturunkan oleh Carl Friedrich Gauss yang berusia 18 tahun pada 1795 (Anda mungkin mengenali namanya dari distribusi Gaussian). Adrien-Marie Legendre kemudian memformalkan teknik ini pada 1805 dan menjadi yang pertama menulis makalah menggunakan metode kuadrat terkecil untuk merekonstruksi orbit sebuah asteroid.
Cara Kerja Metode Kuadrat Terkecil
Metode kuadrat terkecil menemukan garis yang paling sesuai untuk sekumpulan titik dengan meminimalkan jumlah selisih kuadrat antara nilai teramati dan nilai yang diprediksi. Ini digunakan untuk menemukan parameter model dengan kecocokan sedekat mungkin.
Mari kita coba dengan himpunan data yang sangat kecil: hanya 10 titik. Pertama, kita perlu memilih model untuk menyesuaikan data kita. Untuk contoh sederhana ini, kita akan memilih regresi linear sederhana, yang berarti kita melakukan regresi dengan tepat satu variabel independen dan satu variabel dependen.
Grafik di atas adalah plot himpunan data kecil kita, dengan regresi linear di atasnya. Garis putus-putus kuning yang menghubungkan titik data dengan garis prediksi adalah residual. Tujuannya adalah menemukan model regresi linear yang meminimalkan garis residual putus-putus kuning tersebut.
Untuk setiap titik data dalam himpunan data kita, kita perlu menemukan selisih koordinat y antara titik data dan garisnya. Inilah residual kita. Lalu kita kuadratkan setiap residual untuk menghilangkan bilangan negatif dan menjumlahkannya. Ini akan memberi gambaran seberapa baik garis kita menyesuaikan data. Lihat tabel di bawah untuk rincian pada grafik spesifik kita.
Koordinat X
Koordinat Y Teramati (Titik Data)
Koordinat Y Terprediksi (Garis)
Residual (Teramati - Terprediksi)
Residual Kuadrat
0
2.5
2.0
0.5
0.25
1
3.1
2.3
0.8
0.64
2
1.8
2.6
-0.8
0.64
3
3.5
2.9
0.6
0.36
4
2.2
3.2
-1.0
1.0
5
4.0
3.5
0.5
0.25
6
3.8
3.8
0.0
0.0
7
5.0
4.1
0.9
0.81
8
4.5
4.4
0.1
0.01
9
5.2
4.7
0.5
0.25
Jumlah Residual Kuadrat
4.21
Sekarang setelah kita mendapat gambaran seberapa baik garis ini menyesuaikan data kita, kita dapat menyetel parameter garis—baik kemiringan maupun intersepnya—dan menghitung ulang. Garis yang memiliki jumlah residual kuadrat terendah adalah garis yang paling sesuai dengan data kita. Karena itu, garis tersebut akan memberikan prediksi terbaik.
Menggunakan metode kuadrat terkecil untuk menemukan garis terbaik
Pada contoh di atas, kita belum menemukan garis yang paling sesuai. Kita hanya menghitung seberapa baik garis tersebut menyesuaikan data. Sekarang kita bisa melakukan iterasi melalui banyak kandidat garis dan melakukan perhitungan yang sama untuk menemukan yang paling sesuai. Atau kita bisa menggunakan sedikit aljabar untuk menemukan garis terbaik dengan lebih cepat. Mari kita coba.
Kita mulai dengan persamaan regresi linear: y=mx+b, di mana b adalah intersep-y dan m adalah kemiringan. Sekarang mari kita buat beberapa data.
Koordinat X
Koordinat Y
0
2.5
1
3.1
2
1.8
3
3.5
4
2.2
5
4.0
6
3.8
7
5.0
8
4.5
9
5.2
Pertama, kita perlu menghitung rata-rata nilai X dan Y. Nilai-nilai ini akan menjadi nilai prediksi kita:
Selanjutnya, kita dapat menggunakan jumlah kuadrat residual antara setiap titik data dan nilai prediksi kita (rata-rata) untuk menemukan kemiringan. Berikut persamaan yang akan kita gunakan:
Karena ini merupakan persamaan yang cukup merepotkan jika dilakukan manual, kita akan menghitung pembilang dan penyebutnya secara terpisah. Mari mulai dengan pembilang:
xi
yi
xi - xmean
yi - ymean
(xi - xmean)(yi -ymean)
0
2.5
-4.5
-1.06
4.77
1
3.1
-3.5
-0.46
1.61
2
1.8
-2.5
-1.76
4.40
3
3.5
-1.5
-0.06
0.09
4
2.2
-0.5
-1.36
0.68
5
4.0
0.5
0.44
0.22
6
3.8
1.5
0.24
0.36
7
5.0
2.5
1.44
3.60
8
4.5
3.5
0.94
3.29
9
5.2
4.5
1.64
7.38
Jumlah (xi - xmean)(yi - ymean)
26.4
Sekarang mari lakukan hal yang sama untuk penyebut:
xi
xi - xmean
(xi - xmean)2
0
-4.5
20.25
1
-3.5
12.25
2
-2.5
6.25
3
-1.5
2.25
4
-0.5
0.25
5
0.5
0.25
6
1.5
2.25
7
2.5
6.25
8
3.5
12.25
9
4.5
20.25
Jumlah (xi - xmean)2
82.50
Sekarang kita dapat menghitung kemiringan untuk garis kecocokan terbaik kita.
Jadi sekarang kita mengetahui kemiringan garis yang paling sesuai dengan data kita. Berikutnya, kita perlu menemukan intersep-y. Rumus untuk intersep b mudah ditemukan dengan sedikit penataan kembali secara aljabar:
Karena kita sudah mengetahui kemiringannya, kita cukup memasukkan rata-rata x dan y kita lalu menyelesaikan untuk b.
Sekarang karena kita memiliki m dan b, kita dapat menuliskan persamaan garis paling sesuai:
Metode kuadrat terkecil memungkinkan kita menurunkan garis regresi linear terbaik dengan cepat dan mudah, bahkan secara manual! Jelas, semakin banyak data yang Anda miliki, semakin sulit melakukan ini secara manual. Untungnya, karena matematikanya cukup lugas, sangat mudah menerapkan metode ini di Python atau R. Untuk penjelasan terperinci tentang cara melakukannya, lihat Essentials of Linear Regression in Python dan How to Do Linear Regression in R.
Landasan matematis metode kuadrat terkecil
Di atas, kita menggunakan contoh regresi linear sederhana dan menemukan kemiringan serta intersep menggunakan persamaan bentuk tertutup yang rapi, dan kita memodelkan variabel dependen sebagai fungsi dari variabel independen: y=mx+b.
Namun, persamaan yang saya tunjukkan di atas hanya bekerja ketika Anda memiliki satu variabel independen. Cara lain untuk menemukan koefisien regresi adalah menggunakan apa yang dikenal sebagai persamaan normal, yang memberikan solusi berbasis matriks untuk masalah kuadrat terkecil. Persamaan normal merujuk pada persamaan matriks yang dihasilkan dari meminimalkan jumlah residual kuadrat menggunakan metode kuadrat terkecil. Secara geometris, dan menggunakan bahasa aljabar linear, solusi kuadrat terkecil dapat divisualisasikan sebagai proyeksi ortogonal dari vektor data teramati ke ruang kolom matriks model. Sederhananya, ini berarti kesalahan diminimalkan sedemikian rupa sehingga nilai yang diprediksi berada sedekat mungkin dengan data teramati, sesuai dengan kendala model.
Dalam kasus ketika matriks tidak dapat dibalik (yang berarti sistem persamaan tidak memiliki solusi tunggal), pseudoinvers Moore-Penrose menyediakan cara untuk menghitung solusi kuadrat terkecil. Ini memberi kita fleksibilitas untuk menangani situasi ketika sistem tidak terdefinisi lengkap (lebih banyak peubah tak diketahui daripada persamaan) atau terlalu terdefinisi (lebih banyak persamaan daripada peubah tak diketahui).
Jika Anda perlu penyegaran tentang aljabar matriks, saya merekomendasikan kursus Linear Algebra for Data Science in R.
Jenis-Jenis Metode Kuadrat Terkecil
Sejauh ini, kita hanya membahas penggunaan metode kuadrat terkecil dengan penaksir kuadrat terkecil biasa. Namun, ini adalah alat serbaguna yang dapat diadaptasi ke banyak skenario tergantung pada sifat masalah yang Anda tangani. Mari kita jelajahi beberapa jenis metode kuadrat terkecil, apa yang membuatnya unik, dan kegunaan praktisnya.
Kuadrat terkecil linear
Sampai titik ini, Anda seharusnya cukup akrab dengan kuadrat terkecil linear (juga disebut sebagai kuadrat terkecil biasa). Ini digunakan pada model yang memiliki koefisien linear, seperti pada regresi linear sederhana atau regresi linear berganda. Tujuannya adalah menemukan garis (atau hiperbidang, dalam kasus regresi linear berganda) yang meminimalkan jumlah residual kuadrat.
Jenis kuadrat terkecil ini mengasumsikan residual memiliki varians konstan dan tidak ada pencilan signifikan dalam data. Ini dapat diterapkan pada sebagian besar hal yang memiliki hubungan linear. Misalnya, Anda dapat menggunakannya untuk hubungan antara lama kehamilan dan berat lahir atau antara belanja iklan dan pendapatan penjualan. Ini adalah jenis kuadrat terkecil yang paling sering saya gunakan dan paling sering saya dengar digunakan orang lain.
Kuadrat terkecil berbobot
Kuadrat terkecil berbobot adalah pengembangan metode ini yang bekerja ketika varians residual tidak konstan. Dengan memberikan bobot pada setiap titik data, kuadrat terkecil berbobot memberikan penekanan lebih pada pengamatan dengan varians lebih rendah. Persamaannya mirip dengan jumlah kuadrat sebelumnya, tetapi dengan bobot (wi) yang diterapkan pada setiap residual:
Metode ini berguna untuk himpunan data di mana kesalahan pengukuran bervariasi antar pengamatan, misalnya dalam kalibrasi sensor. Bobot biasanya merupakan kebalikan dari varians untuk setiap pengamatan.
Kuadrat terkecil robust
Kuadrat terkecil robust dirancang untuk menangani himpunan data dengan pencilan yang dapat secara tidak proporsional memengaruhi hasil kuadrat terkecil biasa. Metode ini menggunakan teknik pembobotan berulang untuk mengurangi dampak pencilan.
Dalam kuadrat terkecil robust, Anda dapat menggunakan metode seperti least absolute residuals (LAR) atau bisquare weights untuk menyesuaikan bobot secara iteratif dan mengurangi pengaruh pencilan.
Contoh kapan Anda mungkin menggunakan ini adalah pada pemodelan keuangan, ketika Anda ingin mengakomodasi kejatuhan pasar yang ekstrem. Jika Anda memiliki himpunan data di mana Anda tidak ingin menghapus pencilan, tetapi tetap ingin memperhitungkannya, kuadrat terkecil robust bisa menjadi pilihan.
Kuadrat terkecil nonlinier
Kuadrat terkecil tidak hanya untuk regresi linear. Kuadrat terkecil nonlinier digunakan ketika model yang Anda terapkan bersifat nonlinier pada koefisiennya. Ini lebih rumit daripada kuadrat terkecil linear, dan dapat memerlukan teknik optimisasi iteratif (seperti Gauss–Newton atau Levenberg–Marquardt) untuk menemukan kecocokan terbaik.
Penting untuk berhati-hati dengan kuadrat terkecil nonlinier. Perhitungannya bisa sensitif terhadap taksiran parameter awal serta terhadap isu konvergensi. Contoh penggunaannya termasuk memodelkan pertumbuhan eksponensial virus di dalam tubuh saat infeksi atau memodelkan laju reaksi kimia di laboratorium.
Kuadrat terkecil total
Sampai sekarang, kita terutama membahas kasus ketika hanya variabel dependen yang memiliki kesalahan. Dan kita meminimalkan jarak vertikal antara model kita dan data. Namun bagaimana jika Anda juga memiliki kesalahan pada pengukuran variabel independen?
Kuadrat terkecil total berguna ketika baik variabel independen maupun dependen memiliki kesalahan pengukuran. Metode ini memperhitungkan kesalahan pada semua variabel. Ini sangat berguna di bidang seperti astronomi dan geodesi (bidang yang mengukur bentuk Bumi dan medan gravitasinya), di mana kesalahan pengukuran hadir di semua dimensi karena tingkat presisi yang diperlukan sangat tinggi. Kuadrat terkecil total sering digunakan bersama dekomposisi nilai singular.
Kuadrat terkecil terumumkan
Kuadrat terkecil terumumkan adalah pengembangan metode kuadrat terkecil yang mengatasi tantangan akibat residual yang berkorelasi. Dengan kuadrat terkecil terumumkan, kita mentransformasikan data ke bentuk yang memungkinkan kuadrat terkecil biasa diterapkan. Transformasi ini melibatkan penggunaan matriks kovarians residual untuk memperhitungkan struktur korelasinya, sehingga menghasilkan taksiran parameter yang lebih akurat.
Ini sangat berguna dalam situasi seperti analisis deret waktu, di mana residual dapat menunjukkan autokorelasi.
Penerapan Metode Kuadrat Terkecil
Metode kuadrat terkecil adalah teknik statistik yang banyak digunakan dengan penerapan di berbagai bidang.
Dalam statistik dan data science, kuadrat terkecil digunakan untuk membangun model regresi linear dan nonlinier guna membuat prediksi berdasarkan masukan yang diketahui. Metode ini juga berguna untuk menganalisis tren, khususnya pada data deret waktu.
Dalam keuangan, kuadrat terkecil digunakan dalam analisis kinerja saham, membantu menentukan hubungan antara kinerja saham dan indeks pasar. Misalnya, metode ini dapat digunakan untuk menghitung sensitivitas saham terhadap pergerakan pasar. Metode ini juga membantu pemodelan risiko dengan menyesuaikan model terhadap data keuangan historis untuk memperkirakan risiko dan imbal hasil.
Para insinyur menggunakan kuadrat terkecil dalam kalibrasi sensor untuk menyesuaikan model dengan data teramati dan meminimalkan kesalahan pengukuran. Metode ini juga diterapkan dalam pemrosesan sinyal untuk penyaringan dan pengurangan derau, sehingga memungkinkan interpretasi data yang lebih jelas.
Tentu saja, kuadrat terkecil berawal dari astronomi; penggunaan pertamanya oleh Carl Friedrich Gauss adalah untuk memprediksi orbit asteroid Ceres. Metode ini juga digunakan dalam geodesi untuk memodelkan bentuk Bumi berdasarkan data observasi, yang penting untuk pengukuran geografis yang akurat.
Jika Anda pernah menekuni machine learning, Anda akan mengenali metode kuadrat terkecil sebagai metode untuk meminimalkan fungsi rugi selama pelatihan model regresi linear. Anda mungkin juga menggunakannya saat seleksi fitur untuk mengidentifikasi variabel paling penting yang berkontribusi pada model.
Metode ini juga berperan dalam banyak ilmu eksakta lainnya, seperti fisika dan kimia. Metode ini dapat digunakan untuk menyesuaikan kurva pada data eksperimen, seperti laju reaksi atau pengukuran fisik, dan membantu meminimalkan kesalahan dalam pengaturan eksperimen.
Metode kuadrat terkecil adalah alat statistik yang serbaguna. Secara pribadi, saya telah menggunakan metode ini untuk mengalibrasi sensor tekanan, membuat prediksi berdasarkan data eksperimen saya, dan selama pelatihan machine learning. Kemampuan untuk secara andal memodelkan hubungan dan meminimalkan kesalahan adalah fitur yang menawarkan nilai bagi banyak disiplin ilmu berbeda.
Asumsi dan Diagnostik
Metode kuadrat terkecil membuat beberapa asumsi kunci tentang data Anda dan model yang digunakan. Penting untuk memahami asumsi-asumsi ini, karena melanggarnya dapat menyebabkan hasil yang bias atau tidak andal. Jadi, mari kita bahas asumsi-asumsi ini, serta cara mendiagnosis dan mengatasi potensi masalah.
Salah satu asumsinya adalah independensi kesalahan, yang berarti residual tidak boleh saling berkorelasi. Jika kesalahan saling berkorelasi, terutama dalam data berurutan atau spasial, taksiran dapat menjadi terdistorsi. Uji Durbin-Watson dapat mendeteksi autokorelasi pada residual, khususnya untuk himpunan data bersifat waktu. Jika Anda menemukan korelasi, Anda dapat menggunakan kuadrat terkecil terumumkan untuk memperhitungkannya.
Asumsi lain adalah bahwa varians residual tetap konstan di seluruh tingkat variabel independen. Jika residual menampilkan sebaran berbentuk corong saat diplot melawan nilai yang dipasangkan, asumsi ini kemungkinan dilanggar. Untuk mengatasi masalah ini, Anda dapat menggunakan kuadrat terkecil berbobot untuk memberikan bobot yang sesuai pada pengamatan Anda. Alternatifnya, Anda dapat menggunakan transformasi seperti logaritmik atau akar kuadrat untuk menstabilkan varians yang tidak setara dan memperbaiki masalah heteroskedastisitas.
Seperti semua pemodelan, penting bahwa struktur mencerminkan hubungan mendasar antara variabel. Jika tidak, seberapa pun optimalnya kecocokan Anda, hasilnya tetap akan menyesatkan. Plot residual dan metrik goodness-of-fit seperti R² dapat membantu Anda menentukan apakah model yang dipilih menangkap pola dalam data.
Metode kuadrat terkecil standar mengasumsikan bahwa variabel independen diukur tanpa kesalahan. Jadi penting untuk mengetahui ketelitian pengukuran independen Anda. Anda seharusnya memiliki gambaran tentang ketelitian pengukuran ini dengan melihat metode pengumpulannya. Jika ada kesalahan pengukuran pada prediktor Anda, pastikan menggunakan metode kuadrat terkecil total untuk mengurangi ketidakakuratan dalam pemodelan Anda.
Terakhir, distribusi kesalahan residual berperan penting, khususnya dalam pengujian hipotesis dan estimasi interval kepercayaan. Kuadrat terkecil mengasumsikan bahwa kesalahan mengikuti distribusi normal (Gaussian), dan penyimpangan dari kenormalan dapat memengaruhi inferensi. Histogram dan plot Q-Q membantu menilai apakah residual selaras dengan distribusi yang diharapkan. Jika Anda memiliki penyimpangan besar dari kenormalan, teknik regresi robust atau metode bootstrapping dapat memberikan taksiran yang lebih andal dan kurang sensitif terhadap pencilan.
Kelebihan dan Kekurangan Kuadrat Terkecil
Metode kuadrat terkecil adalah alat yang banyak digunakan dalam analisis data. Namun bukan berarti metode ini harus digunakan untuk setiap himpunan data.
Metode kuadrat terkecil menawarkan beberapa kelebihan. Perhitungannya cukup mudah, terutama untuk model linear. Metode ini mudah diinterpretasikan oleh audiens teknis maupun nonteknis. Selain itu, ada berbagai gaya, seperti regresi berbobot, robust, dan nonlinier, yang membuatnya sangat serbaguna. Dan yang penting, metode ini memiliki landasan teoretis yang kuat yang diberikan oleh teorema Gauss-Markov. Semua ini membuat kuadrat terkecil berlaku luas dan digunakan di berbagai bidang mulai dari ekonomi hingga teknik.
Namun, metode ini sensitif terhadap pencilan, yang dapat secara tidak proporsional memengaruhi hasil model. Metode ini juga mengasumsikan tidak ada kesalahan pada prediktor, yang mungkin tidak selalu berlaku pada data dunia nyata. Selain itu, kuadrat terkecil dapat dibatasi oleh multikolinearitas. Artinya, prediktor yang sangat berkorelasi dapat menyebabkan koefisien yang tidak stabil dan dengan demikian taksiran yang tidak andal. Metode ini juga memerlukan varians residual yang konstan, suatu kondisi yang mungkin tidak selalu terpenuhi.
Penting untuk menelaah dengan cermat himpunan data dan tujuan Anda sebelum memutuskan bahwa metode kuadrat terkecil adalah alat terbaik untuk situasi Anda.
Kelebihan
Kekurangan
Mudah Dihitung
Sensitif terhadap Pencilan
Mudah Diinterpretasikan
Mengasumsikan Tidak Ada Kesalahan pada Prediktor
Berlaku Luas
Terbatas karena Multikolinearitas
Landasan Teoretis yang Kuat
Asumsi Varians Konstan
Kesimpulan
Metode kuadrat terkecil adalah alat fundamental bagi analis data mana pun. Dengan menemukan kecocokan terbaik untuk data kita, kita dapat membuat prediksi yang lebih akurat dan menemukan tren yang lebih bermakna.
Untuk bacaan lebih lanjut tentang mengukur garis lurus dalam ruang Euclidean, saya merekomendasikan tutorial Understanding Euclidean Distance: From Theory to Practice. Juga, pastikan untuk mendaftar di kursus regresi kami agar benar-benar menjadi ahli.