Fungsi Biaya: Panduan Lengkap

Mean Absolute Error (MAE)

Mean absolute error didefinisikan sebagai rata-rata dari nilai absolut residual.

MAE memperlakukan semua deviasi secara setara, sehingga tidak terlalu dipengaruhi oleh outlier dibandingkan metode lain yang akan kita lihat, seperti MSE. Namun, galat absolut kurang nyaman secara matematis dan membuat optimisasi berbasis gradien lebih sulit.

Catatan tentang parameter fungsi. θ merepresentasikan parameter model. Optimizer mengendalikan biaya berdasarkan parameter ini, bukan langsung pada nilai prediksi yang timbul darinya. Karena itu, kita menulis biaya sebagai fungsi dari θ, bukan Ŷi.

MSE

Mean squared error (MSE) diberikan oleh rumus berikut.

Mengkuadratkan residual membesar-besarkan galat besar, yang membuat MSE sensitif terhadap outlier. Namun, bentuk galat ini terdiferensial dan konveks, sehingga ramah untuk optimisasi.

RMSE

Kelemahan MSE adalah satuannya dikudratkan. Misalnya, dalam model regresi harga rumah, loss dinyatakan dalam dolar kuadrat, yang kurang intuitif. RMSE mengoreksi masalah ini dengan mengambil akar kuadrat dari MSE.

RMSE berperilaku mirip dengan MSE namun dengan satuan yang sama dengan permasalahan (dolar, bukan dolar kuadrat). 

Huber

Huber loss kurang sensitif terhadap outlier dalam data dibandingkan MSE (atau RMSE). Ia menggabungkan MAE dan MSE, dan mengendalikan transisi dengan parameter δ.

dengan

Rumus ini mencegah beberapa residual besar mendominasi loss. Huber loss adalah pilihan baik untuk data dunia nyata yang bising, di mana Anda mengharapkan observasi ekstrem sesekali.

Loss klasifikasi 

Klasifikasi memprediksi kategori diskret. Fungsi biaya ini membandingkan distribusi probabilitas dengan label sebenarnya, menghukum prediksi yang salah atau terlalu percaya diri.

Cross-entropy loss

Cross-entropy loss (log loss) memberi penghargaan ketika model yakin dan benar, serta menghukum ketika model yakin namun salah. 

Untuk pengklasifikasi yang menghasilkan probabilitas murni Ŷ, kemungkinan label yang teramati Y adalah 

Maximum-likelihood estimation (MLE) memaksimalkan likelihood ini di seluruh sampel. 

Mari ubah gagasan ini menjadi meminimalkan biaya. Meminimalkan sama dengan memaksimalkan nilai negatifnya, jadi mari kita balik tandanya. Kita juga ambil logaritma.

Kita dapat menuliskannya lebih ringkas sebagai sebuah penjumlahan tunggal. 

Mengapa log? Log memiliki beberapa keunggulan

• Mengubah perkalian menjadi penjumlahan. Alih-alih mengalikan angka kecil dan berisiko underflow, kita menjumlahkan probabilitas,
• Membuat fungsi menjadi cekung. Log mentransformasikan likelihood menjadi fungsi cekung dengan satu maksimum global.
• Memberikan kurva penalti yang bermakna. 
• p = 1,0 menghasilkan loss 0, 
• p = 0,9 menghasilkan loss 0,1 (kecil)
• p = 0,2 menghasilkan loss 2,3 (besar)
• p = 0,01 menghasilkan loss 4,6 (sangat besar)
• Menghindari eksponen bertingkat. Dalam regresi logistik dan neural net, log "membuka" eksponensial bertingkat, membuat turunan menjadi sederhana dan stabil.

Misalkan sebuah model memprediksi probabilitas untuk dua pilihan: "anjing" (pilihan 0) atau "kucing" (pilihan 1). Jika jawaban sebenarnya adalah 1 ("kucing") dan model 90% yakin itu kucing, loss kecil karena model yakin dan benar. Jika model mengatakan 10% yakin itu kucing, loss besar, karena model yakin namun salah.

Cross-entropy untuk klasifikasi multi-kelas

Ketika ada lebih dari dua kelas ("kucing", "anjing", "burung"), model menghasilkan skor mentah ("logit") untuk tiap kelas, dinotasikan Zi. Logit dapat berupa bilangan real apa pun, sehingga dikonversi menjadi probabilitas yang berjumlah satu melalui fungsi softmax. 

Prediksi model kemudian dibandingkan dengan label aktual menggunakan cross-entropy.

Contoh 

Misalkan label sebenarnya adalah "kucing" dan model memprediksi probabilitas: kucing: 80%, anjing: 15%, burung: 5%. Loss-nya adalah 

Jika probabilitas prediksi untuk "kucing" hanya 30%, maka loss akan jauh lebih tinggi: 

Log menghukum kesalahan yang yakin dan memberi penghargaan pada prediksi dengan kepercayaan tinggi.

Hinge Loss

Hinge loss terutama digunakan untuk klasifikasi margin-maksimum, seperti pada support vector machines (SVM). Tujuannya adalah mengklasifikasikan dengan yakin dengan menjaga prediksi tetap jauh dari batas keputusan. 

Untuk klasifikasi biner, hinge loss diberikan oleh rumus berikut.

dengan

Fungsi biaya total adalah 

Istilah YiŶi mengukur seberapa baik sampel diklasifikasikan. 

• Ketika nilainya lebih besar dari 1, sampel berada di sisi batas yang benar tanpa loss.
• Ketika nilainya antara 0 dan 1, titik berada di dalam margin, sehingga diberi penalti kecil.
• Ketika kurang dari 0, model salah klasifikasi. Loss bertambah secara linear seiring jarak dari batas. 

Dihasilkan oleh ChatGPT 5

Kullback-Leibler (KL)

Divergensi Kullback-Leibler (KL) adalah ukuran seberapa jauh distribusi probabilitas pendekatan Q berbeda dari distribusi probabilitas P yang diberikan. Didefinisikan sebagai 

Wikipedia

Divergensi KL dapat ditafsirkan sebagai rata-rata selisih jumlah bit untuk mengodekan sampel P menggunakan kode yang dioptimalkan untuk Q. 

Regularisasi 

Teknik regularisasi mencegah model menyesuaikan noise dalam data pelatihan dengan menambahkan suatu suku ke fungsi biaya yang menghukum solusi yang terlalu kompleks.

Tanpa regularisasi, model meminimalkan loss:

Dengan regularisasi, model menambahkan suku penalti 

dengan

• L adalah loss biasa (mis., RMSE, cross-entropy)
• R(θ) mengukur kompleksitas model
• λ mengendalikan trade-off antara kecocokan dan kesederhanaan

Jenis regularisasi yang umum adalah L1, L2, dan elastic net.

Regularisasi L1 (alias lasso) menambahkan nilai absolut dari setiap bobot model ke fungsi biaya.

Ketika biaya ini diminimalkan, banyak bobot terdorong menjadi nol. Ini membuat L1 menjadi bentuk seleksi fitur otomatis. Fitur yang tidak berkontribusi didorong ke nol.

Regularisasi L2 (alias ridge regression) menghukum kuadrat dari setiap bobot model.

Berbeda dengan L1, ia tidak mengatur bobot persis ke nol, tetapi mengecilkannya secara mulus. Ini mempertahankan semua fitur dalam model namun mengurangi pengaruhnya untuk menstabilkan prediksi.

Elastic net menambahkan L1 dan L2 sekaligus. 

λ mengendalikan seberapa kuat regularisasi keseluruhan. α adalah angka antara 0 dan 1 yang mengendalikan persentase L1 versus L2, di mana 1 adalah L1 murni dan 0 adalah ridge murni.

Trade-off 

Strategi loss klasifikasi yang berbeda memiliki trade-off.

Cross-entropy memaksimalkan probabilitas yang benar dengan menghukum jawaban salah yang yakin. Trade-off-nya adalah sensitif terhadap outlier dan data yang salah label. Ini bekerja paling baik saat Anda peduli pada kualitas kepercayaan (mis., model risiko).

Hinge loss menegakkan margin sehingga klasifikasi yang benar bukan sekadar benar, melainkan benar dengan yakin. Ia mengabaikan sampel yang aman berada di luar margin dan memberi penalti linear untuk pelanggaran. Ia kurang sensitif terhadap outlier dibanding cross-entropy, tetapi lebih sulit dioptimalkan secara mulus, karena tidak terdiferensial di titik hinge.

Kullback-Leibler (KL) divergence mencocokkan satu distribusi probabilitas dengan yang lain. Ini ekuivalen dengan cross-entropy dikurangi entropi dari distribusi sebenarnya. 

Untuk informasi lebih lanjut, lihat tautan berikut. 

• Cross-Entropy Loss Function in Machine Learning: Enhancing Model Accuracy
• From Data to Dollars - Predicting Insurance Charges
• Optimize Pricing Predictions with Feature Engineering
• Data Quality Dimensions Cheat Sheet
• R Correlation Tutorial

Implementasi dan Praktik Fungsi Biaya dalam Machine Learning 

Sejauh ini, kita telah membahas fungsi biaya secara teori. Dalam praktik, keberhasilan model ML bergantung pada seberapa efisien fungsi-fungsi tersebut diminimalkan. Pada bagian ini, kita memperkenalkan detail praktis dari algoritma optimisasi inti dan strategi penyetelan. 

Algoritma optimisasi dan penyetelan parameter

Optimisasi adalah proses menemukan nilai optimal dari parameter model yang meminimalkan fungsi biaya. Dalam ML, ini berarti menemukan parameter yang membuat prediksi sedekat mungkin dengan nilai aktual.

Gradient descent 

Gradient descent adalah algoritma standar untuk mengoptimalkan fungsi biaya. Algoritma ini secara iteratif memperbarui parameter model ke arah yang paling mengurangi biaya, yaitu gradien negatif. Secara konseptual, ia mengukur kemiringan multivariabel dari fungsi biaya dan melangkah turun bukit.

Aturan pembaruannya adalah

dengan θ adalah parameter model, n adalah laju pembelajaran, dan adalah gradien fungsi biaya terhadap parameter.

Pilihan laju pembelajaran sangat krusial. Jika terlalu besar, pembaruan melampaui minimum dan berosilasi atau menyimpang. Jika terlalu kecil, konvergensi menjadi lambat dan dapat mandek di minimum lokal.

Variannya yang utama adalah batch, stochastic, dan mini-batch.

• Batch gradient descent. Menghitung gradien menggunakan seluruh set pelatihan. Stabil tetapi lambat dan memakan memori untuk dataset besar atau pembelajaran daring.
• Stochastic gradient descent (SGD). Memperbarui parameter setelah setiap contoh pelatihan. Cepat dan hemat memori, tetapi bising dalam arti setiap langkah dapat bergerak sedikit di luar jalur optimal. Namun, keacakan dapat membantu keluar dari minimum lokal.
• Mini-batch gradient descent. Kompromi praktis. Menghitung gradien pada batch kecil untuk menyeimbangkan kecepatan dan stabilitas. Ini juga memungkinkan paralelisme GPU.

Optimizer adaptif 

Gradient descent standar menerapkan laju pembelajaran tetap untuk semua parameter. Dalam model kompleks, parameter yang berbeda mungkin membutuhkan ukuran langkah berbeda. Optimizer adaptif menyesuaikan laju pembelajaran berdasarkan riwayat besaran gradien. 

• RMSProp menggunakan rata-rata menurun eksponensial dari gradien kuadrat terbaru. 

Pembelajaran tiap parameter diskalakan secara terbalik terhadap rata-rata ini. Ini mencegah osilasi dan memungkinkan kemajuan stabil bahkan ketika beberapa parameter memiliki gradien curam. RMSProp banyak digunakan untuk jaringan berulang dan data bising.

• Adaptive Moment Estimation (Adam) melacak rata-rata dan varians dari gradien masa lalu dan menyesuaikan ukuran langkah secara dinamis. 

Optimizer ini berkonsvergensi cepat, tangguh terhadap data bising, dan menjadi default pada kerangka kerja jaringan dalam.

Penskalaan fitur dan inisialisasi

Sebelum mengoptimalkan dengan gradient descent, skala fitur agar berada pada rentang yang sebanding. Penskalaan yang tepat meningkatkan stabilitas dan efisiensi optimisasi. 

Tanpa penskalaan, fitur dengan rentang numerik besar mendominasi gradien. Gradient descent kemudian bergerak zigzag alih-alih mengambil langkah langsung menuju minimum.

Ada dua pendekatan umum.

• Standarisasi. Memusatkan setiap fitur di nol dan menskalakan ke varians satuan.

dengan u sebagai mean dan ơ sebagai simpangan baku. Standarisasi mempertahankan struktur data.

• Normalisasi. Menskalakan setiap fitur ke rentang tetap, umumnya [0, 1]. 

Normalisasi umum digunakan pada neural network, di mana fungsi aktivasi bekerja terbaik dengan input yang dibatasi.

Strategi inisialisasi parameter

Inisialisasi parameter sangat memengaruhi pelatihan model. Inisialisasi yang buruk dapat menyebabkan konvergensi lambat, gradien meledak atau lenyap, atau model gagal belajar. Inisialisasi yang baik menempatkan parameter pada wilayah permukaan biaya di mana gradien stabil.

• Inisialisasi acak. Menetapkan nilai acak kecil, biasanya diambil dari distribusi uniform atau normal. Pengacakan memutus simetri sehingga parameter mempelajari fitur yang berbeda. Namun, jika varians terlalu tinggi atau rendah, gradien dapat meledak atau lenyap.
• Inisialisasi Xavier (Glorot). Dirancang untuk fungsi aktivasi nonlinier seperti tanh atau sigmoid, Xavier menskalakan varians bobot sesuai jumlah koneksi input dan output.

Ini menjaga aktivasi dan gradien kira-kira konstan di seluruh layer.

• Inisialisasi He. Menyesuaikan varians untuk aktivasi ReLU, yang meniadakan nilai negatif. Bobot diambil dari distribusi normal dengan varians tertentu:

Ini mencegah gradien terlalu cepat lenyap selama backpropagation. 

Pemantauan, diagnostik, dan visualisasi

Kurva training loss memplot galat model pada dataset pelatihan dari waktu ke waktu. Kurva ini menunjukkan seberapa baik model memperbarui parameternya untuk meminimalkan galat. Kurva yang terus menurun mengindikasikan model mempelajari pola dari data.

Kurva validation loss menunjukkan kemampuan model untuk menggeneralisasi pada data yang tak terlihat, seperti set hold-out atau validasi. Ini mengindikasikan kemampuan model untuk memprediksi pada data yang belum pernah dilihat sebelumnya.

Idealnya, kedua kurva menurun pada awal lalu mendatar. Ini menunjukkan bahwa model efektif belajar dan efektif menggeneralisasi.

Overfitting terjadi ketika model mempelajari noise seolah-olah sinyal, dan tidak menggeneralisasi dengan baik. Ini tampak pada grafik kurva pelatihan dan validasi ketika training loss menurun tetapi validation loss meningkat. Perbaikannya termasuk menggunakan dataset yang lebih besar, atau menerapkan regularisasi dalam model.

Underfitting terjadi ketika model gagal menangkap pola mendasar dalam data. Kedua kurva pelatihan dan validasi tetap tinggi. Dalam kasus ini, coba lebih banyak data, model yang lebih kompleks, atau kurangi regularisasi.

Konvergensi adalah titik ketika kurva mendatar, dan pelatihan lebih lanjut memberikan sedikit peningkatan. Ini adalah titik manis antara overfitting dan underfitting. 

Optimisasi Fungsi Biaya dan Teori Keputusan 

Kita telah melihat bagaimana ekonomi dan machine learning bergantung pada optimisasi untuk membimbing pengambilan keputusan dan pelatihan. Kedua bidang berupaya membuat keputusan terbaik berdasarkan metrik biaya atau loss. Mari mendalami teori optimisasi secara lebih umum.

Fungsi objektif

Sebuah fungsi objektif adalah fungsi matematika yang mendefinisikan apa yang ingin kita minimalkan atau maksimalkan. Dalam kasus yang telah kita lihat sejauh ini, kita meminimalkan biaya atau galat. Untuk ekonomi, kita melihat kurva biaya, dan untuk ML, kita melihat loss regresi (MAE, RMSE, Huber), serta loss klasifikasi (cross-entropy, hinge loss, KL loss). Keduanya adalah contoh mengoptimalkan fungsi objektif.

Optimisasi multi-objektif 

Sering kali, kita ingin mengoptimalkan beberapa tujuan yang kerap saling bertentangan. Perusahaan mungkin ingin memaksimalkan laba sekaligus meminimalkan risiko. Data scientist mungkin ingin meningkatkan akurasi model tanpa mengorbankan interpretabilitas atau keadilan. Tujuan yang saling bersaing seperti ini mendefinisikan masalah optimisasi multi-objektif di mana memperbaiki satu objektif dapat memperburuk yang lain.

Frontier Pareto

Sebuah solusi dikatakan Pareto optimal jika tidak ada objektif yang dapat diperbaiki tanpa membuat setidaknya satu objektif lain menjadi lebih buruk. Himpunan solusi Pareto-optimal membentuk Frontier Pareto, kurva yang terdiri dari trade-off terbaik yang dapat dicapai. Setiap titik pada kurva ini merepresentasikan keseimbangan prioritas yang berbeda.

Sebagai contoh, meningkatkan kompleksitas model mungkin memperbaiki akurasi namun mengurangi interpretabilitas. Model yang lebih sederhana lebih mudah dijelaskan tetapi dapat berkinerja lebih buruk. Frontier Pareto mencakup "trade-off terbaik" dan mengecualikan solusi yang didominasi oleh variabel lain.

Memilih titik yang tepat bergantung pada konteks dan pertimbangan. Anda dapat memberi bobot pada setiap tujuan atau menggunakan batasan kebijakan.

Loss ekspektasian

Ketika hasil tidak pasti, optimisasi meminimalkan loss ekspektasian, yaitu rata-rata loss di semua skenario yang mungkin. Dalam ML, gagasan ini muncul dalam fungsi risiko.

dengan L(Y,f(x)) sebagai loss untuk prediksi tertentu, dan ekspektasi mengambil rata-rata atas distribusi data. Tujuannya adalah menemukan model f yang meminimalkan loss ekspektasian ini. Model ini berkinerja terbaik secara rata-rata, bukan hanya pada sampel individual.

Risiko Bayes

Risiko Bayes adalah batas bawah teoretis dari loss ekspektasian. Secara formal, diberikan oleh rumus berikut.

Secara intuitif, ini adalah "skor sempurna", yaitu nilai terkecil yang dapat dicapai dengan informasi sempurna tentang distribusi data. Semakin dekat kinerja model ke risiko Bayes, semakin optimal model tersebut.

Aplikasi Lintas Disiplin 

Fungsi biaya digunakan di industri mana pun yang membuat keputusan berbasis data. Fungsi ini membantu menyeimbangkan tujuan yang bersaing dan memformalkan arti "lebih baik". Fungsi-fungsi ini menyeimbangkan tujuan yang bersaing dan membimbing optimisasi. Logika yang sama yang digunakan untuk melatih model ML digunakan untuk mengoptimalkan proses dunia nyata.

Aplikasi industri dan use case domain

Dalam manufaktur, misalnya, fungsi biaya mengkuantifikasi kerugian, seperti kerugian persediaan. Fungsi biaya persediaan menyeimbangkan biaya stok berlebih terhadap penalti kekurangan. Kerangka serupa digunakan untuk penjadwalan produksi atau penggunaan energi untuk meminimalkan total biaya ekspektasian dalam ketidakpastian.

Dalam layanan kesehatan, model prediktif menggunakan fungsi biaya untuk menyeimbangkan akurasi dan alokasi sumber daya. Misalnya, model risiko readmisi mengidentifikasi pasien berisiko tinggi sejak dini sehingga klinisi dapat melakukan intervensi dengan panggilan tindak lanjut atau kunjungan rumah. Melewatkan pasien berisiko tinggi lebih mahal daripada menandai pasien berisiko rendah, sehingga fungsi menghukum kesalahan tersebut secara berbeda. 

Sektor keuangan juga menggunakan fungsi objektif. Misalnya, model penilaian kredit memprediksi probabilitas peminjam akan gagal bayar dalam periode waktu tertentu, katakanlah dua belas bulan. Menyetujui peminjam berisiko menghasilkan potensi kerugian finansial, sementara menolak peminjam aman berpotensi kehilangan pendapatan. Model meminimalkan biaya ekspektasian.

Di semua domain ini, fungsi biaya menyeimbangkan trade-off menjadi kuantitas terukur yang dapat digunakan dan dipertimbangkan oleh pengambil keputusan.

Kesimpulan 

Fungsi biaya menyediakan metode untuk mengevaluasi keputusan. Dalam ekonomi, fungsi ini memodelkan trade-off antara output dan efisiensi. Dalam machine learning, fungsi ini mengukur kesenjangan antara prediksi dan kebenaran. 

Dalam ML, fungsi biaya adalah landasan perancangan model. Pilihan fungsi loss menentukan apa yang dianggap model sebagai "keberhasilan." Mean squared error memberi penghargaan pada akurasi keseluruhan, cross-entropy memberi penghargaan pada probabilitas yang terkalibrasi, dan hinge loss memberi penghargaan pada pemisahan yang yakin.

Di semua domain dan industri, logika dasarnya sama: tetapkan sebuah objektif dan optimalkan itu. Fungsi biaya menerjemahkan tujuan yang samar menjadi angka konkret yang membimbing optimisasi.

Fungsi biaya bermanfaat dalam ekonomi, machine learning, manufaktur, keuangan, layanan kesehatan, dan di mana pun seseorang ingin mengkuantifikasi trade-off.

Untuk informasi lebih lanjut, saya sarankan sumber daya DataCamp berikut.

• Introduction to Writing Functions in R
• Quantitative Analyst in R
• R c Function(): Creating Vectors the Easy Way
• Building Financial Reports
• Calculations in Tableau 
• Aggregate Functions in SQL
• Conditional Functions in Spreadsheets