Fungsi Sigmoid: Komponen Kunci dalam Data Science

Fungsi sigmoid adalah konsep penting dalam data science dan machine learning, yang mendasari algoritme seperti regresi logistik dan jaringan saraf. Fungsi ini membantu mengonversi data numerik yang rumit menjadi probabilitas yang lebih mudah diinterpretasikan. Atau, lebih tepatnya, dapat dikatakan fungsi ini mentransformasikan masukan bernilai riil (sering kali hasil dari model linear) menjadi keluaran mirip probabilitas antara 0 dan 1.

Karena itu, sigmoid sangat penting untuk tugas seperti memprediksi keluaran biner (keputusan ya/tidak atau benar/salah) dan membuat prediksi yang terinformasi dalam model machine learning klasifikasi. Pada sisa tutorial ini saya akan menjelaskan sifat matematis, penerapan, dan juga beberapa keterbatasannya.

Apa Itu Fungsi Sigmoid?

Pada intinya, fungsi sigmoid adalah persamaan matematika yang memetakan setiap bilangan riil ke nilai antara 0 dan 1, sehingga ideal untuk keluaran probabilistik. Rumusnya diberikan di bawah ini: 

Dengan:

• x adalah masukan ke fungsi.
• e adalah basis logaritma natural (kira-kira 2,718). 

Fungsi sigmoid banyak digunakan dalam data science dengan dua cara utama:

• Klasifikasi biner: Fungsi sigmoid mengubah keluaran model menjadi skor probabilitas, yang kemudian dapat digunakan untuk tugas seperti memprediksi gagal bayar pinjaman, mendeteksi penipuan, atau mengidentifikasi email spam.
• Fungsi aktivasi: Dalam jaringan saraf, fungsi sigmoid menambahkan non-linearitas, yang memungkinkan model mempelajari pola kompleks dalam data.

Sifat Matematis Fungsi Sigmoid

Fungsi sigmoid memiliki beberapa sifat matematis yang menjadikannya pilihan populer untuk berbagai aplikasi. 

Sifat utama

• Rentang: Nilai keluaran fungsi sigmoid selalu berada antara 0 dan 1, itulah sebabnya fungsi ini bekerja baik untuk mengestimasi probabilitas pada tugas seperti klasifikasi biner.
• Monoton: Fungsi ini meningkat secara monoton, artinya saat nilai masukan meningkat, nilai keluarannya juga meningkat, tetapi tidak pernah menurun. Konsistensi ini membantu saat memodelkan hubungan antar variabel.
• Dapat didiferensiasi: Fungsi sigmoid sepenuhnya dapat didiferensiasi, yang berarti turunannya dapat dihitung di titik mana pun. Sifat ini krusial untuk teknik optimisasi seperti backpropagation yang digunakan untuk melatih jaringan saraf. 
• Non-linearitas: Fungsi sigmoid memperkenalkan non-linearitas, sehingga model dapat mempelajari pola dan batas keputusan yang lebih kompleks. Ini penting untuk tugas di mana hubungan linear sederhana tidak memadai.

Memvisualisasikan fungsi Sigmoid

Ciri khas kurva berbentuk S dari fungsi sigmoid adalah fitur yang paling mudah dikenali. Kurva ini menunjukkan bagaimana nilai masukan dipadatkan ke rentang 0 hingga 1.

Berikut visualisasi sederhana:

Kurva berbentuk S dari fungsi Sigmoid: Gambar oleh Penulis

Peran Sigmoid dalam Regresi Logistik

Dalam regresi logistik, fungsi sigmoid digunakan untuk mengonversi kombinasi linear fitur masukan menjadi skor probabilitas:

Secara lebih spesifik, fungsi sigmoid digunakan untuk memodelkan keluaran biner, artinya membantu memprediksi apakah sesuatu termasuk ke salah satu dari dua kategori, seperti "ya" atau "tidak," “gagal bayar” atau “tidak gagal bayar,” "spam" atau "bukan spam."

Fungsi ini mengambil hasil kombinasi linear dari fitur masukan dan mengubahnya menjadi nilai probabilitas antara 0 dan 1. Probabilitas ini merepresentasikan seberapa besar kemungkinan masukan termasuk ke kelas tertentu.

Sebagai contoh, jika keluaran dari persamaan linear adalah dua, fungsi sigmoid akan mengonversinya menjadi probabilitas (misalnya, 0,88), yang menunjukkan peluang 88% bahwa masukan termasuk ke kelas positif. Misalkan ambang batas ditetapkan pada 0,5 untuk menentukan klasifikasi. Kini, jika nilai probabilitas di atas 0,5, model memprediksi kelas positif; jika tidak, model memprediksi kelas negatif.

Mengapa transformasi ini diperlukan sejak awal? Ini diperlukan karena keluaran mentah dari model linear tidak dapat langsung diinterpretasikan sebagai probabilitas. Dengan menggunakan fungsi sigmoid, regresi logistik tidak hanya memberikan klasifikasi, tetapi juga pemahaman probabilistik yang jelas, yang sangat berguna dalam aplikasi seperti prediksi risiko, klasifikasi churn, atau deteksi penipuan. Interpretasi probabilistik ini memungkinkan pengambil keputusan menetapkan ambang batas khusus berdasarkan kebutuhan spesifik suatu tugas.

Aplikasi dalam Jaringan Saraf

Fungsi sigmoid memainkan peran penting dalam jaringan saraf sebagai fungsi aktivasi.

Peran fungsi aktivasi

Peran utama fungsi sigmoid sebagai fungsi aktivasi adalah mengambil jumlah berbobot dari masukan pada lapisan sebelumnya dan mengubahnya menjadi nilai keluaran antara 0 dan 1. Transformasi ini berguna untuk memperkenalkan non-linearitas ke dalam model, yang memungkinkan lapisan tersembunyi dalam deep neural network mempelajari hubungan kompleks dan menyelesaikan masalah yang tidak dapat dipisahkan dengan garis lurus, seperti pengenalan gambar atau pemrosesan bahasa alami.

Masalah gradien menghilang

Namun, fungsi sigmoid memiliki keterbatasan, dengan yang terbesar adalah masalah gradien menghilang. Untuk nilai masukan yang sangat besar atau sangat kecil, keluaran fungsi akan jenuh mendekati 1 atau 0, dan gradiennya menjadi hampir nol. Ini mengakibatkan proses pembelajaran pada jaringan saraf padat melambat karena bobot kini diperbarui terlalu lambat selama pelatihan.

Fungsi aktivasi alternatif

Untuk mengatasi keterbatasan ini, sering digunakan fungsi aktivasi lain seperti ReLU (Rectified Linear Unit) dan Tanh. ReLU lebih sederhana secara komputasional dan menghindari masalah gradien menghilang untuk masukan positif. Tanh, seperti sigmoid, berbentuk S tetapi menghasilkan nilai antara -1 dan 1, sehingga berpusat di nol dan lebih efisien pada skenario tertentu. Alternatif ini sebagian besar telah menggantikan sigmoid pada jaringan yang dalam, kecuali pada lapisan keluaran untuk tugas seperti klasifikasi biner.

Pertimbangan Utama dan Keterbatasan

Meskipun fungsi sigmoid memiliki banyak keunggulan, ada beberapa tantangan yang dapat memengaruhi performanya pada situasi tertentu. 

Masalah kejenuhan

Fungsi sigmoid dapat jenuh ketika nilai masukan terlalu besar (positif) atau terlalu kecil (negatif). Kejenuhan berarti keluaran sangat mendekati 0 atau 1, dan gradien (laju perubahan) menjadi hampir nol. 

Ini bermasalah karena ketika gradien mendekati nol, model kesulitan belajar selama pelatihan. Akibatnya, pembaruan pada metode optimisasi berbasis gradien seperti backpropagation menjadi melambat.

Keluaran tidak berpusat nol

Keterbatasan lain dari fungsi sigmoid adalah keluarannya berada antara 0 hingga 1, dan tidak berpusat di nol. Artinya semua keluaran bernilai positif, yang dapat menggeser distribusi masukan dalam jaringan saraf dan memperlambat optimisasi. Sebaliknya, fungsi seperti Tanh menghasilkan keluaran dari -1 hingga 1, yang membantu menjaga rerata aktivasi lebih dekat ke nol dan mempercepat konvergensi.

Biaya komputasi

Fungsi sigmoid bergantung pada operasi eksponensial, yang secara komputasional lebih mahal dibanding fungsi aktivasi yang lebih sederhana seperti ReLU (Rectified Linear Unit). Sebagai contoh, rumus sigmoid adalah:

Di sini, perhitungan eksponensial lebih berat secara komputasional dibanding operasi pada ReLU, yang hanya melibatkan perbandingan dan fungsi linear, dan diberikan sebagai:

Untuk jaringan saraf modern, terutama yang memiliki banyak lapisan dan neuron, biaya melakukan operasi eksponensial berulang kali akan bertambah, dan di situlah alternatif digunakan.

Kesimpulan

Fungsi sigmoid adalah alat penting dalam data science, khususnya untuk tugas seperti regresi logistik dan sebagai fungsi aktivasi dalam jaringan saraf. Fungsi ini membantu mentransformasikan masukan menjadi probabilitas dan memperkenalkan non-linearitas ke model, menjadikannya mampu menangani pola yang kompleks. Namun, ada tantangan seperti kejenuhan, keluaran yang tidak berpusat nol, dan biaya komputasi yang lebih tinggi, yang dapat memengaruhi efisiensinya pada jaringan yang dalam.

Meskipun teknik modern telah memperkenalkan alternatif, pentingnya fungsi sigmoid dalam membentuk metodologi data science tidak dapat dilebih-lebihkan. Jika Anda ingin mendalami cara kerjanya dan melihatnya secara langsung, pertimbangkan untuk mengeksplorasi kursus dan tutorial interaktif kami tentang jaringan saraf dan regresi logistik. Kursus Introduction to Deep Learning in Python kami adalah salah satu pilihan yang sangat baik.