Apa itu Kompleksitas Sampel?

Kompleksitas sampel adalah konsep dalam machine learning yang menentukan jumlah sampel data yang diperlukan untuk mencapai tingkat kinerja pembelajaran tertentu. Pentingnya terletak pada kemampuannya menilai efisiensi suatu algoritma pembelajaran. Algoritma yang lebih efisien membutuhkan lebih sedikit sampel untuk belajar secara efektif, sehingga mengurangi sumber daya yang diperlukan untuk akuisisi dan penyimpanan data.

Penjelasan Kompleksitas Sampel

Kompleksitas sampel adalah fungsi dari banyaknya data yang dibutuhkan agar sebuah algoritma mencapai tujuan pembelajaran tertentu. Ini menjadi dasar dari pertanyaan: "Berapa banyak data yang saya perlukan?" Nilai ini dapat sangat berbeda tergantung pada kompleksitas masalah, keragaman data, dan tingkat ketelitian yang dibutuhkan dalam hasil.

Ada dua jenis kompleksitas sampel yang sering dirujuk: kompleksitas sampel kasus terburuk dan kompleksitas sampel kasus rata-rata. Kompleksitas sampel kasus terburuk mengacu pada jumlah maksimum sampel yang diperlukan untuk mencapai tujuan pembelajaran tertentu, tanpa memperhatikan distribusi data. Sementara itu, kompleksitas sampel kasus rata-rata mempertimbangkan jumlah rata-rata sampel yang dibutuhkan dengan asumsi data mengikuti distribusi tertentu.

Mengapa data scientist dan machine learning engineer perlu memerhatikan kompleksitas sampel? Memahami kompleksitas sampel dapat membantu mereka memastikan jumlah data yang memadai agar model belajar secara efektif. Mereka dapat mempertimbangkan kompleksitas sampel ketika mengumpulkan data, memilih algoritma pembelajaran, dan mengevaluasi kinerja model mereka.

Penjelasan Teknis tentang Kompleksitas Sampel

Untuk mendalami topik ini, kita perlu memperkenalkan beberapa konsep teori pembelajaran statistik, yang menjadi kerangka matematis dari kompleksitas sampel.

Salah satu konsep kunci adalah dimensi VC (Vapnik-Chervonenkis), yaitu ukuran kapasitas atau kompleksitas sebuah model. Ini memberikan batas kuantitatif pada sejauh mana sebuah model dapat melakukan 'mengingat' dan berkaitan erat dengan kemampuannya melakukan generalisasi pada data yang belum pernah dilihat. Dimensi VC yang lebih tinggi menandakan model yang lebih kompleks, yang biasanya membutuhkan ukuran sampel yang lebih besar untuk belajar secara efektif tanpa overfitting.

Teori pembelajaran Probably Approximately Correct (PAC) menyediakan kerangka untuk mengaitkan dimensi VC dengan kompleksitas sampel. Pembelajaran PAC berupaya mengidentifikasi ukuran sampel minimum yang, dengan probabilitas tinggi, menghasilkan hipotesis dalam toleransi kesalahan tertentu dari hipotesis terbaik yang mungkin. Sederhananya, teori ini mencoba menentukan jumlah sampel yang diperlukan untuk mempelajari model yang 'kemungkinan' (dengan keyakinan tinggi) 'kira-kira benar' (dalam margin kesalahan tertentu).

Batas pembelajaran PAC diberikan oleh:

N >= (1/ε) * (ln|H| + ln(1/δ))

dengan:

• N adalah ukuran sampel,
• ε adalah kesalahan maksimum yang dapat diterima (bagian 'kira-kira benar'),
• |H| adalah ukuran ruang hipotesis (terkait dengan dimensi VC),
• δ adalah probabilitas kegagalan yang dapat diterima (bagian 'kemungkinan').

Rumus ini menunjukkan bahwa kompleksitas sampel (N) meningkat seiring meningkatnya kompleksitas model (diukur dengan |H| atau dimensi VC) dan ketelitian yang dibutuhkan (semakin kecil ε), serta menurun ketika kesalahan yang dapat diterima lebih tinggi (semakin besar δ).

Konsep lain yang terkait dengan kompleksitas sampel adalah kesalahan generalisasi, yang mengukur perbedaan antara kinerja model pada data pelatihan dan kinerja yang diharapkan pada data yang belum pernah dilihat. Model dengan kesalahan generalisasi tinggi kemungkinan memiliki kompleksitas sampel yang tinggi, karena membutuhkan lebih banyak data untuk 'belajar' secara efektif.

Singkatnya, kompleksitas sampel terkait erat dengan kompleksitas model (dimensi VC), margin kesalahan yang dapat diterima (ε), probabilitas kegagalan (δ), dan kesalahan generalisasi model. Konsep-konsep yang saling berhubungan ini secara kolektif membentuk dasar pemahaman kita tentang kompleksitas sampel dalam machine learning.

Kompleksitas Sampel pada Berbagai Jenis Machine Learning

Kompleksitas sampel berlaku untuk semua jenis algoritma machine learning tetapi wujudnya berbeda-beda. Misalnya, dalam supervised learning—di mana model belajar dari data berlabel—kompleksitas sampel sering kali dapat dikurangi dengan memperoleh sampel yang lebih beragam dan representatif. Sebaliknya, unsupervised learning—yang tidak menggunakan data berlabel—sering memerlukan ukuran sampel yang lebih besar karena kurangnya panduan selama proses pembelajaran.

Reinforcement learning menangani masalah pengambilan keputusan berurutan, yang berarti kompleksitas sampel di sini melibatkan bukan hanya jumlah sampel tetapi juga kualitas dan variasi situasi yang dihadapi agen. Sementara itu, dalam semi-supervised learning, yang menggabungkan data berlabel dan data tanpa label, kompleksitas sampel sering dipengaruhi oleh rasio data berlabel terhadap data tanpa label.

Contoh Penerapan Nyata Pengelolaan Kompleksitas Sampel

Pertimbangkan perusahaan seperti Netflix, yang menggunakan machine learning untuk merekomendasikan film kepada penggunanya. Jika mereka menggunakan model dengan kompleksitas sampel tinggi, mereka akan membutuhkan sejumlah besar rekam jejak tontonan untuk membuat rekomendasi yang akurat. Sebaliknya, model dengan kompleksitas sampel rendah dapat menghasilkan rekomendasi yang masuk akal dengan lebih sedikit data, sehingga menghemat biaya penyimpanan dan pemrosesan data.

Contoh lain terlihat di bidang medis, di mana pengumpulan data dapat memakan waktu dan mahal. Model diagnostik dengan kompleksitas sampel yang lebih rendah akan membutuhkan lebih sedikit catatan pasien untuk mendiagnosis kondisi secara akurat, sehingga lebih layak diterapkan di dunia nyata.

Cara Mengestimasi Kompleksitas Sampel

Mengestimasi kompleksitas sampel dalam skenario praktis adalah tugas yang bernuansa dan bervariasi sesuai masalah, data, dan model yang dipilih. Berikut beberapa langkah dan panduan umum:

1. Pahami masalah dan modelnya. Kompleksitas masalah pembelajaran dan model yang digunakan berperan penting dalam menentukan kompleksitas sampel. Model kompleks seperti deep neural network memiliki dimensi VC tinggi dan karenanya kompleksitas sampel yang lebih tinggi.
2. Gunakan metode empiris. Salah satu cara praktis untuk mengestimasi kompleksitas sampel adalah melalui pengujian empiris. Mulailah dengan dataset kecil dan tingkatkan ukurannya secara bertahap sambil melacak kinerja model. Titik ketika penambahan data tidak lagi meningkatkan kinerja secara signifikan menunjukkan ukuran sampel yang diperlukan.
3. Manfaatkan batas pembelajaran PAC. Untuk pendekatan yang lebih teoretis, gunakan batas pembelajaran PAC. Batas matematis ini, meskipun sering terlalu longgar untuk aplikasi praktis, dapat memberikan perkiraan kasar ukuran sampel yang diperlukan untuk tingkat kinerja tertentu.
4. Pertimbangkan kompleksitas model. Kompleksitas model (misalnya jumlah parameter dalam neural network, kedalaman decision tree) sering terkait dengan kompleksitas sampel. Model dengan kompleksitas lebih tinggi mungkin memerlukan ukuran sampel lebih besar untuk menghindari overfitting. Alat seperti learning curve dapat digunakan untuk memahami hubungan ini.
5. Pahami keragaman data. Keragaman data yang tinggi sering memerlukan ukuran sampel yang lebih besar. Misalnya, jika Anda membangun model pengenalan gambar dan gambarnya sangat beragam, kemungkinan Anda memerlukan lebih banyak data dibandingkan jika gambarnya cukup seragam.
6. Gunakan bootstrapping. Bootstrapping adalah teknik resampling yang dapat digunakan untuk mengestimasi kompleksitas sampel. Dengan membuat banyak subset data dan menilai kinerja model pada masing-masing, Anda dapat memperoleh wawasan tentang seberapa banyak data yang dibutuhkan model untuk belajar secara efektif.
7. Manfaatkan alat dan pustaka. Pustaka seperti scikit-learn di Python menyediakan alat praktis untuk mengestimasi kompleksitas sampel. Misalnya, fungsi `learning_curve` dapat membantu memvisualisasikan bagaimana kinerja model berubah dengan variasi ukuran set pelatihan, sehingga memberi wawasan tentang kompleksitas sampel.

Ingat, estimasi kompleksitas sampel sama banyaknya seni dan sains. Ini memerlukan keseimbangan cermat antara sumber daya yang tersedia, kompleksitas model, keragaman data, dan kinerja model yang dibutuhkan.

Apa Manfaat Mengukur Kompleksitas Sampel?

Memahami kompleksitas sampel dapat memberikan beberapa manfaat. Ini menjadi dasar untuk memperkirakan jumlah data yang diperlukan untuk sebuah proyek machine learning, sehingga mengurangi risiko underfitting atau overfitting. Selain itu, hal ini membantu alokasi sumber daya yang efisien dengan mencegah pengumpulan dan penyimpanan data yang tidak perlu. Dengan memungkinkan perbandingan yang jelas antara efisiensi pembelajaran berbagai algoritma, kompleksitas sampel dapat memandu pemilihan algoritma pembelajaran yang paling tepat untuk suatu masalah.

Apa Tantangan dalam Kompleksitas Sampel?

Meski memiliki keunggulan, menangani kompleksitas sampel dapat menimbulkan tantangan. Mengestimasi kompleksitas sampel secara akurat memerlukan pemahaman mendalam tentang masalah pembelajaran, algoritma, dan data, yang mungkin tidak selalu tersedia. Selain itu, kompleksitas sampel mengasumsikan bahwa lebih banyak data selalu lebih baik, yang tidak berlaku jika datanya bising atau tidak relevan. Lebih jauh, algoritma dan distribusi data yang berbeda dapat berdampak signifikan pada kompleksitas sampel, menjadikannya variabel yang kompleks untuk dikelola.

Mengapa Machine Learning Engineer Biasanya Tidak Mempertimbangkan Kompleksitas Sampel

Menurut saya, kompleksitas sampel baik untuk manajemen proyek tetapi dalam sebagian besar kasus diabaikan oleh machine learning engineer.

Mengapa?

1. Mereka memiliki akses ke dataset besar. Dengan ketersediaan dataset besar, kompleksitas sampel menjadi kurang menjadi perhatian. Model dapat dilatih pada jutaan atau miliaran contoh untuk meningkatkan kinerja.
2. Fokus pada kinerja model. Engineer sering berfokus pada memaksimalkan metrik seperti akurasi, skor F1, dan sebagainya. Kompleksitas sampel mungkin kalah prioritas dibanding kinerja model mentah.
3. Kekurangan pengetahuan. Beberapa engineer mungkin tidak familiar dengan teori seputar kompleksitas sampel.
4. Model pralatih berukuran besar. Berkat akses terbuka ke model pralatih besar, engineer tidak lagi perlu mengkhawatirkan ukuran sampel. Mereka dapat mencapai hasil mutakhir hanya dengan 100 sampel.

Secara umum, metrik seperti akurasi dan kapabilitas model diprioritaskan dibanding kompleksitas sampel. Namun, seiring ukuran model meningkat dan data menjadi lebih langka di bidang tertentu, engineer ML kemungkinan akan lebih memprioritaskan efisiensi sampel.

Ingin belajar lebih lanjut tentang AI dan machine learning? Lihat sumber berikut:

• Kursus Understanding machine learning
• Kursus Introduction to ChatGPT
• Machine learning cheat sheet
• Apa itu machine learning?