Meta Learning: Bagaimana Mesin Belajar untuk Belajar

Secara historis, banyak model machine learning dirancang untuk pembelajaran spesifik tugas, yang memerlukan dataset besar untuk setiap tugas baru. Mengingat keterbatasan teknis pada masanya, pendekatan paling efektif adalah melatih model machine learning dengan dataset besar yang spesifik terhadap tugas. Akibatnya, model-model mutakhir sangat efektif memprediksi hasil dari masalah yang memang mereka latih. Namun, model-model ini masih jauh dari kemampuan manusia dan kapasitas luar biasa kita untuk mempelajari tugas baru berdasarkan pengalaman sebelumnya.

Menambahkan strategi pembelajaran adaptif ke model machine learning adalah misi utama meta learning, sub-bidang machine learning yang berfokus pada peningkatan cara model mempelajari tugas baru secara efisien. Meta learning berfokus pada mengajarkan model untuk beradaptasi cepat dengan pelatihan ulang dan intervensi manusia yang terbatas, serta meningkatkan performa seiring waktu.

Dalam artikel ini, kami akan memberikan pengantar meta learning dan bagaimana hal ini merevolusi machine learning. Kami akan membahas sisi teknis model meta learning, pendekatan dan aplikasi yang paling umum, serta manfaat dan tantangannya. Setelah itu, saya mendorong Anda untuk mencoba jalur keterampilan AI Fundamentals kami agar benar-benar mahir membahas berbagai konsep terkait dalam AI.

Apa itu Meta Learning?

Riset meta learning sudah ada sejak 1980-an, tetapi bidang ini mendapatkan relevansi pada 2010-an seiring bangkitnya jaringan saraf, dan, lebih baru lagi, setelah berkembangnya AI generatif. Meta learning sebagai sub-bidang machine learning berfokus pada mengajarkan model cara mempelajari tugas baru dengan cepat dan efisien. Ini terinspirasi oleh kemampuan manusia untuk “belajar cara belajar,” bisa dibilang begitu.

Bayangkan Anda ingin belajar menyelesaikan soal matematika dengan cepat. Pendekatan tradisional adalah menghafal solusi untuk banyak soal berbeda, sehingga ketika melihat soal yang familiar, Anda bisa langsung mengingat jawabannya. Namun, pendekatan ini kesulitan saat Anda menemui soal yang benar-benar baru.

Sebaliknya, bagaimana jika Anda fokus mempelajari strategi pemecahan masalah secara umum alih-alih menghafal solusi spesifik? Anda bisa mempelajari teknik problem-solving, mengidentifikasi pola, dan mengembangkan intuisi untuk menghadapi tantangan baru. Dengan begitu, saat menghadapi masalah baru, Anda bisa cepat beradaptasi dan menerapkan metode yang tepat, meski belum pernah melihat persis soal itu sebelumnya.

Inilah esensi meta learning. Machine learning tradisional menghafal pola dari dataset besar untuk satu tugas, sementara meta learning melatih model agar cepat beradaptasi ke tugas baru dengan mempelajari bagaimana cara belajar secara efektif.

Cara Kerja Meta Learning

Anda bisa menganggap model meta learning sebagai sebuah sistem yang mencakup subsistem pembelajar yang diadaptasi secara dinamis dengan memanfaatkan pengalaman dari episode pembelajaran sebelumnya atau dari berbagai tugas. 

Berkebalikan dengan model machine learning tradisional yang hanya mempertimbangkan satu tugas dengan dataset tetap dan besar, meta model terekspos pada beragam tugas untuk mengekstrak pola yang dapat digeneralisasi. Biasanya, setiap masalah dikaitkan dengan dataset pelatihan yang lebih kecil dan spesifik terhadap tugas.

Tujuan proses meta training adalah mengekstrak informasi umum tentang proses belajar pada tiap tugas individual untuk meningkatkan kemampuan model dalam menangani tugas baru dengan sedikit pelatihan ulang.

Mengembangkan model meta learning mengikuti proses dua langkah yang mencontoh ulang proses pelatihan pada machine learning tradisional:

• Meta-training. Pada fase ini, model dilatih pada banyak tugas, dengan setiap tugas terdiri dari sampel data pelatihan (bersama-sama membentuk meta train dataset) dan, dalam banyak kasus, metadata model seperti parameter model dan ukuran performa. Tujuannya adalah menemukan pola umum yang dapat digeneralisasi untuk membekali model dengan pengetahuan luas yang bisa digunakan pada tugas baru.  
• Meta-testing. Selama meta testing, model diekspos pada tugas baru yang belum pernah ditemui selama pelatihan. Tujuannya adalah mengevaluasi performanya dengan mengukur seberapa baik dan cepat model beradaptasi ke lingkungan dan tugas baru.

Proses meta-training dan meta-testing diilustrasikan pada gambar berikut.

Meta learning untuk klasifikasi gambar. Sumber: Dida

Meta learning dapat digunakan untuk menyelesaikan jenis machine learning apa pun, baik supervised learning, unsupervised learning, maupun reinforcement learning.

Pendekatan Umum dalam Meta Learning

Ada beberapa pendekatan pada meta learning. Di bawah ini Anda dapat menemukan tiga yang paling umum:

Meta learning berbasis model

Model meta learning berbasis model dirancang khusus untuk pembelajaran cepat, yakni dapat memperbarui parameternya dengan cepat hanya dalam beberapa langkah pelatihan. Pembaruan cepat ini dapat dicapai oleh arsitektur internalnya atau dikendalikan oleh model meta-learner lain.

Berikut adalah daftar strategi meta learning berbasis model yang paling umum:

• Memory-Augmented Neural Networks (MANNs). Dipresentasikan oleh peneliti Google dalam paper tahun 2016, MANN adalah model jaringan saraf yang dilengkapi modul memori eksternal yang memungkinkan mereka cepat mengodekan dan mengambil informasi baru serta membuat prediksi akurat hanya setelah beberapa sampel. Saat data baru dimasukkan ke model, jaringan ini menggeser biasnya melalui pembaruan bobot sekaligus memodulasi keluarannya dengan belajar untuk cepat melakukan cache representasi dalam penyimpanan memori.
• Meta Networks. Meta Networks, atau MetaNets, adalah jenis model meta learning yang diusulkan oleh Munkhdalai dan Yu dalam paper tahun 2017. Meta networks terdiri dari dua model: meta learner dan base learner. Base learner bekerja seperti jaringan saraf tradisional: ia menerima input tugas dan mengirimkan meta-informasi tentang ruang tugas saat ini ke meta learner. Informasi ini digunakan oleh meta learner untuk cepat memperbarui bobot model.

Meta learning berbasis metrik

Meta learning berbasis metrik berfokus pada pembelajaran metrik jarak yang menghitung kesamaan atau ketidaksamaan antara pasangan titik data. Skor tinggi dikembalikan ketika objek serupa dan skor rendah dikembalikan ketika gambar atau objek berbeda. 

Gagasan inti pendekatan ini mirip dengan algoritma nearest neighbor, seperti K-NN atau K-means, yang menggunakan jarak antar titik data untuk melakukan klasifikasi atau klastering.

Dibandingkan dengan masalah klasifikasi tradisional, yang memerlukan banyak data pelatihan, model berbasis metrik dapat bekerja hanya dengan beberapa contoh.

Beberapa model paling umum yang memanfaatkan strategi meta learning berbasis metrik adalah:

• Convolutional Siamese Neural Network. Jaringan Siamese adalah jenis jaringan saraf yang dirancang untuk tugas pengukuran keserupaan atau metric learning, seperti verifikasi wajah. Model ini terdiri dari dua jaringan kembar dan keluarannya dilatih bersama di atas dengan sebuah fungsi untuk mempelajari hubungan antara pasangan sampel data masukan. Jaringan kembar tersebut serupa, berbagi bobot dan parameter jaringan yang sama.
• Matching networks. Dikembangkan oleh peneliti Google dalam paper tahun 2016, Matching networks menggunakan metrik jarak bernama cosine similarity antara dua sampel untuk melakukan klasifikasi. Arsitektur matching network menggunakan jaringan saraf yang ditambah memori, terdiri dari memori eksternal dan mekanisme atensi untuk mengakses memori.
• Prototypical networks. Dipresentasikan dalam paper 2017 oleh Snell dkk., prototypical networks mempelajari ruang metrik di mana klasifikasi dapat dilakukan dengan menghitung jarak ke representasi prototipe tiap kelas. Model ini didasarkan pada premis bahwa terdapat embedding di mana sejumlah titik mengelompok di sekitar satu representasi prototipe untuk setiap kelas. 

Meta learning berbasis optimisasi

Jaringan saraf menggunakan backpropagation gradien untuk secara bertahap mengurangi galat model dan meningkatkan performanya. Fungsi optimisasi bertugas menemukan cara paling efektif untuk menghitung ulang bobot dan bias jaringan. Namun, kebanyakan fungsi optimisasi populer dirancang untuk menangani jumlah data pelatihan yang sangat besar, bukan dataset kecil.

Meta learning berbasis optimisasi berfokus pada perancangan fungsi optimisasi inovatif yang dapat memperbarui parameter model hanya dengan dataset pelatihan kecil, sehingga model dapat cepat beradaptasi ke tugas baru.

Di antara model meta learning berbasis optimisasi yang paling populer adalah:

• LSTM meta-learner. Pendekatan ini, dipresentasikan oleh Ravi dan Larochelle pada 2017, menggunakan jaringan long-short term memory (LSTM) untuk melatih meta-learner yang dapat mempelajari algoritma optimisasi persis yang digunakan untuk melatih pengklasifikasi jaringan saraf learner lain, sehingga mempercepat pembaruan parameter untuk konvergensi pelatihan yang cepat pada skenario tugas baru dengan data pelatihan terbatas.
• Model-Agnostic Meta Learning (MAML). Dipresentasikan oleh Finn dkk. dalam paper tahun 2017, MAML kompatibel dengan model apa pun yang dilatih dengan gradient descent dan dapat diterapkan pada berbagai masalah pembelajaran berbeda, termasuk klasifikasi, regresi, dan reinforcement learning. MAML didasarkan pada asumsi bahwa melatih parameter awal model dalam hanya beberapa pembaruan gradien akan menghasilkan pembelajaran cepat pada tugas baru. Tujuannya adalah menentukan parameter model yang peka terhadap perubahan pada suatu tugas sehingga perubahan kecil pada parameter tersebut menghasilkan peningkatan besar pada fungsi loss tugas. 
• Reptile. Dikembangkan oleh OpenAI, Reptile adalah algoritma meta learning berbasis gradien ordo pertama. Algoritma ini berulang kali mengambil sampel sebuah tugas, melakukan stochastic gradient descent padanya, dan memperbarui parameter awal menuju parameter akhir yang dipelajari pada tugas tersebut. Reptile merupakan penerapan algoritma Shortest Descent pada pengaturan meta learning, dan secara matematis mirip dengan MAML, dengan efisiensi komputasi dan performa yang serupa.

Meta Learning dan Jenis Pembelajaran Lain

Berkebalikan dengan metode supervised learning tradisional yang menuntut data dalam jumlah besar, meta learning menawarkan perubahan paradigma, memberdayakan model AI untuk menggeneralisasi lintas tugas, beradaptasi cepat dengan data minimal, dan meningkatkan performa seiring waktu.

Mari kita analisis beberapa aplikasi yang paling menjanjikan:

Few-shot learning

Few-shot learning adalah sub-bidang machine learning di mana model belajar mengenali pola dan membuat prediksi berdasarkan sejumlah kecil contoh pelatihan. Few-shot learning menekankan generalisasi ketimbang menghafal, menantang kebutuhan untuk fine-tuning yang ekstensif. Bagi para pendukung pendekatan ini, kuncinya terletak pada kemampuan membedakan struktur dan fitur mendasar yang mendefinisikan suatu kategori.

Few-shot learning berada di bawah payung lebih luas n-shot learning, yang mencakup berbagai teknik berdasarkan jumlah contoh yang disediakan: 

• Zero-shot learning: Tidak ada contoh yang diberikan; model hanya mengandalkan pengetahuan atau deskripsi sebelumnya. 
• One-shot learning: Hanya satu contoh per kelas yang disediakan. 
• Two-shot learning: Dua contoh per kelas digunakan untuk pelatihan. 
• Few-shot learning: Sejumlah kecil contoh (biasanya antara 3 dan 10) tersedia untuk tiap kelas.

Contoh zero-shot, one-shot, dan few-shot learning. Sumber: LinkedIn

Transfer learning

Transfer learning memungkinkan model yang dilatih untuk satu tugas digunakan kembali untuk tugas lain yang terkait, sering kali dengan fine-tuning pada model pra-latih. Meta learning, di sisi lain, berfokus pada mengajarkan model cara beradaptasi cepat ke tugas baru dengan pelatihan ulang minimal. Sementara meta learning dapat meningkatkan transfer learning dalam beberapa kasus, seperti dengan mengoptimalkan hiperparameter atau memilih strategi fine-tuning terbaik, meta learning bukan komponen yang wajib dalam transfer learning. Banyak pendekatan transfer learning hanya mengandalkan teknik fine-tuning konvensional alih-alih meta learning.

Sistem rekomendasi

Sistem rekomendasi menggunakan umpan balik pengguna untuk menemukan item baru yang relevan bagi mereka atau bagi orang lain dengan asumsi bahwa pengguna yang memiliki preferensi serupa di masa lalu kemungkinan memiliki preferensi serupa di masa depan.

Tujuan sistem rekomendasi adalah memberikan rekomendasi yang dipersonalisasi kepada pengguna berdasarkan preferensi dan perilaku masa lalu mereka. Meta learning dapat membantu mencapai tujuan ini dengan mempelajari cara mengoptimalkan algoritma rekomendasi untuk tiap pengguna. 

Sistem meta-rekomendasi terdiri dari dua lapisan: sistem rekomendasi dasar dan pengoptimal tingkat meta. Sistem rekomendasi dasar menghasilkan rekomendasi bagi pengguna berdasarkan perilaku masa lalu mereka, sementara pengoptimal tingkat meta mempelajari cara mengoptimalkan sistem rekomendasi dasar untuk tiap pengguna.

Automated machine learning (AutoML)

Automated machine learning, atau AutoML, adalah proses mengotomatiskan seluruh proses pembangunan model machine learning. Ini mencakup tugas seperti prapemrosesan data, rekayasa fitur, pemilihan model, dan penalaan hiperparameter.

Teknik meta learning dapat mendukung proses ini, misalnya dengan mengotomatiskan optimisasi dan adaptasi hiperparameter, atau bahkan menemukan model yang paling tepat untuk menyelesaikan tugas tertentu.

Manfaat dan Tantangan Meta Learning

Ada beberapa alasan kuat mengapa peneliti machine learning semakin beralih ke strategi meta learning untuk mengembangkan model mereka.

• Efisiensi pelatihan: Meta learning mengurangi waktu pelatihan dengan menghindari kebutuhan melatih model menggunakan dataset raksasa dan memungkinkan fine-tuning dengan data terbatas.

• Mengurangi biaya operasional: Meta learning menurunkan biaya dengan meniadakan kebutuhan melatih model dari nol, di mana baik perolehan data maupun penggunaan sumber daya komputasi untuk melatih model bisa mahal. 

• Adaptabilitas dan ketergunaan ulang yang lebih baik: Meta learning adalah teknik kunci yang memungkinkan model beradaptasi ke banyak skenario dan tugas, sehingga meningkatkan potensi dan kegunaannya.

• Performa model: Selain meningkatkan adaptabilitas, meta learning juga dapat meningkatkan akurasi model machine learning yang ada.

Namun, meta learning bukan strategi yang cocok untuk semua situasi. Ada keterbatasan dan potensi jebakan yang harus ditangani dengan cermat. Beberapa tantangan paling umum dalam meta learning adalah:

• Ketidaksesuaian domain: Meta learning lebih mungkin bekerja dengan baik ketika tugas sumber dan target memiliki keterkaitan tertentu. Jika tugas baru sangat berbeda, pengetahuan yang dapat digeneralisasi mungkin tidak cukup untuk menjalankan tugas baru secara akurat, dan bahkan dapat menurunkan performa pada semua tugas.

• Kelangkaan data: Sejumlah data pelatihan selalu dibutuhkan. Jika data pelatihan sangat terbatas atau kualitasnya buruk, model kemungkinan mengalami underfitting.

• Overfitting: Meta learning juga tidak kebal terhadap overfitting. Jika model terlalu banyak di-fine-tune pada suatu tugas, ia mungkin mempelajari fitur spesifik tugas yang tidak menggeneralisasi dengan baik ke data baru.

• Kompleksitas dan biaya: Terkadang, tugas target begitu kompleks sehingga proses fine-tuning dapat menjadi menantang, mahal secara komputasi, dan memakan waktu. 

Arah Masa Depan dan Peluang Riset

Meta learning adalah pendekatan desain kritis untuk meningkatkan efisiensi dan potensi jaringan saraf. Dapat dikatakan bahwa revolusi AI saat ini tidak akan mungkin terjadi tanpa banyak teknik transfer learning yang tersedia. 

Bidang ini berkembang pesat, dengan beberapa area yang memerlukan riset lebih lanjut, termasuk:

• Efisiensi sampel. Berapa banyak data yang diperlukan agar model menjadi efektif pada tugas baru? Ini adalah pertanyaan sentral dalam meta learning. Sementara strategi short-shot learning menunjukkan bahwa model dapat belajar dengan data terbatas, masih ada ruang lebar untuk meningkatkan efisiensi dan fleksibilitas model. 
• Keberagaman tugas. Teknik meta learning cenderung bekerja lebih baik ketika tugas-tugas yang dihadapi saling terkait. Namun, riset lebih lanjut krusial untuk memajukan model meta learning yang dapat menggeneralisasi di berbagai tugas tanpa overfitting.
• Teknik lanjutan. Meta learning adalah katalis utama inovasi dalam beberapa teknologi paling menjanjikan dan bernilai saat ini, termasuk reinforcement learning, robotika, dan transformer.

Kesimpulan

Seiring model machine learning menjadi semakin besar dan kompleks, menemukan teknik baru untuk membuatnya lebih efisien dan lebih serbaguna sangat penting agar industri AI dapat memenuhi janjinya, membuat perhitungan bisnisnya masuk akal, dan memajukan keberlanjutan di sektor ini.

Meta learning punya banyak hal untuk disampaikan dalam hal ini. Bidang riset ini berkembang cepat, menawarkan seperangkat teknik dan strategi yang krusial untuk memajukan kapabilitas AI. Nantikan kabar terbaru seputar meta learning, AI, dan banyak lagi bersama DataCamp:

• Apa itu Few-Shot Learning? Mengungkap Wawasan dengan Data Terbatas

• Apa itu Deep Learning? Tutorial untuk Pemula

• Memahami Superalignment: Menyelaraskan AI dengan Nilai-Nilai Manusia

• Apa itu AI Alignment? Memastikan AI Bermanfaat bagi Manusia

• Apa itu Transfer Learning dalam AI? Panduan Pengantar dengan Contoh

• Konsep AI Generatif