Zero-Shot Learning: Panduan dengan Contoh

Apa itu Zero-Shot Learning?

Zero-shot learning (ZSL) adalah teknik machine learning yang memungkinkan model menangani tugas atau mengenali hal-hal yang belum pernah ditemui sebelumnya. Ini dilakukan dengan memanfaatkan pengetahuan yang sudah dimiliki dan menghubungkannya ke situasi baru, bahkan tanpa pelatihan khusus untuk situasi tersebut.

Misalkan sebuah model dilatih untuk mengenali hewan tetapi tidak pernah diajarkan tentang zebra selama fase pelatihannya. Dengan ZSL, model tetap bisa memahami apa itu zebra menggunakan sebuah deskripsi. Bagaimana caranya? Izinkan saya menyederhanakannya sedikit (kita akan membahas detail teknisnya sebentar lagi) dan saya jelaskan:

• Model mengetahui tentang hewan dan ciri-cirinya, seperti "berkaki empat", "hidup di sabana", atau "bergaris".
• Model diberi deskripsi baru: "Hewan menyerupai kuda dengan garis hitam putih yang hidup di padang rumput Afrika."
• Dengan menggunakan pemahamannya tentang atribut hewan dan deskripsi yang diberikan, model dapat menyimpulkan bahwa gambar tersebut kemungkinan besar adalah zebra, meskipun belum pernah melihatnya sebelumnya.
• Model membuat inferensi ini dengan menghubungkan titik-titik antara karakteristik hewan yang sudah dikenal dan deskripsi baru.

Bagaimana Cara Kerja Zero-Shot Learning?

Zero-shot learning adalah proses dua tahap (pelatihan dan inferensi) dan menggunakan tiga komponen kunci: model pra-latih, informasi tambahan, dan transfer pengetahuan.

Model pra-latih

ZSL bergantung pada model pra-latih yang telah dilatih pada banyak data. Misalnya, keluarga GPT (untuk bahasa) atau CLIP (untuk keterkaitan gambar-teks). Model-model ini menyediakan landasan pengetahuan umum yang kuat.

Informasi tambahan

Informasi tambahan membantu model memahami hal-hal baru. Ini dapat mencakup:

• Deskripsi teks.
• Atribut atau fitur.
• Asosiasi kata atau vektor.

Transfer pengetahuan

ZSL memetakan kelas yang sudah dikenal dan yang baru ke dalam "ruang semantik" bersama tempat keduanya dapat dibandingkan. Ini sering menggunakan teknik seperti:

• Embedding semantik vector: Cara representasi bersama untuk kategori yang sudah dikenal dan belum dikenal.
• Transfer learning: Memanfaatkan kembali pengetahuan dari tugas serupa untuk menangani tugas baru.
• Model generatif: Membuat contoh tiruan dari kelas yang belum terlihat untuk membantu model belajar.

Pelatihan dan inferensi

ZSL dapat dipahami sebagai proses dua tahap:

1. Pelatihan: Model memperoleh pengetahuan tentang sampel data berlabel dan atributnya.
2. Inferensi: Pengetahuan yang diperoleh diperluas ke kelas baru menggunakan informasi tambahan yang disediakan. Ini terjadi dalam tiga langkah:
• Model mengonversi masukan baru (seperti gambar) menjadi representasi semantik.
• Model membandingkan representasi ini dengan representasi kelas atau deskripsi yang sudah dikenal.
• Model memilih kecocokan terdekat berdasarkan kemiripan.

Pendekatan ini memungkinkan model ZSL untuk secara dinamis mengenali sekumpulan konsep baru yang tidak terbatas seiring waktu, hanya menggunakan deskripsi atau informasi semantik, tanpa perlu data pelatihan berlabel tambahan.

Mari kembali ke contoh klasifikasi hewan kita.

Contoh: Mengklasifikasikan Hewan

Bayangkan kita menggunakan model CLIP, yang dipra-latih pada kumpulan data besar pasangan gambar-teks. Model pra-latih ini memberikan fondasi pengetahuan umum tentang hewan, meskipun tidak dilatih secara eksplisit pada zebra.

Dalam contoh zebra kita, data bantu (informasi tambahan) mencakup deskripsi teks seperti: “Hewan menyerupai kuda dengan garis hitam putih yang hidup di padang rumput Afrika.” dan atribut seperti "berkaki empat", "bergaris", "hidup di sabana." Deskripsi dan atribut ini menghubungkan apa yang diketahui model (ciri umum hewan) dengan kelas yang belum terlihat (zebra).

Lalu, model memetakan kelas yang sudah terlihat (mis., kuda, harimau) dan kelas yang belum terlihat (zebra) ke ruang semantik bersama. Model mengenkode deskripsi zebra ("garis hitam putih, mirip kuda") ke ruang yang sama seperti hewan yang dikenal dan menggunakan pemahamannya tentang hewan seperti kuda dan harimau untuk menalar tentang zebra.

Model membandingkan embedding zebra dengan embedding hewan dan deskripsi yang sudah dikenal (mis., kuda, harimau, "garis hitam putih"). Menggunakan skor kemiripan, model mengidentifikasi zebra sebagai yang paling sesuai dengan deskripsi: "Hewan menyerupai kuda dengan garis hitam putih yang hidup di padang rumput Afrika."

Zero-Shot Learning vs. Few-Shot Learning

Zero-shot learning (ZSL) dan few-shot learning (FSL) adalah dua metode yang membantu model menangani tugas atau objek baru, bahkan ketika hanya ada sedikit atau tidak ada data. Namun, keduanya memiliki perbedaan. Mari kita lihat gambaran umum kedua teknik ini dan perbedaan utamanya:

Mana yang harus dipilih?

ZSL paling tepat ketika Anda tidak memiliki data berlabel untuk digunakan. Ini berguna untuk situasi ketika kategori atau tugas baru muncul yang tidak dilatih oleh model, dan tidak ada waktu atau sumber daya untuk mengumpulkan contoh berlabel.

Contohnya, sebuah toko online mungkin menambahkan kategori produk baru, dan model dapat mengelompokkan item-item ini berdasarkan deskripsi tanpa memerlukan contoh berlabel.

ZSL sangat ideal ketika Anda membutuhkan fleksibilitas dan pengumpulan data berlabel terlalu mahal, lambat, atau tidak memungkinkan.

Di sisi lain, FSL bekerja baik ketika Anda dapat menyediakan sejumlah kecil contoh berlabel (biasanya 1–5) dan membutuhkan model untuk belajar dengan cepat dengan akurasi lebih baik.

Misalnya, jika sebuah chatbot mendapatkan jenis pertanyaan baru seperti "Bagaimana cara membatalkan langganan saya?", menunjukkan hanya beberapa contoh kueri seperti ini dapat membantunya mengklasifikasikan yang serupa secara akurat.

FSL cocok untuk situasi di mana Anda dapat menyediakan beberapa contoh berlabel dan membutuhkan kinerja model yang baik, terutama pada tugas yang menuntut akurasi, seperti dukungan pelanggan atau pencitraan medis.

Penerapan Zero-Shot Learning

Ada begitu banyak area di mana ZSL berguna. Mari lihat beberapa di antaranya.

Pemrosesan teks & bahasa

ZSL banyak digunakan dalam klasifikasi teks, memungkinkan model mengategorikan teks ke label baru tanpa pelatihan sebelumnya.

Sebagai contoh, ZSL dapat memilah email sebagai spam atau bukan spam berdasarkan deskripsi kategori tersebut, tanpa memerlukan contoh berlabel. Kemampuan ini juga bermanfaat bagi chatbot dengan membantunya memahami permintaan pengguna tanpa pelatihan untuk setiap kemungkinan kueri.

Dalam analisis sentimen, ZSL memungkinkan model menentukan apakah ulasan positif atau negatif hanya dengan menafsirkan makna label. ZSL juga berperan dalam moderasi media sosial, mengidentifikasi konten berbahaya atau menyesatkan berdasarkan deskripsi teks, seperti mendeteksi misinformasi yang diberi label “menyebarkan klaim medis palsu,” meskipun model belum pernah menemui kasus seperti itu sebelumnya.

Pengenalan gambar & visual

Dalam klasifikasi gambar, ZSL memungkinkan model mengenali objek yang belum pernah dilihat dengan menghubungkan gambar dengan deskripsi teks. Alat seperti CLIP dapat mengidentifikasi objek yang tidak dikenal, seperti “red panda,” dan menyelaraskan gambar dengan teks, membuat mesin pencari visual lebih efektif dalam mengambil gambar berdasarkan deskripsi pengguna.

ZSL juga berharga dalam pemantauan lingkungan, di mana ZSL mendeteksi perubahan pada citra satelit tanpa data pelatihan berlabel. Misalnya, ZSL dapat mengidentifikasi pembalakan liar dengan mengenali area yang dideskripsikan sebagai “kehilangan tajuk pohon signifikan di wilayah berhutan,” meskipun model tidak secara eksplisit dilatih pada pola deforestasi.

Ritel & rekomendasi

Dalam ritel, ZSL membantu mengklasifikasikan produk baru ke dalam kategori inventaris hanya menggunakan deskripsi tekstual. Model dapat secara otomatis menetapkan item baru ke label seperti “bahan ramah lingkungan” meskipun kategori tersebut tidak disertakan saat pelatihan.

ZSL juga menyelesaikan masalah cold-start dalam sistem rekomendasi dengan menyarankan produk atau konten tanpa data pengguna sebelumnya. Algoritme seperti ZESRec dapat merekomendasikan item dari kumpulan data yang benar-benar baru tanpa tumpang tindih dengan data yang pernah dilihat.

Tantangan Zero-Shot Learning

Meskipun ZSL fleksibel dan dapat menggeneralisasi ke tugas baru, ZSL menghadapi beberapa tantangan.

Representasi pengetahuan

Model ZSL kesulitan merepresentasikan perbedaan yang detail atau halus antar objek. Misalnya, sebuah model mungkin tertukar antara macan tutul dan cheetah karena keduanya dideskripsikan sebagai "kucing besar berbintik", dan deskripsi tersebut tidak menangkap perbedaan yang lebih halus.

Kesenjangan domain

Model ZSL dapat gagal ketika tugas atau data baru sangat berbeda dari apa yang dilatih. Misalnya, model yang dilatih untuk mengenali objek rumah tangga mungkin gagal mengidentifikasi alat medis karena terlalu berbeda.

Kinerja

ZSL sering kurang akurat dibandingkan pembelajaran terawasi (di mana model dilatih pada data berlabel) untuk tugas tertentu. Salah satu solusi untuk tantangan ini adalah menggabungkan ZSL dengan sedikit fine-tuning pada data spesifik untuk meningkatkan akurasi sambil mempertahankan fleksibilitas.

Bias

ZSL bergantung pada data pra-latih, yang mungkin mengandung bias. Ini sering kali dapat menyebabkan prediksi yang tidak adil. Bayangkan model perekrutan yang menggunakan ZSL. Model tersebut bisa saja menguntungkan demografi tertentu jika data pra-latih memiliki bias gender atau ras. Salah satu strategi mitigasi adalah mendeteksi dan mengurangi bias dalam data terlebih dahulu atau menggunakan metode seperti adversarial debiasing untuk membuat model lebih adil.

Interpretabilitas

Sulit untuk memahami bagaimana model ZSL mengambil keputusan, terutama ketika menggunakan penalaran yang kompleks. Dalam mendiagnosis penyakit langka, misalnya, mungkin tidak jelas mengapa model memilih diagnosis tersebut tanpa contoh data pelatihan. 

Skalabilitas

Seiring bertambahnya jumlah tugas atau kategori baru, model ZSL dapat menjadi lambat dan tidak efisien. Sistem rekomendasi berbasis ZSL mungkin kesulitan menangani jutaan produk baru lintas kategori berbeda. Menggunakan metode yang lebih baik untuk mengorganisasi dan mengambil data, seperti pengindeksan yang efisien atau pengelompokan tugas serupa, dapat mengatasi masalah ini dalam beberapa kasus.

Kesimpulan

Zero-shot learning menghindari kebutuhan akan kumpulan data besar berlabel, menghemat waktu dan biaya, serta bekerja baik di banyak bidang, seperti memilah teks, mengenali gambar, mendiagnosis masalah kesehatan, dan memberikan rekomendasi yang dipersonalisasi.

Meskipun ZSL tidak sempurna—kadang kesulitan dengan konsep yang kompleks atau akurasi—ZSL sangat berguna untuk skenario ketika fleksibilitas menjadi kunci dan data terlalu mahal atau langka.