Self-Supervised Learning: Cara Model Belajar Tanpa Data Berlabel

Setiap proyek machine learning pada akhirnya sampai pada titik di mana Anda memerlukan data berlabel, dan pelabelannya memakan waktu serta biaya lebih besar daripada yang mampu ditanggung sebagian besar tim.

Mempekerjakan tim untuk menandai satu juta gambar atau mentranskripsi satu juta klip audio bisa menelan biaya hingga ratusan ribu dolar. Di saat yang sama, internet penuh dengan teks, gambar, audio, dan video tanpa label. Tim ML memiliki lebih banyak data mentah daripada yang akan pernah mereka gunakan, tetapi hampir semuanya tidak disertai label yang dibutuhkan untuk melatih model.

Self-supervised learning tidak memerlukan langkah pelabelan. Pendekatan ini mengubah struktur data itu sendiri menjadi informasi pelatihan. Alih-alih membayar manusia untuk menyebutkan apa isi sebuah gambar atau makna sebuah kalimat, Anda menyiapkan tugas yang datanya sudah bisa jawab sendiri—misalnya menyembunyikan sebuah kata lalu meminta model menebaknya dari kata-kata di sekitarnya.

Dalam artikel ini, saya akan menguraikan cara kerja self-supervised learning, membahas teknik-teknik utamanya, dan menunjukkan perbandingannya dengan pembelajaran supervised, unsupervised, dan semi-supervised.

Apa Itu Self-Supervised Learning?

Self-supervised learning adalah cara melatih model tanpa ada yang secara manual memberi label pada data terlebih dahulu.

Alih-alih seseorang menandai setiap contoh, data memiliki kunci jawabannya sendiri. Model melihat sebagian input, menyembunyikan bagian lain, dan belajar dengan mencoba mengisi kekosongan itu. Tidak perlu intervensi manusia.

Sebagai contoh, Anda dapat mengambil sebuah kalimat, menyembunyikan satu kata, dan meminta model menebaknya dari kata-kata di sekitarnya. "The engineer pushed the ___ to the main branch" memberi model cukup konteks untuk menebak "code" atau "changes" tanpa ada yang memberi tahu jawaban yang benar. Kalimat itu sendiri menjadi labelnya.

Self-supervised learning berada di posisi unik di antara dua kategori. Tujuan pelatihannya mirip supervised learning—ada input yang jelas, target yang jelas, dan fungsi loss yang mengukur seberapa keliru tebakan tadi. Namun karena tidak ada manusia yang membuat target tersebut, orang biasanya mengelompokkannya dengan unsupervised learning, yang juga bekerja pada data mentah tanpa label. Self-supervised learning meminjam mekanisme dari satu sisi dan sumber data dari sisi lainnya.

Bagaimana Self-Supervised Learning Bekerja?

Prosesnya mengikuti pola yang berulang, tidak peduli jenis data apa yang Anda gunakan. Berikut langkah-langkahnya:

1. Mulai dengan data tanpa label: Teks, gambar, audio, video—apa pun, asalkan jumlahnya banyak.
2. Buat tugas pembelajaran dari data itu sendiri: Ini disebut pretext task. Ini bukan tugas yang sebenarnya Anda pedulikan; ini adalah masalah rekaan yang dirancang untuk memaksa model mempelajari sesuatu yang berguna. Menyembunyikan sebuah kata dan memprediksinya adalah salah satu contohnya.
3. Latih model untuk menyelesaikan tugas itu: Model membuat tebakan, memeriksanya dengan nilai sebenarnya, lalu menyesuaikan diri.
4. Pelajari representasi yang berguna: Saat menyelesaikan pretext task, model membangun pemahaman internal tentang struktur data, seperti tata bahasa, konteks, bentuk, dan pola.
5. Adaptasi representasi itu ke tugas downstream: Setelah model mempelajari representasi yang solid, Anda mengarahkannya ke tugas yang sebenarnya ingin Anda selesaikan. Ini adalah downstream task.

Pretext task hanyalah latihan pelatihan. Tidak ada yang menerapkan model untuk menebak kata tersembunyi demi hiburan—nilainya berasal dari representasi yang dipelajari sepanjang proses, yang kemudian ditransfer ke masalah nyata.

Self-Supervised Learning vs Metode Pembelajaran Lain

Cara termudah memahami self-supervised learning adalah melihat di mana ia tumpang tindih dan berbeda dari paradigma pelatihan lainnya.

Self-supervised vs. supervised learning

Supervised learning membutuhkan contoh berlabel untuk setiap input, seperti gambar yang ditandai "dog," atau ulasan yang ditandai "negative." Seseorang harus membuat label tersebut secara manual, yang berarti biaya, waktu, dan batas atas pada seberapa banyak data yang secara realistis dapat Anda gunakan.

Dengan self-supervised learning, model tetap mendapatkan target untuk diprediksi, tetapi targetnya berasal dari data itu sendiri—kata yang disembunyikan atau token berikutnya dalam sebuah urutan. Tidak diperlukan anotasi manusia untuk menghasilkan sinyal pelatihan.

Self-supervised vs. unsupervised Learning

Keduanya bekerja pada data tanpa label, sehingga sering kali membingungkan. Perbedaannya terletak pada tujuannya.

Unsupervised learning mencari struktur tanpa target prediksi spesifik, seperti mengelompokkan pelanggan serupa atau mereduksi dimensi sebuah dataset. Self-supervised learning membangun tugas prediksi eksplisit dari data, lalu melatih model untuk menyelesaikannya. Tujuan prediksi tersebut memberi self-supervised learning loop pelatihan bergaya supervised, meskipun labelnya dihasilkan sendiri.

Self-supervised vs. semi-supervised learning

Semi-supervised learning secara sengaja mencampurkan dataset kecil berlabel dengan dataset lebih besar tanpa label, menggunakan keduanya sekaligus untuk meningkatkan model.

Pretraining self-supervised sama sekali tidak membutuhkan label untuk memulai. Selanjutnya bisa melakukan pretraining sepenuhnya pada data tanpa label, lalu opsional dialihkan ke dataset berlabel untuk fine-tuning. Label, jika ada, muncul setelah pretraining.

Perbandingan self-supervised learning dengan metode lain

Jenis-Jenis Self-Supervised Learning

Metode self-supervised terbagi menjadi beberapa keluarga besar, masing-masing dibangun di sekitar jenis pretext task yang berbeda.

Contrastive learning

Contrastive learning melatih model untuk membedakan contoh yang saling terkait dari yang tidak terkait. Ia menarik representasi contoh serupa agar lebih dekat dan mendorong yang tidak serupa agar lebih jauh, tanpa pernah menggunakan label manual untuk mendefinisikan "serupa."

Dua versi augmentasi dari gambar yang sama dihitung sebagai terkait. Gambar dan caption yang cocok juga dihitung sebagai terkait. SimCLR menerapkan ide ini dalam satu modality, membandingkan potongan atau transformasi berbeda dari gambar yang sama. CLIP menerapkannya lintas modality, menyelaraskan gambar dengan teks yang mendeskripsikannya.

Masked modeling

Masked modeling menyembunyikan sebagian input dan melatih model untuk merekonstruksinya. Ini sama idenya dengan contoh isian-kosong sebelumnya, hanya diterapkan lebih luas.

Dalam bahasa, ini muncul sebagai masked language modeling, yang menyembunyikan beberapa kata dalam kalimat dan memprediksinya dari sisanya. Dalam visi komputer, ini muncul sebagai masked image modeling, yang menyembunyikan patch gambar dan meminta model merekonstruksi piksel yang hilang atau representasi dasarnya.

Autoregressive learning

Autoregressive learning memprediksi elemen berikutnya dalam sebuah urutan menggunakan semua yang ada sebelumnya. Diberi awal sebuah kalimat, model memprediksi kata berikutnya. Setelah mendapat kata itu, ia memprediksi kata selanjutnya, dan seterusnya.

Ini adalah tujuan di balik sebagian besar pretraining model bahasa modern. Sangat cocok untuk teks, karena bahasa memang berurutan dari kiri ke kanan, dan dapat diskalakan secara mulus ke korpus teks yang sangat besar tanpa pengaturan tambahan.

Self-distillation

Self-distillation melatih model dengan menggunakan prediksinya sendiri sebagai target, alih-alih jawaban tetap yang tersembunyi dalam data.

Salah satu pengaturan umum menjalankan dua versi jaringan yang sama—"student" dan "teacher"—pada tampilan berbeda dari input yang sama. Student belajar mencocokkan keluaran teacher, dan teacher diperbarui sebagai rata-rata bergerak yang lambat dari student. DINO dan BYOL adalah pendekatan representatif di sini. Tidak perlu contoh negatif atau input yang dimask, karena model melakukan supervisi sendiri dari konsistensi antar tampilan.

Self-Supervised Learning pada Large Language Models

Self-supervision adalah seluruh tahap pretraining untuk large language models. Setiap LLM besar yang Anda gunakan mempelajari struktur bahasa, fakta, dan pola penalaran tanpa satu pun label buatan manusia, murni dengan menyelesaikan pretext task self-supervised pada teks mentah.

Prediksi token berikutnya

Sebagian besar LLM modern melakukan pretraining pada prediksi token berikutnya: diberi urutan token, prediksi token selanjutnya. Model membaca semua sebelum suatu posisi dan menebak apa yang mengikutinya, memeriksa dirinya terhadap token berikutnya yang sebenarnya, lalu menyesuaikan.

Jika Anda menjalankannya pada triliunan token yang di-scrape dari situs web dan repositori kode, model membangun pemahaman kerja tentang tata bahasa, fakta, dan bahkan pola penalaran di sepanjang jalan. Ini adalah tujuan autoregresif yang sama seperti dibahas sebelumnya, hanya diterapkan pada skala besar.

Masked language modeling

Sebelum pretraining autoregresif mendominasi, model seperti BERT menggunakan pretext task yang berbeda. Alih-alih memprediksi apa yang datang berikutnya, BERT menyembunyikan token acak di seluruh kalimat dan memprediksinya menggunakan konteks dari kedua sisi.

Konteks dua arah itu membuat masked language model andal dalam tugas pemahaman seperti klasifikasi dan tanya jawab, meskipun mereka tidak menghasilkan teks seperti model prediksi token berikutnya.

Belajar dari korpus teks besar

Ini semua tidak bekerja tanpa volume. Pretraining memperoleh data dari halaman web, buku, repositori kode, dan forum, yang disaring dan dideduplikasi menjadi korpus berisi miliaran atau triliunan token. Semakin besar dan beragam korpusnya, semakin umum representasi yang dihasilkan.

Pretraining adalah tempat self-supervision bekerja, tetapi bukan tahap terakhir. Fine-tuning pada contoh instruksi buatan manusia mengajarkannya mengikuti perintah, dan metode optimisasi preferensi seperti RLHF atau DPO menggunakan preferensi manusia yang diperingkat untuk membentuk responsnya. Kedua tahap akhir tersebut membutuhkan data berlabel. Pretraining self-supervised adalah satu-satunya tahap yang tidak membutuhkannya.

Self-Supervised Learning dalam Computer Vision

Computer vision adalah bidang yang sangat kekurangan data berlabel. Bounding box dan segmentation mask jauh lebih lama diproduksi dibanding satu label pada teks, sehingga metode self-supervised sangat berharga di sini.

Contrastive image learning menerapkan ide tarik-mendekat, dorong-men-jauh seperti dibahas sebelumnya, yakni mengambil dua versi augmentasi dari foto yang sama (cropping atau flipping) dan melatih model untuk mengenalinya sebagai terkait, sambil memperlakukan gambar lain dalam batch sebagai tidak terkait. SimCLR adalah contoh terkenal dari pendekatan ini pada gambar.

Masked image modeling mengambil ide isian-kosong dari bahasa dan menerapkannya pada piksel. Idenya adalah menyembunyikan patch gambar dan melatih model untuk merekonstruksi konten yang hilang, baik sebagai piksel mentah maupun sebagai representasi fitur terpelajar. Ini adalah tujuan di balik MAE (Masked Autoencoders).

Penyelarasan gambar-teks melatih model untuk mencocokkan gambar dengan caption yang mendeskripsikannya, menarik pasangan yang cocok ke dalam ruang embedding bersama dan memisahkan yang tidak cocok. CLIP adalah contoh paling dikenal, dan inilah salah satu alasan model yang dilatih dengan cara ini mendukung zero-shot classification—mereka dapat mengenali kategori yang tidak pernah dilatih secara eksplisit, hanya dengan membandingkan gambar terhadap deskripsi teks.

Self-Supervised Learning di Luar Teks dan Gambar

Pretext task selalu mengikuti bentuk data, jadi di mana pun Anda memiliki banyak data tanpa label, biasanya Anda dapat merancang tugas self-supervised di sekitarnya.

Dalam ucapan dan audio, model memprediksi segmen audio yang dimask atau mengontraskan klip berbeda dengan cara yang sama seperti model visi mengontraskan potongan gambar, mempelajari representasi yang berguna untuk tugas seperti pengenalan ucapan tanpa memerlukan data pelatihan yang ditranskripsi sejak awal.

Dalam video, pretext task dapat melibatkan prediksi frame masa depan atau mencocokkan klip yang berasal dari video sumber yang sama, memberi model pemahaman gerak dan struktur temporal yang tidak bisa diberikan oleh satu gambar.

Model multimodal menggabungkan dua atau lebih ide ini sekaligus, menyelaraskan teks, gambar, audio, dan video dalam ruang representasi bersama, mirip dengan bagaimana CLIP menyelaraskan gambar dan teks, hanya diperluas ke lebih banyak jenis data.

Self-supervision bahkan muncul dalam data ilmiah dan sensor—seperti urutan genom atau pembacaan sensor runtun waktu—di mana masking atau memprediksi bagian sinyal memungkinkan model mempelajari struktur dari pengukuran yang awalnya tidak dimaksudkan untuk "dilabeli" sama sekali.

Cara Model Self-Supervised Digunakan pada Tahap Downstream

Pretraining menghasilkan model yang andal menyelesaikan pretext task. Tidak ada yang benar-benar peduli akan hal itu; yang penting adalah apa yang Anda lakukan selanjutnya.

Fine-tuning

Fine-tuning mengambil model hasil pretraining dan melanjutkan pelatihan semua bobotnya, kali ini pada data berlabel untuk tugas yang Anda inginkan. Karena model sudah memahami struktur domain, fine-tuning biasanya membutuhkan jauh lebih sedikit data berlabel dibanding melatih model dari nol.

Linear probing

Linear probing membekukan model hasil pretraining sepenuhnya dan hanya melatih satu lapisan linear di atas keluarannya. Jika pengklasifikasi linear sederhana dapat memisahkan kelas menggunakan fitur beku tersebut, maka representasi hasil pretraining memang menangkap struktur nyata. Ini menjadikan linear probing cara umum untuk menguji kualitas representasi itu sendiri, terpisah dari seberapa baik seluruh model dapat di-fine-tune.

Ekstraksi fitur

Ekstraksi fitur bekerja sama seperti linear probing, tetapi tanpa bagian linear. Anda mengambil representasi beku dan memasukkannya ke algoritma downstream apa pun yang Anda mau. Tugas model hasil pretraining hanyalah menghasilkan embedding yang baik, selebihnya terserah Anda.

Penggunaan zero-shot dan few-shot

Beberapa representasi cukup baik untuk digunakan tanpa pelatihan downstream sama sekali. CLIP melakukan ini dengan memetakan embedding gambar dan sekumpulan label teks kandidat ke ruang yang sama, lalu memilih label yang paling dekat dengan gambar. Few-shot learning mengambil ide yang sama dan menambahkan sedikit contoh berlabel, yang sering kali sudah cukup karena representasi tersebut telah membawa sebagian besar struktur yang dibutuhkan model.

Dengan self-supervised learning, Anda mendapatkan representasi yang dapat digunakan kembali. Anda melakukan pretraining sekali, lalu melakukan fine-tuning, probing, ekstraksi fitur, atau kueri inti yang sama itu untuk sebanyak mungkin tugas downstream yang Anda butuhkan. Sebagian besar pekerjaan mahal terjadi satu kali selama pretraining, bukan satu kali per tugas.

Self-Supervised Learning di Python

Berikut contoh ringan menggunakan model hasil pretraining, bukan sistem self-supervised yang dibangun dari nol—agar Anda mendapatkan gambaran alur kerjanya.

all-MiniLM-L6-v2, tersedia melalui paket sentence-transformers, dilatih awal dengan objective masked language modeling dan kemudian dilatih lebih lanjut dengan objective contrastive pada pasangan kalimat. Bagian self-supervised-nya sudah dilakukan untuk Anda—Anda tinggal memanfaatkan representasi yang dihasilkan.

Sebagai permulaan, pastikan Anda memasang dependensinya:

pip install sentence-transformers scikit-learn

Sekarang ke kodenya:

from sentence_transformers import SentenceTransformer
from sklearn.linear_model import LogisticRegression

# Create unlabeled data
support_tickets = [
    "My order arrived damaged and I need a replacement.",
    "The app crashes every time I try to upload a photo.",
    "I love how fast the checkout process is now.",
    "Can you tell me when my refund will be processed?",
    "The new dashboard layout is so much easier to use.",
    "I can't log in, it keeps saying my password is wrong.",
]

# Load a model pretrained with a self-supervised objective
model = SentenceTransformer("all-MiniLM-L6-v2")

# Obtain learned representations
embeddings = model.encode(support_tickets)
print(embeddings.shape)

Bentuk embedding

Metode .encode() menjalankan setiap tiket melalui model hasil pretraining dan mengembalikan vektor padat yang merepresentasikan maknanya. Dari sana, tugas downstream hanya memerlukan beberapa contoh berlabel, karena embedding sudah membawa sebagian besar struktur:

# Use the representations for a downstream task, 1 = complaint, 0 = positive feedback
labels = [1, 1, 0, 1, 0, 1]

clf = LogisticRegression()
clf.fit(embeddings, labels)

new_ticket = ["The delivery was late and no one responded to my email."]
new_embedding = model.encode(new_ticket)
print(clf.predict(new_embedding))

Prediksi logistic regression

Enam tiket berlabel dan sebuah pengklasifikasi LogisticRegression sudah cukup di sini karena representasi—bukan pengklasifikasinya—yang melakukan sebagian besar pekerjaan.

Kelebihan dan Keterbatasan Self-Supervised Learning

Sekarang saya akan membahas kelebihan dan kekurangan self-supervised learning.

Kelebihan

1. Mengurangi ketergantungan pada data berlabel manual: Pretext task menghasilkan targetnya sendiri, sehingga anggaran pelabelan bukan lagi batas keras untuk seberapa banyak data yang bisa Anda latih
2. Memanfaatkan dataset yang sangat besar: Koleksi teks dan audio skala web menjadi dapat digunakan untuk pelatihan, bukan hanya subset kecil berlabel yang mampu ditandai oleh tim
3. Menghasilkan representasi yang dapat ditransfer: Satu model hasil pretraining dapat mendukung fine-tuning, linear probing, ekstraksi fitur, dan penggunaan zero-shot di beberapa tugas downstream yang berbeda
4. Memungkinkan pretraining skala besar: Inilah yang membuat model foundation masa kini mungkin terjadi sejak awal.

Keterbatasan

1. Kebutuhan komputasi yang besar: Pretraining pada data skala internet membutuhkan perangkat keras dan waktu yang serius, di luar jangkauan sebagian besar tim individu
2. Desain pretext task sangat penting: Pretext task yang dipilih dengan buruk menghasilkan representasi yang tidak mudah ditransfer, tidak peduli seberapa banyak data yang Anda gunakan
3. Representasi hasil belajar dapat mewarisi bias: Pola, celah, atau kemiringan apa pun yang ada dalam data pelatihan akan muncul juga dalam representasi, karena tidak ada yang menyaringnya selama pretraining
4. Kinerja pretraining yang kuat tidak menjamin sukses downstream: Model yang menyelesaikan pretext task dengan baik masih bisa berkinerja kurang baik pada tugas downstream spesifik yang tidak dioptimalkan secara langsung

Mengapa Self-Supervised Learning Penting bagi AI Modern

Self-supervised learning adalah alasan mengapa model foundation mungkin terwujud.

Pretraining pada skala yang dibutuhkan model modern akan mustahil jika bergantung pada label manual. Tidak ada yang memberi label satu triliun token teks atau satu miliar gambar secara manual. Self-supervision membuat pretraining pada koleksi skala internet jadi praktis, lalu menggunakan ulang satu model itu di berbagai tugas downstream alih-alih melatih model terpisah untuk masing-masing tugas.

Perubahan dari banyak model spesifik tugas menjadi satu model umum hasil pretraining yang diadaptasi untuk banyak kegunaan adalah arah yang ditempuh sebagian besar AI modern. Self-supervised learning adalah mekanisme yang membuat perubahan itu mungkin.

Kesimpulan

Self-supervised learning menghasilkan supervisinya sendiri dari struktur data tanpa label alih-alih dari label buatan manusia. Pola umumnya adalah menyembunyikan sebuah kata atau memprediksi token berikutnya. Data menjawab pertanyaannya sendiri, dan model belajar dengan mencoba mendapatkan jawaban yang benar.

Pendekatan utamanya semuanya dibangun di atas ide yang sama dengan cara berbeda. Contrastive learning menarik contoh terkait agar berdekatan dan mendorong yang tidak terkait agar berjauhan. Masked modeling menyembunyikan sebagian input dan melatih model untuk merekonstruksinya. Autoregressive learning memprediksi elemen berikutnya dalam urutan dari semua yang ada sebelumnya. Mekanismenya berbeda, tetapi prinsip dasarnya sama: membiarkan struktur data itu sendiri menyediakan sinyal pelatihan.

Prinsip itulah mengapa self-supervision berada di balik sebagian besar model bahasa, visi, dan multimodal yang sudah Anda gunakan. Prediksi token berikutnya melakukan pretraining LLM masa kini, objective contrastive dan masked melakukan pretraining model visi, dan penyelarasan gambar-teks melakukan pretraining model multimodal yang mengikat keduanya.

Jika Anda ingin belajar membuat LLM dari nol, daftar ke jalur Developing Large Language Models untuk melihat PyTorch, Hugging Face, dan teknik NLP terbaru secara langsung.