Zero-Shot Prompting: Contoh, Teori, Penggunaan

Apa Itu Zero-Shot Prompting?

Zero-shot prompting adalah teknik yang memanfaatkan kemampuan generalisasi LLM untuk mencoba tugas baru tanpa pelatihan atau contoh khusus sebelumnya.

Teknik ini memanfaatkan pra-pelatihan LLM yang luas pada kumpulan data besar dan beragam, sehingga memungkinkan mereka menerapkan pengetahuan umum ke tugas baru hanya berdasarkan instruksi yang jelas dan ringkas. Walau sangat efektif, keberhasilannya bergantung pada kompleksitas tugas dan kualitas prompt.

Singkatnya, Anda mendeskripsikan tugas yang ingin dilakukan model tanpa memberi contoh. Model kemudian mengakses pengetahuan pra-pelatihan yang luas untuk menghasilkan respons yang relevan. 

Pendekatan ini berbeda dengan one-shot atau few-shot prompting, di mana Anda memberikan satu atau beberapa contoh untuk memandu keluarannya.

Zero-shot prompting menampilkan kemampuan LLM yang mengesankan untuk menggeneralisasi pemahamannya di berbagai domain. Dengan instruksi yang jelas, Anda dapat memanfaatkan basis pengetahuan model untuk menghasilkan konten yang kreatif, informatif, atau spesifik tugas tanpa pelatihan tambahan.

Mari kita lihat contoh cepat:

Prompt: Klasifikasikan hewan berdasarkan karakteristiknya. Hewan: Makhluk ini memiliki delapan kaki, membuat jaring, dan sering memakan serangga.

Output: Laba-laba.

Pada contoh ini, prompt tidak memberikan contoh cara mengklasifikasikan hewan atau klasifikasi apa yang digunakan. Selain itu, prompt dengan jelas mendefinisikan tugas (klasifikasikan hewan) berdasarkan karakteristik yang diberikan.

Large language model menggunakan pengetahuan luasnya tentang hewan dan sifat-sifatnya untuk melakukan klasifikasi dan mengidentifikasi dengan benar bahwa makhluk yang dideskripsikan adalah laba-laba berdasarkan karakteristik kunci yang diberikan. Model hanya memberikan klasifikasi yang diminta, menunjukkan kemampuannya mengikuti instruksi dengan tepat.

Zero-shot prompting menghilangkan kebutuhan akan fine-tuning khusus per tugas, secara dramatis memperluas rentang tugas yang dapat dilakukan model, dan membuat kemampuan canggih lebih mudah diakses oleh pengguna non-teknis.

Cara Kerja Zero-Shot Prompting

Untuk memahami cara kerja zero-shot prompting, dua aspek penting harus jelas: pra-pelatihan LLM dan konsep perancangan prompt.

Pra-pelatihan model bahasa

LLM menjalani pra-pelatihan ekstensif pada dataset yang sangat besar, yang menjadi fondasi kemampuan zero-shot mereka. Proses pra-pelatihan adalah sebagai berikut:

1. Pengumpulan data: LLM dilatih pada data teks beragam dari berbagai sumber. Jumlah datanya bisa mencapai ratusan miliar kata.
2. Tokenisasi: Teks dipecah menjadi unit lebih kecil yang disebut token, yang bisa berupa kata, sub-kata, atau karakter.
3. Arsitektur jaringan saraf: Model, biasanya berbasis arsitektur transformer, memproses token-token ini melalui beberapa lapisan jaringan saraf.
4. Pelatihan prediktif: Model dilatih untuk memprediksi token berikutnya dalam suatu urutan, berdasarkan token sebelumnya.
5. Pengenalan pola: Melalui proses ini, model belajar mengenali pola dalam bahasa, termasuk tata bahasa, sintaksis, dan relasi semantik.
6. Perolehan pengetahuan: Model membangun basis pengetahuan luas yang mencakup berbagai topik dan domain.
7. Pemahaman kontekstual: Model belajar memahami konteks dan menghasilkan respons yang sesuai dengan konteks.

Hal ini memberi LLM pengetahuan, pemahaman, dan kemampuan beradaptasi yang diperlukan untuk zero-shot prompting. Pra-pelatihan yang luas ini memungkinkan model melakukan tugas yang tidak secara eksplisit dilatih, hanya dengan memahami dan merespons prompt berbahasa alami.

Perancangan prompt

Perancangan prompt yang efektif sangat penting bagi keberhasilan zero-shot prompting. Ini menjembatani niat pengguna dan kemampuan model. Lalu bagaimana memastikan prompt kita efektif? Mari kita lihat strategi berikut:

Instruksi yang jelas

Prompt harus memberikan instruksi yang eksplisit dan tidak ambigu yang menyampaikan tugas yang diinginkan kepada LLM.

Contoh: "Terjemahkan kalimat bahasa Inggris berikut ke bahasa Prancis:" Prompt ini dengan jelas menyatakan tugas (penerjemahan) dan menentukan bahasa sumber (Inggris) dan target (Prancis), sehingga tidak menyisakan ruang untuk salah tafsir.

Pembingkaian tugas

Bingkai tugas dengan cara yang memanfaatkan pengetahuan dan kemampuan model yang sudah ada.

Contoh: "Klasifikasikan sentimen ulasan film ini sebagai positif, negatif, atau netral:" Prompt ini membingkai tugas sebagai masalah klasifikasi dengan kategori spesifik, yang selaras dengan pelatihan model dalam tugas klasifikasi teks.

Penyediaan konteks

Sertakan konteks atau informasi latar yang relevan untuk membantu model memahami kebutuhan dan batasan tugas.

Contoh: "Dengan asumsi 'Python' dalam konteks ini merujuk pada bahasa pemrograman, jelaskan apa itu Python:" Prompt ini memberikan konteks penting (Python sebagai bahasa pemrograman, bukan ular) untuk memastikan model berfokus pada informasi yang relevan.

Spesifikasi format output

Definisikan dengan jelas format respons yang diharapkan.

Contoh: "Sebutkan tiga penyebab utama perubahan iklim, masing-masing dalam poin bullet terpisah." Prompt ini menentukan jumlah butir (tiga) dan format (poin bullet) untuk respons, memastikan output terstruktur.

Hindari ambiguitas

Gunakan bahasa yang tepat dan hindari instruksi yang samar atau terlalu terbuka yang dapat menimbulkan salah tafsir oleh model.

Contoh: "Uraikan langkah-langkah spesifik dalam siklus air, mulai dari evaporasi." Prompt ini menggunakan bahasa yang tepat ("langkah-langkah spesifik," "siklus air") dan memberikan titik awal, sehingga mengurangi kemungkinan salah tafsir.

Gunakan bahasa alami

Susun prompt dengan cara yang terasa natural dan percakapan.

Contoh: "Bayangkan Anda seorang konselor karier. Nasihat apa yang akan Anda berikan kepada lulusan perguruan tinggi yang baru mencari pekerjaan pertama mereka?" Prompt ini menggunakan nada percakapan dan menyiapkan skenario yang mudah dipahami, mendorong respons yang lebih natural dan menarik dari model.

Penyempurnaan iteratif

Jika hasil awal tidak memuaskan, sempurnakan prompt dengan menambah spesifikasi atau menyesuaikan bahasa.

Contoh: Prompt awal: "Ceritakan tentang energi terbarukan." Prompt yang disempurnakan: "Jelaskan tiga jenis sumber energi terbarukan yang paling umum, manfaatnya, dan tantangan implementasi saat ini." Ini menunjukkan bagaimana prompt yang awalnya luas dapat disempurnakan untuk menghasilkan respons yang lebih fokus dan komprehensif.

Keuntungan Zero-Shot Prompting

Zero-shot prompting memiliki keunggulan signifikan dibanding teknik lain yang ada. 

Salah satunya adalah fleksibilitas yang tinggi. Ini memungkinkan LLM beradaptasi dengan berbagai tugas tanpa memerlukan data pelatihan khusus per tugas. Fleksibilitas sangat penting karena memungkinkan satu model melakukan banyak tugas di berbagai domain, dari penerjemahan bahasa hingga analisis sentimen hingga pembuatan konten. Model dapat beradaptasi cepat ke tugas baru secara langsung, tanpa perlu proses pelatihan ulang atau fine-tuning yang memakan waktu.

Selain itu, model zero-shot dapat menangani situasi atau tugas baru yang belum dipertimbangkan sebelumnya. Anda juga bisa menyesuaikan perilaku model dengan kebutuhan spesifik cukup dengan menyesuaikan prompt, tanpa mengubah model dasarnya.

Seiring bertambahnya pengetahuan umum model, kemampuannya menangani beragam tugas meningkat secara alami, tanpa intervensi khusus per tugas.

Zero-shot prompting juga menawarkan keuntungan efisiensi yang substansial, terutama dalam penghematan waktu dan sumber daya. Ini menghilangkan kebutuhan akan dataset khusus per tugas yang pengumpulannya bisa memakan waktu dan mahal.

Metode ini juga menghapus kebutuhan data pelatihan berlabel, sehingga menurunkan biaya dan potensi bias terkait anotator manusia. Tanpa fine-tuning khusus per tugas, kebutuhan komputasi jauh lebih rendah. Ini memungkinkan penerapan aplikasi baru lebih cepat karena tidak ada masa tunggu untuk pengumpulan data dan pelatihan model. Satu model dapat menangani banyak tugas, mengurangi kebutuhan akan banyak model khusus. Prompt engineering memungkinkan iterasi dan perbaikan cepat tanpa perlu pelatihan ulang.

Mari pertimbangkan proses tradisional versus zero-shot prompting untuk mengembangkan alat analisis sentimen:

Perbandingan ini menunjukkan penghematan waktu dan sumber daya yang signifikan dengan zero-shot prompting, memungkinkan pengembangan dan penerapan AI yang lebih cepat di berbagai bidang.

Aplikasi Zero-Shot Prompting

Zero-shot prompting telah menghasilkan banyak kegunaan baru di berbagai bidang. Mari lihat beberapa area penting tempat teknik ini memberi dampak.

Pembuatan teks

Zero-shot prompting sangat efektif dalam berbagai tugas pembuatan teks, memungkinkan model menghasilkan beragam jenis konten tanpa pelatihan khusus. Beberapa di antaranya meliputi peringkasan, penulisan kreatif, dan penerjemahan. Berikut beberapa contoh:

Klasifikasi dan analisis sentimen

Zero-shot prompting dapat digunakan untuk berbagai tugas klasifikasi, termasuk klasifikasi topik, analisis sentimen, dan klasifikasi intent, tanpa perlu data pelatihan berlabel.

Menjawab pertanyaan

Zero-shot prompting memberi model kemampuan menjawab berbagai jenis pertanyaan, seperti faktual, penjelasan, dan perbandingan, berdasarkan pengetahuan umum dan pemahaman bahasanya.

Keterbatasan Zero-Shot Prompting

Meski zero-shot prompting sangat mumpuni, penting untuk memahami keterbatasan dan tantangannya. 

Akurasi

Zero-shot prompting, walau kuat, mungkin tidak selalu seakurat model yang dilatih khusus untuk tugas tertentu. Keterbatasan ini berasal dari beberapa faktor:

• Tidak ada optimasi khusus tugas: Model yang di-fine-tune mendapat manfaat dari pelatihan terarah pada data khusus tugas, yang dapat menghasilkan akurasi lebih tinggi untuk tugas tersebut.
• Variabilitas interpretasi: Interpretasi model terhadap prompt mungkin tidak selalu selaras sempurna dengan niat pengguna, yang berpotensi menimbulkan ketidakakuratan.
• Penanganan tugas kompleks: Tugas yang sangat khusus atau kompleks mungkin memerlukan pemahaman yang lebih bernuansa daripada yang dimungkinkan hanya dengan zero-shot prompting.

Sensitivitas terhadap prompt

Performa zero-shot prompting bisa sangat sensitif terhadap perumusan prompt. 

• Variasi diksi: Perubahan kecil dalam kosakata atau struktur kalimat dapat mengubah interpretasi model terhadap tugas.
• Kejelasan instruksi: Instruksi yang ambigu atau tidak presisi dapat menghasilkan keluaran yang tak terduga atau tidak konsisten.
• Ketergantungan konteks: Keefektifan sebuah prompt dapat bervariasi tergantung pada masukan atau konteks spesifik yang digunakan.

Mari lihat contoh spesifik dengan teks sampel dan jelaskan output untuk tiap prompt. Ini akan menggambarkan bagaimana perubahan kecil dalam prompt dapat menghasilkan respons yang berbeda dari model.

Kita akan menggunakan teks sampel berikut:

Teks sampel: "Revolusi Industri, yang terjadi dari abad ke-18 hingga ke-19, adalah periode ketika masyarakat agraris dan pedesaan di Eropa dan Amerika menjadi industrial dan urban. Sebelum Revolusi Industri, yang dimulai di Britania pada akhir 1700-an, manufaktur sering dilakukan di rumah menggunakan alat tangan atau mesin dasar. Industrialisasi menandai peralihan ke mesin bertenaga dengan tujuan khusus, pabrik, dan produksi massal. Industri besi dan tekstil, bersama dengan pengembangan mesin uap, memainkan peran sentral dalam Revolusi Industri, yang juga menyaksikan perbaikan sistem transportasi, komunikasi, dan perbankan."

Sekarang, mari terapkan tiga prompt kita:

Prompt 1: "Ringkas teks ini dalam satu kalimat:"

Hasil 1: Revolusi Industri adalah periode transformatif pada abad ke-18 dan ke-19 yang mengalihkan masyarakat Eropa dan Amerika dari agraris ke industrial, ditandai oleh bangkitnya pabrik, produksi massal, serta kemajuan teknologi dalam manufaktur, transportasi, dan komunikasi.

Respons ini memberikan ringkasan satu kalimat yang padat dan menangkap esensi Revolusi Industri, rentang waktu, lokasi, dan karakteristik kuncinya.

Prompt 2: "Berikan ringkasan singkat berikut ini:"

Hasil 2: Revolusi Industri adalah periode perubahan besar dari abad ke-18 hingga ke-19, terutama memengaruhi Eropa dan Amerika. Periode ini menandai transisi dari masyarakat agraris dan pedesaan menjadi industrial dan urban. Sebelum era ini, manufaktur biasanya dilakukan di rumah menggunakan alat sederhana. Revolusi ini menghadirkan mesin bertenaga, pabrik, dan metode produksi massal. Industri kunci seperti besi dan tekstil berperan penting, begitu juga penemuan mesin uap. Periode ini juga menyaksikan kemajuan dalam sistem transportasi, komunikasi, dan perbankan, yang secara fundamental mengubah lanskap ekonomi dan sosial.

Respons ini lebih panjang dan lebih detail daripada yang pertama. Ia mencakup lebih banyak aspek Revolusi Industri, termasuk dampaknya pada industri tertentu dan perubahan sosial yang lebih luas. Model menafsirkan "ringkasan singkat" sebagai memperbolehkan beberapa kalimat dan cakupan yang lebih komprehensif.

Prompt 3: "Apa gagasan utama dari paragraf ini?"

Hasil 3: Gagasan utama paragraf ini adalah peralihan mendasar dari masyarakat agraris ke industrial selama Revolusi Industri, menyoroti perubahan besar dalam metode manufaktur, teknologi, dan perkembangan urban yang terjadi di Eropa dan Amerika dari abad ke-18 hingga ke-19.

Respons ini berfokus pada tema sentral atau konsep inti paragraf alih-alih mencoba merangkum semua detail. Ia mengidentifikasi transformasi kunci (agraris ke industrial) dan menyebutkan area perubahan secara umum tanpa masuk ke rincian seperti industri besi dan tekstil atau mesin uap.

Bias

Model pra-terlatih yang digunakan untuk zero-shot prompting dapat menunjukkan bias yang ada pada data pelatihannya, yang dapat menghasilkan keluaran bermasalah:

• Bias demografis: Model dapat menghasilkan hasil yang bias terkait ras, gender, usia, atau faktor demografis lainnya.
• Bias kultural: Respons model mungkin condong ke perspektif budaya tertentu dibanding yang lain.
• Bias kebaruan (recency): Informasi yang lebih banyak muncul dalam data pelatihan (sering kali yang lebih baru) dapat terwakili berlebihan dalam pengetahuan model.
• Stereotipisasi: Model mungkin memperkuat stereotip berbahaya yang ada dalam data pelatihannya.

Memahami keterbatasan dan tantangan ini adalah kunci untuk menggunakan zero-shot prompting secara efektif. Penting bagi Anda untuk menyadari potensi ketidakakuratan, pentingnya perancangan prompt yang cermat, dan perlunya mengevaluasi keluaran secara kritis terhadap potensi bias.

Jika Anda tertarik pada topik ini, lihat kursus Etika AI.

Kesimpulan

Dalam tutorial ini kita telah mempelajari bahwa zero-shot prompting adalah teknik yang menyediakan cara yang kuat dan fleksibel untuk menangani banyak tugas bahasa tanpa memerlukan data pelatihan khusus atau fine-tuning model.

Zero-shot prompting memungkinkan LLM melakukan berbagai tugas, seperti pembuatan teks, klasifikasi, dan menjawab pertanyaan, melalui prompt yang dirancang dengan cermat.

Teknik ini menghilangkan kebutuhan pengumpulan data dan pelatihan model khusus per tugas, sehingga secara signifikan mengurangi waktu dan sumber daya untuk menerapkan solusi AI.

Metode ini membuat kemampuan AI tingkat lanjut lebih mudah diakses oleh orang non-teknis, karena tugas kompleks dapat dilakukan hanya dengan mendeskripsikannya dalam bahasa alami.

Namun, zero-shot prompting memiliki keterbatasan dalam hal akurasi, sensitivitas terhadap prompt, dan potensi bias. Memahami tantangan ini sangat penting untuk penggunaan yang bertanggung jawab dan efektif.

Sekarang saatnya mempraktikkan pengetahuan ini! Saya mendorong Anda untuk mengeksplorasi zero-shot prompting dalam proyek Anda sendiri dan bereksperimen dengan berbagai prompt dan tugas. Selamat mencoba dan temukan potensi teknik ini dalam pekerjaan Anda — selamat bereksplorasi!