Cara Menjadi Prompt Engineer: Panduan Komprehensif

AI generatif telah mengubah cara kita berinteraksi dengan dan memikirkan kecerdasan buatan. Dengan AI percakapan seperti ChatGPT dan Claude dari Anthropic, Anda cukup mengetik beberapa prompt ke dalam alat dan model AI biasanya merespons tepat dengan informasi yang Anda minta. Sekarang, pertanyaannya, siapa para profesional yang menciptakan model AI luar biasa ini?

Insinyur ML, insinyur AI, data scientist, dan tentu saja prompt engineer selalu meneliti dan menghadirkan kemampuan AI yang mengesankan. Jadi, memulai karier sebagai prompt engineer bisa menjadi hal besar berikutnya, seperti halnya menjadi pengembang perangkat lunak di awal 2000-an.

Apakah Anda sudah menjadi profesional data atau AI adalah minat Anda, panduan ini untuk Anda. Sepanjang artikel ini, kami akan merinci instruksi langkah demi langkah tentang cara menjadi prompt engineer. Mari kita mulai!

Apa yang Dilakukan Prompt Engineer?

Siapa pun yang bukan dari dunia teknologi saat ini bisa membuka ChatGPT dan meminta sesuatu yang mereka inginkan. Lalu, mengapa kita membutuhkan prompt engineer? Prompt engineer tahu cara meminta model AI menghasilkan keluaran yang akurat. Mereka merancang pertanyaan yang tepat dan membuat prompt pemicu agar model menghasilkan hasil terbaik.

Bayangkan Anda membutuhkan kode Python untuk membuat halaman login, Anda mungkin akan meminta GPT seperti: “Tulis kode Python untuk membuat halaman login,” tetapi seseorang yang paham prompting akan merumuskannya seperti: “Bertindaklah seperti pengembang Python dan tunjukkan kepada pengembang junior cara membuat halaman login yang memiliki kolom input untuk nama pengguna dan kata sandi, beserta tombol login.” Itulah esensi dari disiplin ini, dan Anda dapat mempelajarinya lebih lanjut di kursus kami, Understanding Prompt Engineering.

Prompt engineer juga menangani banyak aspek teknis terkait model bahasa berskala besar. Mereka menguji dan menyetel model AI menggunakan prompt. Prosesnya melibatkan pelacakan perilaku model AI dengan menganalisis responsnya terhadap berbagai prompt. Lalu, mereka mencari pola dan bias, menjalankan uji A/B pada data keluaran, dan menyempurnakan prompt untuk mengatasi keterbatasan. Demikian pula, mereka harus memahami keterbatasan dan kekuatan model, serta secara iteratif memperbaiki prompt berdasarkan respons model.

Secara keseluruhan, prompt engineer adalah pemain kunci dalam mengoptimalkan seluruh proses generasi prompt AI untuk aplikasi kustom.

Tanggung jawab prompt engineer

Berikut ringkasan tugas prompt engineer dalam pekerjaan sehari-hari mereka: 

• Menyusun prompt yang efektif: Mengembangkan prompt yang tepat dan sesuai konteks untuk mendapatkan respons yang diinginkan dari model AI.
• Menguji perilaku AI: Menganalisis bagaimana model merespons berbagai prompt, mengidentifikasi pola, bias, atau inkonsistensi pada keluaran yang dihasilkan.
• Menyempurnakan dan mengoptimalkan prompt: Terus meningkatkan prompt melalui pengujian iteratif untuk meningkatkan akurasi dan keandalan respons model.
• Melakukan pengujian A/B: Membandingkan efektivitas berbagai prompt dan menyempurnakannya berdasarkan umpan balik pengguna dan metrik kinerja.
• Mendokumentasikan kerangka prompt: Membuat pustaka prompt yang dapat digunakan kembali dan dioptimalkan untuk kasus penggunaan atau industri tertentu.
• Berkolaborasi dengan pemangku kepentingan: Bekerja dengan pengembang, tim produk, dan klien untuk menyelaraskan keluaran AI dengan tujuan bisnis atau proyek.
• Menyetel model AI: Menyesuaikan model AI yang telah dilatih sebelumnya untuk meningkatkan perilakunya pada aplikasi spesifik, menggunakan prompt yang disesuaikan selama proses pelatihan.
• Memastikan penggunaan AI yang etis: Mengidentifikasi dan mengurangi bias dalam prompt dan keluaran untuk memastikan keadilan, inklusivitas, dan kepatuhan pada pedoman etika.
• Melatih dan mendidik pengguna: Membantu pengguna akhir dan tim memahami praktik terbaik untuk berinteraksi secara efektif dengan model AI.

Tabel: Perbandingan Peran Kunci dalam AI

Cara Menjadi Prompt Engineer

Menjadi prompt engineer adalah langkah karier yang cerdas, terutama karena Gen AI merupakan salah satu teknologi yang tumbuh paling cepat, diperkirakan akan mengalami pertumbuhan signifikan selama sepuluh tahun ke depan, dengan nilai industri diproyeksikan mencapai $356,10 miliar pada 2030. Berikut ulasan mendalam tentang cara menjadi prompt engineer AI.

Pelajari Dasar-dasarnya

1. Kuasai Python

Prompt engineer memerlukan pemahaman yang kuat tentang pemrograman Python. Mengetahui cara menulis kode dalam Python memungkinkan Anda mempelajari NLP dan model deep learning dengan cepat.

Sebagai prompt engineer, Anda mungkin tidak membangun seluruh model bahasa sendirian. Namun beberapa posisi prompt engineering dengan bayaran tinggi mengharuskan Anda menganalisis data yang dihasilkan oleh model bahasa, dan mendapatkan wawasan untuk membuat model menjadi lebih baik. Dan ketika berbicara tentang pengolahan data, Python unggul.

Ikuti langkah-langkah ini untuk mempelajari Python untuk prompt engineering:

• Pelajari sintaks
• Jelajahi pustaka NumPy, Pandas, Matplotlib, dan Scikit-learn
• Berlatih dengan NLTK, spaCy, TextBlob, dan pustaka bahasa alami lainnya
• Latih analisis data
• Pelajari tentang model pembelajaran mesin
• Berlatih coding Python

2. Pahami dasar-dasar AI

Mulailah perjalanan profesional Anda dengan membiasakan diri pada teknologi yang akan Anda manfaatkan. Dalam hal ini, Anda sebaiknya terlebih dahulu memahami apa itu AI lalu mengeksplorasi sub-bidangnya. Gagasan dasar di balik kecerdasan buatan (AI) sangat menarik—membuat mesin berperilaku cerdas dan mirip manusia untuk melakukan tugas tertentu.

Machine learning, natural language processing, data science, deep learning, dan banyak sub-bidang lainnya merupakan bagian dari area AI yang lebih luas ini. Pertama, dapatkan gambaran umum masing-masing teknologi ini dan pahami bagaimana perbedaannya.

Lihat sumber daya berikut untuk mempelajari dasar-dasar AI:

• AI Fundamentals Skill Track: Di sini Anda akan mempelajari dasar-dasar AI, LLM seperti ChatGPT, konsep Gen AI, dan gambaran pembelajaran mesin.
• Understanding Artificial Intelligence Course: Mencakup AI dalam kehidupan sehari-hari, AI di tempat kerja, organisasi yang mengintegrasikan AI, dan model generatif AI.

Model bahasa besar memiliki keterkaitan yang sangat kuat dengan deep learning dan NLP. Meskipun tidak semua prompt engineer membangun model AI dari nol, diharapkan mereka memiliki keterampilan NLP dan deep learning yang kuat untuk memahami model bahasa yang mereka beri prompt.

3. Pelajari tentang NLP

Natural language processing adalah salah satu topik terpanas dalam AI saat ini. NLP memungkinkan komputer membaca dan menafsirkan bahasa manusia. Bahkan lebih dari itu, NLP memungkinkan mesin menghasilkan respons mirip manusia dalam bahasa alami.

Selain itu, NLP membantu Anda merancang prompt pemicu yang dapat membentuk model AI untuk menghasilkan keluaran yang ditargetkan. Jadi, sebagai prompt engineer, NLP adalah sesuatu yang harus Anda kuasai. Jelajahi pustaka NLP seperti NLTK, spaCy, dan Transformers untuk siap menangani data bahasa.

Anda sebaiknya mulai dengan menguasai pemrosesan teks dasar dan mendalami teknik seperti tokenisasi, analisis sentimen, dan peringkasan teks.

Berikut beberapa artikel dan kursus NLP terbaik:

• What is Natural Language Processing?
• Introduction to Natural Language Processing in Python
• Natural Language Processing Skill Track

4. Kuasai deep learning dan model Transformer

Saat Anda menapaki jalan menjadi prompt engineer, Anda akan sering menemui model bahasa besar seperti GPT, Gemini, LLaMA 3, dan lainnya. LLM ini tidak lain adalah model deep learning berskala besar yang dirancang untuk memahami dan menghasilkan bahasa alami. Untuk menanganinya secara efektif, Anda perlu memiliki pemahaman yang kuat tentang konsep deep learning.

ChatGPT, misalnya, dilatih dengan lebih dari 175 miliar neuron. Untuk memahami apa itu neuron dan bagaimana neuron tersebut digunakan, Anda harus terlebih dahulu mengetahui konsep jaringan saraf, tulang punggung banyak algoritma deep learning.

Selanjutnya, Anda mungkin tahu bahwa huruf ‘T’ pada GPT adalah singkatan dari ‘Transformer’. Model bahasa besar yang populer dibangun di atas arsitektur Transformer, termasuk ChatGPT.

Arsitektur Transformer menggunakan apa yang disebut “mekanisme perhatian” – teknik untuk meningkatkan akurasi model dengan berfokus hanya pada bagian relevan dari data masukan. Mempelajari arsitektur ini akan membantu Anda menyusun prompt yang efektif.

Kembangkan Keterampilan Praktis untuk Menjadi Prompt Engineer

Meskipun Anda tidak harus memiliki gelar untuk masuk ke prompt engineering, Anda perlu memiliki pengalaman praktis pada keterampilan teknis tertentu. Mari kita telusuri bahasa dan teknik yang perlu Anda kuasai.

5. Praktik dengan Model Pra-latih

Prompt engineer menghabiskan porsi waktu yang cukup besar untuk bekerja dengan model pra-latih. Jika Anda belum tahu, model pra-latih adalah model AI dasar yang dilatih secara ekstensif pada banyak data. Ini adalah langkah paling awal dalam membangun model bahasa besar apa pun.

Jika Anda benar-benar ingin menguasai prompt engineering, biasakan diri dengan model pra-latih yang ada seperti GPT-4, Llama 3, Claude 3, dan lainnya. Masukkan berbagai prompt dan pelajari bagaimana mereka bereaksi. Pahami kemampuan generasi teksnya dan temukan keterbatasannya.

Selain itu, pahami parameter yang digunakan untuk melatih model-model ini. Terkadang, Anda perlu menyetel hyperparameter untuk mencapai hasil tertentu.

6. Fine-tuning untuk Aplikasi Kustom

Hanya sedikit perusahaan yang mampu melatih model bahasa besar dari nol. Itulah sebabnya yang lain merekrut Anda sebagai prompt engineer, menugaskan Anda untuk melakukan fine-tuning pada model pra-latih saat ini untuk aplikasi kustom mereka.

Misalnya, model pra-latih mungkin tidak dapat menghasilkan file HTML sesuai persyaratan desain Anda. Namun Anda bisa melakukan fine-tuning pada dataset khusus UI dan HTML untuk mendapatkan keluaran yang diinginkan.

Secara keseluruhan, seorang prompt engineer harus mampu melakukan fine-tuning pada model pra-latih apa pun untuk tugas spesifik. Ini dapat dilakukan dengan memberi model pra-latih data kecil yang spesifik.

Prapemrosesan data, penyetelan hyperparameter, dan transfer learning adalah keterampilan wajib untuk melakukan fine-tuning model pra-latih secara mandiri.

Ingat, kedalaman keterampilan teknis ini bervariasi berdasarkan persyaratan posisi yang Anda lamar.

Biasanya, untuk peran tingkat pemula, konsep NLP dan kemampuan menyusun prompt yang cerdas sudah cukup untuk masuk. Namun, pekerjaan tingkat senior atau berbayar tinggi mungkin memerlukan pengalaman langsung yang lebih mendalam dengan pustaka NLP, algoritma deep learning, dan teknik prompting tingkat lanjut.

Berikut beberapa panduan komprehensif untuk membantu Anda mempelajari fine-tuning:

• An Introductory Guide to Fine-Tuning LLMs
• Fine-tuning GPT-3 Using the OpenAI API and Python
• Fine-tuning LLaMA 2: A Step-by-Step Guide to Customizing the Large Language Model
• How to Fine Tune GPT 3.5: Unlocking AI's Full Potential
• FLAN-T5 Tutorial: Guide and Fine-Tuning

Teknik Prompt Engineering

Jelajahi berbagai teknik prompting dan belajarlah kreatif dalam menulis. Mari lihat bagaimana Anda bisa lebih baik dalam membuat prompt.

7. Kuasai Penyusunan Prompt

Model bahasa menghasilkan hasil berdasarkan masukan yang Anda berikan. Jika Anda dapat menjelaskan secara tepat kepada model AI apa yang Anda inginkan dan menyetelnya untuk menghasilkan keluaran yang diinginkan, itulah kuncinya; Anda bisa menyebut diri Anda prompt engineer.

Menulis prompt yang jelas dan memperbaiki prompt yang ada adalah dua tugas utama prompt engineer. Mereka harus menyusun pertanyaan dan kalimat yang dapat mengarahkan model AI ke respons yang relevan.

Untuk itu, Anda harus mahir menulis, dan salah satu kiat untuk menulis prompt yang lebih baik adalah menyertakan konteks dan instruksi di dalamnya. Namun, untuk benar-benar mahir dalam prompt engineering, Anda perlu mempelajari beberapa teknik prompt engineering tingkat lanjut, seperti yang akan kita ulas pada bagian berikutnya.

8. Teknik prompting tingkat lanjut

Kami sudah menyarankan Anda bereksperimen dengan model pra-latih, dan ini patut diulangi. Gunakan DALL-E, GPT-2, GPT-3, atau BERT untuk berlatih berbagai teknik prompting dan lihat bagaimana perilakunya.

Ada berbagai strategi untuk prompting model seperti zero-shot prompting, one-shot prompting, iterative prompting, dan banyak lagi. Anda dapat mempelajari dan mempraktikkan teknik-teknik prompting ini untuk menjadi prompt engineer yang andal.

Agar tidak ada yang terlewat, pelajari tentang LangChain. Kami memiliki panduan lengkap yang membahas LangChain untuk prompt engineer, namun secara singkat, LangChain adalah kerangka kerja untuk memaksimalkan akurasi dan relevansi keluaran model.

Pengembangan Karier dan Penerapan di Dunia Nyata

Memiliki gelar di bidang ilmu komputer atau teknik yang relevan adalah nilai tambah, tetapi bukan satu-satunya jalur. Anda dapat menjadi prompt engineer tanpa gelar dengan menyelesaikan kursus sertifikasi, mengerjakan proyek dunia nyata, dan terus belajar. Mari telusuri setiap langkah untuk membentuk karier Anda di bidang prompt engineering.

9. Proyek dunia nyata dan membangun portofolio

Dengan pemahaman jelas tentang teknologi AI dan keterampilan di atas, Anda dapat mulai menerapkan keahlian baru Anda pada proyek dunia nyata. Baik Anda seorang profesional maupun mahasiswa, sukarelalah untuk proyek yang membutuhkan prompt engineering.

Berikut beberapa proyek AI bagus yang bisa Anda mulai bangun:

• 7 AI Projects for All Levels
• 5 Projects You Can Build with Generative AI Models
• 7 NLP Projects for All Levels

Jika proyek Anda menggunakan model pra-latih, milikilah pemahaman teknis tentang bagaimana model tersebut dibangun dan berperilaku. Cobalah berbagai cara meminta model melakukan sesuatu dan lihat bagaimana responsnya. Gunakan teknik prompting tingkat lanjut yang telah Anda pelajari untuk memicu model. Dengan cara ini, Anda dapat mengubah teori menjadi keterampilan.

Seiring berjalannya waktu, Anda dapat mengikuti kompetisi terkait AI percakapan dan LLM di platform seperti Kaggle untuk melihat posisi Anda di antara rekan sejawat. Ingat, semua yang Anda lakukan pada langkah ini dapat dimasukkan ke portofolio Anda, sehingga memperkuat profil Anda.

Memiliki portofolio profesional sangat penting di tahap karier mana pun. Datacamp memiliki pembuat portofolio dengan pengeditan mudah dan templat siap pakai yang indah. Jadi, manfaatkan pembuat portofolio gratis ini untuk menampilkan keterampilan, pengalaman, proyek, dan minat Anda secara menarik.

10. Terus Belajar & Terlibat dengan Komunitas AI

Ikuti kursus online; banyak kursus prompt engineering yang baru ditambahkan belakangan ini. Kursus bersertifikat tidak hanya membantu Anda memperoleh keterampilan tetapi juga menjadi bukti di profil Anda bahwa Anda benar-benar mempelajari teknologinya.

Penting untuk tetap mengikuti tren terbaru, terutama pada teknologi yang sedang naik daun seperti Sora dari OpenAI. Tidak ada cara yang lebih baik untuk tetap mutakhir selain terlibat dengan komunitas yang tepat. Untuk itu, ikuti peneliti dan pengembang prompt engineering teratas di situs seperti LinkedIn, Medium, dan Twitter.

Kesimpulan

Sekarang adalah waktu yang tepat untuk memulai dengan Gen AI. Dunia perusahaan teknologi tengah mencari prompt engineer lebih dari sebelumnya untuk menerapkan AI percakapan dalam bisnis mereka.

Jalur untuk menjadi prompt engineer AI itu sekaligus bermanfaat dan menarik. Siapa pun dapat menjadi prompt engineer dengan kombinasi keterampilan teknis dan nonteknis yang tepat seperti yang disebutkan sepanjang artikel ini.

Jika Anda serius dengan karier di prompt engineering, jelajahi kursus-kursus berikut dari Datacamp:

• Understanding Prompt Engineering
• Introduction to ChatGPT
• Large Language Models Concepts
• ChatGPT Prompt Engineering for Developers