Apa Itu DSPy? Cara Kerja, Use Case, dan Sumber Daya

Jika Anda bekerja dengan model bahasa besar, Anda tahu bahwa prompt engineering bisa cukup menantang. Anda bisa menghabiskan berjam-jam menyesuaikan prompt namun hasilnya campur aduk. Ini membuat frustrasi, memakan banyak waktu, dan sering kali membutuhkan banyak trial and error untuk mencapai hasil yang optimal.

Salah satu solusi untuk masalah ini adalah DSPy—sebuah kerangka kerja baru yang mengubah cara kita memahami prompt engineering. Alih-alih berfokus pada pembuatan prompt yang sempurna, DSPy memungkinkan kita memprogram model secara langsung.

Dalam tutorial ini, saya akan menjelaskan DSPy dan mengapa ia berbeda dari metode lama. Anda akan mempelajari fitur utama dan manfaatnya serta cara kerjanya. Saya akan memandu Anda melalui langkah pertama dengan DSPy dan mengarahkan Anda ke sumber daya dan komunitas yang bermanfaat.

Mari kita mulai!

Apa Itu DSPy?

DSPy adalah alat open-source yang dibuat oleh Stanford University yang "mengompilasi pemanggilan model bahasa deklaratif menjadi pipeline yang dapat memperbaiki diri." Alih-alih menghabiskan waktu membuat prompt yang sempurna, DSPy memungkinkan Anda memprogram model AI secara langsung.

Ini membuat aplikasi AI lebih andal dan lebih mudah diskalakan. DSPy memisahkan logika aplikasi Anda dari teks yang digunakan, sehingga Anda bisa fokus pada apa yang ingin Anda lakukan dengan AI. Sementara itu, DSPy mengoptimalkan prompt di balik layar.

Mari jelajahi beberapa fitur utamanya.

Pemrograman deklaratif

Dengan DSPy, Anda mendefinisikan tugas yang ingin diselesaikan dan metrik untuk mengukur keberhasilan. Kerangka kerja kemudian mengoptimalkan perilaku model untuk Anda. Ia menggunakan sintaks Python yang mudah dipahami, memungkinkan Anda berkonsentrasi pada apa yang seharusnya dilakukan aplikasi Anda alih-alih bagaimana cara mem-prompt model.

Prompt yang memperbaiki diri

Salah satu fitur unggulan DSPy adalah kemampuannya untuk secara otomatis memperbaiki prompt seiring waktu. DSPy terus menyempurnakan prompt, menyelamatkan Anda dari kerepotan penyesuaian manual yang berkelanjutan. Ini dicapai menggunakan umpan balik dan evaluasi, memastikan model berkinerja lebih baik di setiap iterasi.

Arsitektur modular

DSPy juga menawarkan arsitektur modular, memungkinkan Anda mengombinasikan modul siap pakai untuk berbagai tugas pemrosesan bahasa alami (NLP). Modularitas ini membuatnya sangat dapat disesuaikan dengan kebutuhan spesifik Anda, mendorong fleksibilitas dan kegunaan ulang. Kerangka kerja ini menyertakan modul bermanfaat seperti ChainOfThought dan ReAct, yang dapat dengan mudah diintegrasikan ke aplikasi Anda.

Cara Kerja DSPy

Di bagian ini, saya akan mengulas bagian utama DSPy dan bagaimana ia memudahkan bekerja dengan LLM.

Definisi tugas

Dengan DSPy, pengguna mulai dengan menentukan tujuan tugas dan metrik yang akan dioptimalkan. Artinya Anda mendefinisikan apa yang ingin dicapai model dan bagaimana Anda akan mengukur keberhasilannya.

DSPy menggunakan contoh input, berlabel atau tidak, untuk memandu proses pembelajaran. Contoh-contoh ini membantu kerangka kerja memahami tugas dengan lebih baik dan meningkatkan kinerjanya. Selain itu, DSPy memperkenalkan konsep modul, yaitu blok bangunan yang dapat digunakan kembali untuk berbagai tugas NLP. Modul-modul ini dapat dikombinasikan dan disesuaikan agar sesuai dengan berbagai kebutuhan.

Konstruksi pipeline

Setelah tugas didefinisikan, pengguna memilih dan mengonfigurasi modul yang sesuai untuk tugas spesifik mereka. Ini melibatkan pemilihan modul yang tepat sesuai kebutuhan tugas dan menyiapkannya. DSPy memungkinkan Anda merangkai modul-modul ini untuk membuat pipeline yang kompleks, memungkinkan alur kerja yang canggih. Setiap modul memiliki signature yang menentukan spesifikasi input dan output, memastikan modul dapat bekerja bersama secara mulus.

Optimasi dan kompilasi

DSPy mengoptimalkan prompt menggunakan pembelajaran dalam konteks dan pembuatan contoh few-shot secara otomatis. Artinya kerangka kerja terus menyempurnakan prompt untuk meningkatkan kinerja model. DSPy juga dapat melakukan fine-tuning pada model yang lebih kecil untuk tugas yang membutuhkan penyetelan lebih spesifik.

Terakhir, DSPy mengompilasi seluruh pipeline menjadi kode Python yang dapat dieksekusi, sehingga mudah diintegrasikan ke dalam aplikasi Anda. Proses kompilasi ini memastikan pipeline berjalan secara efisien dan efektif.

Gambar 1: Alur Kerja DSPy: Dari Data ke Model AI yang Dioptimalkan

Diagram ini menggambarkan alur kerja inti DSPy, menunjukkan bagaimana ia mengubah data mentah menjadi model AI yang dioptimalkan. Proses dimulai dengan kumpulan data, yang menginformasikan signature (struktur input/output). Signature ini digunakan untuk membuat modul, yang kemudian dioptimalkan menggunakan teknik canggih DSPy. Terakhir, modul yang dioptimalkan menjalani evaluasi untuk memastikan memenuhi kriteria kinerja yang diinginkan.

Pendekatan yang disederhanakan ini memungkinkan Anda fokus pada desain tingkat tinggi sementara DSPy menangani kompleksitas prompt engineering dan optimasi model.

Keunggulan DSPy

DSPy menawarkan beberapa manfaat utama yang menjadikannya alat yang kuat untuk bekerja dengan LLM:

Keandalan yang meningkat

Pendekatan deklaratif DSPy menghasilkan perilaku LLM yang lebih andal dan dapat diprediksi. Alih-alih membuat prompt secara manual, Anda mendefinisikan apa yang Anda ingin model lakukan. DSPy kemudian mencari cara untuk mewujudkannya secara konsisten. Ini berarti lebih sedikit keluaran yang tak terduga dan kinerja yang lebih stabil di berbagai tugas.

Misalkan Anda membangun chatbot dukungan pelanggan. Alih-alih menulis prompt spesifik, dengan DSPy Anda dapat mendefinisikan intent seperti ini:

Memahami pertanyaan pelanggan.
Mengambil informasi relevan dari basis pengetahuan.
Menghasilkan respons yang membantu dan empatik.
Memeriksa apakah respons menjawab pertanyaan awal.
Jika tidak, perbaiki jawaban.

DSPy kemudian akan menangani:

Menyusun prompt optimal untuk setiap langkah.
Mengelola aliran informasi antar langkah.
Mengoptimalkan proses keseluruhan untuk akurasi dan konsistensi.

Misalnya, DSPy mungkin mempelajari bahwa memulai respons dengan "Saya memahami kekhawatiran Anda tentang..." menghasilkan kepuasan pelanggan yang lebih baik pada langkah 3. Atau, untuk langkah 4, ia mungkin mengembangkan cara yang efektif untuk membandingkan respons dengan pertanyaan awal.

Intinya, Anda fokus pada pendefinisian struktur dan tujuan tingkat tinggi. DSPy menangani detail prompt engineering dan optimasi, menghasilkan perilaku LLM yang lebih andal dan dapat diprediksi di berbagai pertanyaan pelanggan.

Pendekatan ini berarti Anda dapat dengan mudah menyesuaikan perilaku chatbot (misalnya, membuatnya lebih formal atau menambahkan langkah baru untuk memeriksa informasi sensitif) tanpa harus menulis ulang semua prompt secara manual. DSPy akan beradaptasi dan mengoptimalkan kebutuhan baru secara otomatis.

Pengembangan yang lebih sederhana

Arsitektur modular dan optimasi prompt otomatis di DSPy membuat pengembangan LLM jauh lebih mudah. Anda dapat membangun aplikasi kompleks dengan menggabungkan modul siap pakai, seperti menyusun balok bangunan. DSPy menangani bagian sulit dalam mengoptimalkan prompt di balik layar sehingga Anda dapat fokus pada logika aplikasi, bukan terus-menerus menyetel prompt.

Bayangkan Anda membuat asisten pembuatan konten untuk sebuah blog. Tanpa menulis kode, Anda mungkin mengonseptualisasikan aplikasi seperti ini:

1. Topic Generator Module
   - Input: Blog niche and target audience
   - Output: List of potential blog topics
2. Outline Creator Module
   - Input: Selected blog topic
   - Output: Detailed outline for the blog post
3. Content Writer Module
   - Input: Blog outline
   - Output: Full blog post draft
4. Editor Module
   - Input: Blog post draft
   - Output: Edited and polished blog post
5. SEO Optimizer Module
   - Input: Edited blog post
   - Output: SEO-optimized version of the postDidukung oleh

Dalam skenario ini, DSPy akan:

Menyediakan modul-modul siap pakai yang bisa Anda pilih dan susun.
Secara otomatis mengoptimalkan prompt untuk tiap modul di balik layar.
Menangani aliran informasi antarmodul.

Anda tidak perlu menulis kode atau menyusun prompt. Cukup pilih modul yang diperlukan, susun sesuai urutan yang diinginkan, dan tentukan input Anda (seperti niche blog dan target audiens).

Daya adaptasi

Dalam hal beradaptasi dengan tugas dan domain baru, DSPy sangat baik. Anda cukup menyesuaikan definisi tugas dan metrik, dan DSPy mengonfigurasi ulang dirinya untuk memenuhi kebutuhan baru tersebut. Fleksibilitas ini berarti Anda dapat dengan cepat menerapkan LLM ke berbagai use case tanpa harus memulai dari nol setiap kali.

Misalkan Anda telah membangun chatbot dukungan pelanggan untuk perusahaan teknologi menggunakan DSPy. Awalnya, tugas chatbot adalah menjawab pertanyaan dukungan teknis, dengan metrik berfokus pada akurasi respons dan relevansi solusi, semuanya dalam domain perangkat keras dan perangkat lunak komputer.

Sekarang, Anda ingin menyesuaikan chatbot ini untuk perusahaan kesehatan. Untuk melakukan ini, Anda menyesuaikan definisi tugas menjadi "menjawab pertanyaan pelanggan terkait kesehatan" dan mengubah metrik agar mencakup "akurasi medis" dan "skor empati" untuk menangani isu kesehatan yang sensitif. Anda juga menentukan domain baru, yang kini mencakup layanan kesehatan umum, prosedur medis, dan asuransi.

Dengan perubahan ini, DSPy secara otomatis mengonfigurasi ulang dirinya. Ia menyesuaikan proses internal untuk berfokus pada basis pengetahuan medis, mengadaptasi generasi bahasanya agar lebih empatik dan tepat secara medis, serta mengubah kriteria evaluasi untuk memprioritaskan akurasi medis dan empati.

Anda lalu menyediakan sejumlah kecil contoh tanya jawab terkait kesehatan. DSPy menggunakan contoh-contoh ini untuk menyetel pendekatannya tanpa mengharuskan Anda menulis ulang prompt apa pun.

Hasilnya, chatbot Anda kini efektif menangani pertanyaan kesehatan, memberikan informasi yang akurat secara medis dan berkomunikasi dengan empati yang sesuai untuk kekhawatiran terkait kesehatan.

Dengan cara ini, Anda tidak perlu membuat kode baru. Mendefinisikan ulang tugas, menyesuaikan metrik, dan memberikan contoh baru sudah cukup bagi DSPy untuk mengonfigurasi ulang interaksi LLM yang mendasarinya agar memenuhi kebutuhan baru.

Skalabilitas

Teknik optimasi DSPy menunjukkan nilainya saat menangani tugas skala besar. Kerangka kerja ini dapat meningkatkan kinerja LLM pada kumpulan data besar atau masalah kompleks dengan secara otomatis menyempurnakan prompt dan menyesuaikan perilaku model. Skalabilitas ini memastikan aplikasi Anda dapat berkembang dan menangani tugas yang lebih menantang sesuai kebutuhan.

Misalkan Anda mengembangkan sistem rekomendasi untuk platform e-niaga. Awalnya, sistem Anda perlu memproses kumpulan data besar interaksi pengguna dan detail produk untuk menghasilkan rekomendasi yang dipersonalisasi.

Tanpa DSPy, Anda akan menyusun prompt secara manual untuk setiap langkah, seperti mengambil riwayat pengguna, menganalisis preferensi, dan menyarankan produk. Proses ini akan melibatkan banyak trial and error untuk mendapatkan prompt yang tepat, terutama saat kumpulan data tumbuh dan kompleksitas meningkat.

Dengan DSPy, prosesnya jauh lebih sederhana dan efisien.

Anda mulai dengan mendefinisikan tugas: menghasilkan rekomendasi produk yang dipersonalisasi. Anda menentukan metrik yang akan dioptimalkan, seperti akurasi rekomendasi dan kepuasan pengguna.

Selanjutnya, Anda memberikan DSPy kumpulan data interaksi pengguna dan detail produk. Kumpulan data ini membantu DSPy memahami tugas dan meningkatkan kinerjanya.

DSPy kemudian menggunakan arsitektur modularnya untuk memecah tugas menjadi modul-modul yang lebih kecil dan dapat dikelola. Misalnya, satu modul mungkin menangani pengambilan riwayat pengguna, modul lain menganalisis preferensi, dan modul ketiga menghasilkan saran produk.

DSPy secara otomatis mengoptimalkan prompt dan menyesuaikan perilaku model saat Anda memberikan lebih banyak data dan menyempurnakan definisi tugas. Anda tidak perlu menyetel setiap prompt secara manual—DSPy melakukannya untuk Anda di balik layar.

Misalnya, jika kumpulan data bertambah atau kompleksitas interaksi pengguna meningkat, DSPy akan mengonfigurasi ulang dirinya untuk menangani skala yang lebih besar. Ia akan menyempurnakan prompt dan menyesuaikan parameter model untuk memastikan kinerja yang konsisten dan andal.

Skalabilitas ini memastikan sistem rekomendasi Anda dapat berkembang dan menangani tugas yang lebih menantang sesuai kebutuhan tanpa mengharuskan Anda memulai dari awal setiap kali. Teknik optimasi DSPy memungkinkan penanganan tugas skala besar secara efisien, sehingga Anda dapat fokus pada logika tingkat tinggi aplikasi alih-alih seluk-beluk prompt engineering.

Use Case DSPy

DSPy dapat diterapkan pada berbagai tugas pemrosesan bahasa alami. Mari jelajahi beberapa di antaranya.

Question answering

DSPy sangat andal dalam membangun sistem Question Answering (QA) yang tangguh. Ia dapat menggabungkan retrieval-augmented generation (RAG) dengan prompt chain-of-thought untuk menciptakan alat QA yang kuat. Artinya Anda dapat membangun sistem yang menemukan informasi relevan dan menalar melalui pertanyaan kompleks langkah demi langkah, memberikan jawaban yang lebih akurat dan mendalam.

Perangkuman teks

Dengan DSPy, membuat pipeline perangkuman menjadi jauh lebih sederhana. Anda dapat dengan mudah menyiapkan sistem yang beradaptasi dengan panjang input dan gaya penulisan yang berbeda. Fleksibilitas ini memungkinkan Anda merangkum apa pun dari artikel pendek hingga dokumen panjang, mempertahankan poin-poin utama sambil menyesuaikan gaya ringkasan dengan kebutuhan Anda.

Pembuatan kode

DSPy dapat membantu menghasilkan potongan kode dari deskripsi. Ini sangat berguna bagi pengembang yang ingin cepat membuat prototipe ide atau non-programmer yang perlu membuat skrip sederhana.

Penerjemahan bahasa

DSPy dapat membuat penerjemahan mesin menjadi jauh lebih baik. Ia membantu menciptakan sistem terjemahan yang lebih cerdas yang tidak hanya menerjemahkan kata, tetapi juga memahami konteks dan budaya.

Dengan DSPy, Anda bisa membangun penerjemah yang menangkap idiom dan ungkapan dengan tepat, menjaga gaya dan nada teks asli, serta bekerja baik untuk bidang spesifik seperti hukum, kesehatan, atau teknologi. Ia bahkan dapat menjelaskan mengapa memilih terjemahan tertentu.

Chatbot dan AI Percakapan

DSPy dapat membuat chatbot terasa lebih seperti berbicara dengan orang sungguhan. Alih-alih memberikan jawaban yang sudah ditulis sebelumnya, chatbot DSPy dapat mengingat topik yang dibahas dan melakukan percakapan dua arah yang masuk akal. Ia memberikan jawaban yang lebih sesuai dengan pertanyaan Anda dan dapat menyesuaikan cara berbicara agar selaras dengan preferensi Anda. Chatbot ini bahkan dapat melakukan tugas-tugas rumit yang memerlukan penalaran dan pengambilan keputusan. Peningkatan ini membuat chatbot lebih membantu dan mudah diajak bicara, hampir seperti berbincang dengan teman yang berpengetahuan.

Mulai Menggunakan DSPy

Anda dapat memasang DSPy menggunakan pip. Buka terminal atau command prompt Anda lalu jalankan:

pip install dspy-aiDidukung oleh

Perintah ini akan memasang versi stabil terbaru dari DSPy.

Jika Anda ingin mengeksplorasi fitur DSPy dengan integrasi tambahan, Anda dapat memasangnya dengan extras. Misalnya, untuk menyertakan dukungan Pinecone, gunakan:

pip install "dspy-ai[pinecone]"Didukung oleh

Perintah serupa tersedia untuk integrasi lain seperti Qdrant, ChromaDB, dan Marqo.

Sumber Daya DSPy

Untuk mempelajari lebih lanjut tentang penggunaan DSPy, lihat dokumentasi resmi. Di sana tersedia tutorial dan contoh terperinci untuk membantu Anda memulai dan memaksimalkan kemampuan kerangka kerja.

Repositori GitHub resmi menyertakan kode sumber, pelacak isu, dan contoh tambahan.

Walau DSPy masih relatif baru, komunitasnya terus berkembang. Anda dapat menemukan diskusi dan mendapatkan bantuan di GitHub, tempat Anda bisa membuka isu atau berpartisipasi dalam diskusi. Seiring berkembangnya komunitas, kemungkinan akan tersedia lebih banyak sumber daya dan pengalaman bersama untuk mendukung perjalanan Anda dengan DSPy.

Ingat, DSPy dikembangkan secara aktif, jadi pantau pembaruan dan fitur baru yang mungkin meningkatkan proyek Anda.

Halaman ini menyediakan petunjuk instalasi dan informasi rilis untuk paket DSPy.

Jika Anda penggemar bekerja di Notebook, DSPy Colab Notebook adalah notebook Colab interaktif untuk membantu Anda cepat memulai dengan DSPy.

Terakhir, Anda dapat bergabung dengan server Discord untuk terhubung dengan pengguna DSPy lainnya, mengajukan pertanyaan, dan berbagi pengalaman.

Kesimpulan

Singkatnya, DSPy menawarkan cara yang lebih intuitif dan kuat untuk bekerja dengan AI, beralih dari prompt engineering ke pemrograman foundation model. Mari rekap apa yang telah kita bahas dalam artikel ini:

DSPy adalah kerangka kerja deklaratif yang dapat memperbaiki diri, yang menyederhanakan pengembangan aplikasi LLM.
Ia menghadirkan pemrograman deklaratif, prompt yang memperbaiki diri, dan arsitektur modular, sehingga lebih mudah membangun sistem AI yang kompleks.
DSPy memungkinkan pengguna mendefinisikan tugas, menyusun pipeline, dan mengoptimalkan prompt secara otomatis.
Dibandingkan metode prompt engineering tradisional, kerangka kerja ini menawarkan keandalan yang lebih baik, pengembangan yang lebih sederhana, daya adaptasi, dan skalabilitas.
DSPy dapat diterapkan pada beragam use case, termasuk question answering, perangkuman teks, pembuatan kode, dan tugas NLP kustom.

Saat Anda terus bekerja dengan DSPy, jangan lupa memanfaatkan sumber daya komunitas. Juga, tetap ikuti perkembangan terbaru di bidang yang terus berevolusi ini—saya merekomendasikan membaca tulisan blog berikut jika Anda ingin mempelajari beberapa perkembangan terkini:

FAQs

Apa persyaratan sistem untuk memasang dan menjalankan DSPy?

DSPy memerlukan Python 3.7 atau yang lebih baru. Disarankan menggunakan sistem operasi modern (Windows, macOS, atau Linux) dan RAM yang memadai (setidaknya 8GB) untuk menangani model bahasa besar. GPU bermanfaat untuk pemrosesan yang lebih cepat tetapi tidak wajib.

Apakah ada keterbatasan atau masalah yang diketahui pada DSPy yang perlu diperhatikan pengguna?

Beberapa keterbatasan DSPy yang diketahui termasuk potensi variabilitas kinerja di berbagai model bahasa, kebutuhan sumber daya komputasi yang besar untuk tugas skala besar, serta dukungan komunitas dan dokumentasi yang masih terus dikembangkan. Pengguna sebaiknya tetap mengikuti rilis terbaru dan diskusi komunitas untuk mengurangi masalah ini.

Apakah DSPy mendukung tugas multibahasa dan seberapa efektif?

DSPy mendukung tugas multibahasa dengan memanfaatkan model bahasa yang dilatih pada banyak bahasa. Anda dapat menentukan bahasa dalam definisi tugas, dan DSPy akan mengoptimalkan prompt sesuai kebutuhan. Namun, efektivitasnya dapat bervariasi tergantung pada data pelatihan model bahasanya.

Apakah DSPy bekerja dengan semua model bahasa?

DSPy dirancang untuk bekerja dengan berbagai model bahasa besar. Ia kompatibel dengan model populer seperti GPT-3, GPT-4, dan model OpenAI lainnya. Ia juga dapat digunakan dengan model open-source. Namun, Anda sebaiknya memeriksa dokumentasi terbaru untuk informasi terkini tentang kompatibilitas model.

Bisakah saya menggunakan DSPy untuk proyek komersial?

Ya, DSPy bersifat open-source dan tersedia di bawah Apache License 2.0, yang memperbolehkan penggunaan komersial. Namun, pastikan untuk memeriksa ketentuan lisensi model bahasa spesifik yang Anda gunakan dengan DSPy, karena mungkin memiliki pembatasan yang berbeda.

Penulis

Dr Ana Rojo-Echeburúa

LinkedIn Twitter

Ana Rojo Echeburúa adalah spesialis AI dan data dengan gelar PhD di Bidang Matematika Terapan. Ia senang mengubah data menjadi wawasan yang dapat ditindaklanjuti dan memiliki pengalaman luas dalam memimpin tim teknis. Ana menikmati bekerja langsung dengan klien untuk menyelesaikan masalah bisnis mereka dan menciptakan solusi AI yang inovatif. Dikenal karena keterampilan pemecahan masalah dan komunikasi yang jelas, ia sangat antusias terhadap AI, terutama AI generatif. Ana berkomitmen pada pembelajaran berkelanjutan dan pengembangan AI yang etis, serta menyederhanakan masalah kompleks dan menjelaskan teknologi dengan cara yang mudah dipahami.

Topik

Kecerdasan Buatan