Model bahasa besar (LLM) seperti OpenAI GPT, Google Bert, dan Meta LLaMA merevolusi setiap industri berkat kemampuannya menghasilkan hampir semua teks yang Anda bayangkan, dari salinan pemasaran hingga kode data science hingga puisi. Sementara ChatGPT menyita banyak perhatian melalui antarmuka chat yang intuitif, masih banyak peluang lain untuk memanfaatkan LLM dengan mengintegrasikannya ke perangkat lunak lain.
Sebagai contoh, DataLab menyertakan AI Assistant yang memungkinkan Anda menulis atau menyempurnakan kode dan teks dalam analisis Anda, dan kursus interaktif DataCamp menyertakan fitur "jelaskan kesalahan saya" untuk membantu Anda memahami di mana Anda melakukan kesalahan. Fitur-fitur ini didukung oleh GPT dan diakses melalui OpenAI API.
LangChain menyediakan kerangka kerja di atas berbagai API untuk LLM. Kerangka ini dirancang agar pengembang perangkat lunak dan data engineer lebih produktif saat mengintegrasikan AI berbasis LLM ke dalam aplikasi dan pipeline data mereka.
Tutorial ini merinci masalah yang diselesaikan LangChain dan kasus penggunaan utamanya, sehingga Anda dapat memahami alasan dan konteks penggunaannya. Sebelum membaca, akan membantu jika Anda memahami gagasan dasar tentang LLM. Tutorial Bagaimana NLP Mengubah Masa Depan Data Science adalah tempat yang baik untuk menyegarkan pengetahuan Anda.
Masalah apa yang diselesaikan LangChain?
Pada dasarnya ada dua alur kerja untuk berinteraksi dengan LLM.
- "Chatting" melibatkan penulisan prompt, mengirimkannya ke AI, dan mendapatkan respons teks.
- "Embedding" melibatkan penulisan prompt, mengirimkannya ke AI, dan mendapatkan respons berupa larik numerik.
Baik alur kerja chatting maupun embedding memiliki beberapa masalah yang coba diatasi oleh LangChain.
Prompt Penuh Teks Bawaan (Boilerplate)
Salah satu masalah pada chatting dan embedding adalah membuat prompt yang baik jauh lebih dari sekadar mendefinisikan tugas. Anda juga perlu menjelaskan kepribadian dan gaya penulisan AI serta menyertakan instruksi untuk mendorong ketepatan faktual. Artinya, Anda mungkin ingin menulis prompt sederhana yang mendeskripsikan sebuah tugas:
Write an outline for a 500-word blog post targeted at teenagers about the health benefits of doing yoga.Namun, untuk mendapatkan respons yang baik, Anda perlu menulis sesuatu seperti:
You are an expert sports scientist. Your writing style is casual but terse.
Write an outline for a 500-word blog post targeted at teenagers about the health benefits of doing yoga.
Only include factually correct information. Explain your reasoning.Sebagian besar teks bawaan dalam prompt ini akan sama dari satu prompt ke prompt berikutnya. Idealnya, Anda ingin menulisnya sekali, dan secara otomatis disertakan dalam prompt mana pun yang Anda inginkan.
LangChain menyelesaikan masalah teks bawaan dalam prompt dengan menyediakan template prompt. Template ini menggabungkan masukan prompt yang berguna (dalam hal ini, teks tentang menulis posting blog mengenai yoga) dengan teks bawaan (gaya penulisan dan permintaan informasi yang faktual).
Respons Tidak Terstruktur
Dalam alur kerja chatting, respons dari model berupa teks saja. Namun, ketika AI digunakan di dalam perangkat lunak, sering kali diinginkan keluaran yang terstruktur agar dapat diprogram lebih lanjut. Misalnya, jika tujuannya adalah menghasilkan sebuah dataset, Anda menginginkan respons dalam format spesifik seperti CSV atau JSON.
Dengan asumsi Anda dapat menulis prompt yang membuat AI secara konsisten memberikan respons dalam format yang sesuai, Anda memerlukan cara untuk menangani keluaran tersebut. LangChain menyediakan alat output parser untuk tujuan ini.
Sulit Beralih Antara LLM
Walau GPT sangat sukses, ada banyak LLM lain yang tersedia. Dengan memrogram langsung terhadap API satu perusahaan, Anda mengunci perangkat lunak ke dalam ekosistem tersebut. Sangat mungkin setelah membangun fitur AI Anda di atas GPT, Anda menyadari kemampuan multibahasa yang lebih kuat diperlukan untuk produk Anda. Anda mungkin kemudian ingin beralih ke Polyglot atau beralih dari sekadar menggunakan AI menjadi menyertakan AI dalam produk Anda dan memerlukan model yang lebih ringkas seperti StableLM dari Stability AI.
LangChain menyediakan sebuah kelas LLM, dan abstraksi ini membuat pertukaran satu model dengan model lain menjadi jauh lebih mudah atau bahkan memungkinkan penggunaan beberapa model di dalam perangkat lunak Anda.
LLM Memiliki Memori Pendek
Respons LLM dihasilkan berdasarkan percakapan sebelumnya (baik prompt pengguna maupun respons sebelumnya). Namun, LLM memiliki memori yang cukup pendek. Bahkan GPT-4, yang mutakhir sekalipun, secara bawaan hanya memiliki memori 8.000 token (sekitar 6.000 kata).
Dalam alur kerja chatting, jika percakapan melampaui batas memori, respons AI dapat menjadi tidak konsisten (karena tidak mengingat awal percakapan). Chatbot adalah contoh di mana ini bisa menjadi masalah. Idealnya, Anda ingin chatbot mengingat seluruh percakapan dengan pelanggan agar tidak memberikan informasi yang saling bertentangan.
LangChain menyelesaikan masalah memori dengan menyediakan alat riwayat pesan chat. Alat ini memungkinkan Anda memberi makan pesan-pesan sebelumnya kembali ke LLM untuk mengingatkannya tentang topik yang telah dibahas.
Sulit Mengintegrasikan Penggunaan LLM ke dalam Pipeline
Saat digunakan dalam pipeline data atau aplikasi perangkat lunak, AI sering kali hanya merupakan bagian dari potongan fungsionalitas yang lebih besar. Misalnya, Anda mungkin ingin mengambil data dari basis data, mengoperkannya ke LLM, lalu memroses respons dan memasukkannya ke sistem lain.
LangChain menyediakan perangkat untuk alur kerja berbentuk pipeline melalui chain dan agent. Chain adalah objek sederhana yang pada dasarnya merangkai beberapa komponen (untuk pipeline linier). Agent lebih canggih, memungkinkan logika bisnis untuk memilih bagaimana komponen saling berinteraksi. Misalnya, Anda mungkin ingin memiliki logika bersyarat bergantung pada keluaran dari LLM untuk menentukan langkah berikutnya.
Mengoper Data ke LLM Itu Sulit
Sifat LLM yang berbasis teks berarti sering kali tidak sepenuhnya jelas bagaimana cara mengoper data ke model. Ada dua bagian masalah.
Pertama, Anda perlu menyimpan data dalam format yang memungkinkan Anda mengontrol bagian mana dari dataset yang akan dikirim ke LLM. (Untuk dataset berbentuk persegi panjang seperti DataFrame atau tabel SQL, Anda biasanya ingin mengirim data satu baris pada satu waktu.)
Kedua, Anda harus menentukan bagaimana menyertakan data tersebut dalam prompt. Pendekatan paling sederhana adalah menyertakan dataset dalam prompt ("prompt stuffing"), tetapi ada opsi yang lebih canggih.
LangChain menyelesaikan bagian pertama dengan indeks. Indeks ini menyediakan fungsionalitas untuk mengimpor data dari basis data, file JSON, pandas DataFrame, file CSV, dan format lain serta menyimpannya dalam format yang cocok untuk disajikan baris demi baris ke LLM.
LangChain menyediakan chain terkait indeks untuk menyelesaikan bagian kedua dari masalah, dan memiliki kelas untuk empat teknik mengoper data ke LLM.
Prompt stuffing menyisipkan seluruh dataset ke dalam prompt. Ini sangat sederhana tetapi hanya berfungsi saat Anda memiliki dataset kecil.
Map-reduce membagi data menjadi potongan, memanggil LLM dengan prompt awal pada setiap potongan data (bagian "map"), lalu memanggil LLM lagi, kali ini dengan prompt berbeda yang menyertakan respons dari putaran prompt pertama. Ini sesuai kapan pun Anda terpikir untuk menggunakan perintah "group by".
Refine adalah pendekatan iteratif bergaya Bayesian, di mana Anda menjalankan prompt pada potongan data pertama, kemudian untuk setiap potongan data tambahan, Anda menggunakan prompt yang meminta LLM menyempurnakan hasil berdasarkan dataset baru. Pendekatan ini bekerja baik jika Anda mencoba membuat respons berkonvergensi pada keluaran tertentu.
Map-rerank adalah variasi dari map-reduce. Bagian pertama alurnya sama: membagi data menjadi potongan dan memanggil prompt pada setiap potongan. Perbedaannya adalah Anda meminta LLM memberikan skor keyakinan untuk responsnya, sehingga Anda dapat memberi peringkat keluaran. Pendekatan ini cocok untuk tugas rekomendasi di mana hasilnya adalah satu jawaban "terbaik".
Bahasa Pemrograman Apa yang Didukung LangChain?
LangChain dapat digunakan dari JavaScript melalui paket node langchain. Ini cocok untuk menanamkan AI ke dalam aplikasi web.
LangChain juga dapat digunakan dari Python melalui paket langchain (PyPI, conda). Ini cocok untuk menyertakan AI ke dalam pipeline data atau perangkat lunak berbasis Python.
Apa Saja Kasus Penggunaan Utama LangChain?
LangChain dapat digunakan di mana pun Anda mungkin ingin menggunakan LLM. Di sini, kami membahas beberapa contoh terkait data, menjelaskan fitur LangChain yang relevan.
Mengajukan Kueri Dataset dengan Bahasa Natural
Salah satu kasus penggunaan LLM paling transformatif untuk analisis data adalah kemampuan menulis kueri SQL (atau kode Python atau R yang setara) menggunakan bahasa natural. Ini membuat eksplorasi data menjadi mudah diakses oleh orang-orang tanpa keterampilan koding.
Ada beberapa variasi alur kerja. Untuk dataset kecil, Anda dapat meminta LLM menghasilkan hasil secara langsung. Ini melibatkan memuat data ke format yang sesuai menggunakan pemuat dokumen LangChain, mengoper data ke LLM menggunakan chain terkait indeks, dan mengurai respons menggunakan output parser.
Lebih umum, Anda akan mengoper detail struktur data (seperti nama tabel, nama dan tipe kolom, serta detail seperti kolom mana yang memiliki nilai hilang) ke LLM dan memintanya menghasilkan kode SQL/Python/R. Kemudian Anda mengeksekusi kode yang dihasilkan. Alur ini lebih sederhana karena tidak memerlukan pengoperan data, meskipun LangChain tetap berguna karena dapat memodularisasi langkah-langkahnya.
Variasi lain adalah menyertakan pemanggilan kedua ke LLM untuk memintanya menafsirkan hasil. Jenis alur kerja yang melibatkan beberapa panggilan ke LLM inilah di mana LangChain sangat membantu. Dalam kasus ini, Anda dapat menggunakan alat riwayat pesan chat untuk memastikan interpretasi hasil konsisten dengan struktur data yang sebelumnya Anda berikan.
Berinteraksi dengan API
Untuk kasus penggunaan data seperti membuat pipeline data, menyertakan AI dari LLM sering kali merupakan bagian dari alur yang lebih panjang yang melibatkan panggilan API lain. Misalnya, Anda mungkin ingin menggunakan API untuk mengambil data saham atau berinteraksi dengan platform cloud.
Fitur chain dan agent milik LangChain yang memungkinkan Anda menghubungkan langkah-langkah ini secara berurutan (dan menggunakan logika bisnis tambahan untuk pipeline bercabang) sangat ideal untuk kasus penggunaan ini.
Membangun Chatbot
Chatbot adalah salah satu kasus penggunaan AI yang paling populer, dan AI generatif sangat menjanjikan untuk chatbot yang berperilaku lebih realistis. Namun, bisa merepotkan untuk mengendalikan kepribadian chatbot dan membuatnya mengingat konteks percakapan.
Template prompt LangChain memberi Anda kendali atas kepribadian chatbot (nada suara dan gaya komunikasinya) serta respons yang diberikannya.
Selain itu, alat riwayat pesan berguna untuk memberi chatbot memori yang lebih panjang dari beberapa ratus atau ribu kata yang disediakan LLM secara bawaan, sehingga memungkinkan konsistensi yang lebih baik dalam satu percakapan atau bahkan lintas beberapa percakapan.
Penggunaan lainnya
Tutorial ini baru mengungkap sebagian kecil dari kemungkinannya. Ada banyak lagi kasus penggunaan LLM untuk para profesional data. Baik Anda tertarik membuat asisten pribadi, merangkum laporan, atau menjawab pertanyaan tentang dokumen dukungan atau basis pengetahuan, LangChain menyediakan kerangka kerja untuk menyertakan AI ke dalam pipeline data atau aplikasi data apa pun yang Anda bayangkan.
Naik ke Tingkat Berikutnya
Konten LangChain segera hadir di DataCamp. Sementara itu, Anda dapat mempelajari salah satu kasus penggunaan yang dibahas di sini dengan mengikuti kursus Building Chatbots in Python.
