OpenAI Mengumumkan Assistants API

Pada Dev Day OpenAI, perusahaan membuat beberapa pengumuman, termasuk Assistants API baru. Lihat artikel tentang GPT-4 Turbo dan GPTs dan GPT Store untuk rincian pengumuman lainnya.

Assistants API memperluas OpenAI API yang ada agar pengembang perangkat lunak lebih mudah membangun asisten AI, seperti chatbot.

Empat fitur baru diumumkan:

1. "Threads" untuk membantu mengelola percakapan yang lebih panjang
2. "Retrieval" untuk membantu menyimpan teks
3. Interpretasi kode bawaan
4. Peningkatan pada fungsionalitas pemanggilan fungsi.

Fitur Utama Assistants API

Di sini, kami akan membahas masing-masing fitur ini secara lebih rinci.

Manajemen percakapan lebih mudah dengan threads

Walau beberapa tugas dapat dilakukan dengan mengirim satu prompt ke API dan mendapat satu respons kembali, chatbot memerlukan percakapan yang lebih panjang (atau "thread"). Selama ini, pengembang harus melacak status percakapan sebelumnya dan memutuskan pesan mana dari percakapan sebelumnya yang akan dikirim ke API. Seiring percakapan bertambah panjang, ini memerlukan pengiriman semakin banyak teks dalam setiap panggilan API, yang memperlambat kinerja.

Selain itu, setelah percakapan melampaui "jendela konteks" (jumlah teks yang bisa diingat GPT sekaligus), perlu dibuat keputusan: apakah Anda membuang pesan yang lebih lama, mencoba merangkumnya, atau menyimpannya dan membuat keputusan di kemudian hari tentang mana yang relevan dan perlu disertakan? Hal ini cepat menjadi rumit dan memperlambat pengembangan aplikasi.

Alat threading baru mengubah OpenAI dari model "stateless" (tanpa memori) menjadi "stateful". Pesan sebelumnya dapat disimpan di sisi OpenAI, sehingga pengembang tidak perlu khawatir dengan isu manajemen ini.

Alat retrieval memungkinkan Anda menyimpan teks tambahan

Presentasi OpenAI juga menyebutkan alat retrieval untuk penyimpanan teks. Ini diposisikan sebagai fitur kedua, meskipun karena fitur threading tampaknya memanfaatkannya, belum jelas seberapa terpisah fitur ini.

Rincian teknisnya minim selama presentasi, meski kita bisa menebak cara kerjanya. Saat ini, memasukkan AI generatif ke dalam aplikasi memerlukan dua teknologi berbeda: model bahasa besar (LLM) seperti GPT, dan sebuah basis data vektor.

Basis data vektor menyimpan teks (atau gambar atau tipe data tidak terstruktur lainnya) sebagai vektor numerik melalui proses yang disebut embedding. Anda dapat mengambil potongan teks tersebut nanti untuk disertakan dalam prompt. Contoh penggunaan umum mencakup memiliki simpanan fakta terkait topik yang ingin Anda bahas.

Sebagai contoh, jika Anda membuat chatbot untuk membantu menjawab pertanyaan tentang produk perusahaan Anda, Anda dapat menyimpan informasi produk dalam basis data vektor dan menggunakannya untuk memastikan LLM memberikan jawaban faktual yang akurat.

Fitur retrieval yang disebutkan dalam presentasi mengisyaratkan bahwa Assistants API mungkin memberikan akses API ke basis data vektor. Ini membuka kemungkinan menarik di luar kemampuan percakapan panjang karena berarti Anda tidak perlu menggunakan basis data vektor terpisah seperti Pinecone, Milvus, atau Weaviate untuk menyimpan teks Anda.

Untuk saat ini ini masih spekulasi, dan kita perlu menunggu rincian konkret tentang Assistants API tersedia.

Interpretasi kode tersemat

ChatGPT memiliki alat Advanced Data Analysis yang memungkinkan GPT menghasilkan dan mengeksekusi kode Python berdasarkan instruksi bahasa alami. Meski rinciannya dalam presentasi OpenAI agak samar, diisyaratkan bahwa fitur ini akan dibangun ke dalam Assistants API, sehingga Anda dapat memberikan prompt yang membuat GPT menjalankan kode Python.

Pemanggilan fungsi yang ditingkatkan memudahkan interaksi dengan perangkat lunak lain

Fitur function calling dari API memungkinkan Anda menulis instruksi bahasa alami dan membuat GPT mengembalikan string JSON yang merepresentasikan pemanggilan fungsi yang telah Anda definisikan. Ini penting untuk agen AI, yang dirancang untuk melakukan tugas berdasarkan masukan bahasa alami.

Pengumuman tersebut menggambarkan dua peningkatan pada fitur ini. Pertama, ada "mode JSON" di mana respons dijamin berupa JSON yang valid dan seharusnya lebih patuh pada tanda tangan fungsi yang ditentukan. Selama ini, ada kemungkinan respons tidak valid, sehingga perangkat lunak Anda memerlukan kode deteksi galat yang menyeluruh.

Fungsionalitas baru ini seharusnya menyederhanakan pembuatan agen AI dan memudahkan pembangunan antarmuka bahasa alami untuk perangkat lunak.

Ringkasan

Walaupun revolusi AI generatif pada 2023 sangat menakjubkan, keterampilan rekayasa perangkat lunak yang substansial diperlukan untuk memasukkan AI generatif ke dalam perangkat lunak lain. Assistants API menjanjikan untuk sedikit menurunkan hambatan masuk tersebut, sehingga lebih banyak produk dapat mengadopsi teknologi ini dengan lebih cepat.

Terus Belajar

DataCamp memiliki beberapa kursus untuk mengajarkan Anda cara menggunakan OpenAI API. Mulailah dengan Working with the OpenAI API dan lanjutkan ke Introduction to Embeddings with the OpenAI API.

Anda juga dapat mempelajari tentang function calling API dalam OpenAI Function Calling Tutorial.