GPT-4 adalah Generative AI paling canggih yang dikembangkan oleh OpenAI. Teknologi ini mengubah lanskap cara kita bekerja. Namun, GPT-4 bukan sumber terbuka, artinya kita tidak memiliki akses ke kode, arsitektur model, data, atau bobot model untuk mereplikasi hasilnya. Kita tidak dapat membuat chatbot ala GPT-4 sendiri.
Untuk menyeimbangkan keadaan, komunitas LLM sumber terbuka mulai mengerjakan alternatif GPT-4 yang menawarkan performa dan fungsionalitas hampir serupa serta membutuhkan sumber daya komputasi yang lebih sedikit.
Anda dapat mempelajari GPT-1, GPT-2, GPT-3, dan GPT-4 dengan meninjau: Apa itu GPT-4 dan Mengapa Penting?, atau Anda dapat belajar menggunakan ChatGPT untuk Proyek Data Science dan menguasai prompt engineering agar lebih mahir membangun proyek data science end-to-end.
Pada artikel ini, kami akan memperkenalkan 12 alternatif GPT-4 dengan deskripsi singkat dan tautan ke makalah riset terkait, postingan blog, demo chatbot, sumber kode, dan model card.
Catatan: Sebagian model yang disebutkan memiliki lisensi nonkomersial, yang membatasi penggunaannya hanya untuk penelitian dan tujuan akademis. Anda perlu memahami batasan ini sebelum menggunakannya.
1. ColossalChat
ColossalChat adalah proyek sumber terbuka yang memungkinkan Anda mengkloning model AI menggunakan pipeline RLHF (Reinforcement Learning from Human Feedback) yang lengkap.
Ini adalah proyek sumber terbuka sepenuhnya yang terdiri dari dataset dwibahasa, kode pelatihan, demo, dan inferensi terkuantisasi 4-bit. Semua komponen ini akan membantu Anda membuat chatbot kustom dengan lebih murah dan cepat.
Gambar dari ColossalChat
- Makalah riset: Colossal-AI: A Unified Deep Learning System For Large-Scale Parallel Training
- Postingan blog: ColossalChat: An Open-Source Solution for Cloning ChatGPT With a Complete RLHF Pipeline
- GitHub: hpcaitech/ColossalAI
- Demo: ColossalChat (colossalai.org)
2. Alpaca-LoRA
Alpaca-LoRA adalah model yang dibuat menggunakan Stanford Alpaca dan low-rank adaptation (LoRA). Low-rank adaptation memungkinkan kita menjalankan model Instruct dengan kualitas serupa GPT-3.5 pada Raspberry Pi 4 dengan RAM 4GB.
Proyek ini menyediakan sumber kode, contoh fine-tuning, kode inferensi, bobot model, dataset, dan demo. Bagian terbaiknya adalah kita dapat melatih model kita dalam beberapa jam pada satu RTX 4090.
Gambar dari Alpaca-LoRA
- GitHub: tloen/alpaca-lora
- Model Card: tloen/alpaca-lora-7b
- Demo: Alpaca-LoRA
3. Vicuna
Vicuna dapat menghasilkan teks yang koheren dan kreatif untuk chatbot. Ini adalah arsitektur berbasis transformer yang di-fine-tune pada dataset percakapan yang dikumpulkan dari ShareGPT.com.
Vicuna menyediakan hampir 90% performa ChatGPT. Ini merupakan bagian dari FastChat, sebuah platform terbuka yang memungkinkan pengguna melatih, menyajikan, dan mengevaluasi chatbot mereka. FastChat menyediakan semua komponen dan alat yang diperlukan untuk membangun model chatbot kustom.
Gambar dari FastChat (lmsys.org)
- Postingan blog: Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality | by the Team with members from UC Berkeley, CMU, Stanford, and UC San Diego
- GitHub: lm-sys/FastChat
- Demo: FastChat (lmsys.org)
4. GPT4ALL
GPT4ALL adalah chatbot yang dikembangkan oleh Tim Nomic AI pada data kurasi masif dari interaksi berbantuan seperti soal cerita, kode, kisah, deskripsi, dan dialog multi-giliran. Arsitektur modelnya berbasis LLaMa, dan menggunakan akselerator pembelajaran mesin latensi rendah untuk inferensi lebih cepat di CPU.
Dengan GPT4ALL, Anda mendapatkan klien Python, dukungan GPU dan CPU untuk inferensi, binding Typescript, antarmuka chat, dan backend Langchain.
Gambar dari gpt4all-ui
- Laporan Teknis: GPT4All
- GitHub: nomic-ai/gpt4al
- UI Chatbot: nomic-ai/gpt4all-ui
- Model card: nomic-ai/gpt4all-lora
5. Raven RWKV
Raven RWKV adalah bagian dari ChatRWKV, yaitu model sumber terbuka seperti ChatGPT tetapi ditenagai oleh model bahasa RWKV (100% RNN), bukan berbasis transformer.
Dengan memanfaatkan RNN, model ini mencapai tingkat kualitas dan skalabilitas yang sebanding dengan transformer, dengan keuntungan tambahan berupa kecepatan pemrosesan lebih tinggi dan penghematan VRAM. Raven di-fine-tune untuk mengikuti instruksi, dan di-fine-tune pada Stanford Alpaca, code-alpaca, dan lebih banyak dataset.
Gambar dari Raven RWKV 7B
- GitHub: BlinkDL/ChatRWKV
- Demo: Raven RWKV 7B
- Model card: BlinkDL/rwkv-4-raven
6. OpenChatKit
OpenChatKit adalah toolkit komprehensif yang menawarkan alternatif sumber terbuka untuk ChatGPT dalam mengembangkan aplikasi chatbot.
Toolkit ini mencakup petunjuk langkah demi langkah untuk melatih model bahasa besar yang di-tune berdasarkan instruksi, melakukan fine-tuning model, dan sistem retrieval yang dapat diperluas untuk memperbarui respons bot. Selain itu, mencakup fitur moderasi yang dapat membantu menyaring pertanyaan yang tidak pantas.
Gambar dari OpenChatKit
- Postingan Blog: Announcing OpenChatKit — TOGETHER
- GitHub: togethercomputer/OpenChatKit
- Demo: OpenChatKit
- Model card: togethercomputer/GPT-NeoXT-Chat-Base-20B
7. OPT
Model Bahasa OPT (Open Pre-trained Transformer) telah menunjukkan kemampuan luar biasa dalam pembelajaran zero-shot dan few-shot, serta analisis Bias Stereotip, meskipun belum menyamai kualitas ChatGPT.
OPT adalah keluarga model bahasa besar dari 125M hingga 175B parameter. Model-model ini merupakan transformer decoder-only, yang berarti menghasilkan teks secara autoregresif dari kiri ke kanan.
Gambar dari A Watermark for LLMs
- Makalah Riset: OPT: Open Pre-trained Transformer Language Models
- GitHub: facebookresearch/metaseq
- Demo: A Watermark for LLMs
- Model card: facebook/opt-1.3b
8. Flan-T5-XXL
Flan-T5-XXL adalah model T5 yang di-fine-tune dan dilatih pada kumpulan besar dataset yang disajikan dalam bentuk instruksi. Jenis fine-tuning ini secara signifikan meningkatkan performa pada berbagai kelas model, seperti PaLM, T5, dan U-PaLM. Selain itu, model Flan-T5-XXL di-fine-tune pada lebih dari 1000 tugas tambahan yang mencakup berbagai bahasa.
Gambar dari Chat Llm Streaming
- Makalah Riset: Scaling Instruction-Fine Tuned Language Models
- GitHub: google-research/t5x
- Demo: Chat Llm Streaming
- Model card: google/flan-t5-xxl
9. Baize
Baize menunjukkan performa mengesankan dalam dialog multi-giliran berkat guardrails yang membantu mengurangi potensi risiko. Hal ini dicapai melalui korpus chat multi-giliran berkualitas tinggi, yang dikembangkan dengan memanfaatkan ChatGPT untuk memfasilitasi percakapan dengan dirinya sendiri.
Kode sumber, model, dan dataset Baize dirilis di bawah lisensi nonkomersial (untuk tujuan penelitian).
Gambar dari Baize 7B
- Makalah Riset: Baize: An Open-Source Chat Model with Parameter-Efficient Tuning on Self-Chat Data
- GitHub: project-baize/baize-chatbot
- Demo: Baize 7B
- Model card: project-baize/baize-lora-7B
10. Koala
Koala adalah chatbot yang dilatih dengan menyesuaikan (fine-tuning) LLaMa pada dataset dialog yang diambil dari web. Koala berkinerja lebih baik daripada Alpaca dan dalam banyak kasus serupa dengan ChatGPT.
Koala menyediakan kode pelatihan, bobot publik, dan fine tuner dialog, serta telah dievaluasi oleh 100 orang.
Gambar dari FastChat/Koala
- Postingan Blog: Koala: A Dialogue Model for Academic Research
- GitHub: young-geng/EasyLM
- Demo: FastChat/Koala
11. Dolly
Dolly adalah model bahasa besar yang dilatih oleh tim Databricks untuk menunjukkan bahwa kita dapat menggunakan model bahasa sumber terbuka lama dan memberinya kemampuan mengikuti instruksi ala ChatGPT. Pelatihan model membutuhkan 30 menit pada satu mesin, menggunakan data pelatihan berkualitas tinggi. Anda bahkan tidak memerlukan model besar untuk mencapai kualitas tinggi. Tim menggunakan model berparameter 6 miliar, dibandingkan 175 miliar untuk GPT-3.
Lihat Dolly 2.0, model bahasa yang mengikuti instruksi dan dapat digunakan secara komersial.
Gambar dari Hello Dolly
- Postingan Blog: Hello Dolly: Democratizing the magic of ChatGPT with open models
- GitHub: databrickslabs/dolly
- Model card: databricks/dolly-v1-6b
12. Open Assistant
Open Assistant adalah proyek sumber terbuka sejati, yang berarti memberikan semua orang akses ke model bahasa besar berbasis chat terdepan. Tujuannya adalah menciptakan revolusi inovasi dalam bahasa dengan memungkinkan orang berinteraksi dengan sistem pihak ketiga, mengambil informasi secara dinamis, dan membuat aplikasi baru menggunakan bahasa.
Anda dapat menjalankan chatbot bahasa besar pada satu GPU konsumen kelas atas, dan kode, model, serta datanya dilisensikan di bawah lisensi sumber terbuka.
Gambar dari open-assistant.io
- Postingan Blog: Open Assistant First Models are here!
- GitHub: LAION-AI/Open-Assistant
- Demo: open-assistant.io
- Model card: OpenAssistant/oasst-sft-1-pythia-12b
Alternatif GPT-4: Pendekatan Komparatif
Mari tinjau apa yang telah kita bahas sejauh ini dalam tabel perbandingan berikut:
| Nama Model | Fitur Utama | Manfaat | Lisensi |
| ColossalChat | Pipeline RLHF lengkap, dataset dwibahasa, inferensi terkuantisasi 4-bit | Kustomisasi chatbot lebih cepat dan murah | Sumber terbuka |
| Alpaca-LoRA | Low-rank adaptation, berjalan pada Raspberry Pi 4 | Model Instruct berkualitas tinggi pada perangkat keras terbatas | Sumber terbuka |
| Vicuna | Di-fine-tune pada dataset percakapan ShareGPT.com | Hampir 90% performa ChatGPT, bagian dari platform FastChat | Sumber terbuka |
| GPT4ALL | Arsitektur LLaMa, akselerator latensi rendah | Inferensi cepat di CPU, dialog multi-giliran | Sumber terbuka |
| Raven RWKV | Model bahasa berbasis RNN (bukan transformer) | Pemrosesan lebih cepat, penghematan VRAM | Sumber terbuka |
| OpenChatKit | LLM yang di-tune dengan instruksi, fine-tuning, fitur moderasi | Toolkit komprehensif untuk pengembangan chatbot | Sumber terbuka |
| OPT | Transformer decoder-only, berbagai ukuran parameter | Pembelajaran zero-shot dan few-shot, analisis bias stereotip |
Lisensi nonkomersial (hanya penelitian & akademik)
|
| Flan-T5-XXL | Instruction-fine-tuned pada 1000+ tugas, multibahasa | Peningkatan performa di berbagai kelas model | Sumber terbuka |
| Baize | Dialog multi-giliran, guardrails untuk mitigasi risiko | Korpus chat berkualitas tinggi |
Lisensi nonkomersial (hanya penelitian & akademik)
|
| Koala | LLaMa yang di-fine-tune pada dataset dialog | Performa melampaui Alpaca, serupa dengan ChatGPT dalam banyak kasus | Sumber terbuka |
| Dolly | LLM yang mengikuti instruksi, dilatih 30 menit pada satu mesin | Menunjukkan kemampuan ala ChatGPT dengan model yang lebih kecil | Sumber terbuka |
| Open Assistant | Chatbot bahasa besar pada satu GPU konsumen | Benar-benar sumber terbuka, pengambilan informasi dinamis | Sumber terbuka |
Pertimbangan Penting
Walaupun alternatif sumber terbuka ini menawarkan kemungkinan menarik, penting untuk menyadari keterbatasannya dibandingkan GPT-4.
- Kesenjangan performa: Meskipun beberapa model mendekati kemampuan GPT-4, belum ada yang sepenuhnya mereplikasi performanya di semua tugas.
- Keterbatasan sumber daya: Beberapa model mungkin memerlukan sumber daya komputasi besar untuk pelatihan dan fine-tuning.
- Digerakkan komunitas: Proyek sumber terbuka bergantung pada kontribusi komunitas, yang dapat menyebabkan variasi dalam kualitas dan dukungan.
Kesimpulan
Alternatif GPT-4 ini dapat membantu peneliti, pengembang, dan perusahaan kecil untuk menciptakan teknologi berbasis bahasa mereka sendiri dan bersaing dengan para raksasa industri. Performa model-model ini belum melampaui GPT-4, tetapi seiring waktu dan kontribusi komunitas, beberapa di antaranya berpotensi melampaui GPT-4.
Jika Anda baru mengenal ChatGPT, cobalah mengikuti kursus Introduction to ChatGPT, dan jika Anda sudah memahami AI generatif, Anda dapat meningkatkan kemampuan membuat prompt dengan meninjau ChatGPT Cheat Sheet for Data Science yang komprehensif, atau dengan melihat sumber daya di bawah ini.
