Kursus
Bekerja dengan OpenAI API
3 Hr
170.2K
Sejak peluncuran ChatGPT pada akhir 2022 (peristiwa yang menandai dimulainya revolusi AI yang sedang berlangsung), model AI generatif menjadi semakin kuat dan beragam. Model-model baru dengan berbagai ukuran, fitur, modalitas, dan kegunaan hadir di pasar setiap hari, sehingga sulit untuk memastikan batas kemungkinan yang ada.
Secara umum, ada tren yang jelas menuju pengembangan model yang lebih besar dan lebih kompleks. Meningkatkan jumlah parameter model dan jumlah data pelatihan diyakini sebagai strategi terbaik untuk meningkatkan kinerja large language model (LLM), teknologi dasar di balik model AI generatif. Baca artikel terpisah kami untuk mengetahui secara rinci apa itu LLM.
Namun, mengingat meningkatnya kekhawatiran tentang sumber daya yang diperlukan untuk melatih dan menjalankan model besar ini (serta jejak lingkungan yang terkait), efisiensi dalam pengembangan dan penerapan AI dengan cepat mendapatkan momentum.
Artikel ini akan memaparkan Stable Code 3B, model terbaru yang dirilis oleh Stability AI, yang dirancang khusus untuk pengodean yang akurat dan responsif. Sebagai model yang sangat akurat untuk tugas pemrograman, LLM ini memberikan tingkat kinerja setara dengan LLM terdepan sambil secara signifikan mengurangi ukurannya.
Apa itu Stable Code 3B?
Dirilis pada Januari 2024 oleh Stability AI, Stable Code 3B adalah LLM berparameter 3 miliar yang dikembangkan untuk keperluan pengodean. Ini adalah versi lanjutan dari pendahulunya, Stable Code Alpha 3B.
Stable Code 3B unggul dalam tugas penyelesaian kode dan dapat digunakan sebagai alat edukasi yang sangat baik bagi programmer pemula. Model ini dirilis gratis untuk keperluan riset atau penggunaan pribadi. Untuk aplikasi komersial, pengguna perlu berlangganan salah satu Keanggotaan Stability AI.
Stable Code 3B termasuk produk terbaik di antara LLM dengan ukuran yang sama (lihat detail metrik kinerjanya di bagian berikut), meraih hasil yang hebat dengan ukuran yang jauh lebih kecil. Berkat desain yang ringkas dan efisien, Stable Code 3B dapat beroperasi secara luring di laptop umum, bahkan tanpa GPU khusus, seperti MacBook Air.
Bagaimana Cara Kerja Stable Code 3B?
Stable Code 3B adalah model ringkas dengan 2,7 miliar parameter. Ini adalah transformer decoder-only yang mirip dengan LLaMA open-source milik Meta. Baca artikel terpisah kami untuk mengetahui semua detail tentang LLaMA.
Proses pelatihan Stable Code 3B jelas terinspirasi oleh CodeLLaMA milik Meta. Model ini berangkat dari LLM pralatih milik Stability AI, StableLM-3b-4e1t, yang berfungsi sebagai model fondasi-nya.
Model ini mengikuti proses fine-tuning yang melibatkan dua langkah. Pada langkah pertama, model dilatih pada beberapa dataset kode dan yang terkait kode, termasuk CommitPack, GitHub Issues, StarCoder & dataset Matematika lainnya. Data pelatihan mencakup kode dari 18 bahasa pemrograman yang banyak digunakan, termasuk Python, R, Java, dan C.
Kemudian, model di-fine-tune lebih lanjut dengan urutan yang lebih panjang, yaitu 16.384 token, menggunakan teknik fill-in-the-middle, seperti yang disarankan dalam makalah riset CodeLLama. Langkah kedua memungkinkan model mendukung jendela konteks panjang hingga 100 ribu token. Ini sangat sesuai untuk tugas pengodean. Dengan kemungkinan urutan masukan yang lebih panjang, pengembang dapat memberikan lebih banyak konteks dan potongan kode yang lebih panjang dari basis kode mereka agar model menghasilkan keluaran yang lebih relevan dan akurat.
Metrik Kinerja Stable Code 3B
Pengembang Stability AI telah menciptakan model yang mencapai kinerja terdepan dibandingkan model dengan ukuran serupa pada metrik MultiPL-E di berbagai bahasa pemrograman yang diuji. Perbandingan ini diilustrasikan pada gambar berikut:
Perbandingan kinerja Multi-PL untuk model di bawah 3B. Sumber: Stability AI
Stabe Code 3B juga unggul dibandingkan model yang ukurannya jauh lebih besar. Misalnya, model ini mencapai tingkat kinerja yang sama dengan CodeLLaMA 7b, inspirasi utamanya, dengan pengurangan ukuran model sebesar 60%.
Perbandingan Stable Code Completion 3B dengan CodeLLama 7B. Sumber: Stability AI
Aplikasi Stable Code 3B
Asisten pengodean bertenaga AI seperti Stable Code 3B menawarkan banyak peluang dalam pengembangan perangkat lunak dan analisis data. Berikut adalah beberapa cara programmer sudah menggunakan AI:
Otomatisasi tugas
Stable Code 3B dapat mengotomatiskan tugas-tugas berulang dan membosankan dengan mulus, seperti menjalankan kueri SQL dasar, melakukan analisis eksploratif data, dan merampingkan proyek data science. Ini dapat membantu programmer melewati tugas yang memakan waktu dan fokus pada pekerjaan yang lebih kompleks dan menantang. Untuk mengetahui cara kerjanya dalam praktik, lihat panduan penggunaan ChatGPT untuk data science kami yang ilustratif.
Perbaikan bug
Debugging sering memakan waktu dan bisa menantang, terutama saat mengerjakan proyek kompleks dengan ratusan baris kode. Stable Code 3B adalah asisten yang tepat untuk mempercepat proses ini dengan memindai kode Anda dalam hitungan detik dan memberikan saran kode serta struktur untuk memperbaikinya. Berkat jendela konteksnya yang panjang, pengguna dapat memberikan skrip besar kepada model dan Stable Code 3B akan menemukan potensi kesalahan dan jebakan dalam kode Anda.
Optimasi kode
Saat mengerjakan proyek kompleks yang membutuhkan sumber daya komputasi besar, efisiensi adalah keharusan. Cara penulisan kode dapat sangat memengaruhi efisiensi. Stable Code 3B dapat membantu menulis ulang kode Anda untuk meningkatkan efisiensi, sehingga menghemat waktu, sumber daya, dan biaya.
Keterjelasan kode
Terkadang, memahami kode orang lain bisa sulit, terutama bagi programmer junior. Stable Code 3B tidak hanya dapat menyarankan perbaikan kode, tetapi juga memberikan penjelasan terperinci tentang potongan kode tertentu, sehingga membantu Anda belajar lebih cepat.
Untuk mempelajari bagaimana AI generatif dapat digunakan untuk tujuan pembelajaran, kami sangat merekomendasikan Anda mencoba DataCamp Workspace. Kami menggunakan model GPT 3.5 dan GPT-4 untuk memberi daya pada IDE data science kami dan membantu Anda memahami sintaks yang kompleks. Lihat panduan terpisah kami untuk mulai menggunakan DataCamp Workspace.
Cara Mengunduh Model Stable Code 3B
Cara terbaik untuk mulai menggunakan Stable Code 3B adalah melalui HuggingFace API. Anda dapat dengan mudah mengimpor model ke lingkungan Python Anda dan mulai menghasilkan teks menggunakan kode berikut:
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("stabilityai/stable-code-3b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
"stabilityai/stable-code-3b",
trust_remote_code=True,
torch_dtype="auto",
)
model.cuda()
inputs = tokenizer("import torch\nimport torch.nn as nn", return_tensors="pt").to(model.device)
tokens = model.generate(
**inputs,
max_new_tokens=48,
temperature=0.2,
do_sample=True,
)
print(tokenizer.decode(tokens[0], skip_special_tokens=True))Cara menggunakan Stable Code 3B untuk aplikasi komersial
Seperti telah disebutkan, Stable Code 3B dirilis gratis untuk keperluan riset atau penggunaan pribadi. Untuk aplikasi komersial, pengguna harus berlangganan salah satu Keanggotaan Stability AI.
Saat ini, Stability AI menawarkan dua jenis keanggotaan selain yang non-komersial, seperti yang ditunjukkan pada gambar berikut:
Keanggotaan Professional berharga $20 per bulan dan memberi pengguna akses serta hak untuk menggunakan secara komersial Model Inti Stability AI, yang mencakup model untuk pembuatan gambar, video, 3D, teks, dan kode. Keanggotaan Enterprise dirancang untuk perusahaan besar dengan harga khusus dan serangkaian fitur tingkat perusahaan.
Pelajari Lebih Lanjut
Kita hidup di masa yang menarik bagi para profesional data. Industri berada di ambang disrupsi menyusul adopsi besar-besaran alat AI generatif seperti Stable Code 3B.
Cara terbaik menavigasi revolusi AI yang sedang berlangsung adalah dengan tetap mengikuti dan memperbarui informasi. DataCamp siap membantu. Lihat artikel khusus kami yang membahas alat AI generatif kuat lainnya:
Topik