Program
Pengembangan Aplikasi Kecerdasan Buatan
21 jam
Bagi kami para pemrogram, pengodean barangkali adalah salah satu penerapan LLM yang paling penting. Kemampuan untuk menghasilkan kode yang akurat, melakukan debug, dan benar-benar “memahami” kode menjadikan LLM sebagai asisten kunci bagi banyak pemrogram, selain berbagai manfaatnya bagi perusahaan.
Mistral baru-baru ini merilis model terbaru mereka, Codestral 25.01, yang juga dikenal sebagai Codestral V2—peningkatan dari model Codestral pertama mereka yang dirilis pada 2024. Dalam artikel ini, saya akan meninjau Codestral 25.01, mengevaluasi performanya pada tolok ukur, memandu Anda melalui proses penyiapannya, dan mendemonstrasikannya secara langsung.
Apa Itu Codestral 25.01 dari Mistral?
Mengutip dari pengumuman Mistral, Codestral 25.01 adalah “ringan, cepat, dan mahir dalam lebih dari 80 bahasa pemrograman (...) dioptimalkan untuk kasus penggunaan berlatensi rendah dan berfrekuensi tinggi serta mendukung tugas seperti fill-in-the-middle (FIM), koreksi kode, dan pembuatan tes.”
Banyak pengembang telah menggunakan model sebelumnya, Codestral, untuk tugas terkait kode. Codestral 25.01 adalah versi yang ditingkatkan, dengan tokenizer yang lebih baik dan arsitektur yang lebih efisien yang memungkinkannya menghasilkan kode dua kali lebih cepat.
Mistral belum merilis modelnya atau memberikan rincian tentang arsitektur atau ukurannya. Namun, kita tahu bahwa model ini memiliki kurang dari 100 miliar parameter dan mendukung panjang konteks 256K.
Pada saat artikel ini ditulis, Codestral 25.01 hanya terpaut beberapa poin di bawah seri Claude 3.5 Sonnet di Chatbot Arena (sebelumnya LMSYS) dan hanya sedikit di atas Codestral V1.
Sumber: Chatbot Arena
Papan peringkat lain yang berfokus pada evaluasi kemampuan pengodean LLM adalah Polyglot milik Aider. Dalam tolok ukur ini, model diminta menyelesaikan 225 latihan pengodean dalam bahasa pemrograman populer. Codestral 25.01 meraih skor 11%, sementara Qwen2.5-Coder-32B-Instruct meraih 16%.
Sumber: Papan peringkat Aider
Terakhir, mari melihat tolok ukur resmi yang dipublikasikan oleh Mistral. Skor tolok ukur yang dirilis menunjukkan peningkatan jelas dibanding Codestral V1, Codellama 70B, atau DeepSeek Coder 33B. Akan lebih informatif membandingkan skor Codestral 25.01 dengan Qwen2.5-Coder-32B-Instruct yang lebih baru (Anda dapat membaca skor Qwen di sini).
Gambaran untuk Python:
|
Model |
Panjang konteks |
HumanEval |
MBPP |
CruxEval |
LiveCodeBench |
RepoBench |
|
Codestral-2501 |
256k |
86,6% |
80,2% |
55,5% |
37,9% |
38,0% |
|
Codestral-2405 22B |
32k |
81,1% |
78,2% |
51,3% |
31,5% |
34,0% |
|
Codellama 70B instruct |
4k |
67,1% |
70,8% |
47,3% |
20,0% |
11,4% |
|
DeepSeek Coder 33B instruct |
16k |
77,4% |
80,2% |
49,5% |
27,0% |
28,4% |
|
DeepSeek Coder V2 lite |
128k |
83,5% |
83,2% |
49,7% |
28,1% |
20,0% |
Tolok ukur untuk banyak bahasa:
|
Model |
HumanEval Python |
HumanEval C++ |
HumanEval Java |
HumanEval Javascript |
HumanEval Bash |
HumanEval Typescript |
HumanEval C# |
HumanEval (rata-rata) |
|
Codestral-2501 |
86,6% |
78,9% |
72,8% |
82,6% |
43,0% |
82,4% |
53,2% |
71,4% |
|
Codestral-2405 22B |
81,1% |
68,9% |
78,5% |
71,4% |
40,5% |
74,8% |
43,7% |
65,6% |
|
Codellama 70B instruct |
67,1% |
56,5% |
60,8% |
62,7% |
32,3% |
61,0% |
46,8% |
55,3% |
|
DeepSeek Coder 33B instruct |
77,4% |
65,8% |
73,4% |
73,3% |
39,2% |
77,4% |
49,4% |
65,1% |
|
DeepSeek Coder V2 lite |
83,5% |
68,3% |
65,2% |
80,8% |
34,2% |
82,4% |
46,8% |
65,9% |
Cara Menyiapkan Codestral 25.01 di VS Code
Sayangnya, model ini bukan open-weight, dan Anda tidak dapat menjalankannya secara lokal. Kabar baiknya, Anda dapat mengakses model ini melalui API atau lewat VsCode dan PyCharm secara gratis sebagai asisten kode.
Pertama, kita membutuhkan kunci API. Kunjungi Le Plateforme, lalu navigasikan ke Codestral. Di sini, Anda dapat membuat kunci API untuk menggunakan Codestral 25.01 di IDE Anda.
Saya akan menggunakan Codestral di VS Code melalui ekstensi Continue. Anda dapat mencarinya di marketplace ekstensi dan memasangnya secara gratis.
Setelah memasang ekstensi, klik tombol Continue di kanan bawah VsCode, pilih Configure autocomplete options, dan tempel kunci API Anda di bawah Codestral. Sekarang, Anda dapat menggunakan Codestral sebagai model pelengkapan otomatis.
Metode lain untuk menggunakan Codestral di IDE adalah mengobrol dengan model. Untuk membuka jendela obrolan, tekan CTRL+L. Anda dapat memilih berbagai model untuk digunakan sebagai model obrolan, tetapi kemampuannya terbatas tanpa memberikan kunci API. Untuk mendapatkan akses gratis ke Codestral, klik pada model di bagian obrolan dan pilih Add Chat model. Pilih Mistral sebagai penyedia, Codestral sebagai model, dan tempel kunci API Anda.
Menguji Codestral 25.01
Kini, untuk menguji bahwa semuanya berjalan lancar, saya meminta Codestral menulis gim XO sederhana dalam Python, yang dieksekusi model dengan benar dalam sekali jalan.
Menggunakan Codestal di jendela obrolan
Salah satu penerapan LLM kode yang paling umum dan berguna adalah bekerja pada basis kode yang sudah ada. Basis kode ini bisa cukup besar dan kompleks untuk mensimulasikan skenario dunia nyata menggunakan model-model ini. Di sini, saya akan menguji kemampuan Codestral untuk bekerja dengan kerangka kerja smolagents, yang merupakan repositori Hugging Face untuk membangun agen (pelajari lebih lanjut di tutorial ini tentang Smolagents dari Hugging Face).
Saya akan mengkloning repositori, memberikan folder tersebut sebagai konteks ke model, dan meminta Codestral membantu saya menulis demo sederhana dengan smolagents.
Setelah mengkloning repositori, saya memberikan keseluruhan basis kode kepada Codestral. Anda dapat memilih data, kode, atau dokumen mana yang akan diberikan ke model sebagai konteks dengan menggunakan “@” di obrolan. Untuk memberikan seluruh basis kode sebagai konteks, prompt-nya adalah: “@Codebase what is this codebase about?”.
Awalnya, ketika saya meminta Codestral menulis demo sederhana smolagents (yang dijelaskan dengan jelas di README repositori hanya dengan empat baris kode), model tidak mampu memberikan respons yang koheren.
Saya kemudian meminta model menjelaskan repositori dan isinya, yang menghasilkan ringkasan yang baik.
Prompt berikutnya saya adalah: “how can you run a simple agent with smolagents?” Model memberikan jawaban yang baik berdasarkan berkas README.
Pada langkah ketiga, saya meminta “build me an agent,” dan model merespons dengan membangun agen sederhana persis seperti yang diinstruksikan dokumentasi. Cukup mengejutkan bahwa model tidak mampu membangun demo ketika pertama kali diminta, tetapi tampaknya menanyakan model tentang repositori terlebih dahulu memberinya lebih banyak konteks untuk dikerjakan.
Bekerja pada basis kode yang sudah ada dengan Codestral
Saya kemudian meminta model membangun alat agen kustom untuk membaca berkas PDF berdasarkan dokumentasi repositori. Mengejutkannya, kode yang disarankan mengandung beberapa kesalahan yang sebenarnya mudah dihindari.
Walau kecepatan menghasilkan respons terasa, dan model menawarkan pelengkapan otomatis yang produktif, dalam kasus yang lebih serius seperti membangun aplikasi atau bekerja pada basis kode yang sudah ada, Anda harus memecah tugas menjadi bagian-bagian yang jauh lebih kecil dan memberikan konteks yang spesifik agar hasilnya optimal.
Kesimpulan
Kita memulai artikel ini dengan memperkenalkan Codestral 25.01 dan meninjau performanya pada tolok ukur, yang menunjukkan bahwa ini adalah LLM kode yang kuat. Lalu, kami menunjukkan cara menyiapkan Codestral 25.01 di VsCode dan cara menggunakannya secara langsung.
Meskipun versi baru Codestral mungkin bukan LLM pengodean terbaik, sangat praktis bahwa kita dapat menggunakannya secara gratis sebagai asisten kode di IDE. Pengalaman keseluruhannya mirip dengan Cursor AI, tetapi bagi mereka yang enggan memasang Cursor atau membeli kredit API model lain, pengalaman gratis dengan Codestral bisa menjadi alternatif yang baik.
