Lộ trình
Phát triển các ứng dụng trí tuệ nhân tạo
21 giờ
Với chúng tôi là những lập trình viên, viết mã có lẽ là một trong những ứng dụng quan trọng nhất của LLM. Khả năng tạo mã chính xác, gỡ lỗi và “hiểu” mã đúng cách khiến LLM trở thành trợ lý đắc lực cho nhiều lập trình viên, cùng với nhiều lợi ích cho doanh nghiệp.
Gần đây Mistral đã ra mắt mô hình mới nhất, Codestral 25.01, còn được gọi là Codestral V2—bản nâng cấp của mô hình Codestral đầu tiên của họ ra mắt năm 2024. Trong bài viết này, tôi sẽ điểm qua Codestral 25.01, đánh giá hiệu năng qua các điểm chuẩn, hướng dẫn bạn cách thiết lập và trình diễn nó hoạt động thực tế.
Codestral 25.01 của Mistral là gì?
Trích dẫn từ thông báo của Mistral, Codestral 25.01 “gọn nhẹ, nhanh, và thành thạo hơn 80 ngôn ngữ lập trình (...) được tối ưu cho các tình huống dùng có độ trễ thấp, tần suất cao và hỗ trợ các tác vụ như điền ở giữa (FIM), sửa mã và tạo kiểm thử.”
Nhiều nhà phát triển đã dùng mô hình trước đó, Codestral, cho các tác vụ liên quan đến mã. Codestral 25.01 là phiên bản nâng cấp, với bộ tokenizer cải tiến và kiến trúc hiệu quả hơn cho phép tạo mã nhanh gấp đôi.
Mistral hiện chưa phát hành mô hình hoặc cung cấp chi tiết về kiến trúc hay kích thước. Tuy nhiên, chúng ta biết rằng nó có dưới 100 tỷ tham số và hỗ trợ độ dài ngữ cảnh 256K.
Tại thời điểm viết bài, Codestral 25.01 chỉ kém Claude 3.5 Sonnet vài điểm trên Chatbot Arena (trước đây là LMSYS) và chỉ nhỉnh hơn chút so với Codestral V1.
Nguồn: Chatbot Arena
Một bảng xếp hạng khác tập trung đánh giá khả năng lập trình của LLM là Polyglot của Aider. Trong bài kiểm tra này, các mô hình được yêu cầu hoàn thành 225 bài tập lập trình ở các ngôn ngữ phổ biến. Codestral 25.01 đạt 11%, trong khi Qwen2.5-Coder-32B-Instruct đạt 16%.
Nguồn: Bảng xếp hạng Aider
Cuối cùng, hãy xem các điểm chuẩn chính thức do Mistral công bố. Các điểm số cho thấy một bước tiến rõ rệt so với Codestral V1, Codellama 70B, hoặc DeepSeek Coder 33B. Sẽ hữu ích hơn nếu so sánh điểm của Codestral 25.01 với Qwen2.5-Coder-32B-Instruct mới hơn (bạn có thể xem điểm của Qwen tại đây).
Tổng quan cho Python:
|
Mô hình |
Độ dài ngữ cảnh |
HumanEval |
MBPP |
CruxEval |
LiveCodeBench |
RepoBench |
|
Codestral-2501 |
256k |
86.6% |
80.2% |
55.5% |
37.9% |
38.0% |
|
Codestral-2405 22B |
32k |
81.1% |
78.2% |
51.3% |
31.5% |
34.0% |
|
Codellama 70B instruct |
4k |
67.1% |
70.8% |
47.3% |
20.0% |
11.4% |
|
DeepSeek Coder 33B instruct |
16k |
77.4% |
80.2% |
49.5% |
27.0% |
28.4% |
|
DeepSeek Coder V2 lite |
128k |
83.5% |
83.2% |
49.7% |
28.1% |
20.0% |
Điểm chuẩn cho nhiều ngôn ngữ:
|
Mô hình |
HumanEval Python |
HumanEval C++ |
HumanEval Java |
HumanEval Javascript |
HumanEval Bash |
HumanEval Typescript |
HumanEval C# |
HumanEval (trung bình) |
|
Codestral-2501 |
86.6% |
78.9% |
72.8% |
82.6% |
43.0% |
82.4% |
53.2% |
71.4% |
|
Codestral-2405 22B |
81.1% |
68.9% |
78.5% |
71.4% |
40.5% |
74.8% |
43.7% |
65.6% |
|
Codellama 70B instruct |
67.1% |
56.5% |
60.8% |
62.7% |
32.3% |
61.0% |
46.8% |
55.3% |
|
DeepSeek Coder 33B instruct |
77.4% |
65.8% |
73.4% |
73.3% |
39.2% |
77.4% |
49.4% |
65.1% |
|
DeepSeek Coder V2 lite |
83.5% |
68.3% |
65.2% |
80.8% |
34.2% |
82.4% |
46.8% |
65.9% |
Cách thiết lập Codestral 25.01 trên VS Code
Đáng tiếc, mô hình không phải mã mở trọng số, và bạn không thể chạy cục bộ. Tin vui là bạn có thể truy cập mô hình qua API hoặc thông qua VsCode và PyCharm miễn phí như một trợ lý viết mã.
Trước tiên, chúng ta cần một khóa API. Truy cập Le Plateforme và điều hướng đến Codestral. Tại đây, bạn có thể tạo khóa API để dùng Codestral 25.01 trong IDE của mình.
Tôi sẽ dùng Codestral trong VS Code thông qua tiện ích mở rộng Continue. Bạn có thể tìm trong marketplace của tiện ích mở rộng và cài đặt miễn phí.
Sau khi cài tiện ích, nhấp nút Continue ở góc dưới bên phải VsCode, chọn Configure autocomplete options và dán khóa API của bạn vào mục Codestral. Giờ bạn có thể dùng Codestral làm mô hình gợi ý hoàn thành mã tự động.
Một cách khác để dùng Codestral trong IDE là trò chuyện với mô hình. Để mở cửa sổ chat, nhấn CTRL+L. Bạn có thể chọn nhiều mô hình làm mô hình chat, nhưng sẽ bị giới hạn nếu không cung cấp khóa API. Để truy cập miễn phí Codestral, nhấp vào mô hình trong phần chat và chọn Add Chat model. Chọn Mistral làm nhà cung cấp, Codestral làm mô hình, và dán khóa API của bạn.
Kiểm thử Codestral 25.01
Giờ, để kiểm tra mọi thứ chạy trơn tru, tôi yêu cầu Codestral viết một trò chơi XO đơn giản bằng Python, và mô hình đã thực hiện đúng ngay trong một lần.
Sử dụng Codestal trong cửa sổ chat
Một trong những ứng dụng phổ biến và hữu ích nhất của LLM cho mã là làm việc với các codebase hiện có. Những codebase này có thể đủ lớn và phức tạp để mô phỏng tình huống thực tế khi dùng các mô hình này. Ở đây, tôi sẽ kiểm thử khả năng của Codestral khi làm việc với framework smolagents, là kho mã của Hugging Face để xây dựng agent (tìm hiểu thêm trong hướng dẫn này về Smolagents của Hugging Face).
Tôi sẽ nhân bản repository, cung cấp thư mục đó làm ngữ cảnh cho mô hình và nhờ Codestral hỗ trợ viết một bản demo đơn giản với smolagents.
Sau khi nhân bản repository, tôi đưa toàn bộ codebase cho Codestral. Bạn có thể chọn dữ liệu, mã, hoặc tài liệu nào cung cấp cho mô hình làm ngữ cảnh bằng cách dùng “@” trong cửa sổ chat. Để đưa toàn bộ codebase làm ngữ cảnh, lời nhắc sẽ là: “@Codebase bộ mã này nói về điều gì?”.
Ban đầu, khi tôi yêu cầu Codestral viết một demo đơn giản của smolagents (điều vốn được giải thích rõ trong README của kho với bốn dòng mã), mô hình không đưa ra được câu trả lời mạch lạc.
Sau đó tôi yêu cầu mô hình giải thích repository và nội dung của nó, thì nhận được một phần tóm tắt tốt.
Lời nhắc tiếp theo của tôi là: “làm thế nào để chạy một agent đơn giản với smolagents?” Mô hình đã đưa ra câu trả lời tốt dựa trên tệp README.
Ở bước thứ ba, tôi yêu cầu “xây dựng cho tôi một agent”, và mô hình phản hồi bằng cách xây dựng một agent đơn giản như tài liệu hướng dẫn. Điều đáng ngạc nhiên là mô hình không thể tạo một demo khi tôi hỏi lần đầu, nhưng có vẻ như hỏi mô hình về repository trước sẽ giúp nó có nhiều ngữ cảnh hơn để làm việc.
Làm việc trên codebase hiện có với Codestral
Sau đó, tôi yêu cầu mô hình xây dựng một công cụ agentic tùy chỉnh để đọc tệp PDF dựa trên tài liệu của repository. Điều bất ngờ là đoạn mã đề xuất chứa nhiều lỗi có thể tránh được dễ dàng.
Tuy tốc độ tạo phản hồi khá ấn tượng và mô hình đưa ra gợi ý hoàn thành mã hiệu quả, nhưng trong các trường hợp nghiêm túc hơn như xây dựng ứng dụng hoặc làm việc trên codebase hiện có, bạn cần chia nhỏ tác vụ thành các phần nhỏ hơn nhiều và cung cấp ngữ cảnh cụ thể để đạt kết quả tốt.
Kết luận
Chúng ta đã bắt đầu bài viết bằng cách giới thiệu Codestral 25.01 và xem xét hiệu năng qua các điểm chuẩn, cho thấy đây là một LLM viết mã mạnh. Sau đó, chúng ta đã trình bày cách thiết lập Codestral 25.01 trong VsCode và cách sử dụng thực tế.
Dù phiên bản mới của Codestral có thể chưa phải LLM lập trình tốt nhất, việc có thể dùng miễn phí như một trợ lý viết mã trong IDE là rất tiện lợi. Trải nghiệm tổng thể tương tự Cursor AI, nhưng với những ai ngại cài Cursor hoặc mua tín dụng API của các mô hình khác, trải nghiệm miễn phí của Codestral có thể là một lựa chọn thay thế tốt.
