对我们程序员而言，编码或许是大语言模型（LLM）最重要的应用之一。生成准确代码、调试以及正确“理解”代码的能力，使 LLM 成为众多程序员的关键助手，同时也为企业带来诸多益处。
Mistral 最近发布了其最新模型 Codestral 25.01，也称为 Codestral V2——这是对 其于 2024 年发布的首个 Codestral 模型的升级版。本文将评测 Codestral 25.01，考察其在基准测试中的表现，带您完成设置流程，并展示其实际效果。
什么是 Mistral 的 Codestral 25.01？
引用 Mistral 的 公告，Codestral 25.01 “轻量、快速，精通 80 多种编程语言（……）针对低延迟、高频率场景进行了优化，并支持中间补全（FIM）、代码修正和测试生成等任务。”
许多开发者已将上一代模型 Codestral用于与代码相关的任务。Codestral 25.01 在此基础上进行了升级，采用改进的分词器和更高效的架构，使其代码生成速度提高一倍。
Mistral 尚未开源模型，也未提供其架构或规模的任何细节。不过，我们已知其参数量少于 1000 亿，并支持 256K 的上下文长度。
撰写本文时，Codestral 25.01 在 Claude 3.5 Sonnet 系列在 Chatbot Arena（原 LMSYS）上仅落后几分，并略高于 Codestral V1。
来源： Chatbot Arena
另一个专注评估 LLM 编码能力的榜单是 Aider 的 Polyglot。在该基准中，模型需完成主流编程语言的 225 道编程练习。Codestral 25.01 得分为 11%，而 Qwen2.5-Coder-32B-Instruct 得分为 16%。
来源： Aider 榜单
最后，我们看看 Mistral 发布的官方基准。公布的分数显示，相较 Codestral V1、Codellama 70B 或 DeepSeek Coder 33B 有明显进步。将 Codestral 25.01 的成绩与更近期的 Qwen2.5-Coder-32B-Instruct 比较更具参考价值（您可在 此处查看 Qwen 的成绩）。
Python 总览：
|
Model
|
Context length
|
HumanEval
|
MBPP
|
CruxEval
|
LiveCodeBench
|
RepoBench
|
|
Codestral-2501
|
256k
|
86.6%
|
80.2%
|
55.5%
|
37.9%
|
38.0%
|
|
Codestral-2405 22B
|
32k
|
81.1%
|
78.2%
|
51.3%
|
31.5%
|
34.0%
|
|
Codellama 70B instruct
|
4k
|
67.1%
|
70.8%
|
47.3%
|
20.0%
|
11.4%
|
|
DeepSeek Coder 33B instruct
|
16k
|
77.4%
|
80.2%
|
49.5%
|
27.0%
|
28.4%
|
|
DeepSeek Coder V2 lite
|
128k
|
83.5%
|
83.2%
|
49.7%
|
28.1%
|
20.0%
|
多语言基准：
|
Model
|
HumanEval Python
|
HumanEval C++
|
HumanEval Java
|
HumanEval Javascript
|
HumanEval Bash
|
HumanEval Typescript
|
HumanEval C#
|
HumanEval (average)
|
|
Codestral-2501
|
86.6%
|
78.9%
|
72.8%
|
82.6%
|
43.0%
|
82.4%
|
53.2%
|
71.4%
|
|
Codestral-2405 22B
|
81.1%
|
68.9%
|
78.5%
|
71.4%
|
40.5%
|
74.8%
|
43.7%
|
65.6%
|
|
Codellama 70B instruct
|
67.1%
|
56.5%
|
60.8%
|
62.7%
|
32.3%
|
61.0%
|
46.8%
|
55.3%
|
|
DeepSeek Coder 33B instruct
|
77.4%
|
65.8%
|
73.4%
|
73.3%
|
39.2%
|
77.4%
|
49.4%
|
65.1%
|
|
DeepSeek Coder V2 lite
|
83.5%
|
68.3%
|
65.2%
|
80.8%
|
34.2%
|
82.4%
|
46.8%
|
65.9%
|
如何在 VS Code 上设置 Codestral 25.01
遗憾的是，该模型不是开源权重，您无法在本地运行。好消息是，您可以通过 API 或在 VsCode 和 PyCharm 中免费将其用作代码助手。
首先，我们需要一个 API 密钥。前往 Le Plateforme，导航到 Codestral。在这里，您可以生成 API 密钥，以便在 IDE 中使用 Codestral 25.01。
我将在 VS Code 中通过 Continue 扩展来使用 Codestral。您可以在扩展市场中搜索并免费安装它。
安装扩展后，点击 VsCode 右下角的 Continue 按钮，选择 Configure autocomplete options，并在 Codestral 下粘贴您的 API 密钥。现在，您就可以将 Codestral 用作自动补全模型了。
在 IDE 中使用 Codestral 的另一种方式是与模型聊天。要打开聊天窗口，请按 CTRL+L。 您可以选择多种模型作为聊天模型，但在未提供 API 密钥时会受限。若要免费访问 Codestral，请在聊天区域点击模型并选择 Add Chat model。选择 Mistral 作为提供方、Codestral 作为模型，并粘贴您的 API 密钥。
测试 Codestral 25.01
现在，为了测试一切是否顺利运行，我让 Codestral 用 Python 编写一个简单的井字棋（XO）游戏，模型一次就正确实现了。
在聊天窗口中使用 Codestal
代码类 LLM 最常见也最实用的应用之一，是在现有代码库上工作。这些代码库可能足够庞大和复杂，能用来模拟使用这些模型的真实场景。在这里，我将测试 Codestral 与 smolagents 框架配合的能力，这是 Hugging Face 的智能体构建仓库（在这篇教程中了解更多 Hugging Face 的 Smolagents）。
我将克隆该仓库，将文件夹作为上下文提供给模型，并请 Codestral 帮助我用 smolagents 编写一个简单的演示。
在克隆仓库后，我将完整代码库提供给 Codestral。您可以在聊天中使用“@”选择要提供给模型作为上下文的数据、代码或文档。若要将整个代码库作为上下文，提示词可以是：“@Codebase 这个代码库是做什么的？”
起初，当我提示 Codestral 编写一个 smolagents 的简单演示（该演示在仓库的 README 中用四行代码就已清楚说明）时，模型未能给出连贯的回答。
随后我让模型解释该仓库及其内容，得到了不错的总结。
我的下一个提示是：“如何用 smolagents 运行一个简单的智能体？”模型基于 README 文件给出了不错的回答。
第三步，我要求“帮我构建一个智能体”，模型便按照文档指引构建了一个简单的智能体。令人惊讶的是，模型一开始无法构建演示，但似乎先让模型了解仓库本身，会为其提供更多可用的上下文。
使用 Codestral 在现有代码库上工作
随后我提示模型，基于仓库文档为读取 PDF 文件构建一个自定义的智能体工具。令人意外的是，其给出的代码包含了多个本可轻易避免的错误。
虽然响应生成速度明显，且模型能提供高效的自动补全，但在构建应用或处理现有代码库等更严肃的场景中，您必须将任务拆解为更小的部分，并提供更具体的上下文，才能让其发挥作用。
结语
我们从介绍 Codestral 25.01 及其基准表现开始，显示它是一款实力不俗的代码 LLM。随后展示了如何在 VsCode 中设置 Codestral 25.01，并演示了其实际使用。
尽管新版本的 Codestral 可能不是最强的编码 LLM，但我们能在 IDE 中免费将其用作代码助手，这一点十分便利。整体体验与 Cursor AI 相似，但对于不愿安装 Cursor 或购买其他模型 API 额度的用户而言，Codestral 的免费体验是一个不错的替代方案。
%22%3E%3Cpath%20d%3D%22m-369%200h408v79h-408z%22%20fill%3D%22%237933ff%22%2F%3E%3Cpath%20d%3D%22m-148%200h306v45h-306z%22%20fill%3D%22%23974dff%22%2F%3E%3C%2Fg%3E%3C%2Fsvg%3E)
%22%2F%3E%3C%2FclipPath%3E%3Cg%20clip-path%3D%22url(%23a)%22%3E%3Cpath%20d%3D%22m76%200h484v36h-484z%22%20fill%3D%22%23974dff%22%2F%3E%3Cpath%20d%3D%22m0%200h384v24h-384z%22%20fill%3D%22%2306bdfc%22%20transform%3D%22matrix(1%200%200%20-1%200%2060)%22%2F%3E%3C%2Fg%3E%3C%2Fsvg%3E)
对我们程序员而言，编码或许是大语言模型（LLM）最重要的应用之一。生成准确代码、调试以及正确“理解”代码的能力，使 LLM 成为众多程序员的关键助手，同时也为企业带来诸多益处。
Mistral 最近发布了其最新模型 Codestral 25.01，也称为 Codestral V2——这是对 其于 2024 年发布的首个 Codestral 模型的升级版。本文将评测 Codestral 25.01，考察其在基准测试中的表现，带您完成设置流程，并展示其实际效果。
什么是 Mistral 的 Codestral 25.01？
引用 Mistral 的 公告，Codestral 25.01 “轻量、快速，精通 80 多种编程语言（……）针对低延迟、高频率场景进行了优化，并支持中间补全（FIM）、代码修正和测试生成等任务。”
许多开发者已将上一代模型 Codestral用于与代码相关的任务。Codestral 25.01 在此基础上进行了升级，采用改进的分词器和更高效的架构，使其代码生成速度提高一倍。
Mistral 尚未开源模型，也未提供其架构或规模的任何细节。不过，我们已知其参数量少于 1000 亿，并支持 256K 的上下文长度。
撰写本文时，Codestral 25.01 在 Claude 3.5 Sonnet 系列在 Chatbot Arena（原 LMSYS）上仅落后几分，并略高于 Codestral V1。
来源： Chatbot Arena
另一个专注评估 LLM 编码能力的榜单是 Aider 的 Polyglot。在该基准中，模型需完成主流编程语言的 225 道编程练习。Codestral 25.01 得分为 11%，而 Qwen2.5-Coder-32B-Instruct 得分为 16%。
来源： Aider 榜单
最后，我们看看 Mistral 发布的官方基准。公布的分数显示，相较 Codestral V1、Codellama 70B 或 DeepSeek Coder 33B 有明显进步。将 Codestral 25.01 的成绩与更近期的 Qwen2.5-Coder-32B-Instruct 比较更具参考价值（您可在 此处查看 Qwen 的成绩）。
Python 总览：
Model
Context length
HumanEval
MBPP
CruxEval
LiveCodeBench
RepoBench
Codestral-2501
256k
86.6%
80.2%
55.5%
37.9%
38.0%
Codestral-2405 22B
32k
81.1%
78.2%
51.3%
31.5%
34.0%
Codellama 70B instruct
4k
67.1%
70.8%
47.3%
20.0%
11.4%
DeepSeek Coder 33B instruct
16k
77.4%
80.2%
49.5%
27.0%
28.4%
DeepSeek Coder V2 lite
128k
83.5%
83.2%
49.7%
28.1%
20.0%
多语言基准：
Model
HumanEval Python
HumanEval C++
HumanEval Java
HumanEval Javascript
HumanEval Bash
HumanEval Typescript
HumanEval C#
HumanEval (average)
Codestral-2501
86.6%
78.9%
72.8%
82.6%
43.0%
82.4%
53.2%
71.4%
Codestral-2405 22B
81.1%
68.9%
78.5%
71.4%
40.5%
74.8%
43.7%
65.6%
Codellama 70B instruct
67.1%
56.5%
60.8%
62.7%
32.3%
61.0%
46.8%
55.3%
DeepSeek Coder 33B instruct
77.4%
65.8%
73.4%
73.3%
39.2%
77.4%
49.4%
65.1%
DeepSeek Coder V2 lite
83.5%
68.3%
65.2%
80.8%
34.2%
82.4%
46.8%
65.9%
如何在 VS Code 上设置 Codestral 25.01
遗憾的是，该模型不是开源权重，您无法在本地运行。好消息是，您可以通过 API 或在 VsCode 和 PyCharm 中免费将其用作代码助手。
首先，我们需要一个 API 密钥。前往 Le Plateforme，导航到 Codestral。在这里，您可以生成 API 密钥，以便在 IDE 中使用 Codestral 25.01。
我将在 VS Code 中通过
Continue扩展来使用 Codestral。您可以在扩展市场中搜索并免费安装它。安装扩展后，点击 VsCode 右下角的 Continue 按钮，选择 Configure autocomplete options，并在 Codestral 下粘贴您的 API 密钥。现在，您就可以将 Codestral 用作自动补全模型了。
在 IDE 中使用 Codestral 的另一种方式是与模型聊天。要打开聊天窗口，请按 CTRL+L。 您可以选择多种模型作为聊天模型，但在未提供 API 密钥时会受限。若要免费访问 Codestral，请在聊天区域点击模型并选择 Add Chat model。选择 Mistral 作为提供方、Codestral 作为模型，并粘贴您的 API 密钥。
测试 Codestral 25.01
现在，为了测试一切是否顺利运行，我让 Codestral 用 Python 编写一个简单的井字棋（XO）游戏，模型一次就正确实现了。
在聊天窗口中使用 Codestal
代码类 LLM 最常见也最实用的应用之一，是在现有代码库上工作。这些代码库可能足够庞大和复杂，能用来模拟使用这些模型的真实场景。在这里，我将测试 Codestral 与
smolagents框架配合的能力，这是 Hugging Face 的智能体构建仓库（在这篇教程中了解更多 Hugging Face 的 Smolagents）。我将克隆该仓库，将文件夹作为上下文提供给模型，并请 Codestral 帮助我用
smolagents编写一个简单的演示。在克隆仓库后，我将完整代码库提供给 Codestral。您可以在聊天中使用“@”选择要提供给模型作为上下文的数据、代码或文档。若要将整个代码库作为上下文，提示词可以是：“@Codebase 这个代码库是做什么的？”
起初，当我提示 Codestral 编写一个 smolagents 的简单演示（该演示在仓库的 README 中用四行代码就已清楚说明）时，模型未能给出连贯的回答。
随后我让模型解释该仓库及其内容，得到了不错的总结。
我的下一个提示是：“如何用 smolagents 运行一个简单的智能体？”模型基于 README 文件给出了不错的回答。
第三步，我要求“帮我构建一个智能体”，模型便按照文档指引构建了一个简单的智能体。令人惊讶的是，模型一开始无法构建演示，但似乎先让模型了解仓库本身，会为其提供更多可用的上下文。
使用 Codestral 在现有代码库上工作
随后我提示模型，基于仓库文档为读取 PDF 文件构建一个自定义的智能体工具。令人意外的是，其给出的代码包含了多个本可轻易避免的错误。
虽然响应生成速度明显，且模型能提供高效的自动补全，但在构建应用或处理现有代码库等更严肃的场景中，您必须将任务拆解为更小的部分，并提供更具体的上下文，才能让其发挥作用。
结语
我们从介绍 Codestral 25.01 及其基准表现开始，显示它是一款实力不俗的代码 LLM。随后展示了如何在 VsCode 中设置 Codestral 25.01，并演示了其实际使用。
尽管新版本的 Codestral 可能不是最强的编码 LLM，但我们能在 IDE 中免费将其用作代码助手，这一点十分便利。整体体验与 Cursor AI 相似，但对于不愿安装 Cursor 或购买其他模型 API 额度的用户而言，Codestral 的免费体验是一个不错的替代方案。