如何在本地使用 Qwen2.5-VL

该模型的高级特性包括：理解时长超过一小时的视频、在其中定位特定事件、并通过生成边界框或点对图像中的目标进行精确定位。它还能为坐标和属性提供稳定的 JSON 输出，从而确保对结构化数据有精确的处理能力。

此外，Qwen2.5-VL 支持对扫描文档（如发票、表单和表格）进行结构化输出，这对金融、商业等行业尤为有用。

来源：Qwen2.5 VL

旗舰模型 Qwen2.5-VL-72B-Instruct 在各类基准测试中表现出色，展现了其在不同领域与任务中的通用性。它优于Gemini 2 Flash、GPT-4o 和 Claude 3.5 Sonnet 等领先模型，进一步巩固了其顶级视觉-语言模型的地位。

您也可以参考使用 DeepEval 有效评估 LLM教程，亲自评测 Qwen 或任意类型的 LLM。

在配备 GPU 的笔记本电脑上使用 Qwen2.5-VL

我们现在学习几种在本地运行 Qwen2.5-VL 的方法。这些方案已在 QwenLM/Qwen2.5-VL GitHub 仓库中提供。我们只需完成环境配置、修复一些常见错误，然后在本地运行 Web 应用。

1. 本地运行 Qwen2.5-VL Web 应用

1. 先克隆 Qwen2.5-VL 的 GitHub 仓库并进入项目目录：

git clone https://github.com/QwenLM/Qwen2.5-VL

cd Qwen2.5-VL技术支持

2. 使用以下命令为 Web 应用安装所需依赖：

pip install -r requirements_web_demo.txt技术支持

3. 为确保与您的 GPU 兼容，安装最新带 CUDA 支持的 PyTorch、TorchVision 和 TorchAudio。即使您已安装 PyTorch，在运行 Web 应用时也可能遇到问题，因此最好更新：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124技术支持

4. 升级 Gradio 和 Gradio Client，以避免连接和界面相关错误，旧版本可能会引发问题：

pip install -U gradio gradio_client 技术支持

5. 现在使用较小的 3B 模型检查点运行 Web 演示应用。对于显存有限（如 8GB VRAM）的笔记本电脑，推荐采用此方案。7B 模型或许也能运行，但很可能导致响应生成缓慢：

python web_demo_mm.py --checkpoint-path "Qwen/Qwen2.5-VL-3B-Instruct" 技术支持

如您所见，它会先下载模型，然后加载处理器和模型，随后 Web 应用将在本地 URL http://127.0.0.1:7860 上运行。

Web 应用运行良好。

6. 您可以上传包含文字与多幅图形的图像，并让模型进行讲解。即便是较小的 3B 模型也有出色表现，能够识别图像中的细节。

7. 在不提供图像的情况下，您也可以与模型交互。它会生成纯文本回复，表现如同标准大语言模型。

如果打开任务管理器监控性能，您会注意到 GPU 利用率大约在 6% 左右，表明运行流畅。

2. 本地运行实验性的 Qwen2.5-VL Web 应用

该 GitHub 仓库还包含一个实验性的流式视频聊天演示，位于 web_demo_streaming 目录。该演示允许您通过网络摄像头与模型交互。

要运行流式视频聊天演示，请进入该目录，并使用 3B 模型检查点启动应用。

cd web_demo_streaming/
python app.py --checkpoint-path "Qwen/Qwen2.5-VL-3B-Instruct" 技术支持

如果您拥有更强大的 GPU，该 Web 应用会运行顺畅。只需授权访问您的摄像头并开始提问即可。

学习如何使用本地部署的模型，并围绕它构建完善的 UI 应用。您可以通过完成使用 LangChain 开发 LLM 应用课程来实现。

3. 使用 Docker Desktop 在本地运行 Qwen2.5-VL

在本地使用 Qwen2.5-VL 最稳定的方法是通过 Docker 运行。Qwen 团队提供了预构建的 Docker 镜像，预先配置好所有必要环境。

1. 从官方网站下载并安装 Docker Desktop。

2. 为简化部署，使用预构建的 Docker 镜像 qwenllm/qwenvl。安装所需驱动并下载模型文件以启动演示。

docker run --gpus all --ipc=host --network=host --rm --name qwen2 -it qwenllm/qwenvl:2-cu121 bash技术支持

您还可以通过阅读我们的Qwen 2.5 Coder：示例指南，了解一款代码生成模型 Qwen 2.5 Coder。

使用 Qwen2.5-VL 在线聊天机器人

如果您想体验旗舰模型 Qwen2.5-VL 72B Instruct，请访问Qwen Chat 网站，创建账户，然后像使用 ChatGPT 一样开始使用该模型。您可能需要在加载图像前先选择模型。

加载图像并开始就其内容提问。

响应生成快速且准确，借助您的操作，您可以体验到顶级的 AI 模型。

阿里云提供了使用 API 访问各类 AI 模型的所有必要工具，并可进行类似 OpenAI 平台的微调。阅读Qwen（阿里云）教程：简介与微调，了解更多信息。

结语

Qwen2.5-VL 展示了 AI 的未来，证明先进 AI 模型的创新并非美国或西方世界的专利。该模型拥有卓越的准确性，并能无缝嵌入各类工作流，助您构建自定义 AI 工具以自动化任务。

例如，您可以使用 Qwen2.5-VL 搭建 LinkedIn 账号，填充所有必要信息，甚至代您发布文章——几乎不费力。

在本教程中，我们了解了 Qwen 2.5-VL，这是一款能够处理图像中细微细节的视觉模型。我们还学习了如何在带 GPU 的笔记本电脑上本地使用它。最后，我们创建了 Qwen 账户，并像使用 ChatGPT 一样在线使用了其旗舰模型。

阅读阿里巴巴 Qwen 2.5-Max，这是一款与 GPT-4o、Claude 3.5 Sonnet 和 DeepSeek V3 同台竞争的模型。