Cách sử dụng Qwen2.5-VL trên máy local

Các tính năng nâng cao của mô hình gồm khả năng hiểu video dài hơn một giờ, xác định các sự kiện cụ thể trong đó và định vị chính xác đối tượng trong ảnh bằng cách tạo hộp giới hạn hoặc điểm. Mô hình cũng xuất JSON ổn định cho tọa độ và thuộc tính, đảm bảo độ chính xác cho các tác vụ cần dữ liệu có cấu trúc.

Bên cạnh đó, Qwen2.5-VL hỗ trợ đầu ra có cấu trúc cho tài liệu quét như hóa đơn, biểu mẫu và bảng, rất hữu ích cho các ngành như tài chính và thương mại.

Nguồn: Qwen2.5 VL

Mô hình chủ lực Qwen2.5-VL-72B-Instruct cho hiệu năng vượt trội trên nhiều bộ đánh giá, thể hiện tính linh hoạt khi xử lý đa dạng lĩnh vực và tác vụ. Nó vượt mặt các mô hình hàng đầu như Gemini 2 Flash, GPT-4o và Claude 3.5 Sonnet, củng cố vị thế là một mô hình ngôn ngữ–thị giác hàng đầu.

Bạn cũng có thể tự đánh giá mô hình Qwen hoặc bất kỳ LLM nào bằng cách làm theo hướng dẫn Đánh giá LLM hiệu quả với DeepEval. 

Sử dụng Qwen2.5-VL trên laptop có GPU

Giờ chúng ta sẽ học vài cách chạy Qwen2.5-VL trên máy local. Các giải pháp này đã có sẵn trong kho GitHub QwenLM/Qwen2.5-VL. Việc của chúng ta là thiết lập môi trường, khắc phục một số lỗi thường gặp và chạy ứng dụng web trên máy local.

1. Chạy ứng dụng web Qwen2.5-VL trên máy local

1. Bắt đầu bằng cách clone kho GitHub Qwen2.5-VL và chuyển vào thư mục dự án:

git clone https://github.com/QwenLM/Qwen2.5-VL

cd Qwen2.5-VL

2. Cài đặt các phụ thuộc cần thiết cho ứng dụng web bằng lệnh sau:

pip install -r requirements_web_demo.txt

3. Để đảm bảo tương thích với GPU của bạn, hãy cài bản mới nhất của PyTorch, TorchVision và TorchAudio có hỗ trợ CUDA. Dù PyTorch đã được cài, bạn vẫn có thể gặp lỗi khi chạy ứng dụng web, nên tốt nhất là cập nhật:

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

4. Cập nhật Gradio và Gradio Client để tránh lỗi kết nối và giao diện, vì các phiên bản cũ có thể gây sự cố:

pip install -U gradio gradio_client 

5. Bây giờ, chạy bản demo web với checkpoint mô hình 3B nhỏ hơn. Khuyến nghị cho laptop có bộ nhớ GPU hạn chế (ví dụ: 8GB VRAM). Mô hình 7B có thể chạy nhưng nhiều khả năng sẽ tạo phản hồi chậm:

python web_demo_mm.py --checkpoint-path "Qwen/Qwen2.5-VL-3B-Instruct" 

Như bạn thấy, ứng dụng sẽ tải mô hình trước, sau đó nạp processor và mô hình, và giờ app web đang chạy tại URL local, http://127.0.0.1:7860.

Ứng dụng web chạy rất ổn định. 

6. Bạn có thể tải lên một ảnh có văn bản và nhiều hình, rồi yêu cầu mô hình giải thích. Ngay cả mô hình 3B nhỏ cũng thể hiện hiệu năng ấn tượng, nhận diện các chi tiết tinh vi trong ảnh.

7. Bạn cũng có thể tương tác với mô hình mà không cần cung cấp ảnh. Mô hình sẽ tạo phản hồi dạng văn bản, hoạt động như một LLM tiêu chuẩn. 

Nếu bạn mở Task Manager và theo dõi hiệu năng, sẽ thấy mức sử dụng GPU khoảng 6%, cho thấy ứng dụng chạy mượt.

2. Chạy thử nghiệm ứng dụng web Qwen2.5-VL trên máy local

Kho GitHub cũng bao gồm bản demo chat video streaming thử nghiệm, nằm trong thư mục web_demo_streaming. Demo này cho phép bạn tương tác với mô hình bằng webcam.

Để chạy demo chat video streaming, chuyển đến thư mục demo streaming và chạy ứng dụng với checkpoint mô hình 3B.

cd web_demo_streaming/
python app.py --checkpoint-path "Qwen/Qwen2.5-VL-3B-Instruct" 

Nếu bạn có GPU mạnh hơn, ứng dụng web này sẽ chạy trơn tru. Chỉ cần cấp quyền truy cập webcam và bắt đầu đặt câu hỏi.

Học cách sử dụng mô hình triển khai local và xây dựng một ứng dụng UI đúng nghĩa xung quanh nó. Bạn có thể làm điều này bằng cách hoàn thành khóa học Phát triển ứng dụng LLM với LangChain.

3. Chạy Qwen2.5-VL trên máy local với Docker Desktop

Cách ổn định nhất để dùng Qwen2.5-VL trên máy local là chạy qua Docker. Nhóm Qwen cung cấp sẵn các ảnh Docker đã cấu hình đầy đủ môi trường cần thiết.

1. Tải và cài Docker Desktop từ trang web chính thức.

2. Để đơn giản hóa triển khai, hãy dùng ảnh Docker dựng sẵn qwenllm/qwenvl. Cài driver cần thiết và tải các tệp mô hình để khởi chạy bản demo.

docker run --gpus all --ipc=host --network=host --rm --name qwen2 -it qwenllm/qwenvl:2-cu121 bash

Bạn có thể tìm hiểu về mô hình sinh mã Qwen 2.5 Coder qua bài Qwen 2.5 Coder: Hướng dẫn kèm ví dụ.

Dùng chatbot Qwen2.5-VL trực tuyến

Nếu bạn muốn trải nghiệm mô hình chủ lực Qwen2.5-VL 72B Instruct, hãy vào trang Qwen Chat, tạo tài khoản và bắt đầu dùng mô hình giống như ChatGPT. Bạn có thể cần chọn mô hình trước khi tải ảnh.

Tải ảnh lên và bắt đầu đặt câu hỏi về ảnh đó.

Tốc độ tạo phản hồi nhanh và chính xác; với chút công sức, bạn có thể trải nghiệm một mô hình AI hạng nhất. 

Alibaba Cloud cung cấp đầy đủ công cụ để bạn truy cập nhiều mô hình AI qua API, tinh chỉnh tương tự nền tảng OpenAI. Đọc Hướng dẫn Qwen (Alibaba Cloud): Giới thiệu và tinh chỉnh để tìm hiểu thêm.

Kết luận

Qwen2.5-VL hé lộ tương lai của AI, chứng minh đổi mới trong các mô hình AI tiên tiến không chỉ độc quyền ở Mỹ hay phương Tây. Mô hình này thể hiện độ chính xác vượt trội và tích hợp mượt vào nhiều quy trình công việc, giúp người dùng tạo công cụ AI tùy chỉnh để tự động hóa tác vụ. 

Ví dụ, bạn có thể dùng Qwen2.5-VL để thiết lập tài khoản LinkedIn, điền đầy đủ thông tin cần thiết và thậm chí đăng bài thay bạn — chỉ với nỗ lực tối thiểu.

Trong hướng dẫn này, chúng ta đã tìm hiểu về Qwen 2.5-VL, một mô hình thị giác có thể xử lý cả những chi tiết nhỏ nhất trong ảnh. Chúng ta cũng học cách dùng nó trên máy local với laptop có GPU. Cuối cùng, chúng ta tạo tài khoản Qwen và dùng mô hình chủ lực trực tuyến, tương tự ChatGPT.

Đọc về Qwen 2.5-Max của Alibaba, mô hình cạnh tranh với GPT-4o, Claude 3.5 Sonnet và DeepSeek V3.