Cách chạy Qwen3-Coder trên máy của bạn

Qwen3-Coder là một mô hình mã hóa tác tử tiên tiến, được thiết kế để trao quyền cho nhà phát triển với năng lực vượt trội về sinh mã và tự động hóa. Mô hình có nhiều kích thước, với bản phát hành chủ lực là Qwen3-Coder-480B-A35B-Instruct. 

Mô hình Mixture-of-Experts gồm 480 tỷ tham số này có 35 tỷ tham số hoạt động và đặt ra tiêu chuẩn mới cho các mô hình mã nguồn mở về mã hóa. Nó mang lại hiệu năng hàng đầu trong Agentic Coding, Agentic Browser Use và các tác vụ mã hóa nền tảng, với kết quả sánh ngang các mô hình dẫn đầu như Claude Sonnet.

Trong hướng dẫn này, chúng ta sẽ học cách chạy Qwen3-Coder trên máy, sử dụng với ứng dụng chat Msty, tích hợp với VSCode Copilot, thiết lập tiện ích mở rộng Kilo Code cho các quy trình mã hóa tác tử nâng cao, và cuối cùng là dùng framework Python để tích hợp vào một ứng dụng cục bộ.

Bạn có thể xem các hướng dẫn riêng về Qwen3 và Qwen Code CLI để tìm hiểu thêm. 

1. Cài đặt Ollama

Ollama đã có nhiều cải tiến đáng kể trong những tháng gần đây, giờ đây cung cấp một ứng dụng chat thân thiện với người dùng tương tự ChatGPT. Với ứng dụng mới, bạn có thể dễ dàng tải về và chạy các mô hình AI trực tiếp từ giao diện đồ họa, giúp AI cục bộ dễ tiếp cận hơn bao giờ hết.

Nguồn: Ứng dụng mới của Ollama

Đối với Windows và macOS: Truy cập trang tải về và tải trình cài đặt phù hợp với hệ điều hành của bạn. Quá trình cài đặt rất đơn giản; chỉ cần làm theo hướng dẫn để bắt đầu.

Nguồn: Tải Ollama

Đối với Linux: Mở terminal và chạy lệnh sau. Lệnh này sẽ tự động tải và cài đặt Ollama trên hệ thống của bạn.

curl -fsSL https://ollama.com/install.sh | sh  

Nếu bạn thấy thông báo về việc không phát hiện GPU, bạn sẽ cần cài đặt một vài tiện ích hệ thống:

sudo apt update
sudo apt install -y pciutils lshw

Để hỗ trợ GPU NVIDIA, hãy cài đặt driver và bộ công cụ CUDA:

sudo apt install -y nvidia-driver-525 nvidia-cuda-toolkit

Sau khi cài đặt, bạn có thể mở ứng dụng Ollama và bắt đầu tải mô hình hoặc chat trực tiếp từ giao diện. Điều này giúp bạn dễ dàng thử nghiệm các mô hình AI cục bộ, dù là trên Windows, macOS hay Linux.

2. Chạy Qwen3-Coder 

Để bắt đầu với Qwen3-Coder, vào tab Models trên trang web Ollama và tìm kiếm “qwen3-coder”.

Nguồn: qwen3-coder

Khi tìm thấy, hãy sao chép lệnh cài đặt và chạy trong terminal để tải về và khởi chạy mô hình:

ollama run qwen3-coder

Tùy vào tốc độ Internet của bạn, quá trình tải có thể mất vài phút. Sau khi hoàn tất, mô hình sẽ sẵn sàng sử dụng trực tiếp từ terminal.

Bạn có thể bắt đầu trò chuyện hoặc nhờ nó giúp bạn xây dựng một ứng dụng ngay lập tức.

Mặc dù Ollama hiện đã tích hợp ứng dụng chat sẵn, bạn có thể khai thác nhiều hơn nữa bằng cách tích hợp Qwen3-Coder với các công cụ và ứng dụng nâng cao. 

Để làm điều này, bạn cần phục vụ mô hình như một điểm cuối API:

ollama serve

Lệnh này khởi chạy một máy chủ tương thích OpenAI tại http://localhost:11434/, giúp bạn dễ dàng kết nối Qwen3-Coder với các công cụ và quy trình phát triển ưa thích.

3. Tích hợp Qwen3-Coder với ứng dụng Msty

Msty là ứng dụng tôi ưa dùng để kiểm thử các mô hình ngôn ngữ lớn cục bộ và độc quyền. Ứng dụng tích hợp rất nhiều tính năng hữu ích, là đối tác hoàn hảo để tích hợp với máy chủ Ollama. Truy cập trang web chính thức của Msty và cài đặt ứng dụng cho nền tảng của bạn.

Sau đó,

1. Mở ứng dụng và vào menu Settings.
2. Đi tới tab Remote Model Providers.
3. Thêm nhà cung cấp mới, chọn Ollama Remote làm loại, và nhập tên cùng điểm cuối dịch vụ (thường là http://localhost:11434/).

4. Nhấp nút Fetch Models và chọn qwen3-coder:latest từ danh sách rồi nhấn Add.

5. Vào menu chat, chọn mô hình Qwen3-Coder và bắt đầu yêu cầu nó xây dựng bất cứ thứ gì bạn muốn.

Việc tích hợp này đơn giản và linh hoạt. Bằng cách chạy Ollama serve, bạn có thể kết nối các mô hình Ollama với nhiều ứng dụng và công cụ, mở ra nhiều khả năng sáng tạo hơn.

4. Sử dụng Qwen3-Coder trong Copilot

Như bạn biết, Qwen3-Coder được thiết kế chuyên biệt cho mã hóa và các quy trình tác tử. Nếu không tích hợp nó vào trình soạn thảo mã, chúng ta đang lãng phí tiềm năng của nó.

Bây giờ chúng ta sẽ tích hợp Qwen3-Coder vào GitHub Copilot trong VS Code. Bản cài đặt VS Code mới đã đi kèm tiện ích Copilot. Bạn chỉ cần nhấp vào menu chọn mô hình ở dưới cùng, sau đó chọn liên kết “Manage Models”, và chọn Ollama làm nhà cung cấp mô hình. Khi đó các mô hình khả dụng sẽ hiển thị. Chỉ cần chọn mô hình Qwen3-Coder và bắt đầu dùng chat GitHub Copilot như bình thường.

Chúng tôi đã yêu cầu nó tạo một script chuyển đổi HTML sang Markdown và chỉ mất 10 giây để tạo câu trả lời hoàn chỉnh. 

Nó nhanh, chạy cục bộ và dễ sử dụng.

5. Thiết lập Qwen3-Coder với Kilo Code

Tiện ích mở rộng VSCode Kilo-Org/kilocode đang ngày càng phổ biến như một trong những trợ lý mã hóa AI mã nguồn mở tốt nhất để lập kế hoạch, xây dựng và sửa mã. 

Để tích hợp mô hình Qwen3-Coder chạy cục bộ của chúng ta, trước tiên hãy cài đặt các tiện ích mở rộng cần thiết, rồi vào phần cài đặt. Đổi nhà cung cấp API thành Ollama, và nó sẽ tự động phát hiện mô hình từ URL mặc định. 

Sau đó, quay lại phần chat và yêu cầu AI xây dựng một máy chủ AI đơn giản. Nó sẽ kiểm tra tất cả tệp trong dự án trước rồi cung cấp giải pháp tốt nhất cho yêu cầu của bạn.

6. Sử dụng Qwen3-Coder với Ollama Python SDK

Tích hợp Qwen3-Coder vào ứng dụng Python của bạn rất đơn giản với gói Python ollama/ollama-python. Điều này cho phép bạn chạy các mô hình AI mạnh mẽ tại chỗ và nhúng trực tiếp vào quy trình làm việc

Để bắt đầu, chỉ cần cài đặt gói Ollama:

pip install ollama

Dưới đây là một ví dụ tối giản về cách sử dụng Qwen3-Coder trong mã Python của bạn, tương tự như gọi API của OpenAI:

from ollama import chat

def main():
    # Define a system + user prompt
    messages = [
        {"role": "system", "content": "You are a helpful coding assistant."},
        {
            "role": "user",
            "content": (
                "Please write a Python function `quicksort(arr)` "
                "that takes a list of integers and returns it sorted."
            ),
        },
    ]

    # Stream the response from Qwen3-Coder
    stream = chat(
        model="Qwen3-Coder",
        messages=messages,
        stream=True
    )

    # Print chunks as they arrive
    for chunk in stream:
        # chunk is a dict-like with ['message']['content']
        print(chunk["message"]["content"], end="", flush=True)

    # Finish with a newline
    print()

if __name__ == "__main__":
    main()

Phản hồi bắt đầu stream gần như ngay lập tức. Lời giải quicksort dưới đây chỉ mất 15 giây để tạo:

Here's a Python implementation of the quicksort algorithm:

```python
def quicksort(arr):
    """
    Sorts a list of integers using the quicksort algorithm.
    
    Args:
        arr: List of integers to be sorted
        
    Returns:
        A new list containing the sorted integers
    """
    # Base case: arrays with 0 or 1 element are already sorted
    if len(arr) <= 1:
        return arr

    # Choose pivot (using the middle element)
    pivot = arr[len(arr) // 2]
    
    # Partition the array into three parts
    left = [x for x in arr if x < pivot]      # Elements less than pivot
    middle = [x for x in arr if x == pivot]   # Elements equal to pivot
    right = [x for x in arr if x > pivot]     # Elements greater than pivot

    # Recursively sort left and right parts, then combine
    return quicksort(left) + middle + quicksort(right)

# Example usage:
if __name__ == "__main__":
    # Test cases
    print(quicksort([64, 34, 25, 12, 22, 11, 90]))  # [11, 12, 22, 25, 34, 64, 90]
    print(quicksort([5, 2, 8, 1, 9]))               # [1, 2, 5, 8, 9]
    print(quicksort([1]))                           # [1]
    print(quicksort([]))                            # []
    print(quicksort([3, 3, 3, 3]))                  # [3, 3, 3, 3]
```

Kết luận

Hướng dẫn này cho thấy AI cục bộ đã trở nên dễ tiếp cận như thế nào. Ngày nay, bạn có thể chạy các mô hình mã nguồn mở trên một chiếc laptop cũ và tích hợp chúng với trình soạn thảo mã, ứng dụng chat, hoặc thậm chí xây dựng ứng dụng AI cục bộ tùy chỉnh bằng Ollama Python SDK. 

Cũng có những lựa chọn khác, như dùng Qwen Code CLI (đã được đề cập trong hướng dẫn riêng của chúng tôi: Qwen Code CLI: A Guide With Examples | DataCamp), hoặc phục vụ mô hình trên máy chủ cục bộ và truy cập qua SSH từ nhiều máy tính. Khả năng đang mở rộng rất nhanh, khiến AI cục bộ trở nên thực tế và linh hoạt hơn bao giờ hết.