Cách chạy Unsloth Studio cục bộ: Hướng dẫn từng bước

Có lẽ bạn đã nghe về Unsloth. Họ nổi tiếng nhờ nhanh chóng phát hành các phiên bản lượng tử hóa của những mô hình mở mới, giúp việc tải xuống, nạp và chạy trên các thiết lập suy luận cục bộ trở nên dễ dàng hơn. Họ cũng xây dựng được danh tiếng vững chắc với các hướng dẫn thực tiễn về cách chạy và tinh chỉnh những mô hình mở mới nhất mà không biến việc thiết lập thành một cơn đau đầu. 

Gần đây hơn, Unsloth Studio đưa nhiều quy trình đó vào một nơi: giao diện web cục bộ để chạy và huấn luyện mô hình, hỗ trợ GGUF và Safetensors, so sánh mô hình song song, tự động tinh chỉnh tham số suy luận, gọi công cụ (tool calling) và API tương thích OpenAI.

Trong hướng dẫn này, tôi sẽ dẫn bạn qua cách thiết lập môi trường cần thiết cho Unsloth Studio, cài đặt cục bộ, khởi chạy giao diện và kiểm thử một mô hình trực tiếp từ UI. Không còn đường ống thủ công rối rắm, không phải nhảy qua năm công cụ khác nhau, và không cần viết thêm mã suy luận chỉ để bắt đầu. 

Bạn cũng có thể xem hướng dẫn của chúng tôi về Tinh chỉnh với Unsloth Studio, và hướng dẫn Unsloth gốc để tìm hiểu thêm. 

Unsloth Studio là gì?

Unsloth Studio là giao diện web cục bộ mã nguồn mở mới của Unsloth để chạy, huấn luyện và xuất mô hình mở từ một nơi. Thay vì phải xoay sở giữa các công cụ riêng cho suy luận, tinh chỉnh và thử nghiệm, nó đưa tất cả vào một thiết lập duy nhất mà bạn có thể chạy trên chính máy của mình. 

Unsloth Studio hỗ trợ các mô hình GGUF và Safetensors, hoạt động trên Mac, Windows và Linux, và được thiết kế để giúp việc thử nghiệm mô hình cục bộ dễ dàng hơn cho những ai muốn quy trình trực quan thay vì chắp nối script thủ công.

Các tính năng chính của Unsloth Studio

Có một số tính năng đáng chú ý khiến công cụ này trở nên hấp dẫn, bao gồm:

• Tìm kiếm, tải xuống và chạy mô hình cục bộ từ một giao diện
• So sánh hai mô hình song song
• Sử dụng gọi công cụ tự phục hồi và tìm kiếm web tích hợp
• Tự động tinh chỉnh thiết lập suy luận
• Chỉnh sửa mẫu chat dễ dàng
• Truy cập API tương thích OpenAI
• Tinh chỉnh mô hình với quy trình không cần viết mã
• Tạo tập dữ liệu tự động từ các tệp như PDF, CSV, JSON, DOCX và TXT
• Xuất mô hình sang các định dạng như GGUF và Safetensors 16-bit

Yêu cầu tiên quyết cho Unsloth Studio

Trước khi bắt đầu cài đặt, hãy đảm bảo hệ thống của bạn có các công cụ cơ bản cần thiết để chạy Unsloth Studio cục bộ. Thiết lập khá đơn giản, nhưng nếu bạn muốn tinh chỉnh mô hình thay vì chỉ dùng chat, bạn sẽ cần môi trường sẵn sàng GPU đầy đủ hơn.

• Python: Phiên bản 3.11 đến 3.13
• Git: Cần để clone và quản lý repository
• CMake: Yêu cầu để build các thành phần cục bộ trong quá trình thiết lập
• Công cụ macOS: Homebrew và OpenSSL cũng có thể cần trên macOS
• GPU NVIDIA: Bắt buộc nếu bạn muốn tinh chỉnh mô hình cục bộ
• Driver NVIDIA mới nhất: Khuyến nghị để tránh lỗi thiết lập, CUDA hoặc huấn luyện

Nói đơn giản, chat cục bộ cơ bản dễ chạy hơn trên CPU, nhưng tinh chỉnh cần phần cứng NVIDIA phù hợp và driver được cập nhật, bên cạnh các công cụ thiết lập tiêu chuẩn.

Thiết lập môi trường RunPod của bạn

Trong hướng dẫn này, chúng ta sẽ dùng máy RunPod A40. Tôi có thể chạy mọi thứ trên laptop của mình, nhưng tôi không có đủ dung lượng lưu trữ và internet của tôi quá chậm để tải các mô hình và phụ thuộc lớn một cách thoải mái. 

Vì vậy, thay vì đối mặt với thời gian tải dài, build chậm và nguy cơ làm lộn xộn hệ thống cục bộ, tôi dùng RunPod như một lựa chọn đám mây đơn giản, thiết lập nhanh hơn nhiều cho quy trình này.

• Bắt đầu bằng cách tạo một pod A40 mới và chọn mẫu PyTorch 2.8.0 mới nhất. 
• Trước khi triển khai, hãy chỉnh phần cài đặt pod và đặt đĩa container thành 50 GB và đĩa volume thành 100 GB để có đủ dung lượng cho việc cài đặt và tải mô hình. 
• Bạn cũng nên mở cổng HTTP 8888 cho Jupyter Notebook và cổng 8910 cho Unsloth Studio. 
• Thêm token Hugging Face làm biến môi trường là tùy chọn, nhưng có thể giúp tăng tốc tải mô hình và dễ dàng truy cập các mô hình có cổng kiểm duyệt.

Khi mọi thứ đã ổn, lưu thay đổi, xem lại tóm tắt pod và triển khai pod.

Cài đặt Unsloth Studio

Trong khoảng một phút, bạn sẽ thấy liên kết trên bảng điều khiển RunPod để truy cập JupyterLab. Mở nó, rồi khởi chạy terminal. Bạn cũng có thể dùng SSH và chuyển tiếp cổng về máy, hoặc dùng web terminal, nhưng tôi thấy terminal của JupyterLab dễ dùng hơn nhiều cho kiểu thiết lập này. Truy cập nhanh, quản lý đơn giản và cho phép mở nhiều terminal cùng lúc mà không gặp vấn đề.

Đầu tiên, nâng cấp pip và cài đặt uv. 

pip install --upgrade pip && pip install uvĐược hỗ trợ bởi

Tiếp theo, tạo một thư mục mới cho dự án và chuyển vào đó.

mkdir Unsloth-Studio && cd Unsloth-StudioĐược hỗ trợ bởi

Sau đó, tạo môi trường ảo bằng uv.

uv venvĐược hỗ trợ bởi

Bạn sẽ thấy đầu ra tương tự như thế này, cho biết môi trường ảo đã được tạo thành công.

Using CPython 3.12.3 interpreter at: /usr/local/bin/python
Creating virtual environment at: .venv
Activate with: source .venv/bin/activateĐược hỗ trợ bởi

Bây giờ kích hoạt môi trường ảo.

source .venv/bin/activateĐược hỗ trợ bởi

Khi môi trường đã kích hoạt, cài đặt Unsloth bằng uv.

uv pip install unsloth --torch-backend=autoĐược hỗ trợ bởi

Cuối cùng, chạy lệnh thiết lập Studio. Bước này xử lý phần thiết lập nặng cho bạn, bao gồm cài đặt Node.js, npm, build llama.cpp và cài thêm các gói Python cần cho lần chạy này.

unsloth studio setupĐược hỗ trợ bởi

Khi thiết lập hoàn tất, bạn sẽ thấy lệnh cần để khởi chạy Unsloth Studio cục bộ.

Khởi chạy Unsloth Studio cục bộ

Hãy nhớ lúc đầu, chúng ta đã mở cổng 8910 khi chỉnh mẫu RunPod. 

Giờ chúng ta sẽ khởi chạy Unsloth Studio trên cổng đó để có thể truy cập trực tiếp qua liên kết RunPod thay vì chỉ dùng localhost bên trong máy.

Chạy lệnh sau trong terminal để bắt đầu suy luận web của Unsloth Studio.

unsloth studio -H 0.0.0.0 -p 8910Được hỗ trợ bởi

Khi khởi động, bạn sẽ thấy nó đã nhận diện GPU A40, cùng với thông tin đăng nhập quản trị mặc định và mô hình mặc định đã được tải sẵn, sẵn sàng sử dụng. Trong hầu hết trường hợp, một mô hình Qwen3.5 4B đã lượng tử hóa có sẵn theo mặc định, nên bạn có thể bắt đầu thử Studio ngay mà không phải tải mô hình khác trước.

Thay vì nhấp vào liên kết localhost hiển thị trong terminal, hãy quay lại bảng điều khiển RunPod và mở thẻ Connect. Từ đó, nhấp vào liên kết cho cổng 8910 để mở giao diện web Unsloth Studio.

Lần đầu mở, Studio sẽ yêu cầu bạn tạo mật khẩu mới. Hãy đặt một mật khẩu để phiên bản được bảo vệ và không bị lộ cho người khác dùng liên kết công khai đó.

Sau đó, bạn sẽ được đưa vào quy trình giới thiệu ban đầu, bạn có thể bỏ qua nếu muốn. Nó hữu ích nếu bạn muốn lướt nhanh qua giao diện, các nút và khu vực chính, nhưng không bắt buộc để bắt đầu.

Bên trong, bạn sẽ vào trang bảng điều khiển của Unsloth Studio. Giao diện được tổ chức thành bốn thẻ chính. 

Studio là nơi bạn xử lý tinh chỉnh, Recipes cho phép tạo tập dữ liệu từ các tệp như PDF và CSV, Export giúp bạn lưu mô hình đã tinh chỉnh dưới các định dạng như GGUF hoặc Safetensors 16-bit, và Chat là nơi bạn tương tác trực tiếp với mô hình.

Thử giao diện Chat của Unsloth Studio

Nhấp vào thẻ Chat, rồi nhấp nút Select model ở góc trên bên trái. Như ảnh chụp màn hình, mô hình Qwen3.5 4B đã được tải. Nhấp vào nó, rồi chọn phiên bản đã lượng tử hóa đã cài đặt, và bạn sẵn sàng sử dụng. Sẽ mất vài giây để nạp mô hình vào bộ nhớ GPU.

Để thử, chúng tôi đưa ra một bài toán và phản hồi nhanh, mượt, mạch lạc đáng ngạc nhiên.

Bạn cũng có thể bật tìm kiếm web và hỏi về các chủ đề gần đây. Khi bật tùy chọn này, Unsloth Studio sẽ tìm kiếm web trước, rồi chuyển thông tin truy xuất được cho mô hình để tạo phản hồi có cơ sở hơn.

Như bạn thấy, nó trả về năm kết quả tin tức hàng đầu từ các trang lớn về thị trường chứng khoán.

Bạn cũng có thể tìm bất kỳ mô hình nào mình thích từ Hugging Face và tải trực tiếp trong giao diện. Trong ví dụ này, chúng tôi đã tải Qwen3.5 9B lượng tử hóa 4-bit.

Khi bạn nhấp vào mô hình, quá trình tải sẽ bắt đầu. Tùy kích thước mô hình và tốc độ internet, có thể mất một lúc để hoàn tất.

Sau khi tải xong, bạn có thể nạp mô hình vừa tải. Trong vài giây, Unsloth Studio chuyển từ mô hình lúc trước sang mô hình mới, cho bạn quyền truy cập mô hình mạnh hơn.

Sau đó, chúng tôi yêu cầu mô hình mới tạo hình SVG về một chú lười.

Nó trước hết lập luận về yêu cầu, rồi tạo mã SVG, và cuối cùng hiển thị hình chú lười trực tiếp trong giao diện.

Trông đúng là một chú lười, dù không quá ấn tượng. Với mô hình lớn và mạnh hơn, bạn thường sẽ có kết quả tốt hơn, đặc biệt nếu hệ thống có GPU mạnh hơn và đủ RAM.

Giao diện chat của Unsloth Studio cũng bao gồm một số tùy chọn cấu hình. Bạn có thể điều chỉnh tham số sinh, thêm system prompt, sửa mẫu chat và thử nghiệm linh hoạt hơn với hành vi của mô hình.

Tổng kết

Nhìn chung, tôi rất thích dùng Unsloth Studio. Quá trình thiết lập không mượt như kỳ vọng, và chắn chắn có vài điểm gây khó chịu, nhưng khi mọi thứ chạy ổn, trải nghiệm đã thay đổi hoàn toàn với tôi. 

Vấn đề lớn nhất là bước unsloth studio setup. Trên lý thuyết thì đơn giản, nhưng thực tế mất gần 15 đến 20 phút chỉ để cài đặt mọi thứ. Có lẽ tôi tự làm một số phần còn nhanh hơn. 

Ngay cả tài liệu cũng nói đâu đó khoảng 5 đến 10 phút, nhưng với tôi thì chắc chắn lâu hơn.

Điểm khó chịu thứ hai là lưu trữ. Ban đầu tôi nghĩ chỉ cần dung lượng vừa phải, nhưng toàn bộ thiết lập cuối cùng chiếm gần 100 GB, nhiều hơn hẳn mong đợi. Tôi cũng không chắc hoàn toàn dung lượng đó dùng cho những gì. 

Có thể do môi trường ảo, phụ thuộc tải về, tệp mô hình, hiện vật build, hoặc một số công cụ được cài đặt theo phạm vi rộng hơn trong quá trình thiết lập. Phần đó không thật sự minh bạch. 

Nhưng dù vậy, khi Unsloth Studio thực sự chạy, tôi thực sự thích nó. Giao diện trau chuốt, nhanh và đáng ngạc nhiên là dễ dùng. 

Mọi thứ ở cùng một nơi, quy trình mượt mà, và nó giúp việc thử nghiệm mô hình cục bộ trở nên gần gũi hơn. Vì thế, dù thiết lập có thể thử thách sự kiên nhẫn của bạn đôi chút, trải nghiệm sản phẩm thực tế khiến nó trở nên xứng đáng.