Khóa học
Lập trình với AI dành cho Developer
1 giờ 30 phút
10.5K
Unsloth Studio vừa nhận bản nâng cấp lớn với Unsloth Desktop, cho phép bạn chạy mọi thứ cục bộ dưới dạng ứng dụng desktop. Điều này đặc biệt hữu ích nếu bạn không muốn tốn thời gian cài đặt gói, cấu hình các công cụ khác nhau hoặc liên tục chạy lệnh trong terminal.
Về cơ bản, Unsloth Desktop là một giải pháp tất cả trong một cho quy trình AI cục bộ. Bạn có thể chạy và fine-tune LLM, thử nghiệm mô hình thị giác, tạo ảnh và video, huấn luyện mô hình ảnh, làm việc với âm thanh, dùng công cụ lập trình AI, quản lý mô hình và chạy API cục bộ—tất cả trong cùng một ứng dụng.
Trong hướng dẫn này, chúng ta sẽ cài đặt Unsloth Desktop trên Linux, chạy LLM cục bộ, kết nối với OpenCode, và dùng một mô hình cục bộ để xây dựng dự án Python. Chúng ta cũng sẽ khám phá một số tính năng khác và xem bạn có thể làm được bao nhiêu thứ cục bộ chỉ với một ứng dụng.
1. Kiểm tra GPU NVIDIA của bạn
Trước khi cài đặt Unsloth Desktop, bạn nên nhanh chóng kiểm tra GPU NVIDIA đã được nhận diện và CUDA hoạt động bình thường. Điều này sẽ giúp tránh lỗi khi bạn bắt đầu chạy hoặc fine-tune mô hình cục bộ.
Đầu tiên, mở terminal và chạy:
nvidia-smi
Lệnh này sẽ hiển thị GPU NVIDIA của bạn, phiên bản driver, bộ nhớ GPU khả dụng và thông tin tương thích CUDA.
Tiếp theo, kiểm tra trình biên dịch CUDA trên hệ thống:
nvcc --versionBạn sẽ thấy đầu ra tương tự như sau:
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2025 NVIDIA Corporation
Built on Tue_May_27_02:21:03_PDT_2025
Cuda compilation tools, release 12.9, V12.9.86
Build cuda_12.9.r12.9/compiler.36037853_0Nếu cả hai lệnh đều chạy được và GPU được nhận diện chính xác, hệ thống của bạn đã sẵn sàng cho Unsloth Desktop.
2. Tải xuống và cài đặt Unsloth Desktop
Tiếp theo, truy cập trang web Unsloth chính thức và tải Unsloth Desktop. Hãy chọn đúng gói phù hợp với hệ điều hành của bạn.
Nguồn: Tải Unsloth Desktop cho Linux
Sau khi tải xong, hãy cài đặt gói như các ứng dụng desktop khác. Trên Linux, tuỳ bản phân phối, có thể là gói .deb.
Khi cài đặt hoàn tất, hãy khởi chạy Unsloth Desktop. Ứng dụng sẽ tự động nhận diện phần cứng và đưa bạn vào giao diện chính.
Từ đây, bạn có thể duyệt và tải mô hình, chạy LLM cục bộ, fine-tune mô hình, làm việc với ảnh và các modality khác, quản lý mô hình cục bộ, và truy cập các công cụ khác có trong Unsloth Desktop.
3. Tải và chạy một LLM trong Unsloth Desktop
Mở Model hub trong Unsloth Desktop và tìm mô hình bạn muốn chạy. Cho thử nghiệm này, tôi dùng một trong những mô hình nhỏ yêu thích:
empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF · Hugging Face
Sau khi tải xong mô hình, bạn có thể nạp và bắt đầu trò chuyện trực tiếp trong Unsloth Desktop. Trên hệ thống của tôi, tốc độ trung bình khoảng 102 token/giây, tăng lên khoảng 125 token/giây với một số truy vấn về lập trình.
Tôi cũng bật truy cập web và hỏi mô hình về tin tức thị trường chứng khoán mới nhất. Điều này khiến trải nghiệm chat cục bộ hữu ích hơn nhiều khi bạn cần thông tin vượt ngoài những gì mô hình đã học.
Tiếp theo, tôi muốn xem liệu nó có thể xây dựng thứ gì đó thay vì chỉ trả lời câu hỏi. Tôi yêu cầu tạo một website, và mô hình đã sinh mã rồi hiển thị website ngay cạnh khung chat, giúp tôi dễ dàng xem kết quả trong khi tiếp tục chỉnh sửa.
4. Thử nghiệm mô hình thị giác
Unsloth Desktop cũng hỗ trợ mô hình ngôn ngữ-thị giác, nên bạn có thể tải ảnh trực tiếp vào khung chat và đặt câu hỏi về ảnh đó.
Trong thử nghiệm của tôi, bộ mã hoá thị giác cần thiết được cài tự động khi tải mô hình. Tôi chỉ việc tải một ảnh lên, đặt câu hỏi về ảnh, và trong vài giây mô hình trả về câu trả lời rất chính xác.
Hỗ trợ thị giác đặc biệt hữu ích khi làm việc với tác nhân lập trình. Ví dụ, bạn có thể tải ảnh chụp màn hình một website và chỉ ra vấn đề cần sửa, cho tác nhân xem một thiết kế bạn muốn tái tạo, hoặc dùng giao diện hiện có làm tham chiếu trực quan khi xây dựng ứng dụng của riêng bạn.
5. Dùng Unsloth Desktop với OpenCode
Các mô hình nhỏ rất phù hợp để thử nghiệm và cả một số tác vụ lập trình tác nhân nhẹ. Nhưng nếu bạn muốn một tác nhân lập trình cục bộ nghiêm túc có thể xử lý dự án lớn hơn, bạn sẽ cần mô hình mạnh hơn nhưng vẫn vừa với VRAM của GPU.
Trường hợp của tôi dùng RTX 3090 với 24 GB VRAM, nên tôi tải bản Q4 của Muse Glimmer 30B.
Mở thẻ Models trong Unsloth Desktop, tìm mô hình và tải bản UD-Q4_K_XL. Trong vài phút, mô hình sẽ được tải và nạp vào hệ thống của bạn.
Mặc định, cửa sổ ngữ cảnh được đặt khoảng 4K, quá nhỏ cho một tác nhân lập trình làm việc trên nhiều tệp. Mở bảng bên phải trong Unsloth Desktop, đổi độ dài ngữ cảnh thành 64K, cuộn xuống và tải lại mô hình.
Sau khi mô hình tải lại, vào Settings → System để kiểm tra mức sử dụng bộ nhớ GPU. Trường hợp của tôi, mô hình dùng khoảng 22 GB VRAM, còn lại khoảng 2 GB cho KV cache. Chừng đó đủ cho thử nghiệm của tôi, dù bộ nhớ khả dụng sẽ phụ thuộc vào GPU và khối lượng công việc của bạn.
Tiếp theo, mở Settings → Agents và chọn OpenCode làm tác nhân lập trình. Unsloth Desktop sẽ tự động tạo lệnh bạn cần để khởi chạy.
Đầu tiên, tạo thư mục dự án bằng terminal:
mkdir unsloth-project
cd unsloth-projectSau đó khởi chạy OpenCode:
unsloth start opencode \
--model unsloth/Muse-Glimmer-30B-GGUF:UD-Q4_K_XL \
--context-length 64000Nhớ thêm độ dài ngữ cảnh vào lệnh. Nếu không, OpenCode có thể khởi chạy với cửa sổ ngữ cảnh mặc định nhỏ hơn.
Lệnh sẽ cài OpenCode nếu cần, rồi khởi chạy giao diện terminal của nó với mô hình Unsloth cục bộ của bạn đã sẵn sàng sử dụng.
6. Xây dựng một dự án với OpenCode
Bây giờ mọi thứ đã kết nối, tôi muốn thử thách tác nhân lập trình cục bộ một cách nghiêm túc. Thay vì yêu cầu tạo đoạn mã nhỏ, tôi đề nghị xây dựng một trò chơi kiểu Mario bằng Python từ đầu.
Tôi dùng prompt sau:
Create a simple Mario-style 2D platform game in Python using Pygame.
Add left/right movement, jumping, platforms, coins, enemies, a score counter, and a finish flag.
Use simple built-in shapes instead of external assets. Create the files, install dependencies, test the game, and tell me how to run it.OpenCode tạo danh sách việc cần làm trước, rồi bắt đầu xử lý dự án từng bước. Nó tạo tệp, viết logic trò chơi, xử lý phụ thuộc, và cuối cùng đưa tôi lệnh để chạy game.
Trò chơi cuối cùng chạy được, dù vẫn còn hơi lỗi. Bản Q4 của Muse Glimmer không đạt hiệu năng như tôi kỳ vọng với tác vụ lập trình lớn này, nên nếu bạn có đủ VRAM, tôi khuyên thử bản Q8 để có hiệu suất lập trình tốt hơn.
7. Các tính năng quan trọng khác của Unsloth Desktop
Đến giờ, chúng ta chủ yếu dùng Unsloth Desktop để chạy LLM và tác nhân lập trình, nhưng nó còn làm được nhiều hơn. Mục tiêu là gom hầu hết quy trình AI cục bộ vào cùng một ứng dụng thay vì phải thiết lập công cụ khác nhau cho mỗi tác vụ.
Fine-tune LLM
Bạn có thể fine-tune LLM cục bộ bằng các phương pháp như LoRA và QLoRA. Giao diện huấn luyện không cần viết mã cũng giúp bạn dễ chọn dữ liệu, cấu hình thiết lập huấn luyện, bắt đầu chạy và xuất mô hình cuối cùng mà không cần tự xây cả pipeline.
Tạo và chỉnh sửa ảnh
Bạn có thể tải các mô hình diffusion được hỗ trợ và tạo ảnh cục bộ từ prompt văn bản. Bạn cũng có thể tải ảnh có sẵn, mô tả các thay đổi mong muốn và dùng các mô hình hỗ trợ để chỉnh sửa ảnh.
Huấn luyện Image LoRA
Nếu muốn vượt xa việc tạo ảnh, bạn cũng có thể huấn luyện LoRA cho ảnh trên bộ dữ liệu của riêng mình. Điều này hữu ích để dạy mô hình về một chủ thể, nhân vật, sản phẩm hoặc phong cách hình ảnh cụ thể, rồi dùng LoRA đó cho các lần tạo sau.
Tạo video
Unsloth Desktop cũng hỗ trợ quy trình tạo video cục bộ bằng các mô hình diffusion được hỗ trợ. Nghĩa là bạn có thể thử nghiệm cả tạo ảnh và video trong cùng một ứng dụng thay vì thiết lập môi trường riêng.
Mô hình giọng nói và âm thanh
Bạn có thể làm việc với chuyển giọng nói thành văn bản, văn bản thành giọng nói và các mô hình âm thanh được hỗ trợ khác. Điều này cho phép bạn phiên âm, tạo giọng nói và thử nghiệm các quy trình AI âm thanh khác nhau cục bộ.
Data Recipes
Data Recipes giúp biến các tệp như PDF và CSV thành tập dữ liệu mà bạn có thể xem xét, chỉnh sửa và chuẩn bị cho huấn luyện. Điều này đặc biệt hữu ích khi bạn có dữ liệu riêng nhưng không muốn tự xây dựng dataset từ đầu.
Lưu trữ và quản lý mô hình
Khi bạn tải nhiều mô hình hơn và bắt đầu huấn luyện mô hình của riêng mình, việc quản lý mọi thứ có thể nhanh chóng trở nên lộn xộn. Unsloth Desktop cung cấp một nơi để quản lý mô hình đã tải, tập dữ liệu, adapter, các lần huấn luyện và tài nguyên cục bộ khác.
Xuất mô hình
Unsloth Studio hỗ trợ chính thức xuất mô hình Safetensors/LoRA sang GGUF và các định dạng khác. llama.cpp được hỗ trợ rõ ràng để chạy các mô hình đã xuất.
API cục bộ
Cuối cùng, Unsloth Desktop có thể công bố mô hình cục bộ của bạn qua API tương thích OpenAI. Điều này giúp bạn dễ dàng kết nối mô hình đang chạy cục bộ với ứng dụng khác, công cụ lập trình hoặc dự án AI mà không phụ thuộc vào API mô hình dạng hosted.
Tổng kết
Unsloth Desktop đang đi theo một hướng rất thú vị. Việc có LLM, fine-tuning, tạo ảnh và video, tác nhân lập trình, tập dữ liệu và API cục bộ trong một ứng dụng desktop giúp làm việc với AI cục bộ dễ dàng hơn nhiều, đặc biệt cho những ai không muốn cấu hình thủ công từng công cụ.
Tuy vậy, trải nghiệm vẫn còn hơi thô. Trên GPU cũ hoặc hệ thống có driver CUDA lỗi thời, bạn có thể vẫn phải xử lý phụ thuộc và cài đặt thủ công một số thành phần trên Linux hoặc Windows. Tôi cũng gặp vấn đề với tạo ảnh, thiết lập ngữ cảnh và tác nhân lập trình. Ví dụ, nếu bạn tăng ngữ cảnh mô hình trong Unsloth Desktop, bạn cũng có thể cần đặt rõ độ dài ngữ cảnh tương tự khi khởi chạy tác nhân lập trình. Một số quy trình tạo website và kiểu Canvas cũng không phải lúc nào hoạt động như mong đợi.
Unsloth đã bổ sung rất nhiều tính năng trong thời gian ngắn, nhưng không phải tính năng nào cũng thật sự ổn định. Tôi kỳ vọng nhiều vấn đề sẽ được cải thiện khi Desktop ngày càng được tối ưu và trưởng thành.
Hiện tại, nếu mục tiêu chính của tôi chỉ là phục vụ một LLM cục bộ cho tác nhân lập trình AI hoặc ứng dụng khác, tôi vẫn ưa dùng llama.cpp. Công cụ này cho tôi nhiều quyền kiểm soát hơn đối với mô hình, ngữ cảnh, offload GPU, sử dụng bộ nhớ và các thiết lập cấp thấp khác. Unsloth Desktop dễ dùng hơn nhiều, trong khi llama.cpp vẫn là lựa chọn tốt hơn khi tôi muốn tinh chỉnh cấu hình và vắt kiệt hiệu năng phần cứng.