Cara Menggunakan Unsloth Desktop untuk Alur Kerja AI Lokal

Unsloth Studio mendapatkan peningkatan besar dengan Unsloth Desktop, yang memungkinkan Anda menjalankan semuanya secara lokal sebagai aplikasi desktop. Ini sangat berguna jika Anda tidak ingin menghabiskan waktu memasang paket, mengonfigurasi berbagai alat, atau terus-menerus menjalankan perintah di terminal.

Unsloth Desktop pada dasarnya adalah solusi serba ada untuk alur kerja AI lokal. Anda dapat menjalankan dan melakukan fine-tune LLM, menguji model visi, membuat gambar dan video, melatih model gambar, bekerja dengan audio, menggunakan alat coding berbasis AI, mengelola model, dan menjalankan API lokal—semuanya dari aplikasi yang sama.

Dalam panduan ini, kita akan memasang Unsloth Desktop di Linux, menjalankan LLM lokal, menghubungkannya dengan OpenCode, dan menggunakan model lokal untuk membangun proyek Python. Kita juga akan menelusuri fitur lainnya dan melihat sejauh mana Anda bisa bekerja secara lokal hanya dari satu aplikasi.

1. Periksa GPU NVIDIA Anda

Sebelum memasang Unsloth Desktop, ada baiknya cepat memeriksa apakah GPU NVIDIA Anda terdeteksi dan CUDA berfungsi dengan baik. Ini akan membantu menghindari masalah saat Anda mulai menjalankan atau melakukan fine-tune model secara lokal.

Pertama, buka terminal dan jalankan:

nvidia-smi

Perintah ini akan menampilkan GPU NVIDIA Anda, versi driver, memori GPU yang tersedia, dan informasi kompatibilitas CUDA.

Selanjutnya, periksa kompiler CUDA yang terpasang di sistem Anda:

nvcc --version

Anda akan melihat keluaran serupa berikut:

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2025 NVIDIA Corporation
Built on Tue_May_27_02:21:03_PDT_2025
Cuda compilation tools, release 12.9, V12.9.86
Build cuda_12.9.r12.9/compiler.36037853_0

Jika kedua perintah berfungsi dan GPU Anda terdeteksi dengan benar, sistem Anda siap untuk Unsloth Desktop.

2. Unduh dan Pasang Unsloth Desktop

Berikutnya, buka situs web Unsloth resmi dan unduh Unsloth Desktop. Pastikan Anda memilih paket yang sesuai untuk sistem operasi Anda.

Sumber: Unduh Unsloth Desktop untuk Linux 

Setelah unduhan selesai, pasang paket seperti Anda memasang aplikasi desktop lainnya. Di Linux, ini bisa berupa paket .deb tergantung distribusi Anda.

Setelah pemasangan selesai, jalankan Unsloth Desktop. Aplikasi akan secara otomatis mendeteksi perangkat keras yang tersedia dan memberi Anda akses ke antarmuka utama.

Dari sini, Anda dapat menelusuri dan mengunduh model, menjalankan LLM secara lokal, melakukan fine-tune model, bekerja dengan gambar dan modalitas lain, mengelola model lokal, serta mengakses alat lain yang tersedia di dalam Unsloth Desktop.

3. Unduh dan Jalankan LLM di Unsloth Desktop

Buka Model hub di Unsloth Desktop dan cari model yang ingin Anda jalankan. Untuk uji ini, saya menggunakan salah satu model kecil favorit saya:

empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF · Hugging Face

Setelah model diunduh, Anda dapat memuatnya dan mulai mengobrol langsung di dalam Unsloth Desktop. Di sistem saya, kecepatan rata-rata sekitar 102 token per detik, meningkat hingga sekitar 125 token per detik untuk beberapa kueri terkait pemrograman. 

Saya juga mengaktifkan akses web dan menanyakan model tentang berita pasar saham terbaru. Ini membuat pengalaman chat lokal jauh lebih berguna saat Anda memerlukan informasi di luar apa yang sudah ada di dalam model. 

Selanjutnya, saya ingin melihat apakah model bisa membangun sesuatu, bukan sekadar menjawab pertanyaan. Saya memintanya membuat situs web, dan model menghasilkan kode serta menampilkan situs tersebut di samping chat, sehingga mudah melihat hasilnya sambil terus melakukan perubahan. 

4. Uji Model Visi

Unsloth Desktop juga mendukung model vision-language, sehingga Anda dapat mengunggah gambar langsung ke dalam chat dan mengajukan pertanyaan tentang gambar tersebut.

Untuk uji saya, vision encoder yang dibutuhkan terpasang otomatis saat saya mengunduh model. Saya cukup mengunggah gambar, mengajukan pertanyaan tentangnya, dan dalam hitungan detik model mengembalikan jawaban yang sangat akurat.

Dukungan visi sangat berguna saat bekerja dengan agen coding. Misalnya, Anda dapat mengunggah tangkapan layar situs web dan menunjukkan masalah yang ingin diperbaiki, memperlihatkan desain yang ingin Anda tiru, atau menggunakan antarmuka yang ada sebagai referensi visual saat membangun aplikasi Anda sendiri. 

5. Gunakan Unsloth Desktop dengan OpenCode

Model yang lebih kecil bagus untuk pengujian dan bahkan beberapa coding agen yang ringan. Namun jika Anda menginginkan agen coding lokal yang serius untuk menangani proyek yang lebih besar, Anda memerlukan model yang lebih kuat yang tetap muat di VRAM GPU Anda.

Dalam kasus saya, saya menggunakan RTX 3090 dengan VRAM 24 GB, jadi saya mengunduh versi Q4 dari Muse Glimmer 30B.

Buka tab Models di Unsloth Desktop, cari modelnya, dan unduh versi UD-Q4_K_XL. Dalam beberapa menit, model seharusnya telah diunduh dan dimuat di sistem Anda.

Secara bawaan, jendela konteks disetel sekitar 4K, yang terlalu kecil untuk agen coding yang bekerja lintas banyak berkas. Buka panel sisi kanan di Unsloth Desktop, ubah panjang konteks menjadi 64K, gulir ke bawah, dan muat ulang model. 

Setelah model dimuat ulang, buka Settings → System untuk memeriksa penggunaan memori GPU Anda. Dalam kasus saya, model menggunakan sekitar 22 GB VRAM, menyisakan kira-kira 2 GB untuk cache KV. Ini cukup untuk pengujian saya, meskipun memori yang tersedia akan bergantung pada GPU dan beban kerja Anda. 

Selanjutnya, buka Settings → Agents dan pilih OpenCode sebagai agen coding. Unsloth Desktop akan secara otomatis menghasilkan perintah yang Anda butuhkan untuk meluncurkannya. 

Pertama, buat direktori proyek menggunakan terminal:

mkdir unsloth-project
cd unsloth-project

Lalu jalankan OpenCode:

unsloth start opencode \
  --model unsloth/Muse-Glimmer-30B-GGUF:UD-Q4_K_XL \
  --context-length 64000

Pastikan Anda menyertakan panjang konteks dalam perintah. Jika tidak, OpenCode mungkin berjalan dengan jendela konteks bawaan yang lebih kecil.

Perintah ini akan memasang OpenCode jika diperlukan lalu meluncurkan antarmuka terminalnya dengan model Unsloth lokal Anda siap digunakan. 

6. Bangun Proyek dengan OpenCode

Sekarang semuanya sudah terhubung, saya ingin memberikan ujian yang layak untuk agen coding lokal. Alih-alih memintanya membuat potongan kode kecil, saya memintanya membangun game bergaya Mario di Python dari nol.

Saya menggunakan prompt berikut:

Create a simple Mario-style 2D platform game in Python using Pygame. 
Add left/right movement, jumping, platforms, coins, enemies, a score counter, and a finish flag. 
Use simple built-in shapes instead of external assets. Create the files, install dependencies, test the game, and tell me how to run it.

OpenCode terlebih dahulu membuat daftar tugas lalu mulai mengerjakan proyek langkah demi langkah. Ia membuat berkas, menulis logika game, menangani dependensi, dan akhirnya memberi saya perintah untuk meluncurkan game. 

Game akhir berfungsi, meski masih sedikit buggy. Versi Q4 Muse Glimmer tidak sebaik yang saya harapkan untuk tugas coding yang lebih besar ini, jadi jika VRAM Anda cukup, saya sarankan mencoba versi Q8 untuk kinerja coding yang lebih baik. 

7. Fitur Kunci Lain Unsloth Desktop

Sejauh ini, kita terutama menggunakan Unsloth Desktop untuk menjalankan LLM dan agen coding, tetapi kemampuannya jauh lebih banyak. Idenya adalah memiliki sebagian besar alur kerja AI lokal Anda tersedia dari aplikasi yang sama alih-alih menyiapkan alat yang berbeda untuk setiap tugas.

Fine-Tuning LLM

Anda dapat melakukan fine-tune LLM secara lokal menggunakan metode seperti LoRA dan QLoRA. Antarmuka pelatihan tanpa kode juga memudahkan Anda memilih dataset, mengonfigurasi pengaturan pelatihan, memulai run, dan mengekspor model akhir tanpa membangun seluruh pipeline pelatihan sendiri.

Pembuatan dan Penyuntingan Gambar

Anda dapat mengunduh model difusi yang didukung dan membuat gambar secara lokal dari prompt teks. Anda juga dapat mengunggah gambar yang ada, menjelaskan perubahan yang Anda inginkan, dan menggunakan model yang didukung untuk penyuntingan gambar.

Pelatihan LoRA Gambar

Jika ingin melangkah lebih jauh dari pembuatan gambar, Anda juga dapat melatih LoRA gambar pada dataset Anda sendiri. Ini berguna untuk mengajarkan model tentang subjek, karakter, produk, atau gaya visual tertentu, lalu menggunakan LoRA tersebut untuk generasi berikutnya.

Pembuatan Video

Unsloth Desktop juga mendukung alur kerja pembuatan video lokal menggunakan model difusi yang didukung. Ini berarti Anda dapat bereksperimen dengan pembuatan gambar dan video dari aplikasi yang sama alih-alih menyiapkan lingkungan terpisah.

Model Ucapan dan Audio

Anda dapat bekerja dengan model speech-to-text, text-to-speech, dan model audio lain yang didukung. Ini memungkinkan Anda melakukan transkripsi audio, menghasilkan ucapan, dan bereksperimen dengan berbagai alur kerja AI audio secara lokal.

Data Recipes

Data Recipes membantu mengubah berkas seperti PDF dan CSV menjadi dataset yang dapat Anda tinjau, edit, dan siapkan untuk pelatihan. Ini sangat berguna ketika Anda memiliki data sendiri tetapi tidak ingin membangun dataset secara manual dari nol.

Penyimpanan dan Manajemen Model

Saat Anda mengunduh lebih banyak model dan mulai melatih model sendiri, pengelolaannya bisa cepat menjadi berantakan. Unsloth Desktop menyediakan satu tempat untuk mengelola model yang diunduh, dataset, adapter, run pelatihan, dan aset lokal lainnya.

Ekspor Model

Unsloth Studio secara resmi mendukung ekspor model Safetensors/LoRA ke GGUF dan format lainnya. llama.cpp didukung secara eksplisit untuk menjalankan model yang diekspor. 

API Lokal

Terakhir, Unsloth Desktop dapat mengekspos model lokal Anda melalui API yang kompatibel dengan OpenAI. Ini memudahkan untuk menghubungkan model yang berjalan lokal ke aplikasi lain, alat coding, atau proyek AI tanpa bergantung pada API model yang dihosting.

Penutup

Unsloth Desktop bergerak ke arah yang sangat menarik. Menghadirkan LLM, fine-tuning, pembuatan gambar dan video, agen coding, dataset, dan API lokal dalam satu aplikasi desktop membuat AI lokal jauh lebih mudah digunakan, terutama bagi mereka yang tidak ingin mengonfigurasi setiap alat secara manual.

Meski begitu, masih terasa sedikit kasar di beberapa sisi. Pada GPU yang lebih lama atau sistem dengan driver CUDA usang, Anda mungkin tetap perlu memecahkan masalah dependensi dan memasang hal-hal tertentu secara manual di Linux atau Windows. Saya juga menemui masalah dengan pembuatan gambar, pengaturan konteks, dan agen coding. Misalnya, jika Anda meningkatkan konteks model di Unsloth Desktop, Anda mungkin juga perlu menetapkan panjang konteks yang sama secara eksplisit saat meluncurkan agen coding. Beberapa alur kerja pembuatan situs web dan gaya Canvas juga tidak selalu berperilaku sesuai harapan.

Unsloth menambahkan sangat banyak fitur dengan cepat, tetapi belum semuanya terasa benar-benar stabil. Saya berharap banyak masalah ini akan membaik seiring Desktop makin dioptimalkan dan matang.

Untuk saat ini, jika tujuan utama saya hanya menyajikan LLM lokal untuk agen coding AI atau aplikasi lain, saya masih lebih memilih llama.cpp. Alat ini memberi saya kontrol yang jauh lebih besar atas model, konteks, offloading GPU, penggunaan memori, dan pengaturan tingkat rendah lainnya. Unsloth Desktop jauh lebih mudah digunakan, sementara llama.cpp masih menjadi pilihan yang lebih baik saat saya ingin menyetel konfigurasi secara mendetail dan memaksimalkan performa perangkat keras saya.