Cara Menggunakan Unsloth Desktop untuk Alur Kerja AI Lokal

Unsloth Studio mendapat peningkatan besar dengan Unsloth Desktop, yang memungkinkan Anda menjalankan semuanya secara lokal sebagai aplikasi desktop. Ini sangat berguna jika Anda tidak ingin menghabiskan waktu menginstal paket, mengonfigurasi berbagai alat, atau terus-menerus menjalankan perintah di terminal.

Unsloth Desktop pada dasarnya adalah solusi serba ada untuk alur kerja AI lokal. 

Anda dapat menjalankan dan melakukan fine-tune LLM, menguji model visi, membuat gambar dan video, melatih model gambar, bekerja dengan audio, menggunakan alat coding berbasis AI, mengelola model, dan menjalankan API lokal—semuanya dari aplikasi yang sama.

Dalam panduan ini, saya akan menunjukkan cara memasang Unsloth Desktop di Linux, menjalankan LLM lokal, menghubungkannya dengan OpenCode, dan menggunakan model lokal untuk membangun proyek Python. 

Kita juga akan menjelajahi fitur lainnya dan melihat sejauh mana Anda dapat bekerja secara lokal dari satu aplikasi.

1. Periksa GPU NVIDIA Anda

Sebelum memasang Unsloth Desktop, ada baiknya memeriksa dengan cepat apakah GPU NVIDIA Anda terdeteksi dan CUDA berfungsi dengan baik. 

Ini akan membantu menghindari masalah saat Anda mulai menjalankan atau melakukan fine-tuning model secara lokal.

Pertama, buka terminal dan jalankan:

nvidia-smi

Perintah ini akan menampilkan GPU NVIDIA Anda, versi driver, memori GPU yang tersedia, dan informasi kompatibilitas CUDA.

Selanjutnya, periksa compiler CUDA yang terpasang di sistem Anda:

nvcc --version

Anda akan melihat keluaran yang mirip dengan ini:

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2025 NVIDIA Corporation
Built on Tue_May_27_02:21:03_PDT_2025
Cuda compilation tools, release 12.9, V12.9.86
Build cuda_12.9.r12.9/compiler.36037853_0

Jika kedua perintah berfungsi dan GPU Anda terdeteksi dengan benar, sistem Anda siap untuk Unsloth Desktop.

2. Unduh dan Pasang Unsloth Desktop

Berikutnya, buka situs web resmi Unsloth dan unduh Unsloth Desktop. 

Pastikan Anda memilih paket yang sesuai untuk sistem operasi Anda.

Sumber: Unduh Unsloth Desktop untuk Linux 

Setelah unduhan selesai, pasang paketnya seperti memasang aplikasi desktop lainnya. 

Di Linux, ini mungkin berupa paket .deb tergantung distribusi Anda.

Setelah pemasangan selesai, luncurkan Unsloth Desktop. 

Aplikasi akan secara otomatis mendeteksi perangkat keras yang tersedia dan membawa Anda ke antarmuka utama.

Dari sini, Anda dapat menelusuri dan mengunduh model, menjalankan LLM secara lokal, melakukan fine-tuning model, bekerja dengan gambar dan modalitas lain, mengelola model lokal Anda, serta mengakses alat lain yang tersedia di Unsloth Desktop.

3. Unduh dan Jalankan LLM di Unsloth Desktop

Buka Model hub di Unsloth Desktop dan cari model yang ingin Anda jalankan. 

Untuk pengujian ini, saya menggunakan salah satu model kecil favorit saya:

empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF · Hugging Face

Setelah mengunduh model, Anda dapat memuatnya dan mulai mengobrol langsung di dalam Unsloth Desktop. 

Di sistem saya, saya mendapatkan sekitar 102 token per detik rata-rata, yang meningkat hingga sekitar 125 token per detik untuk beberapa kueri terkait coding. 

Saya juga mengaktifkan akses web dan menanyakan model tentang berita pasar saham terbaru. 

Ini membuat pengalaman chat lokal jauh lebih berguna saat Anda membutuhkan informasi di luar yang sudah ada di dalam model. 

Selanjutnya, saya ingin melihat apakah model bisa membangun sesuatu alih-alih hanya menjawab pertanyaan. 

Saya memintanya membuat sebuah situs web, dan model menghasilkan kode serta menampilkan situs web di samping chat, sehingga mudah melihat hasilnya sambil terus melakukan perubahan. 

4. Uji Model Visi

Unsloth Desktop juga mendukung model visi-bahasa, jadi Anda dapat mengunggah gambar langsung ke chat dan mengajukan pertanyaan tentang gambar tersebut.

Untuk pengujian saya, vision encoder yang diperlukan terpasang secara otomatis saat saya mengunduh modelnya. 

Saya cukup mengunggah gambar, mengajukan pertanyaan tentangnya, dan dalam hitungan detik model memberikan respons yang sangat akurat.

Dukungan visi sangat berguna saat bekerja dengan agen coding. 

Misalnya, Anda dapat mengunggah tangkapan layar situs web dan menunjukkan masalah yang ingin diperbaiki, menunjukkan desain yang ingin Anda tiru, atau menggunakan antarmuka yang ada sebagai referensi visual saat membangun aplikasi Anda sendiri. 

5. Gunakan Unsloth Desktop dengan OpenCode

Model yang lebih kecil sangat bagus untuk pengujian dan bahkan beberapa coding agen yang ringan. 

Namun jika Anda menginginkan agen coding lokal yang serius yang dapat menangani proyek lebih besar, Anda akan membutuhkan model yang lebih kuat namun tetap muat di VRAM GPU Anda.

Dalam kasus saya, saya menggunakan RTX 3090 dengan VRAM 24 GB, jadi saya mengunduh versi Q4 dari Muse Glimmer 30B.

Buka tab Models di Unsloth Desktop, cari modelnya, dan unduh versi UD-Q4_K_XL. 

Dalam beberapa menit, model akan terunduh dan termuat di sistem Anda.

Secara bawaan, jendela konteks disetel sekitar 4K, yang terlalu kecil untuk agen coding yang bekerja lintas banyak berkas. 

Buka panel sisi kanan di Unsloth Desktop, ubah panjang konteks menjadi 64K, gulir ke bawah, dan muat ulang model. 

Setelah model dimuat ulang, buka Settings → System untuk memeriksa penggunaan memori GPU Anda. 

Dalam kasus saya, model menggunakan sekitar 22 GB VRAM, menyisakan kira-kira 2 GB untuk KV cache. Ini cukup untuk pengujian saya, meskipun memori yang tersedia akan bergantung pada GPU dan beban kerja Anda. 

Berikutnya, buka Settings → Agents dan pilih OpenCode sebagai agen coding. 

Unsloth Desktop akan otomatis membuat perintah yang Anda perlukan untuk meluncurkannya. 

Pertama, buat direktori proyek menggunakan terminal:

mkdir unsloth-project
cd unsloth-project

Lalu luncurkan OpenCode:

unsloth start opencode \
  --model unsloth/Muse-Glimmer-30B-GGUF:UD-Q4_K_XL \
  --context-length 64000

Pastikan Anda menyertakan panjang konteks dalam perintah. 

Jika tidak, OpenCode mungkin akan mulai dengan jendela konteks bawaan yang lebih kecil.

Perintah ini akan memasang OpenCode jika diperlukan dan kemudian meluncurkan antarmuka terminalnya dengan model Unsloth lokal Anda siap digunakan. 

6. Bangun Proyek dengan OpenCode

Sekarang semuanya sudah terhubung, saya ingin memberikan uji coba yang tepat pada agen coding lokalnya. 

Alih-alih memintanya membuat potongan kode kecil, saya memintanya membangun game bergaya Mario dalam Python dari nol.

Saya menggunakan prompt ini:

Create a simple Mario-style 2D platform game in Python using Pygame. 
Add left/right movement, jumping, platforms, coins, enemies, a score counter, and a finish flag. 
Use simple built-in shapes instead of external assets. 
Create the files, install dependencies, test the game, and tell me how to run it.

OpenCode terlebih dahulu membuat daftar tugas dan kemudian mulai mengerjakan proyek langkah demi langkah. Ia membuat berkas, menulis logika gim, menangani dependensi, dan akhirnya memberi saya perintah untuk meluncurkan gimnya. 

Gim akhirnya berjalan, meskipun masih sedikit buggy. 

Versi Q4 dari Muse Glimmer tidak bekerja sebaik yang saya harapkan untuk tugas coding yang lebih besar ini, jadi jika Anda memiliki VRAM yang cukup, saya sarankan mencoba versi Q8 untuk performa coding yang lebih baik. 

Fitur Kunci Lainnya di Unsloth Desktop

Sejauh ini, kita paling banyak menggunakan Unsloth Desktop untuk menjalankan LLM dan agen coding, namun kemampuannya jauh lebih luas. 

Gagasannya adalah memiliki sebagian besar alur kerja AI lokal tersedia dari aplikasi yang sama alih-alih menyiapkan alat berbeda untuk setiap tugas.

Fine-tuning LLM

Anda dapat melakukan fine-tuning LLM secara lokal menggunakan metode seperti LoRA dan QLoRA. 

Antarmuka pelatihan tanpa kode juga memudahkan untuk memilih dataset, mengonfigurasi pengaturan pelatihan, memulai run, dan mengekspor model akhir tanpa membangun seluruh pipeline pelatihan sendiri.

Pembuatan dan pengeditan gambar

Anda dapat mengunduh model difusi yang didukung dan membuat gambar secara lokal dari prompt teks. Anda juga dapat mengunggah gambar yang ada, menjelaskan perubahan yang diinginkan, dan menggunakan model yang didukung untuk pengeditan gambar.

Pelatihan LoRA gambar

Jika Anda ingin melampaui pembuatan gambar, Anda juga dapat melatih LoRA gambar pada dataset Anda sendiri. 

Ini berguna untuk mengajarkan model tentang subjek, karakter, produk, atau gaya visual tertentu dan kemudian menggunakan LoRA tersebut untuk generasi berikutnya.

Pembuatan video

Unsloth Desktop juga mendukung alur kerja pembuatan video lokal menggunakan model difusi yang didukung. 

Ini berarti Anda dapat bereksperimen dengan pembuatan gambar dan video dari aplikasi yang sama alih-alih menyiapkan lingkungan terpisah.

Model ucapan dan audio

Anda dapat bekerja dengan model speech-to-text, text-to-speech, dan model audio lain yang didukung. 

Ini memungkinkan Anda mentranskripsikan audio, menghasilkan ucapan, dan bereksperimen dengan berbagai alur kerja AI audio secara lokal.

Resep data

Resep data membantu mengubah file seperti PDF dan CSV menjadi dataset yang dapat Anda tinjau, edit, dan siapkan untuk pelatihan. 

Ini sangat berguna ketika Anda memiliki data sendiri tetapi tidak ingin membangun dataset secara manual dari nol.

Penyimpanan dan manajemen model

Saat Anda mengunduh lebih banyak model dan mulai melatih model sendiri, mengelola semuanya bisa cepat menjadi berantakan. 

Unsloth Desktop memberi Anda satu tempat untuk mengelola model yang diunduh, dataset, adapter, run pelatihan, dan aset lokal lainnya.

Ekspor model

Unsloth Studio secara resmi mendukung ekspor model Safetensors/LoRA ke GGUF dan format lainnya. llama.cpp didukung secara eksplisit untuk menjalankan model yang diekspor. 

API lokal

Terakhir, Unsloth Desktop dapat mengekspos model lokal Anda melalui API yang kompatibel dengan OpenAI. Ini memudahkan untuk menghubungkan model yang berjalan secara lokal ke aplikasi lain, alat coding, atau proyek AI tanpa bergantung pada API model yang dihosting.

Penutup

Unsloth Desktop bergerak ke arah yang sangat menarik. 

Memiliki LLM, fine-tuning, pembuatan gambar dan video, agen coding, dataset, dan API lokal dalam satu aplikasi desktop membuat AI lokal jauh lebih mudah digunakan, terutama bagi orang yang tidak ingin mengonfigurasi setiap alat secara manual.

Meski begitu, masih terasa sedikit kasar di beberapa sisi. 

Pada GPU yang lebih lama atau sistem dengan driver CUDA usang, Anda mungkin masih perlu menelusuri dependensi dan memasang beberapa hal secara manual di Linux atau Windows.

Saya juga mengalami kendala dengan pembuatan gambar, pengaturan konteks, dan agen coding. 

Sebagai contoh, jika Anda meningkatkan konteks model di Unsloth Desktop, Anda mungkin juga perlu menetapkan panjang konteks yang sama secara eksplisit saat meluncurkan agen coding Anda. Beberapa alur kerja pembuatan situs web dan gaya Canvas juga tidak selalu berperilaku sesuai harapan.

Unsloth telah menambahkan begitu banyak fitur dengan sangat cepat, tetapi tidak semuanya terasa sepenuhnya stabil. Saya berharap banyak dari masalah ini akan membaik seiring Desktop semakin dioptimalkan dan matang.

Untuk saat ini, jika tujuan utama saya hanyalah menyajikan LLM lokal untuk agen coding AI atau aplikasi lain, saya masih lebih memilih llama.cpp. 

Ini memberi saya kontrol jauh lebih besar atas model, konteks, offloading GPU, penggunaan memori, dan pengaturan tingkat rendah lainnya.

Unsloth Desktop jauh lebih mudah digunakan, sementara llama.cpp masih menjadi opsi yang lebih baik saat saya ingin menyetel konfigurasi dan memaksimalkan performa perangkat keras saya.