Cara Menjalankan Unsloth Studio Secara Lokal: Panduan Langkah demi Langkah

Anda mungkin sudah pernah mendengar tentang Unsloth. Mereka dikenal luas karena cepat merilis versi terkuantisasi dari model terbuka baru, sehingga lebih mudah diunduh, dimuat, dan dijalankan di berbagai setup inferensi lokal. Mereka juga membangun reputasi kuat melalui panduan praktis untuk menjalankan dan fine-tuning model terbuka terbaru tanpa membuat proses penyiapan jadi merepotkan. 

Baru-baru ini, Unsloth Studio menghadirkan banyak alur kerja tersebut dalam satu tempat: UI web lokal untuk menjalankan dan melatih model, dengan dukungan GGUF dan Safetensors, perbandingan model berdampingan, penalaan otomatis parameter inferensi, pemanggilan tool, dan API yang kompatibel dengan OpenAI.

Dalam tutorial ini, saya akan memandu Anda menyiapkan lingkungan yang dibutuhkan untuk Unsloth Studio, memasangnya secara lokal, meluncurkan antarmuka, dan menguji model langsung dari UI. Tanpa pipa manual yang berantakan, tanpa berpindah-pindah antara lima tool berbeda, dan tanpa perlu menulis kode inferensi tambahan hanya untuk memulai. 

Anda juga bisa melihat panduan kami tentang Fine-Tuning dengan Unsloth Studio, dan panduan Unsloth asli untuk mempelajari lebih lanjut. 

Apa Itu Unsloth Studio?

Unsloth Studio adalah antarmuka web lokal open-source baru dari Unsloth untuk menjalankan, melatih, dan mengekspor model terbuka dalam satu tempat. Alih-alih mengutak-atik tool terpisah untuk inferensi, fine-tuning, dan pengujian, semuanya dihadirkan dalam satu setup yang dapat Anda jalankan di mesin sendiri. 

Unsloth Studio mendukung model GGUF dan Safetensors, bekerja di Mac, Windows, dan Linux, serta dirancang untuk memudahkan eksperimen model lokal bagi mereka yang menginginkan alur kerja visual alih-alih menyusun skrip secara manual.

Fitur utama Unsloth Studio

Ada beberapa fitur menonjol yang membuat tool ini begitu menarik, di antaranya:

• Cari, unduh, dan jalankan model secara lokal dari satu antarmuka
• Bandingkan dua model berdampingan
• Gunakan pemanggilan tool self-healing dan penelusuran web bawaan
• Secara otomatis menala pengaturan inferensi
• Edit templat chat dengan mudah
• Akses API yang kompatibel dengan OpenAI
• Fine-tuning model dengan alur kerja tanpa kode
• Buat dataset secara otomatis dari file seperti PDF, CSV, JSON, DOCX, dan TXT
• Ekspor model ke format seperti GGUF dan Safetensors 16-bit

Prasyarat untuk Unsloth Studio

Sebelum memulai instalasi, pastikan sistem Anda memiliki tool dasar yang dibutuhkan untuk menjalankan Unsloth Studio secara lokal. Setup ini cukup mudah dikelola, tetapi jika Anda ingin melakukan fine-tuning model alih-alih hanya menggunakan chat, Anda memerlukan lingkungan yang lebih lengkap dan siap GPU.

• Python: Versi 3.11 hingga 3.13
• Git: Diperlukan untuk mengkloning dan mengelola repositori
• CMake: Diperlukan untuk membangun komponen lokal selama setup
• Perkakas macOS: Homebrew dan OpenSSL mungkin juga dibutuhkan di macOS
• GPU NVIDIA: Diperlukan jika Anda ingin melakukan fine-tuning model secara lokal
• Driver NVIDIA terbaru: Direkomendasikan untuk menghindari masalah setup, CUDA, atau pelatihan

Secara sederhana, chat lokal dasar lebih mudah dijalankan di CPU, tetapi fine-tuning membutuhkan perangkat keras NVIDIA yang tepat dan driver yang diperbarui, di samping tool setup standar.

Siapkan Lingkungan RunPod Anda

Untuk tutorial ini, kita akan menggunakan mesin RunPod A40. Saya bisa saja menjalankan semuanya di laptop, tetapi saya tidak memiliki ruang penyimpanan yang cukup, dan internet saya terlalu lambat untuk mengunduh model dan dependensi berukuran besar dengan nyaman. 

Jadi, alih-alih menghadapi waktu unduh yang lama, build yang lambat, dan risiko membuat sistem lokal berantakan, saya menggunakan RunPod sebagai opsi cloud sederhana yang jauh lebih cepat disiapkan untuk alur kerja ini.

• Mulailah dengan membuat pod A40 baru dan memilih template PyTorch 2.8.0 terbaru. 
• Sebelum menerapkannya, edit pengaturan pod dan setel container disk menjadi 50 GB dan volume disk menjadi 100 GB agar Anda memiliki ruang yang cukup untuk instalasi dan unduhan model. 
• Anda juga perlu mengekspos port HTTP 8888 untuk Jupyter Notebook dan port 8910 untuk Unsloth Studio. 
• Menambahkan token Hugging Face Anda sebagai variabel lingkungan bersifat opsional, tetapi dapat membantu mempercepat unduhan model dan mempermudah akses ke model yang berpagar.

Setelah semuanya terlihat benar, simpan perubahan, tinjau ringkasan pod, dan terapkan pod.

Pasang Unsloth Studio

Dalam satu menit atau lebih, Anda akan melihat tautan di dasbor RunPod untuk mengakses JupyterLab. Bukalah, lalu jalankan sebuah terminal. Anda juga bisa menggunakan SSH dan mem-port secara lokal, atau memakai terminal web, tetapi saya merasa terminal JupyterLab jauh lebih mudah untuk setup seperti ini. Aksesnya cepat, pengelolaannya sederhana, dan memungkinkan Anda menjaga beberapa terminal tetap terbuka sekaligus tanpa masalah.

Pertama, upgrade pip dan pasang uv. 

pip install --upgrade pip && pip install uv

Selanjutnya, buat folder baru untuk proyek dan masuk ke dalamnya.

mkdir Unsloth-Studio && cd Unsloth-Studio

Setelah itu, buat lingkungan virtual menggunakan uv.

uv venv

Anda kemudian akan melihat output serupa berikut, menandakan lingkungan virtual telah berhasil dibuat.

Using CPython 3.12.3 interpreter at: /usr/local/bin/python
Creating virtual environment at: .venv
Activate with: source .venv/bin/activate

Sekarang aktifkan lingkungan virtual.

source .venv/bin/activate

Setelah lingkungan aktif, pasang Unsloth menggunakan uv.

uv pip install unsloth --torch-backend=auto

Terakhir, jalankan perintah setup Studio. Langkah ini menangani setup yang lebih berat untuk Anda, termasuk memasang Node.js, npm, membangun llama.cpp, dan memasang paket Python tambahan yang dibutuhkan untuk menjalankan ini.

unsloth studio setup

Setelah setup selesai, Anda akan melihat perintah yang dibutuhkan untuk meluncurkan Unsloth Studio secara lokal.

Luncurkan Unsloth Studio Secara Lokal

Ingat bahwa di awal, kita mengekspos port 8910 saat mengedit template RunPod. 

Sekarang kita akan meluncurkan Unsloth Studio pada port tersebut sehingga kita bisa mengaksesnya langsung melalui tautan RunPod, bukan hanya menggunakan localhost di dalam mesin.

Jalankan perintah berikut di terminal untuk memulai inferensi web Unsloth Studio.

unsloth studio -H 0.0.0.0 -p 8910

Setelah mulai, Anda akan melihat bahwa ia mendeteksi GPU A40, beserta kredensial admin default dan model default yang sudah diunduh dan siap digunakan. Dalam banyak kasus, model Qwen3.5 4B yang terkuantisasi tersedia secara default, sehingga Anda bisa langsung menguji Studio tanpa perlu mengunduh model lain terlebih dahulu.

Alih-alih mengeklik tautan localhost yang ditampilkan di terminal, kembali ke dasbor RunPod dan buka tab Connect. Dari sana, klik tautan untuk port 8910 untuk membuka antarmuka web Unsloth Studio.

Saat pertama kali membukanya, Studio akan meminta Anda membuat kata sandi baru. Tetapkan satu agar instance terlindungi dan tidak terekspos ke orang lain yang menggunakan tautan publik tersebut.

Setelah itu, Anda akan masuk ke alur onboarding, yang bisa dilewati jika diinginkan. Ini berguna jika Anda ingin panduan singkat tentang antarmuka, tombol, dan bagian utama, tetapi tidak wajib untuk mulai menggunakan.

Setelah masuk, Anda akan dibawa ke dasbor Unsloth Studio. Antarmukanya diorganisasikan ke dalam empat tab utama. 

Studio adalah tempat Anda menangani fine-tuning, Recipes memungkinkan Anda membuat dataset dari file seperti PDF dan CSV, Export membantu Anda menyimpan model yang telah di-fine-tune dalam format seperti GGUF atau Safetensors 16-bit, dan Chat adalah tempat Anda berinteraksi langsung dengan model.

Uji Antarmuka Chat Unsloth Studio

Klik tab Chat, lalu klik tombol Select model di pojok kiri atas. Seperti terlihat pada tangkapan layar, model Qwen3.5 4B sudah diunduh. Klik model tersebut, lalu pilih versi terkuantisasi yang telah dipasang, dan Anda siap menggunakannya. Model akan memerlukan beberapa detik untuk dimuat ke memori GPU.

Untuk mengujinya, kami memberinya soal matematika, dan responsnya sangat cepat, mulus, serta koheren.

Anda juga dapat mengaktifkan penelusuran web dan bertanya tentang topik terbaru. Saat opsi ini diaktifkan, Unsloth Studio terlebih dahulu melakukan pencarian web, lalu meneruskan informasi yang diperoleh ke model agar dapat menghasilkan respons yang lebih berbasis data.

Seperti yang terlihat, ia mengembalikan lima hasil berita teratas dari publikasi besar tentang pasar saham.

Anda juga dapat mencari model apa pun yang Anda suka dari Hugging Face dan mengunduhnya langsung di dalam antarmuka. Pada contoh ini, kami mengunduh Qwen3.5 9B 4-bit terkuantisasi.

Setelah Anda mengeklik modelnya, proses unduhan dimulai. Bergantung pada ukuran model dan kecepatan internet Anda, ini mungkin memerlukan waktu hingga selesai.

Setelah unduhan selesai, Anda dapat memuat model yang baru diunduh. Dalam hitungan detik, Unsloth Studio beralih dari model sebelumnya ke model baru, memberi Anda akses ke model yang lebih mumpuni.

Kami kemudian meminta model baru untuk menghasilkan seni SVG seekor kukang.

Pertama ia menalar permintaan tersebut, lalu menghasilkan kode SVG, dan akhirnya menampilkan seni kukang langsung di dalam antarmuka.

Hasilnya memang terlihat seperti kukang, meski bukan yang paling impresif. Dengan model yang lebih besar dan lebih kuat, Anda biasanya bisa mendapatkan hasil yang jauh lebih baik, terutama jika sistem Anda memiliki GPU yang lebih bertenaga dan RAM yang cukup.

Antarmuka chat Unsloth Studio juga menyertakan beberapa opsi konfigurasi. Anda dapat menyesuaikan parameter generasi, menambahkan prompt sistem, memodifikasi templat chat, dan bereksperimen lebih bebas dengan perilaku model.

Pemikiran Akhir

Secara keseluruhan, saya sangat menikmati menggunakan Unsloth Studio. Setup-nya tidak semulus yang saya harapkan, dan memang ada beberapa titik yang kurang nyaman sepanjang jalan, tetapi setelah semuanya akhirnya berjalan, pengalaman saya berubah total. 

Masalah terbesar adalah langkah unsloth studio setup. Di atas kertas terdengar sederhana, tetapi kenyataannya, butuh hampir 15 hingga 20 menit hanya untuk memasang semuanya. Mungkin saya bisa melakukan beberapa bagian instalasi sendiri dalam waktu yang jauh lebih singkat. 

Bahkan dokumentasinya menyebutkan sesuatu yang mendekati 5 hingga 10 menit, tetapi dalam kasus saya, jelas memakan waktu lebih lama.

Titik tidak nyaman kedua adalah penyimpanan. Awalnya saya mengira hanya membutuhkan ruang yang moderat, tetapi setup penuh pada akhirnya memakan hampir 100 GB, jauh lebih besar dari yang saya perkirakan. Saya tidak sepenuhnya yakin ke mana semua ruang itu terpakai. 

Bisa jadi karena lingkungan virtual, dependensi yang diunduh, file model, artefak build, atau beberapa tool dipasang lebih global selama setup. Bagian itu kurang transparan. 

Namun terlepas dari masalah tersebut, setelah Unsloth Studio benar-benar berjalan, saya benar-benar menyukainya. Antarmukanya terasa matang, cepat, dan mengejutkan mudah digunakan. 

Semuanya ada di satu tempat, alur kerjanya terasa mulus, dan membuat eksperimen model lokal jauh lebih mudah diakses. Jadi meski setup-nya mungkin sedikit menguji kesabaran, pengalaman produk yang sebenarnya membuatnya terasa sepadan.