Small Language Models: Panduan dengan Contoh

Apa Itu Small Language Models?

Small language models adalah versi ringkas dan sangat efisien dari large language models besar yang sering kita dengar. LLM seperti GPT-4o memiliki ratusan miliar parameter, tetapi SLM menggunakan jauh lebih sedikit—biasanya dari jutaan hingga beberapa miliar.

Karakteristik utama SLM adalah:

1. Efisiensi: SLM tidak memerlukan daya komputasi masif seperti yang dibutuhkan LLM. Ini menjadikannya sangat cocok untuk digunakan pada perangkat dengan sumber daya terbatas, seperti ponsel pintar, tablet, atau perangkat IoT—pelajari lebih lanjut tentang hal ini di blog tentang edge AI.
2. Aksesibilitas: Orang dengan anggaran terbatas dapat menerapkan SLM tanpa memerlukan infrastruktur kelas atas. SLM juga sangat cocok untuk penerapan on-premise di mana privasi dan keamanan data sangat penting, karena tidak selalu bergantung pada infrastruktur berbasis cloud.
3. Kustomisasi: SLM mudah di-fine-tune. Ukurannya yang lebih kecil membuatnya cepat beradaptasi dengan tugas khusus dan domain spesialis. Ini membuatnya sangat cocok untuk aplikasi spesifik seperti layanan pelanggan, kesehatan, atau pendidikan (kita akan membahas ini lebih detail nanti!). 
4. Inferensi lebih cepat: SLM memiliki waktu respons lebih cepat karena parameter yang diproses lebih sedikit. Ini ideal untuk aplikasi waktu nyata seperti chatbot, asisten virtual, atau sistem apa pun yang membutuhkan keputusan cepat. Anda tidak perlu menunggu lama untuk jawaban—sangat cocok untuk lingkungan yang menuntut latensi rendah.

Contoh Small Language Models

Perkembangan SLM dari 2019 hingga 2024 berlangsung cepat, dengan banyak model baru dibuat untuk memenuhi kebutuhan AI yang lebih efisien. Dimulai dengan GPT-2 pada 2019, dan selama bertahun-tahun, model menjadi lebih fokus dan lebih cepat. Pada 2022, model seperti Bloom dan Galactica mampu menangani banyak bahasa dan data ilmiah, dan pada 2023, model seperti Pythia dan Cerebras-GPT dirancang untuk tugas seperti pemrograman dan penalaran logis.

Pada 2024, lebih banyak lagi SLM dirilis, seperti LaMini-GPT, MobileLLaMA, dan TinyLlama, yang dibuat agar bekerja baik di perangkat seluler dan sistem berdaya rendah lainnya. Perusahaan seperti Meta, Google, dan Microsoft memimpin pengembangan model ini, dengan beberapa tersedia untuk publik dan lainnya bersifat privat.

Sumber: Lu dkk., 2024

Praktisi menggunakan SLM di banyak industri karena ringan, cepat, dan tidak membutuhkan banyak sumber daya untuk berjalan. Berikut beberapa model beserta parameter dan fitur utamanya:

*Dengan pembatasan penggunaan

**Hanya untuk tujuan riset

Pelajari lebih lanjut tentang model-model ini dalam artikel terpisah yang saya tulis mengenai small language models terbaik.

Cara Kerja SLM

Mari kita bahas cara kerja small language models.

Prediksi kata berikutnya

Sama seperti LLM, SLM bekerja dengan memprediksi kata berikutnya dalam sebuah rangkaian teks. SLM menggunakan pola dari teks yang telah dilatih untuk menebak apa yang datang selanjutnya. Konsep sederhana namun kuat ini menjadi inti dari semua model bahasa.

Sebagai contoh, dengan masukan: "Dalam seri Harry Potter, sahabat tokoh utamanya bernama Ron..." SLM akan menganalisis konteks ini dan memprediksi kata yang paling mungkin berikutnya—dalam hal ini, "Weasley."

Arsitektur transformer

Arsitektur transformer adalah kunci bagaimana LLM dan SLM memahami dan menghasilkan bahasa. Transformer dapat dipahami sebagai otak di balik model bahasa. Transformer menggunakan self-attention untuk mencari tahu kata mana dalam sebuah kalimat yang paling relevan satu sama lain. Ini membantu model memahami konteks—misalnya, mengenali bahwa “Paris” merujuk pada kota atau orang yang Anda kenal dari kantor.

Keseimbangan ukuran dan kinerja

Kekuatan SLM terletak pada kemampuannya menyeimbangkan ukuran dan kinerja. SLM menggunakan parameter yang jauh lebih sedikit daripada LLM, biasanya berkisar dari jutaan hingga beberapa miliar, dibandingkan ratusan miliar pada LLM.

Dengan parameter lebih sedikit, SLM memerlukan daya komputasi dan data yang lebih rendah untuk pelatihan, sehingga lebih mudah diakses jika Anda memiliki sumber daya terbatas. Ukuran SLM yang ringkas membuatnya memproses input dan menghasilkan output lebih cepat, yang sangat penting untuk aplikasi waktu nyata seperti papan ketik seluler atau asisten suara.

SLM mungkin tidak se-serbaguna atau sedalam model besar dalam memahami konteks, tetapi SLM sangat baik menangani tugas spesifik. Misalnya, sebuah SLM yang dilatih untuk menganalisis teks hukum dapat bekerja lebih baik daripada LLM umum di area tersebut.

Cara Membuat SLM: Teknik dan Pendekatan

SLM menggunakan teknik seperti distilasi, pruning, dan kuantisasi untuk menjadi lebih kecil, lebih cepat, dan lebih efisien.

Distilasi

Ini adalah teknik untuk membuat SLM dengan mentransfer pengetahuan dari model "guru" yang lebih besar ke model "murid" yang lebih kecil. Tujuannya adalah mengambil apa yang telah dipelajari model guru dan memampatkannya ke dalam model murid tanpa terlalu banyak kehilangan kinerja.

Proses ini membuat SLM mempertahankan banyak akurasi model yang lebih besar sambil jauh lebih mudah dikelola dari sisi ukuran dan kebutuhan komputasi. Dengan teknik ini, model yang lebih kecil belajar bukan hanya prediksi akhir dari guru, tetapi juga pola dan nuansa yang mendasarinya.

Ada beberapa metode distilasi pengetahuan:

• Berbasis respons: Model murid belajar mereplikasi layer output akhir model guru, sering menggunakan "soft targets" untuk informasi yang lebih bernuansa.
• Berbasis fitur: Berfokus pada replikasi layer menengah model guru, membantu murid mengekstraksi pola serupa dari data.
• Berbasis relasi: Melatih murid untuk memahami hubungan antar bagian dalam model guru, meniru proses penalaran yang kompleks.

Pruning

Pruning mirip seperti memangkas bagian yang tidak dibutuhkan. Selama pruning, bagian model yang kurang penting—seperti neuron atau parameter yang tidak banyak berkontribusi pada kinerja keseluruhan—dihilangkan. Teknik ini membantu mengecilkan model tanpa berdampak signifikan pada akurasinya. Namun, pruning dapat menjadi rumit karena jika terlalu agresif, Anda berisiko memotong terlalu banyak dan menurunkan kinerja model.

Pruning dapat secara signifikan mengurangi ukuran model sambil mempertahankan sebagian besar kinerja awal, sehingga menjadi teknik yang efektif untuk membuat SLM.

Kuantisasi

Kuantisasi melibatkan penggunaan bit yang lebih sedikit untuk menyimpan angka-angka dalam model. Biasanya, sebuah model menggunakan angka 32-bit, namun dengan metode ini angka-angka tersebut dikurangi menjadi 8-bit, yang jauh lebih kecil. Ini membuat ukuran model lebih ringkas dan memungkinkan model berjalan lebih cepat. Yang terbaik adalah, meskipun angkanya kurang presisi, model tetap bekerja baik dengan dampak kecil pada akurasi.

Bayangkan Anda menyimpan nilai suhu dalam aplikasi cuaca. Anda mungkin menyimpannya dengan presisi tinggi (seperti angka 32-bit), yang sebenarnya lebih dari yang dibutuhkan. Dengan menurunkan presisi menjadi 8-bit, Anda mungkin kehilangan detail, tetapi aplikasi tetap bermanfaat sambil berjalan lebih cepat dan menggunakan lebih sedikit memori.

Ini sangat berguna untuk menerapkan AI pada perangkat dengan memori dan daya komputasi terbatas, seperti ponsel pintar atau perangkat edge.

Kuantisasi sangat efektif untuk menerapkan model pada perangkat dengan sumber daya terbatas karena mengurangi kebutuhan memori dan meningkatkan kecepatan inferensi.

Aplikasi Small Language Models

Keunggulan SLM terletak pada kemampuannya menghadirkan AI yang andal tanpa memerlukan infrastruktur besar atau konektivitas internet yang konstan, yang membuka banyak aplikasi.

AI pada perangkat

Pikirkan tentang asisten seluler—asisten suara di ponsel Anda yang membantu aktivitas harian. SLM memungkinkan hal ini. SLM memungkinkan prediksi teks waktu nyata, perintah suara, dan bahkan terjemahan tanpa perlu mengirim data ke cloud. Semua dilakukan secara lokal, yang berarti respons lebih cepat dan interaksi yang lebih menjaga privasi.

Sebagai contoh, SwiftKey dan Gboard memanfaatkan SLM untuk memberikan saran teks yang kontekstual dan akurat, sehingga meningkatkan kecepatan dan ketepatan mengetik.

Ini juga meluas ke aplikasi luring di mana AI tetap dapat berfungsi tanpa koneksi internet, sehingga berguna di area dengan konektivitas terbatas. 

Google Translate, misalnya, menawarkan kemampuan terjemahan luring yang didukung oleh SLM, memudahkan komunikasi di wilayah dengan akses internet terbatas.

AI yang dipersonalisasi

Salah satu keunggulan SLM adalah dapat disesuaikan untuk tugas tertentu atau preferensi pengguna. Bayangkan memiliki chatbot yang di-fine-tune khusus untuk layanan pelanggan di bisnis Anda atau AI yang tahu persis bagaimana membantu Anda berdasarkan interaksi sebelumnya. Karena model ini lebih kecil, SLM jauh lebih mudah di-fine-tune dan diterapkan di berbagai industri.

Berikut beberapa contohnya:

• Kesehatan: SLM dapat disesuaikan untuk analisis teks medis guna memberikan pemantauan kesehatan waktu nyata dan saran pada perangkat wearable pintar. SLM beroperasi tanpa perlu konektivitas cloud yang terus-menerus.
• Perangkat rumah pintar: SLM yang tertanam dalam sistem rumah pintar dapat mempelajari preferensi individu untuk suhu dan pencahayaan, menyesuaikan pengaturan secara otomatis untuk waktu yang berbeda atau acara tertentu.
• Pendidikan: Aplikasi edukasi yang menggunakan SLM dapat beradaptasi dengan gaya dan kecepatan belajar individu, memberikan bimbingan dan dukungan yang dipersonalisasi kepada siswa.

Internet of Things

SLM berjalan diam-diam di latar belakang pada perangkat sehari-hari seperti sistem rumah pintar atau gawai lain. SLM membantu perangkat ini memahami dan merespons Anda secara langsung tanpa perlu terhubung ke internet, sehingga lebih cepat dan lebih cerdas.

Aplikasi lainnya

SLM menemukan penerapan di banyak area lainnya:

• Penerjemahan bahasa waktu nyata: SLM memungkinkan terjemahan instan, yang penting untuk komunikasi global. Beberapa aplikasi perjalanan kini menggunakan SLM untuk menerjemahkan rambu, menu, atau petunjuk lisan secara waktu nyata. Ini membantu pengguna menavigasi bahasa asing.
• Sistem otomotif: Di mobil, SLM menyediakan navigasi cerdas, memberikan pembaruan lalu lintas secara waktu nyata dan menyarankan rute terbaik. SLM juga meningkatkan perintah suara, memungkinkan pengemudi mengontrol musik, melakukan panggilan, atau mengirim pesan tanpa menggunakan tangan.
• Sistem hiburan: Smart TV dan konsol gim menggunakan SLM untuk kontrol suara dan menyarankan acara atau gim berdasarkan yang pernah Anda tonton atau mainkan sebelumnya.
• Layanan pelanggan: SLM membantu perusahaan menangani pertanyaan pelanggan dengan lebih efisien. Toko ritel menggunakan SLM untuk menjawab pertanyaan tentang produk, status pesanan, atau kebijakan pengembalian. Ini mengurangi kebutuhan dukungan pelanggan manusia.

LLM vs. SLM

Sekarang, mari bahas kapan sebaiknya menggunakan LLM yang besar dan kapan SLM menjadi pilihan yang lebih baik.

Kompleksitas tugas

Untuk tugas yang sangat kompleks seperti pemahaman mendalam, pembuatan konten panjang, atau memecahkan masalah pelik, model besar seperti GPT-4o biasanya berkinerja lebih baik daripada SLM. LLM dapat menangani tugas-tugas ini karena menarik dari jumlah data yang sangat besar untuk memberikan jawaban yang lebih mendetail. Namun, kelemahannya adalah tingkat kecanggihan ini membutuhkan banyak daya komputasi dan waktu.

Sebagai contoh, jika Anda mengembangkan chatbot tujuan umum yang perlu menangani berbagai topik dan kueri kompleks, LLM akan lebih sesuai. Namun, untuk bot layanan pelanggan khusus yang berfokus pada satu lini produk, SLM mungkin sudah lebih dari cukup dan bahkan bisa mengungguli LLM karena pelatihannya yang terfokus.

Keterbatasan sumber daya

Ketika ada keterbatasan sumber daya, di situlah SLM unggul. SLM membutuhkan daya komputasi yang jauh lebih sedikit untuk dilatih dan diterapkan. SLM adalah pilihan yang bagus jika Anda bekerja di lingkungan dengan sumber daya terbatas. 

Dalam situasi di mana daya komputasi terbatas, seperti pada perangkat seluler atau komputasi edge, SLM sering menjadi pilihan yang lebih baik karena memberikan perpaduan kinerja dan efisiensi yang baik.

Lingkungan penerapan

Jika Anda menerapkan AI pada server cloud di mana sumber daya bukan masalah, LLM mungkin menjadi pilihan, terutama jika Anda membutuhkan akurasi dan kefasihan tinggi dalam respons. Namun, jika Anda bekerja pada perangkat dengan daya CPU atau GPU terbatas, seperti perangkat IoT atau aplikasi seluler, SLM adalah pilihan yang tepat.

Saat mempertimbangkan lingkungan penerapan, penting untuk mengevaluasi faktor seperti konektivitas internet, persyaratan latensi, dan kekhawatiran privasi. Untuk aplikasi yang perlu berfungsi luring atau dengan latensi minimal, SLM yang diterapkan pada perangkat atau di edge sering kali menjadi pilihan yang lebih baik.

Memilih antara LLM dan SLM bergantung pada kompleksitas tugas, sumber daya yang Anda miliki, dan di mana Anda ingin menerapkannya. LLM sangat baik untuk tugas kompleks yang membutuhkan akurasi tinggi, sementara SLM efisien dan dapat bekerja di lebih banyak tempat.

Kesimpulan

SLM membuat AI jauh lebih mudah diakses. Berbeda dengan large language models yang memerlukan daya komputasi besar, SLM berjalan dengan sumber daya lebih sedikit. Artinya, perusahaan kecil, pengembang individu, dan bahkan startup dapat menggunakannya tanpa memerlukan server besar atau anggaran besar.

Untuk mempelajari lebih lanjut tentang small language models, saya merekomendasikan dua sumber ini:

• Small Language Models Teratas
• Cara Menjalankan Llama 3.2 1B di Ponsel Android dengan Torchchat