Pengantar Arsitektur Mamba LLM: Paradigma Baru dalam Machine Learning

Model bahasa adalah jenis model machine learning yang dilatih untuk melakukan distribusi probabilitas atas bahasa alami. Arsitekturnya terutama terdiri dari beberapa lapisan jaringan saraf, seperti lapisan berulang (recurrent), lapisan feedforward, lapisan embedding, dan lapisan attention. Lapisan-lapisan ini dikombinasikan untuk memproses teks masukan dan menghasilkan prediksi keluaran.

Pada akhir 2023, peneliti dari Carnegie Mellon dan Princeton University menerbitkan sebuah makalah riset yang mengungkap arsitektur baru untuk Large Language Models (LLM) bernama Mamba. Mamba adalah arsitektur model state space baru yang berfokus pada pemodelan sekuens. Arsitektur ini dikembangkan untuk mengatasi beberapa keterbatasan model transformer, terutama dalam memproses sekuens panjang, dan telah menunjukkan kinerja yang menjanjikan.

Mari kita telusuri arsitektur Mamba LLM dan signifikansinya dalam machine learning.

Apa itu Mamba?

Mamba adalah arsitektur LLM baru yang mengintegrasikan model Structured State Space sequence (S4) untuk mengelola sekuens data yang panjang. Menggabungkan kelebihan model rekuren, konvolusional, dan waktu-kontinu, S4 dapat mensimulasikan ketergantungan jangka panjang secara efektif dan efisien. Ini memungkinkannya menangani data yang diambil secara tidak teratur, memiliki konteks tanpa batas, dan menjaga efisiensi komputasi selama pelatihan dan pengujian.

Mengembangkan paradigma S4, Mamba menghadirkan beberapa peningkatan penting, khususnya dalam menangani operasi yang bervariasi terhadap waktu. Arsitekturnya berpusat pada mekanisme seleksi khusus yang memodifikasi parameter structured state space model (SSM) sesuai masukan.

Akibatnya, Mamba dapat berhasil menyaring data yang kurang penting dengan hanya berfokus pada informasi krusial dalam sekuens. Menurut Wikipedia, "Model ini bertransisi dari kerangka waktu-invarian ke waktu-variatif, yang berdampak pada perhitungan dan efisiensi sistem."

Fitur dan Inovasi Utama

Penyimpangan Mamba dari blok attention dan MLP konvensional membuatnya berbeda. Penyederhanaan ini menghasilkan model yang lebih ringan, lebih cepat, dan berskala linear terhadap panjang sekuens—sebuah capaian yang tidak diraih para pendahulunya.

Komponen utama Mamba meliputi:

• Selective-State-Spaces (SSM): Model rekuren, yang memproses informasi secara selektif bergantung pada masukan saat ini, menjadi fondasi SSM Mamba. Ini memungkinkan penyaringan data yang tidak relevan dan fokus pada informasi yang tepat, yang dapat menghasilkan pemrosesan lebih efisien.
• Arsitektur Sederhana: Mamba menggantikan blok attention dan MLP yang rumit pada Transformer dengan satu blok SSM yang terpadu. Tujuannya adalah mempercepat inferensi dan menurunkan kompleksitas komputasi.
• Paralelisme Sadar Perangkat Keras: Mamba dapat berkinerja lebih baik karena menggunakan mode rekuren dengan algoritme paralel yang dibuat khusus untuk efisiensi perangkat keras.

Komponen kunci lainnya adalah Linear Time Invariance (LTI); LTI merupakan salah satu fitur inti model S4. Karakteristik ini menunjukkan bahwa parameter model tetap konstan di semua timestep, menjaga konsistensi dinamika model. Membangun model sekuens menjadi lebih mudah dan efektif dengan LTI, yang menjadi dasar dari rekursi dan konvolusi.

Detail Arsitektur Mamba LLM

Arsitektur Mamba semakin menekankan pentingnya kemajuan yang dibuat dalam machine learning. Ia memodifikasi cara model memproses sekuens dengan memperkenalkan lapisan selected state space model (SSM). Ini memungkinkan Mamba melakukan dua hal yang sangat penting:

1. Fokus pada informasi relevan – Mamba dapat memprioritaskan data yang lebih prediktif untuk tugas dengan memberikan bobot berbeda pada setiap masukan.

2. Adaptasi dinamis terhadap masukan – Berkat kemampuan model untuk beradaptasi terhadap masukan, Mamba dapat dengan mudah menangani berbagai tugas pemodelan sekuens.

Hasilnya, Mamba dapat menangani sekuens dengan efisiensi yang belum pernah terjadi sebelumnya, menjadikannya pilihan ideal untuk tugas yang melibatkan sekuens data panjang.

Filosofi desain Mamba didasarkan pada pemahaman akan kapabilitas perangkat keras modern. Ia dirancang untuk memaksimalkan daya komputasi GPU, menjamin:

• Penggunaan Memori yang Dioptimalkan: Waktu transmisi data yang berkurang dan pemrosesan yang lebih cepat dicapai dengan merancang ekspansi state Mamba agar pas di memori berbandwidth tinggi (HBM) GPU.

• Maksimalisasi Pemrosesan Paralel: Mamba mencapai tingkat kinerja yang menetapkan tolok ukur baru bagi model sekuens dengan menyelaraskan perhitungannya dengan sifat paralel komputasi GPU.

Mamba vs Transformer

Kehadiran Transformer, seperti GPT-4, mengubah bidang pemrosesan bahasa alami (NLP) dan menetapkan tolok ukur untuk berbagai tugas bahasa alami. Sekuens panjang telah lama menjadi batu sandungan bagi transformer karena sangat menghambat efisiensinya.

Kekurangan inilah yang menjadi keunggulan Mamba. Mamba dapat memproses sekuens panjang lebih cepat daripada transformer dan melakukannya dengan cara yang lebih sederhana berkat arsitekturnya yang unik.

Arsitektur Transformer

Transformer sangat mahir bekerja dengan sekuens data, seperti teks untuk model bahasa. Mereka memproses seluruh sekuens secara bersamaan, berbeda dengan model sebelumnya yang memproses data secara berurutan. Fitur bawaan ini memungkinkan mereka menangkap hubungan yang rumit di dalam data.

Mereka menggunakan mekanisme attention yang memungkinkan model berkonsentrasi pada berbagai segmen sekuens saat menghasilkan prediksi. Tiga set bobot digunakan untuk menghitung attention ini: values, keys, dan queries yang diperoleh dari data masukan.

Setiap elemen dalam sekuens diberi bobot relatif terhadap setiap elemen lainnya untuk menunjukkan seberapa besar bobot—atau "attention"—yang seharusnya dimiliki guna memprediksi elemen berikutnya dalam deret.

Transformer terdiri dari dua blok utama: decoder, yang menghasilkan keluaran, dan encoder, yang memproses data masukan.

Encoder terdiri dari beberapa lapisan—masing-masing dengan dua sub-lapisan: jaringan feed-forward dasar yang terhubung penuh secara position-wise dan mekanisme self-attention multi-head. Untuk membantu melatih jaringan yang dalam, residual connection dan normalisasi digunakan pada setiap sub-lapisan.

Seperti encoder, decoder terdiri dari dua lapisan dengan dua sub-lapisan, tetapi juga menambahkan sub-lapisan ketiga yang menangani attention multi-head atas keluaran encoder. Sifat autoregresif decoder dipertahankan karena sifatnya yang berurutan, yang membatasi prediksi pada suatu posisi agar hanya mempertimbangkan posisi-posisi sebelumnya.

Dengan demikian, Transformer berupaya mengatasi masalah sekuens panjang dengan memanfaatkan proses attention yang lebih rumit, namun Mamba mengambil pendekatan berbeda.

Arsitektur Mamba

Mamba memanfaatkan selective state spaces. Metode ini memecahkan ketidakefisienan komputasi Transformer pada sekuens panjang.

Arsitektur Mamba memungkinkan inferensi yang lebih cepat dan penskalaan linear terhadap panjang sekuens, menciptakan paradigma baru untuk pemodelan sekuens yang mungkin lebih efektif seiring semakin panjangnya sekuens.

Karena kita telah membahas secara mendalam arsitektur Mamba di atas, kita tidak akan mengulanginya di sini.

Berikut grafik dari Wikipedia untuk membantu memvisualisasikan perbandingan Mamba dan Transformer:

Perlu dicatat bahwa, meskipun SSM memiliki banyak keunggulan dibandingkan Transformer, yang terakhir dapat menangani sekuens yang jauh lebih panjang daripada yang dapat disimpan SSM di memori, memerlukan jauh lebih sedikit data untuk mempelajari tugas serupa, serta melampaui SSM pada tugas yang membutuhkan pengambilan atau penyalinan dari konteks masukan, bahkan dengan jumlah parameter yang lebih sedikit. 

Mulai Menggunakan Mamba

Jika Anda tertarik untuk bereksperimen dengan Mamba atau memanfaatkannya dalam sebuah proyek, Anda harus menyiapkan hal-hal berikut:

• Linux
• GPU NVIDIA
• PyTorch 1.12+
• CUDA 11.6+

Untuk memasang paket yang diperlukan dari repositori Mamba, gunakan beberapa perintah pip sederhana:

• [Opsi] pip install causal-conv1d>=1.2.0: implementasi efisien dari lapisan Conv1d kausal sederhana yang digunakan di dalam blok Mamba.
• pip install mamba-ssm: paket inti Mamba.

Paket juga dapat dibangun dari sumber dengan pip install . dari repositori ini.

Jika versi PyTorch menimbulkan masalah kompatibilitas, pip dapat digunakan dengan sakelar --no-build-isolation untuk membantu. Model-model ini dilatih pada dataset besar seperti Pile dan SlimPajama dan dibuat untuk memenuhi berbagai kebutuhan komputasi dan tolok ukur kinerja.

Model Mamba memiliki beberapa tingkat antarmuka, tetapi modul utamanya adalah blok arsitektur Mamba yang membungkus SSM selektif.

Setelah semuanya terpasang, penggunaannya sebagai berikut:

# Source: Mamba Repository
import torch
from mamba_ssm import Mamba

batch, length, dim = 2, 64, 16
x = torch.randn(batch, length, dim).to("cuda")
model = Mamba(
    # This module uses roughly 3 * expand * d_model^2 parameters
    d_model=dim, # Model dimension d_model
    d_state=16,  # SSM state expansion factor
    d_conv=4,    # Local convolution width
    expand=2,    # Block expansion factor
).to("cuda")
y = model(x)
assert y.shape == x.shape

Aplikasi Mamba

Kehadiran Mamba LLM berpotensi menjadi perubahan signifikan dalam ranah arsitektur LLM. Lebih cepat, lebih efisien, dan dapat diskalakan, Mamba dengan mudah menangani sekuens panjang dengan standar kinerja tinggi, yang menjelaskan mengapa arsitektur ini akan berperan penting dalam membentuk masa depan sistem AI canggih.

Secara khusus, gelombang inovasi AI berikutnya dapat dipicu oleh efektivitas dan kinerja Mamba, yang membuka jalan bagi terciptanya model dan aplikasi yang semakin kompleks. Dampak potensialnya sangat luas, mencakup aplikasi pemrosesan audio dan ucapan, analisis teks panjang, pembuatan konten, penerjemahan bahasa secara real-time, dan banyak lagi.

Industri yang dapat direvolusi meliputi:

• Kesehatan: Mamba dapat mempercepat pengembangan pengobatan kesehatan personal dengan menganalisis data genetik secara cepat.

• Keuangan: Mamba dapat diterapkan untuk menganalisis tren pasar jangka panjang, menghasilkan prediksi saham yang lebih akurat.

• Layanan Pelanggan: Mamba berpotensi menggerakkan chatbot yang memantau percakapan panjang, sehingga meningkatkan komunikasi dengan klien.

Arah Pengembangan Mamba ke Depan

Mamba menonjol sebagai mercusuar inovasi yang menunjukkan jalan menuju peluang baru untuk menangani masalah pemodelan sekuens yang kompleks. Debutnya merupakan langkah menuju sistem yang lebih cerdas, dapat diskalakan, dan efisien yang mampu memahami dan menangani sekuens dengan kedalaman yang belum pernah ada.

Walau Mamba terbukti sebagai tonggak teknis yang signifikan, keberhasilannya tidak semata bergantung pada kapabilitas teknologinya – riset kolaboratif, berbagi sumber daya, dan kontribusi open-source semuanya memainkan peran penting:

• Kontribusi Open-Source: Model yang lebih tangguh dan adaptif dapat dihasilkan dengan mendorong peneliti dan pengembang untuk berkontribusi pada codebase Mamba.

• Berbagi Sumber Daya: Komunitas dapat mempercepat kemajuan dengan menggabungkan pengetahuan dan sumber dayanya serta berbagi model pra-latih.

• Riset Kolaboratif: Kolaborasi antara institusi akademik dan bisnis dapat memperluas kapabilitas Mamba.

Kesimpulan

Mamba tidak sekadar memberikan peningkatan kecil pada model sekuens saat ini; arsitektur ini mendefinisikan ulang apa yang mungkin. Dengan kehadirannya, sejarah kecerdasan buatan akan menyaksikan babak baru di mana ketidakefisienan komputasi dan batasan panjang sekuens akhirnya menjadi usang.

Selama beberapa tahun terakhir, kita telah menyaksikan evolusi AI dari RNN ke Transformer dan kini Mamba, setiap langkah membawa kita lebih dekat untuk mewujudkan AI yang mampu berpikir mendalam dan memproses informasi setara manusia. Mamba mewujudkan semangat revolusioner yang mendorong bidang AI maju melalui pendekatan selected state space dan penskalaan waktu-linear.

Mamba menandai awal perkembangan yang menjanjikan dalam kecerdasan buatan. Ini adalah paradigma yang dirancang untuk masa depan dan siap memberi dampak signifikan pada AI dengan potensinya yang tak terbatas.

Untuk melanjutkan pembelajaran Anda, lihat:

• Cara membangun Aplikasi LLM dengan Langchain
• Cara melatih LLM dengan PyTorch