Mixture of A Million Experts (MoME): Konsep Kunci Dijelaskan

Memahami PEER: Kekuatan Para Pakar Paralel

Salah satu tantangan utama dalam menskalakan LLM terletak pada kebutuhan komputasi dan memori dari lapisan feedforward di dalam blok transformer. MoE mengatasinya dengan mengganti lapisan tersebut dengan modul pakar yang diaktifkan secara jarang, masing-masing mengkhusus pada aspek berbeda dari tugas. Pendekatan ini meningkatkan efisiensi dengan hanya mengaktifkan pakar yang relevan untuk masukan tertentu, sehingga mengurangi beban komputasi.

Pendekatan MoE saat ini memiliki keterbatasan, seperti router tetap yang perlu disesuaikan ulang ketika pakar baru ditambahkan. Karena itu, diperkenalkan pendekatan perutean baru dengan mengganti router tetap menggunakan indeks yang dipelajari.

Parameter Efficient Expert Retrieval (PEER) mengurangi jumlah parameter aktif di lapisan MoE, berdampak pada komputasi dan konsumsi memori aktivasi selama pra-pelatihan dan inferensi.

PEER menunjukkan bahwa dengan menerapkan mekanisme retrieval dan perutean yang tepat, MoE dapat diskalakan hingga jutaan pakar, sehingga menurunkan biaya dan kompleksitas pelatihan serta penyajian model bahasa yang sangat besar.

Sumber

Pada diagram di atas, kueri masukan awalnya menjalani product key retrieval untuk mengidentifikasi k pakar teratas. Pakar yang dipilih ini kemudian memproses masukan berdasarkan pengetahuan spesialisnya, dan keluarannya dikombinasikan saat fase inferensi untuk menghasilkan keluaran akhir model.

Mixture of Million Experts: Detail Teknis

Inovasi inti PEER adalah penggunaan product key retrieval. Tujuannya tetap sama seperti pada MoE tradisional: menemukan k pakar teratas yang paling cocok untuk tugas yang diberikan. Namun, dengan jumlah pakar yang sangat besar (berpotensi lebih dari satu juta), teknik sebelumnya menjadi mahal atau tidak efisien secara komputasi.

Bayangkan skenario dengan N pakar, masing-masing direpresentasikan oleh vektor berdimensi d. Menghitung langsung k pakar teratas akan melibatkan perhitungan kemiripan antara kueri masukan dan semua N kunci pakar, menghasilkan kompleksitas waktu sebesar O(Nd). Ketika N sangat besar (misalnya, N ≥ 10^6), ini menjadi sangat mahal.

PEER mengatasinya dengan strategi cerdas: alih-alih menggunakan N kunci pakar berdimensi d yang independen, setiap kunci dipecah menjadi dua subset independen, masing-masing berdimensi d/2. Demikian pula, vektor kueri dibagi menjadi dua sub-kueri. Operasi top-k kemudian diterapkan pada hasil kali dalam antara sub-kueri dan sub-kunci ini.

Struktur hasil kali Cartesian dari kunci-kunci ini secara drastis menurunkan kompleksitas komputasi dari O(Nd) menjadi O((N^.5+ k2)d), sehingga memungkinkan identifikasi k pakar teratas secara efisien bahkan dengan jumlah pakar yang masif.

Arsitektur Lapisan PEER

Lapisan Parameter-Efficient Expert Retrieval (PEER) adalah arsitektur MoE yang menggunakan product key pada router dan MLP satu-neuron sebagai pakar.

Satu lapisan PEER terdiri dari tiga komponen:

1. Kumpulan N pakar E
2. Himpunan korespondensi N product key K
3. Jaringan kueri q 

Begini cara kerjanya: 

1. Diberikan kueri masukan x, ambil subset k pakar yang product key terkaitnya memiliki hasil kali dalam tertinggi dengan kueri q(x).
2. Terapkan fungsi aktivasi seperti sigmoid atau softmax untuk memperoleh skor router bagi k pakar teratas yang diambil ini. 
3. Hitung keluaran dengan mengombinasikan secara linear keluaran pakar yang diberi bobot oleh skor router.

Intinya, lapisan PEER secara efisien mengidentifikasi pakar yang paling relevan untuk masukan tertentu, sehingga memungkinkan pemanfaatan efektif jumlah pakar yang masif sambil menjaga keterkelolaan komputasi. Inovasi ini menjadi pemungkin kunci bagi penskalaan model MoE hingga jutaan pakar, membuka jalan bagi LLM yang lebih andal dan efisien.

Keunggulan Pendekatan PEER

PEER, bersama arsitektur MoME, menawarkan sejumlah keunggulan kuat dibanding pendekatan MoE tradisional, mendorong batas kapabilitas LLM:

• Efisiensi meningkat: Dengan memanfaatkan sejumlah besar pakar spesialis, PEER memungkinkan pengambilan informasi yang lebih akurat dan efisien, sehingga meningkatkan kinerja model secara keseluruhan.
• Pembelajaran sepanjang hayat: PEER memfasilitasi pembelajaran berkelanjutan dan pertumbuhan model. Pakar baru dapat ditambahkan secara bertahap, memperluas basis pengetahuan model tanpa perlu pelatihan ulang menyeluruh, sehingga menjaga pengetahuan yang telah diperoleh.
• Skalabilitas: PEER mengatasi keterbatasan skalabilitas arsitektur MoE tradisional, memungkinkan pengembangan model dengan triliunan parameter seperti GPT-MoE-1.8T. Ini membuka kemungkinan baru untuk menciptakan LLM yang lebih bertenaga dan kapabel.

Aplikasi Potensial MoME

Mixture-of-Experts sudah menjadi paradigma model yang banyak digunakan di industri, dengan perusahaan seperti YouTube yang mengintegrasikannya ke dalam sistem rekomendasi mereka. Masa depan MoME tampak serupa, dan sudah diisyaratkan di GTC 2024 milik Nvidia, saat mereka membahas model GPT 1,8 triliun.

Sumber

Mixture of Million Experts (MoME), dengan arsitektur PEER-nya, sangat menjanjikan untuk tugas NLP kompleks yang membutuhkan basis pengetahuan luas dan pengambilan respons yang cepat. Ini mengatasi tantangan skalabilitas yang melekat pada pelatihan dan penyajian model bahasa yang sangat besar, membuka kemungkinan baru untuk penggunaannya di bidang seperti visi komputer, pembuatan konten, sistem rekomendasi, dan komputasi cerdas.

Tantangan dan Keterbatasan

Menskalakan model hingga sejuta pakar tampak menjanjikan dari sisi efisiensi, tetapi mengelola jaringan sebesar itu menghadirkan tantangan. Mari kita bahas beberapa di antaranya: 

1. Kompleksitas komputasi dan efisiensi:
• Biaya pengambilan pakar: Menghitung k pakar teratas dari kumpulan berjumlah sejuta dapat mahal secara komputasi. Bahkan dengan optimasi seperti product-key retrieval, mengelola proses retrieval secara efisien tetap menantang.
• Beban pelatihan: Melatih model sebesar ini dengan jumlah pakar yang sangat besar membutuhkan sumber daya komputasi yang substansial, yang mungkin tidak memungkinkan bagi semua laboratorium riset atau perusahaan.
2. Keterbatasan memori:
• Memori aktivasi: Seiring bertambahnya jumlah pakar, memori yang dibutuhkan untuk menyimpan aktivasi dan hasil antara selama pelatihan dan inferensi dapat menjadi sangat besar.
• Penyimpanan parameter: Menyimpan sejuta pakar memerlukan kapasitas memori signifikan, yang dapat membatasi penerapan pada perangkat dengan sumber daya terbatas.
3. Regularisasi dan stabilitas:
• Overfitting: Dengan jumlah parameter yang begitu besar, ada risiko overfitting pada data pelatihan. Teknik regularisasi yang efektif sangat penting namun menantang untuk dirancang dan diterapkan.
• Stabilitas: Stabilitas pelatihan bisa menjadi masalah, karena pengelolaan gradien dan pembaruan untuk sejuta pakar dapat menyebabkan ketidakstabilan numerik dan masalah konvergensi.

Kesimpulan

Dalam artikel ini, kita mengeksplorasi teknik Mixture of Million Experts (MoME), sebuah pendekatan yang dapat diskalakan untuk model bahasa besar.

MoME memanfaatkan jaringan pakar khusus dan mekanisme perutean PEER untuk meningkatkan efisiensi dan kinerja. 

Kita membahas komponen inti, manfaat, dan aplikasi potensialnya. Untuk pendalaman lebih lanjut, rujuk ke makalah riset untuk detail teknis dan hasil benchmark.

Untuk informasi lebih lanjut, silakan merujuk ke makalah riset untuk detail teknis dan hasil benchmark.