Apa Itu Llama 3.1 405B dari Meta? Cara Kerja, Use Case, dan Lainnya

Apa Itu Llama 3.1 405B?

Llama 3.1 adalah pembaruan minor untuk Llama 3 (diumumkan pada April 2024). Llama 3.1 405B adalah versi andalan model ini yang, sesuai namanya, memiliki 405 miliar parameter.

Sumber: Meta AI

Llama3.1 405B di Papan Peringkat LMSys Chatbot Arena

Memiliki 405 miliar parameter menempatkannya sebagai kandidat posisi tinggi di LMSys Chatbot Arena Leaderboard, ukuran performa yang dinilai dari pemungutan suara pengguna secara buta.

Dalam beberapa bulan terakhir, posisi puncak bergantian antara berbagai versi OpenAI GPT-4, Anthropic Claude 3, dan Google Gemini. Saat ini, GPT-4o memegang mahkota, tetapi Claude 3.5 Sonnet yang lebih kecil menempati posisi kedua, dan Claude 3.5 Opus yang akan datang kemungkinan besar akan naik ke posisi pertama jika dirilis sebelum OpenAI memperbarui GPT-4o.

Artinya persaingan di papan atas sangat ketat, dan akan menarik untuk melihat bagaimana Llama 3.1 405B dibandingkan dengan para pesaing ini. Sambil menunggu Llama 3.1 405B muncul di papan peringkat, beberapa tolok ukur disajikan di bagian akhir artikel.

Kemampuan multibahasa

Pembaruan utama dari Llama 3 ke Llama 3.1 adalah dukungan bahasa non-Inggris yang lebih baik. Data pelatihan untuk Llama 3 adalah 95% bahasa Inggris, sehingga kinerjanya buruk dalam bahasa lain. Pembaruan 3.1 menyediakan dukungan untuk Jerman, Prancis, Italia, Portugis, Hindi, Spanyol, dan Thai.

Konteks lebih panjang

Model Llama 3 memiliki jendela konteks—jumlah teks yang dapat dipertimbangkan sekaligus—sebesar 8k token (sekitar 6 ribu kata). Llama 3.1 meningkatkan ini menjadi 128k yang lebih modern, menjadikannya kompetitif dengan LLM tercanggih lainnya.

Ini memperbaiki kelemahan penting keluarga Llama. Untuk use case perusahaan seperti merangkum dokumen panjang, menghasilkan kode yang melibatkan konteks dari basis kode besar, atau percakapan chatbot dukungan yang berkepanjangan, jendela konteks panjang yang dapat menyimpan ratusan halaman teks sangatlah penting.

Perjanjian lisensi model terbuka

Model Llama 3.1 tersedia di bawah Open Model License Agreement kustom dari Meta. Lisensi permisif ini memberi peneliti, pengembang, dan bisnis kebebasan untuk menggunakan model ini untuk aplikasi penelitian maupun komersial.

Dalam sebuah pembaruan penting, Meta juga memperluas lisensi untuk memungkinkan pengembang memanfaatkan keluaran dari model Llama, termasuk model 405B, untuk meningkatkan model lain.

Intinya, ini berarti siapa pun dapat memanfaatkan kemampuan model untuk memajukan pekerjaan mereka, membuat aplikasi baru, dan mengeksplorasi kemungkinan AI, selama mereka mematuhi ketentuan yang diuraikan dalam perjanjian.

Bagaimana Cara Kerja Llama 3.1 405B?

Bagian ini menjelaskan detail teknis cara kerja Llama 3.1 405B, termasuk arsitektur, proses pelatihan, penyiapan data, kebutuhan komputasi, dan teknik optimisasi.

Arsitektur Transformer dengan penyesuaian 

Llama 3.1 405B dibangun di atas arsitektur Transformer standar berbasis decoder saja, desain yang lazim pada banyak model bahasa besar yang sukses.

Walau struktur inti tetap konsisten, Meta memperkenalkan adaptasi kecil untuk meningkatkan stabilitas dan kinerja model selama pelatihan. Secara khusus, arsitektur Mixture-of-Experts (MoE) sengaja tidak disertakan, dengan memprioritaskan stabilitas dan skalabilitas dalam proses pelatihan.

Sumber: Meta AI

Diagram tersebut menggambarkan bagaimana Llama 3.1 405B memproses bahasa. Proses dimulai dengan membagi teks masukan menjadi unit-unit kecil yang disebut token lalu dikonversi menjadi representasi numerik yang disebut token embedding.

Embedding ini kemudian diproses melalui banyak lapisan self-attention, di mana model menganalisis hubungan antar-token untuk memahami signifikansi dan konteksnya dalam masukan.

Informasi yang dikumpulkan dari lapisan self-attention kemudian diteruskan melalui jaringan feedforward, yang semakin memproses dan menggabungkan informasi untuk memperoleh makna. Proses self-attention dan pemrosesan feedforward ini diulang berkali-kali untuk memperdalam pemahaman model.

Akhirnya, model menggunakan informasi ini untuk menghasilkan respons token demi token, membangun dari keluaran sebelumnya untuk menciptakan teks yang koheren dan relevan. Proses iteratif ini, yang dikenal sebagai decoding autoregresif, memungkinkan model menghasilkan respons yang fasih dan tepat konteks terhadap prompt masukan.

Proses pelatihan multi-fase

Pengembangan Llama 3.1 405B melibatkan proses pelatihan multi-fase. Awalnya, model menjalani pra-pelatihan pada kumpulan dataset yang sangat besar dan beragam, mencakup triliunan token. Paparan terhadap teks dalam jumlah masif memungkinkan model mempelajari tata bahasa, fakta, dan kemampuan penalaran dari pola serta struktur yang ditemuinya.

Setelah pra-pelatihan, model menjalani putaran iteratif supervised fine-tuning (SFT) dan direct preference optimization (DPO). SFT melibatkan pelatihan pada tugas dan dataset spesifik dengan umpan balik manusia, membimbing model menghasilkan keluaran yang diinginkan.

Sementara itu, DPO berfokus pada penyempurnaan respons model berdasarkan preferensi yang dikumpulkan dari evaluator manusia. Proses iteratif ini secara progresif meningkatkan kemampuan model mengikuti instruksi, meningkatkan kualitas respons, dan memastikan keamanan.

Kualitas dan kuantitas data

Meta mengklaim sangat menekankan kualitas dan kuantitas data pelatihan. Untuk Llama 3.1 405B, ini melibatkan proses penyiapan data yang ketat, termasuk penyaringan dan pembersihan ekstensif untuk meningkatkan kualitas keseluruhan dataset.

Menariknya, model 405B sendiri digunakan untuk menghasilkan data sintetis, yang kemudian dimasukkan ke dalam proses pelatihan untuk semakin menyempurnakan kemampuan model.

Penskalaan komputasi

Melatih model sebesar dan sekompleks Llama 3.1 405B memerlukan daya komputasi yang sangat besar. Untuk memberi gambaran, Meta menggunakan lebih dari 16.000 GPU paling kuat dari NVIDIA, H100, untuk melatih model ini secara efisien.

Mereka juga melakukan peningkatan signifikan pada seluruh infrastruktur pelatihan agar mampu menangani skala proyek yang sangat besar, sehingga model dapat belajar dan meningkat secara efektif.

Kuantisasi untuk inferensi

Untuk membuat Llama 3.1 405B lebih dapat digunakan dalam aplikasi dunia nyata, Meta menerapkan teknik kuantisasi, yang melibatkan konversi bobot model dari presisi 16-bit (BF16) ke presisi 8-bit (FP8). Ini seperti beralih dari gambar beresolusi tinggi ke resolusi sedikit lebih rendah: detail esensial tetap terjaga sambil mengurangi ukuran berkas.

Serupa, kuantisasi menyederhanakan perhitungan internal model, membuatnya berjalan jauh lebih cepat dan efisien pada satu server. Optimalisasi ini memudahkan dan menekan biaya pihak lain untuk memanfaatkan kemampuan model.

Use Case Llama 3.1 405B

Llama 3.1 405B menawarkan berbagai potensi aplikasi berkat sifat open-source dan kapasitas besarnya.

Pembuatan data sintetis

Kemampuan model untuk menghasilkan teks yang sangat menyerupai bahasa manusia dapat dimanfaatkan untuk membuat data sintetis dalam jumlah besar.

Data sintetis ini berharga untuk melatih model bahasa lain, meningkatkan teknik augmentasi data (membuat data yang ada lebih beragam), dan mengembangkan simulasi realistis untuk berbagai aplikasi.

Distilasi model

Pengetahuan yang tertanam dalam model 405B dapat ditransfer ke model yang lebih kecil dan efisien melalui proses yang disebut distilasi.

Pikirkan distilasi model sebagai mengajar seorang murid (model AI yang lebih kecil) pengetahuan seorang ahli (model Llama 3.1 405B yang lebih besar). Proses ini memungkinkan model yang lebih kecil belajar dan melakukan tugas tanpa memerlukan tingkat kompleksitas atau sumber daya komputasi yang sama seperti model yang lebih besar.

Ini memungkinkan kemampuan AI canggih dijalankan pada perangkat seperti ponsel atau laptop, yang memiliki daya terbatas dibandingkan server bertenaga yang digunakan untuk melatih model asli.

Contoh terbaru distilasi model adalah GPT-4o mini dari OpenAI, yang merupakan versi distilasi dari GPT-4o.

Riset dan eksperimen

Llama 3.1 405B berfungsi sebagai alat riset yang berharga, memungkinkan ilmuwan dan pengembang mengeksplorasi cakrawala baru dalam pemrosesan bahasa alami dan kecerdasan buatan.

Sifat terbukanya mendorong eksperimen dan kolaborasi, mempercepat laju penemuan.

Solusi spesifik industri

Dengan menyesuaikan model pada data spesifik industri tertentu, seperti kesehatan, keuangan, atau pendidikan, dimungkinkan untuk membuat solusi AI kustom yang menjawab tantangan dan kebutuhan unik di domain tersebut.

Penekanan Keamanan pada Llama 3.1 405B

Meta mengklaim memberikan penekanan signifikan untuk memastikan keamanan model Llama 3.1 mereka.

Sumber: Meta AI

Sebelum merilis Llama 3.1 405B, mereka melakukan serangkaian latihan "red teaming" yang ekstensif. Dalam latihan ini, pakar internal dan eksternal bertindak sebagai adversary, mencoba mencari cara untuk membuat model berperilaku berbahaya atau tidak pantas. Ini membantu mengidentifikasi potensi risiko atau kerentanan dalam perilaku model.

Selain pengujian pra-deployment, Llama 3.1 405B menjalani penyelarasan keamanan (safety fine-tuning). Proses ini melibatkan teknik seperti Reinforcement Learning from Human Feedback (RLHF), di mana model belajar menyelaraskan responsnya dengan nilai dan preferensi manusia. Ini membantu mengurangi keluaran yang berbahaya atau bias, menjadikan model lebih aman dan andal untuk penggunaan nyata.

Meta juga memperkenalkan Llama Guard 3, model keamanan multibahasa baru yang dirancang untuk memfilter dan menandai konten berbahaya atau tidak pantas yang dihasilkan oleh Llama 3.1 405B. Lapisan perlindungan tambahan ini membantu memastikan keluaran model mematuhi pedoman etika dan keselamatan.

Sumber: Meta AI

Fitur keamanan lain adalah Prompt Guard, yang bertujuan mencegah serangan injeksi prompt. Serangan ini melibatkan penyisipan instruksi berbahaya ke dalam prompt pengguna untuk memanipulasi perilaku model. Prompt Guard memfilter instruksi semacam itu, melindungi model dari potensi penyalahgunaan.

Sumber: Meta AI

Selain itu, Meta memasukkan Code Shield, fitur yang berfokus pada keamanan kode yang dihasilkan oleh Llama 3.1 405B. Code Shield memfilter saran kode yang tidak aman secara real-time selama proses inferensi dan menawarkan perlindungan eksekusi perintah yang aman untuk tujuh bahasa pemrograman, semuanya dengan latensi rata-rata 200 ms. Ini membantu mengurangi risiko menghasilkan kode yang dapat dieksploitasi atau menimbulkan ancaman keamanan.

Sumber: Meta AI

Benchmark Llama 3.1 405B

Meta telah melakukan evaluasi ketat pada Llama 3.1 405B di lebih dari 150 dataset benchmark yang beragam. Benchmark ini mencakup spektrum luas tugas dan keterampilan bahasa, mulai dari pengetahuan umum dan penalaran hingga pengodean, matematika, dan kemampuan multibahasa.

Sumber: Meta AI

Llama 3.1 405B tampil kompetitif dengan model tertutup terdepan seperti GPT-4, GPT-4o, dan Claude 3.5 Sonnet pada banyak benchmark. Secara khusus, ia menunjukkan kekuatan dalam tugas penalaran, meraih skor 96,9 pada ARC Challenge dan 96,8 pada GSM8K. Ia juga unggul dalam pembuatan kode, dengan skor 89,0 pada benchmark HumanEval.

Selain benchmark otomatis, Meta AI juga melakukan evaluasi manusia secara ekstensif untuk menilai kinerja Llama 3.1 405B dalam skenario dunia nyata.

Sumber: Meta AI

Meski Llama 3.1 405B kompetitif dalam evaluasi ini, ia tidak secara konsisten melampaui model lain. Kinerjanya setara dengan GPT-4-0125-Preview (model GPT-4 OpenAI yang dirilis untuk pratinjau awal 2024) dan Claude 3.5 Sonnet, dengan persentase kemenangan dan kekalahan yang kurang lebih sama. Ia sedikit tertinggal dari GPT-4o, hanya menang pada 19,1% perbandingan.

Di Mana Saya Bisa Mengakses Llama 3.1 405B?

Anda dapat mengakses Llama 3.1 405B melalui dua saluran utama:

1. Unduhan langsung dari Meta: Bobot model dapat diunduh langsung dari situs resmi Llama milik Meta: llama.meta.com
2. Hugging Face: Llama 3.1 405B juga tersedia di platform Hugging Face, hub populer untuk berbagi dan mengakses model pembelajaran mesin.

Dengan membuat model ini mudah diakses, Meta bertujuan memungkinkan peneliti, pengembang, dan organisasi menggunakan kemampuannya untuk berbagai aplikasi serta berkontribusi pada kemajuan berkelanjutan teknologi AI—baca lebih lanjut tentang prinsip Meta terkait AI open-source dalam surat Mark Zuckerberg.

Keluarga Model Llama 3.1

Walau Llama 3.1 405B menyita perhatian karena ukurannya, keluarga Llama 3.1 menawarkan model lain yang dirancang untuk memenuhi berbagai use case dan keterbatasan sumber daya. Model-model ini berbagi peningkatan dari versi 405B namun disesuaikan untuk kebutuhan spesifik.

Llama 3.1 70B: Serbaguna

Model Llama 3.1 70B menyeimbangkan kinerja dan efisiensi, yang membuatnya kandidat kuat untuk berbagai aplikasi.

Model ini unggul dalam tugas seperti peringkasan teks panjang, membuat agen percakapan multibahasa, dan memberikan bantuan pengodean.

Walau lebih kecil dari model 405B, ia tetap kompetitif dengan model terbuka dan tertutup berukuran serupa di berbagai benchmark. Ukurannya yang lebih kecil juga memudahkan penerapan dan pengelolaan pada perangkat keras standar.

Sumber: Meta AI

Llama 3.1 8B: Ringan dan efisien

Model Llama 3.1 8B memprioritaskan kecepatan dan konsumsi sumber daya rendah. Model ini ideal untuk skenario di mana faktor-faktor tersebut krusial, seperti penerapan pada perangkat edge, platform seluler, atau lingkungan dengan sumber daya komputasi terbatas.

Meski ukurannya lebih kecil, kinerjanya tetap kompetitif dibandingkan model berukuran serupa pada berbagai tugas (lihat tabel di atas).

Jika Anda tertarik melakukan fine-tuning Llama 3.1 8B, baca selengkapnya di tutorial Fine-Tuning Llama 3.1 untuk Klasifikasi Teks ini.

Peningkatan bersama di semua model Llama 3.1

Semua model Llama 3.1 berbagi beberapa peningkatan kunci:

• Jendela konteks diperluas (128K Token): Jendela konteks, yang merepresentasikan jumlah teks yang dapat dipertimbangkan model sekaligus, meningkat signifikan menjadi 128.000 token. Ini memungkinkan model memproses masukan jauh lebih panjang dan mempertahankan konteks dalam percakapan atau dokumen yang panjang.
• Dukungan multibahasa: Semua model kini mendukung delapan bahasa: Inggris, Jerman, Prancis, Italia, Portugis, Hindi, Spanyol, dan Thai. Dukungan bahasa yang lebih luas ini memperluas penerapan bagi audiens global.
• Peningkatan penggunaan alat dan penalaran: Model telah ditingkatkan dengan kemampuan penggunaan alat dan penalaran yang lebih baik, membuatnya lebih serbaguna dan cakap menangani tugas kompleks.
• Keamanan yang ditingkatkan: Pengujian dan fine-tuning keamanan yang ketat diterapkan pada semua model Llama 3.1 untuk mengurangi potensi risiko dan mendorong penggunaan AI yang bertanggung jawab. Ini termasuk upaya mengurangi bias dan keluaran berbahaya.

LLM Besar vs. Kecil: Perdebatannya

Rilis Llama 3.1 405B, meski mengesankan dari sisi skala, memicu diskusi tentang ukuran optimal model bahasa dalam lanskap AI saat ini.

Seperti disinggung singkat di pengantar, pesaing seperti Mistral dan Falcon memilih model yang lebih kecil, dengan argumen bahwa model tersebut lebih praktis dan mudah diakses. Model lebih kecil sering kali membutuhkan sumber daya komputasi lebih sedikit, sehingga lebih mudah diterapkan dan di-fine-tune untuk tugas spesifik.

Namun, para pendukung model besar seperti Llama 3.1 405B berpendapat bahwa ukurannya memungkinkan penyerapan kedalaman dan keluasan pengetahuan yang lebih besar, menghasilkan performa superior pada rentang tugas yang lebih luas. Mereka juga menyoroti potensi model besar ini untuk berfungsi sebagai "model fondasi" yang di atasnya model kecil dan spesialis dapat dibangun melalui distilasi.

Perdebatan antara LLM besar dan kecil pada akhirnya bermuara pada trade-off antara kapabilitas dan kepraktisan. Walau model yang lebih besar menawarkan potensi performa lebih maju, mereka juga datang dengan kebutuhan komputasi yang meningkat dan potensi dampak lingkungan karena konsumsi energi. Di sisi lain, model lebih kecil mungkin mengorbankan sebagian performa demi aksesibilitas yang lebih tinggi dan kemudahan penerapan.

Rilis Llama 3.1 405B bersamaan dengan varian yang lebih kecil seperti model 70B dan 8B seolah mengakui trade-off ini. Dengan menawarkan beragam ukuran model, mereka melayani kebutuhan dan preferensi berbeda dalam komunitas AI.

Pada akhirnya, pilihan antara LLM besar dan kecil akan bergantung pada use case spesifik, sumber daya yang tersedia, dan karakteristik performa yang diinginkan. Seiring bidang ini terus berkembang, kemungkinan kedua pendekatan akan hidup berdampingan, masing-masing menemukan ceruknya dalam lanskap aplikasi AI yang beragam.

Kesimpulan

Rilis keluarga Llama 3.1, khususnya model 405B, merupakan kontribusi penting bagi ranah model bahasa besar open-source.

Walau performanya mungkin tidak selalu melampaui semua model tertutup, kapabilitasnya dan komitmen Meta terhadap transparansi serta kolaborasi menawarkan jalur baru untuk pengembangan AI.

Ketersediaan berbagai ukuran model dan peningkatan bersama memperluas potensi aplikasi bagi peneliti, pengembang, dan organisasi.

Dengan berbagi teknologi ini secara terbuka, Meta membangun lingkungan kolaboratif yang dapat mempercepat kemajuan di bidang ini, membuat AI canggih lebih mudah diakses.

Dampak Llama 3.1 terhadap masa depan AI masih akan terlihat, tetapi rilisnya menegaskan meningkatnya signifikansi inisiatif open-source dalam upaya mewujudkan teknologi AI yang bertanggung jawab dan bermanfaat.