Apa itu Foundation Model?

BERT, GPT-3, DALL-E 2, LLaMA, BLOOM; model-model ini adalah beberapa bintang dalam revolusi AI yang kita saksikan sejak rilis ChatGPT. Apa kesamaan dari model-model ini? Tepat sekali: semuanya adalah foundation model.

Foundation model adalah perkembangan terbaru dalam AI. Model-model ini dikembangkan dari algoritma yang dirancang untuk mengoptimalkan keluaran yang umum dan serbaguna. Model ini didasarkan pada jaringan saraf berskala besar yang sering dilatih pada berbagai sumber data dan dalam jumlah besar untuk menyelesaikan beragam tugas hilir, termasuk beberapa yang tidak secara spesifik dikembangkan dan dilatih untuk itu.

Popularitas foundation model menghangatkan kembali perdebatan klasik antara Narrow AI vs Artificial General Intelligence (AGI), juga dikenal sebagai Strong AI. Narrow AI mengacu pada sistem AI yang dirancang untuk tugas tertentu namun tidak mampu melakukan tugas di luar cakupan yang direncanakan. Sebaliknya, AGI adalah sistem AI hipotetis yang dapat memahami, belajar, dan menerapkan pengetahuan di berbagai tugas, mirip seperti manusia.

Walau foundation model masih belum mampu berpikir seperti manusia, model ini menghadirkan hasil terobosan yang membawa kita semakin dekat ke ambang AGI. Karena itu, para profesional data dan non-ahli sebaiknya akrab dengan model-model ini.

Bagi pemula, AI Essentials Skill Track kami akan membantu Anda mendapatkan gambaran mendalam tentang model-model AI generasi berikutnya. Bagi yang sudah memiliki keterampilan, artikel kami tentang proyek AI generatif memberi kesempatan untuk menguji pengetahuan Anda.

Mari kita lihat lebih dekat foundation model!

Apa itu Foundation Model? Memahami Konsep Kunci

Istilah foundation model relatif baru dan dapat tumpang tindih dengan konsep populer lain, seperti Generative AI, transformer, dan large language models (LLM).

Namun, terminologi AI masih diperdebatkan. Berikut adalah daftar definisi yang akan membantu Anda menavigasi bidang AI yang berkembang pesat:

• Generative AI. Istilah luas untuk menggambarkan sistem AI yang fungsi utamanya menghasilkan konten, berbeda dengan sistem AI lain yang dirancang untuk tugas lain seperti klasifikasi dan prediksi.
• Transformer. Transformer merevolusi bidang deep learning. Arsitektur ini menawarkan cara inovatif untuk menangani data berurutan secara lebih efektif. Transformer sangat cocok untuk memproses teks, itulah mengapa ia menjadi pilar di bidang natural language processing (NLP) dan natural language generation (NLG). Namun, transformer juga telah digunakan pada tipe data lain, seperti gambar, dengan hasil yang sama suksesnya.
• Large Language Model. LLM adalah sistem AI yang digunakan untuk memodelkan dan memproses bahasa manusia. Transformer adalah teknologi dasar di balik LLM. Disebut "besar" karena memiliki ratusan juta bahkan miliaran parameter, yang dipra-latih menggunakan korpus data teks yang sangat besar.
• Foundation Model. Istilah luas untuk mendefinisikan model AI yang dirancang menghasilkan beragam keluaran yang umum dan luas. Model ini mampu melakukan beragam tugas dan aplikasi, termasuk pembuatan teks, video, gambar, atau audio. Ciri khasnya adalah dapat menjadi sistem mandiri atau digunakan sebagai "fondasi" bagi aplikasi lain. Misalnya, LLM bernama GPT berfungsi sebagai foundation model bagi ChatGPT.

Bagaimana Cara Kerja Foundation Model?

Teknologi dasar foundation model –terlepas dari tugas yang dirancang dan jenis data pelatihannya– adalah transformer.

Dikembangkan oleh peneliti Google pada 2017, transformer menawarkan alternatif bagi recurrent neural network (RNN) dan convolutional neural network (CNN) tradisional untuk menangani data berurutan, khususnya teks.

Transformer bekerja dengan memprediksi kata berikutnya dalam sebuah urutan untuk membentuk respons yang koheren. Proses ini dilakukan dengan mekanisme bernama attention yang menimbang pengaruh berbagai kata saat menghasilkan respons.

Pelatihan transformer melibatkan dua langkah: pra-pelatihan dan fine-tuning.

Pra-pelatihan

Pada fase ini, transformer dilatih pada sejumlah besar data mentah (teks), dengan internet sebagai sumber data utama.

Pelatihan dilakukan menggunakan pembelajaran self-supervised, jenis pelatihan inovatif yang tidak memerlukan tindakan manusia untuk memberi label data.

Tujuan pra-pelatihan adalah mempelajari pola statistik bahasa. Karena strategi arus utama untuk meningkatkan kinerja transformer adalah dengan memperbesar ukuran model (yakni menambah parameter) dan jumlah data yang digunakan selama pra-pelatihan, fase ini biasanya memakan waktu dan biaya besar.

Fine-tuning

Pra-pelatihan memungkinkan transformer memperoleh pemahaman dasar tentang bahasa, tetapi belum cukup untuk melakukan tugas praktis tertentu. Itulah mengapa model menjalani fase fine-tuning, di mana ia dilatih pada dataset yang lebih sempit dan spesifik domain yang dihasilkan dengan bantuan peninjau manusia mengikuti pedoman tertentu.

Modalitas

Fitur penting lain dari foundation model adalah modalitas. Bergantung pada jenis data yang dapat diterima sebagai masukan, model dapat bersifat unimodal atau multimodal. Yang pertama hanya dapat menerima satu jenis data dan menghasilkan jenis keluaran yang sama, sedangkan yang kedua dapat menerima berbagai modalitas input dan menghasilkan berbagai jenis keluaran (misalnya, GPT-4 dapat menerima input gambar dan teks serta menghasilkan keluaran teks).

Memahami cara kerja transformer bisa jadi rumit dan di luar cakupan artikel ini. Untuk penjelasan lebih rinci, lihat artikel kami, What is ChatGPT, di mana kami menanyakan langsung kepada ChatGPT dan mempelajari Transformer dan Hugging Face untuk mendapatkan sudut pandang yang lebih teknis.

Jika Anda ingin mengetahui lebih detail tentang cara kerja LLM, Kursus Konsep Large Language Models (LLM) kami adalah titik awal yang tepat.

Aplikasi Foundation Model

Foundation model dapat digunakan sebagai sistem mandiri atau sebagai dasar bagi tak terhitung banyaknya sistem dan aplikasi AI hilir. Meski mayoritas foundation system modern dirancang untuk menghasilkan teks atau kode dan melakukan tugas NLP, jumlah sistem yang mampu menghasilkan jenis keluaran lain, seperti gambar atau musik, terus meningkat.

Di bawah ini Anda dapat menemukan tabel berisi beberapa foundation model paling populer.