Cara Kerja Transformer: Eksplorasi Mendalam Arsitektur Transformer

Apa Itu Transformer?

Transformer pertama kali dikembangkan untuk menyelesaikan masalah sequence transduction, atau neural machine translation, artinya model ini ditujukan untuk menyelesaikan tugas apa pun yang mengubah urutan input menjadi urutan output. Itulah mengapa disebut “Transformer”.

Namun mari kita mulai dari awal.

Apa Itu Model Transformer?

Model transformer adalah jaringan saraf yang mempelajari konteks data berurutan dan menghasilkan data baru darinya.

Sederhananya:

Transformer adalah jenis model kecerdasan buatan yang belajar memahami dan menghasilkan teks mirip manusia dengan menganalisis pola dalam sejumlah besar data teks.

Transformer kini merupakan model NLP mutakhir dan dianggap sebagai evolusi arsitektur encoder–decoder. Namun, sementara arsitektur encoder–decoder terutama bergantung pada Recurrent Neural Networks (RNN) untuk mengekstrak informasi berurutan, Transformer sama sekali tidak memiliki rekursi ini.

Lalu, bagaimana caranya?

Model ini dirancang khusus untuk memahami konteks dan makna dengan menganalisis hubungan antar elemen, dan hampir sepenuhnya bergantung pada teknik matematis yang disebut attention untuk melakukannya.

Gambar oleh penulis.

Konteks Historis

Berasal dari makalah riset 2017 oleh Google, model transformer adalah salah satu perkembangan paling baru dan berpengaruh di bidang Machine Learning. Model Transformer pertama dijelaskan dalam makalah berpengaruh "Attention is All You Need".

Konsep perintis ini bukan sekadar kemajuan teoretis, tetapi juga menemukan implementasi praktis, terutama dalam paket Tensor2Tensor milik TensorFlow. Selain itu, kelompok Harvard NLP turut menyumbang pada bidang yang berkembang ini dengan menawarkan panduan beranotasi untuk makalah tersebut, dilengkapi implementasi PyTorch. Anda dapat mempelajari lebih lanjut tentang cara mengimplementasikan Transformer dari nol dalam tutorial terpisah kami.

Pengenalannya memicu lonjakan signifikan di bidang ini, yang sering disebut sebagai Transformer AI. Model revolusioner ini menjadi landasan bagi terobosan selanjutnya dalam ranah large language model, termasuk BERT. Pada 2018, perkembangan tersebut sudah dipuji sebagai momen penting dalam NLP.

Pada 2020, peneliti di OpenAI mengumumkan GPT-3. Dalam hitungan minggu, keserbagunaan GPT-3 dengan cepat terlihat ketika orang menggunakannya untuk membuat puisi, program, lagu, situs web, dan lain-lain, memikat imajinasi pengguna di seluruh dunia. Mengamati perubahan ini, para cendekiawan Stanford menerbitkan makalah 2021 yang menyebut inovasi ini sebagai "foundation models," menekankan peran krusialnya dalam membentuk ulang AI.

Sementara model proprietary menarik perhatian publik pada awalnya, revolusi open-source yang berjalan paralel dengan cepat mendemokratisasi teknologi transformer. Platform seperti Hugging Face menjadi pusat penting untuk berbagi model, namun lanskap ini berubah secara mendasar pada 2023 dengan rilis keluarga Llama dari Meta. Ini memicu gerakan "open-weights", membuktikan pengembang tak lagi harus bergantung pada ekosistem korporat tertutup untuk membangun AI mutakhir.

Sepanjang 2024 dan 2025, pengembangan open-source melaju kencang. Model seperti Llama 3.1 milik Meta yang masif dan seri lanjutan Llama 4, bersama arsitektur sangat efisien dari startup seperti Mistral dan model penalaran bertenaga dari DeepSeek, membuktikan bahwa model terbuka dapat menyamai, bahkan kadang melampaui, performa raksasa proprietary.

Sementara itu, model tertutup terus mengembangkan kapabilitas kompleks. GPT-4 pada 2023 yang memperkenalkan kemampuan multimodal, dan GPT-4o pada 2024, yang menyatukan pemrosesan teks, visi, dan audio dalam satu model.

Akhir 2024 menandai poros fundamental lain di industri dengan model seperti seri o1 dari OpenAI dan R1 terbuka dari DeepSeek, yang memperkenalkan 'chain-of-thought' internal untuk menalar logika dan matematika kompleks sebelum merespons.

Menjelang akhir 2025 dan memasuki 2026, lanskap bergeser sepenuhnya dari asisten percakapan ke sistem otonom dengan peluncuran keluarga GPT-5, menghadirkan perencanaan multi-langkah canggih, memori jangka panjang, dan alur kerja agen yang tangguh ke infrastruktur perusahaan.

Peralihan dari model RNN seperti LSTM ke Transformer untuk masalah NLP

Pada saat pengenalan model Transformer, Recurrent Neural Networks (RNN) adalah pendekatan pilihan untuk menangani data berurutan, yang ditandai oleh urutan tertentu pada inputnya.

RNN berfungsi mirip jaringan saraf feed-forward tetapi memproses input secara berurutan, satu elemen pada satu waktu.

Transformer terinspirasi oleh arsitektur encoder–decoder yang ditemukan pada RNN. Namun, alih-alih menggunakan rekursi, model Transformer sepenuhnya didasarkan pada mekanisme Attention.

Selain meningkatkan kinerja RNN, Transformer memberikan arsitektur baru untuk menyelesaikan banyak tugas lain, seperti peringkasan teks, penjelasan gambar, dan pengenalan suara.

Lantas, apa masalah utama RNN? RNN cukup tidak efektif untuk tugas NLP karena dua alasan utama:

• RNN memproses data input secara berurutan, satu per satu. Proses rekuren seperti itu tidak memanfaatkan unit pemrosesan grafis (GPU) modern yang dirancang untuk komputasi paralel, sehingga pelatihan model tersebut menjadi cukup lambat.
• RNN menjadi kurang efektif ketika elemen berjauhan satu sama lain. Hal ini karena informasi diteruskan pada setiap langkah dan semakin panjang rantainya, semakin besar kemungkinan informasi hilang sepanjang rantai.

Peralihan dari Recurrent Neural Networks (RNN) seperti LSTM ke Transformer dalam NLP didorong oleh dua masalah utama ini dan kemampuan Transformer untuk mengatasinya dengan memanfaatkan peningkatan pada mekanisme Attention:

• Memperhatikan kata-kata tertentu, tidak peduli seberapa jauhnya.
• Meningkatkan kecepatan kinerja.

Dengan demikian, Transformer menjadi peningkatan alami dari RNN.

Selanjutnya, mari kita lihat bagaimana cara kerja transformer.

Arsitektur Transformer

Gambaran Umum

Awalnya dirancang untuk sequence transduction atau neural machine translation, transformer unggul dalam mengonversi urutan input menjadi urutan output. Ini adalah model transduction pertama yang sepenuhnya bergantung pada self-attention untuk menghitung representasi input dan outputnya tanpa menggunakan RNN berpenjajaran urutan atau konvolusi. Karakteristik inti utama dari arsitektur Transformer adalah tetap mempertahankan model encoder–decoder.

Jika kita menganggap Transformer untuk penerjemahan bahasa sebagai kotak hitam sederhana, model ini akan menerima sebuah kalimat dalam satu bahasa, misalnya bahasa Inggris, sebagai input dan menghasilkan terjemahannya dalam bahasa Inggris.

Gambar oleh penulis.

Jika kita menyelam sedikit, kita melihat bahwa kotak hitam ini terdiri dari dua bagian utama:

• Encoder menerima input dan menghasilkan representasi matriks dari input tersebut. Misalnya, kalimat bahasa Inggris “How are you?”
• Decoder menerima representasi terenkode itu dan secara iteratif menghasilkan sebuah output. Pada contoh kita, kalimat terjemahannya “¿Cómo estás?”

Gambar oleh penulis. Struktur global Encoder–Decoder.

Namun, baik encoder maupun decoder sebenarnya adalah tumpukan dengan banyak layer (jumlahnya sama untuk masing-masing). Semua encoder memiliki struktur yang sama, dan input masuk ke masing-masing lalu diteruskan ke berikutnya. Semua decoder juga memiliki struktur yang sama dan menerima input dari encoder terakhir dan decoder sebelumnya.

Arsitektur asli terdiri dari 6 encoder dan 6 decoder, tetapi kita dapat mereplikasi sebanyak layer yang diinginkan. Jadi mari anggap ada N layer untuk masing-masing.

Gambar oleh penulis. Struktur global Encoder–Decoder. Banyak Layer.

Kini setelah kita punya gambaran umum arsitektur Transformer, mari fokus pada Encoder dan Decoder untuk lebih memahami alur kerjanya:

Alur Kerja Encoder

Encoder adalah komponen fundamental dari arsitektur Transformer. Fungsi utamanya adalah mentransformasikan token input menjadi representasi berbasiskan konteks. Tidak seperti model sebelumnya yang memproses token secara independen, encoder Transformer menangkap konteks tiap token terhadap seluruh urutan.

Komposisi strukturnya sebagai berikut:

Gambar oleh penulis. Struktur global Encoder.

Mari kita uraikan alur kerjanya menjadi langkah paling dasar:

LANGKAH 1 - Input Embeddings

Embedding hanya terjadi pada encoder paling bawah. Encoder memulai dengan mengubah token input — kata atau sub-kata — menjadi vektor melalui layer embedding. Embedding ini menangkap makna semantik token dan mengubahnya menjadi vektor numerik.

Semua encoder menerima daftar vektor, masing-masing berukuran 512 (ukuran tetap). Pada encoder terbawah, ini adalah word embeddings, tetapi pada encoder lainnya, ini adalah output dari encoder tepat di bawahnya.

Gambar oleh penulis. Alur kerja Encoder. Input embedding.

LANGKAH 2 - Positional Encoding

Karena Transformer tidak memiliki mekanisme rekursi seperti RNN, model ini menggunakan positional encoding yang ditambahkan ke input embeddings untuk memberikan informasi tentang posisi setiap token dalam urutan. Ini memungkinkan pemahaman posisi setiap kata dalam kalimat.

Untuk itu, para peneliti menyarankan menggunakan kombinasi berbagai fungsi sinus dan kosinus untuk membuat vektor posisi, sehingga positional encoder ini dapat digunakan untuk kalimat dengan panjang apa pun.

Dalam pendekatan ini, setiap dimensi direpresentasikan oleh frekuensi dan offset gelombang yang unik, dengan nilai berkisar dari -1 hingga 1, secara efektif merepresentasikan setiap posisi.

Gambar oleh penulis. Alur kerja Encoder. Positional encoding.

LANGKAH 3 - Tumpukan Layer Encoder

Encoder Transformer terdiri dari tumpukan layer identik (6 pada model Transformer asli).

Layer encoder berfungsi mengubah semua urutan input menjadi representasi kontinu dan abstrak yang merangkum informasi yang dipelajari dari seluruh urutan. Layer ini terdiri dari dua submodul:

• Mekanisme attention multi-head.
• Jaringan fully connected.

Selain itu, layer ini memasukkan residual connection di sekitar setiap sublayer, yang kemudian diikuti oleh layer normalization.

Gambar oleh penulis. Alur kerja Encoder. Tumpukan Layer Encoder

LANGKAH 3.1 Mekanisme Self-Attention Multi-Head

Di encoder, multi-head attention menggunakan mekanisme attention khusus yang disebut self-attention. Pendekatan ini memungkinkan model mengaitkan setiap kata dalam input dengan kata lain. Misalnya, pada contoh tertentu, model dapat belajar menghubungkan kata “are” dengan “you”.

Mekanisme ini memungkinkan encoder memusatkan perhatian pada bagian berbeda dari urutan input saat memproses tiap token. Mekanisme ini menghitung skor attention berdasarkan:

• Query adalah vektor yang merepresentasikan kata atau token tertentu dari urutan input dalam mekanisme attention.

• Key juga merupakan vektor dalam mekanisme attention, yang sesuai dengan setiap kata atau token dalam urutan input.

• Setiap value dikaitkan dengan sebuah key dan digunakan untuk menyusun output layer attention. Ketika sebuah query dan key cocok dengan baik, yang pada dasarnya berarti memiliki skor attention tinggi, value terkait akan lebih ditekankan dalam output.

Modul Self-Attention pertama ini memungkinkan model menangkap informasi kontekstual dari seluruh urutan. Alih-alih melakukan satu fungsi attention, query, key, dan value diproyeksikan secara linear sebanyak h kali. Pada setiap versi proyeksi query, key, dan value ini, mekanisme attention dilakukan secara paralel, menghasilkan output berdimensi h.

Arsitektur detailnya sebagai berikut:

Perkalian Matriks (MatMul) - Dot Product Query dan Key

Setelah vektor query, key, dan value melewati layer linear, dilakukan perkalian matriks dot product antara query dan key, menghasilkan matriks skor.

Matriks skor menetapkan tingkat penekanan yang harus diberikan setiap kata pada kata lainnya. Karena itu, setiap kata diberi skor terhadap kata-kata lain dalam langkah waktu yang sama. Skor yang lebih tinggi menandakan fokus yang lebih besar.

Proses ini secara efektif memetakan query ke key yang sesuai.

Gambar oleh penulis. Alur kerja Encoder. Mekanisme Attention - Perkalian Matriks.

Mengurangi Magnitudo skor attention

Skor kemudian diskalakan turun dengan membaginya dengan akar kuadrat dimensi vektor query dan key. Langkah ini diterapkan untuk memastikan gradien yang lebih stabil, karena perkalian nilai dapat menyebabkan efek yang terlalu besar.

Gambar oleh penulis. Alur kerja Encoder. Mengurangi skor attention.

Menerapkan Softmax pada Skor yang Disesuaikan

Selanjutnya, fungsi softmax diterapkan pada skor yang telah disesuaikan untuk memperoleh bobot attention. Hasilnya adalah nilai probabilitas dari 0 hingga 1. Fungsi softmax menekankan skor yang lebih tinggi sekaligus mengurangi skor yang lebih rendah, sehingga meningkatkan kemampuan model untuk menentukan kata mana yang harus lebih diperhatikan.

Gambar oleh penulis. Alur kerja Encoder. Skor softmax yang disesuaikan.

Mengombinasikan Hasil Softmax dengan Vektor Value

Langkah berikut dari mekanisme attention adalah bobot yang dihasilkan dari fungsi softmax dikalikan dengan vektor value, menghasilkan vektor output.

Dalam proses ini, hanya kata-kata dengan skor softmax tinggi yang dipertahankan. Terakhir, vektor output ini dimasukkan ke layer linear untuk pemrosesan lebih lanjut.

Gambar oleh penulis. Alur kerja Encoder. Mengombinasikan hasil Softmax dengan vektor value.

Dan akhirnya kita mendapatkan output dari mekanisme Attention!

Jadi, Anda mungkin bertanya-tanya mengapa disebut Multi-Head Attention?

Ingat bahwa sebelum semua proses dimulai, kita membagi query, key, dan value sebanyak h kali. Proses ini, yang dikenal sebagai self-attention, terjadi secara terpisah di setiap tahap kecil atau 'head' ini. Setiap head bekerja secara mandiri, menghasilkan vektor output.

Ensemble ini melewati layer linear akhir, mirip sebuah filter yang menyetel kinerja kolektifnya. Keindahannya terletak pada keragaman pembelajaran di setiap head, memperkaya model encoder dengan pemahaman yang kuat dan multifaset.

Untuk pemahaman lebih mendalam tentang mekanisme attention, lihat tutorial kami tentang multi-head attention pada Transformer.

LANGKAH 3.2 Normalisasi dan Residual Connections

Setiap sublayer pada layer encoder diikuti langkah normalisasi. Selain itu, setiap output sublayer dijumlahkan dengan inputnya (residual connection) untuk membantu mengurangi masalah vanishing gradient, memungkinkan model yang lebih dalam. Proses ini akan diulang setelah Jaringan Saraf Feed-Forward juga.

Gambar oleh penulis. Alur kerja Encoder. Normalisasi dan residual connection setelah Multi-Head Attention.

LANGKAH 3.3 Jaringan Saraf Feed-Forward

Perjalanan output residual ter-normalisasi berlanjut saat melewati jaringan feed-forward pointwise, fase krusial untuk pemurnian tambahan.

Bayangkan jaringan ini sebagai duet layer linear, dengan aktivasi ReLU di antaranya sebagai jembatan. Setelah diproses, output menempuh jalur yang familiar: kembali dan bergabung dengan input jaringan feed-forward pointwise.

Pertemuan kembali ini diikuti oleh putaran normalisasi lain, memastikan semuanya tersetel dengan baik dan selaras untuk langkah selanjutnya.

Gambar oleh penulis. Alur kerja Encoder. Sublayer Jaringan Saraf Feed-Forward.

LANGKAH 4 - Output Encoder

Output dari layer encoder terakhir adalah sekumpulan vektor, masing-masing merepresentasikan urutan input dengan pemahaman kontekstual yang kaya. Output ini kemudian digunakan sebagai input bagi decoder dalam model Transformer.

Pengodean yang cermat ini membuka jalan bagi decoder, membimbingnya untuk memperhatikan kata yang tepat pada input saat waktunya melakukan decoding.

Anggaplah seperti membangun menara, di mana Anda dapat menumpuk N layer encoder. Setiap layer dalam tumpukan ini mendapat kesempatan mengeksplorasi dan mempelajari berbagai sisi attention, layaknya lapisan pengetahuan. Ini tidak hanya mendiversifikasi pemahaman tetapi juga dapat secara signifikan memperkuat kemampuan prediktif jaringan transformer.

Alur Kerja Decoder

Peran decoder berpusat pada penyusunan urutan teks. Mencerminkan encoder, decoder dilengkapi dengan serangkaian sublayer serupa. Decoder memiliki dua layer attention multi-head, sebuah layer feed-forward pointwise, dan memasukkan residual connection serta layer normalization setelah setiap sublayer.

Gambar oleh penulis. Struktur global Encoder.

Komponen-komponen ini berfungsi mirip dengan layer encoder, namun dengan perbedaan: setiap layer attention multi-head pada decoder memiliki misi unik.

Tahap akhir proses decoder melibatkan layer linear, berfungsi sebagai pengklasifikasi, dan diakhiri dengan fungsi softmax untuk menghitung probabilitas berbagai kata.

Decoder Transformer memiliki struktur yang dirancang khusus untuk menghasilkan output ini dengan mendekode informasi terenkode selangkah demi selangkah.

Penting untuk diperhatikan bahwa decoder beroperasi secara autoregresif, memulai prosesnya dengan token awal. Decoder dengan cerdas menggunakan daftar keluaran yang dihasilkan sebelumnya sebagai inputnya, bersamaan dengan keluaran dari encoder yang kaya dengan informasi attention dari input awal.

Tarian decoding berurutan ini berlanjut hingga decoder mencapai momen penting: menghasilkan token yang menandakan akhir pembuatan outputnya.

LANGKAH 1 - Output Embeddings

Di garis awal decoder, prosesnya mencerminkan milik encoder. Di sini, input terlebih dahulu melewati layer embedding

LANGKAH 2 - Positional Encoding

Setelah embedding, lagi-lagi seperti pada encoder, input melewati layer positional encoding. Urutan ini dirancang untuk menghasilkan positional embeddings.

Positional embeddings ini kemudian dialirkan ke layer attention multi-head pertama pada decoder, di mana skor attention khusus untuk input decoder dihitung secara saksama.

LANGKAH 3 - Tumpukan Layer Decoder

Decoder terdiri dari tumpukan layer identik (6 pada model Transformer asli). Setiap layer memiliki tiga subkomponen utama:

LANGKAH 3.1 Mekanisme Masked Self-Attention

Ini mirip dengan mekanisme self-attention pada encoder tetapi dengan perbedaan krusial: mekanisme ini mencegah posisi memperhatikan posisi selanjutnya, yang berarti setiap kata dalam urutan tidak dipengaruhi oleh token masa depan.

Sebagai contoh, ketika skor attention untuk kata "are" dihitung, penting agar "are" tidak mengintip "you", yang merupakan kata berikutnya dalam urutan.

Gambar oleh penulis. Alur kerja Decoder. Mask Multi-Head Attention pertama.

Masking ini memastikan bahwa prediksi untuk suatu posisi hanya dapat bergantung pada keluaran yang sudah diketahui di posisi sebelumnya.

LANGKAH 3.2 - Encoder–Decoder Multi-Head Attention atau Cross Attention

Pada layer attention multi-head kedua milik decoder, kita melihat interaksi unik antara komponen encoder dan decoder. Di sini, output dari encoder berperan sebagai query dan key, sementara output dari layer attention multi-head pertama pada decoder berperan sebagai value.

Pengaturan ini secara efektif menyelaraskan input encoder dengan milik decoder, memberdayakan decoder untuk mengidentifikasi dan menekankan bagian paling relevan dari input encoder.

Setelah itu, output dari layer attention multi-head kedua ini kemudian disempurnakan melalui layer feed-forward pointwise, semakin meningkatkan pemrosesan.

Gambar oleh penulis. Alur kerja Decoder. Encoder–Decoder Attention.

Pada sublayer ini, query berasal dari layer decoder sebelumnya, dan key serta value berasal dari output encoder. Ini memungkinkan setiap posisi pada decoder untuk memperhatikan semua posisi dalam urutan input, sehingga secara efektif mengintegrasikan informasi dari encoder dengan yang ada di decoder.

LANGKAH 3.3 Jaringan Saraf Feed-Forward

Mirip dengan encoder, setiap layer decoder menyertakan jaringan feed-forward fully connected, yang diterapkan pada setiap posisi secara terpisah dan identik.

LANGKAH 4 Klasifikator Linear dan Softmax untuk Menghasilkan Probabilitas Output

Perjalanan data melalui model transformer berpuncak pada melewati layer linear terakhir, yang berfungsi sebagai pengklasifikasi.

Ukuran pengklasifikasi ini sesuai dengan jumlah kelas yang terlibat (jumlah kata dalam kosakata). Misalnya, dalam skenario dengan 1000 kelas berbeda yang mewakili 1000 kata berbeda, output pengklasifikasi akan berupa array dengan 1000 elemen.

Output ini kemudian dimasukkan ke layer softmax, yang mengubahnya menjadi rentang skor probabilitas antara 0 dan 1. Probabilitas tertinggi menjadi kunci; indeks yang sesuai langsung menunjuk pada kata yang diprediksi model sebagai berikutnya dalam urutan.

Gambar oleh penulis. Alur kerja Decoder. Output akhir Transformer.

Normalisasi dan Residual Connections

Setiap sublayer (masked self-attention, encoder–decoder attention, jaringan feed-forward) diikuti langkah normalisasi, dan masing-masing juga menyertakan residual connection di sekelilingnya.

Output Decoder

Output layer terakhir diubah menjadi urutan prediksi, biasanya melalui layer linear yang diikuti softmax untuk menghasilkan probabilitas pada kosakata.

Decoder, dalam alur operasionalnya, memasukkan keluaran yang baru dihasilkan ke dalam daftar input yang terus bertambah, lalu melanjutkan proses decoding. Siklus ini berulang hingga model memprediksi token tertentu yang menandakan penyelesaian.

Token yang diprediksi dengan probabilitas tertinggi ditetapkan sebagai kelas penutup, yang sering direpresentasikan oleh token akhir.

Ingat kembali bahwa decoder tidak terbatas pada satu layer. Decoder dapat disusun dengan N layer, masing-masing membangun di atas input yang diterima dari encoder dan layer sebelumnya. Arsitektur berlapis ini memungkinkan model mendiversifikasi fokusnya dan mengekstraksi pola attention yang beragam di berbagai head.

Pendekatan multi-layer semacam ini dapat secara signifikan meningkatkan kemampuan prediksi model, karena model mengembangkan pemahaman yang lebih bernuansa tentang berbagai kombinasi attention.

Arsitektur akhir terlihat seperti ini (dari makalah asli):

Gambar oleh penulis. Struktur asli Transformer.

Untuk lebih memahami arsitektur ini, saya merekomendasikan mencoba menerapkan Transformer dari nol mengikuti tutorial membangun transformer dengan PyTorch ini.

Model Transformer di Dunia Nyata

BERT

Rilis BERT oleh Google pada 2018, sebuah kerangka kerja pemrosesan bahasa alami open-source, merevolusi NLP dengan pelatihan bidirectional yang unik, yang memungkinkan model membuat prediksi lebih berlandaskan konteks tentang kata berikutnya.

Dengan memahami konteks dari semua sisi sebuah kata, BERT mengungguli model sebelumnya dalam tugas seperti tanya jawab dan pemahaman bahasa ambigu. Intinya menggunakan Transformer, yang menghubungkan setiap elemen output dan input secara dinamis.

BERT, yang dipra-latih pada Wikipedia, unggul dalam berbagai tugas NLP, mendorong Google mengintegrasikannya ke mesin pencari untuk kueri yang lebih natural. Inovasi ini memicu perlombaan mengembangkan model bahasa canggih dan secara signifikan memajukan kemampuan bidang ini dalam menangani pemahaman bahasa yang kompleks.

Untuk mengetahui lebih jauh tentang BERT, Anda dapat melihat artikel terpisah kami yang mengulas pengenalan model BERT.

LaMDA

LaMDA (Language Model for Dialogue Applications) adalah model berbasis Transformer yang dikembangkan Google, dirancang khusus untuk tugas percakapan, dan diluncurkan pada keynote Google I/O 2021. Model ini dirancang untuk menghasilkan respons yang lebih natural dan relevan secara kontekstual, meningkatkan interaksi pengguna di berbagai aplikasi.

Desain LaMDA memungkinkannya memahami dan merespons berbagai topik dan maksud pengguna, menjadikannya ideal untuk aplikasi chatbot, asisten virtual, dan sistem AI interaktif lain di mana percakapan dinamis adalah kuncinya.

Fokus pada pemahaman dan respons percakapan ini menandai LaMDA sebagai kemajuan signifikan dalam bidang pemrosesan bahasa alami dan komunikasi berbasis AI.

Jika Anda tertarik memahami lebih jauh model LaMDA, Anda dapat memperoleh pemahaman yang lebih baik melalui artikel kami tentang LaMDA.

GPT dan ChatGPT

GPT dan ChatGPT, dikembangkan oleh OpenAI, adalah model generatif canggih yang dikenal karena kemampuannya menghasilkan teks yang koheren dan relevan secara konteks. GPT-1 adalah model pertama yang diluncurkan pada Juni 2018 dan GPT-3, salah satu model paling berdampak, diluncurkan dua tahun kemudian pada 2020.

Model-model ini piawai dalam berbagai tugas, termasuk pembuatan konten, percakapan, penerjemahan bahasa, dan lainnya. Arsitektur GPT memungkinkannya menghasilkan teks yang sangat mirip tulisan manusia, sehingga berguna dalam aplikasi seperti penulisan kreatif, dukungan pelanggan, bahkan bantuan pengkodean. ChatGPT, varian yang dioptimalkan untuk konteks percakapan, unggul dalam menghasilkan dialog mirip manusia, meningkatkan penerapannya pada chatbot dan asisten virtual.

Claude

Claude, dikembangkan oleh Anthropic, adalah keluarga asisten AI berbasis Transformer yang dirancang dengan fokus pada keamanan dan kebermanfaatan. Claude menggunakan Constitutional AI (CAI), pendekatan pelatihan di mana model dipandu oleh seperangkat prinsip untuk menghasilkan respons yang bermanfaat, tidak berbahaya, dan jujur.

Claude 3 (dirilis 2024) memperkenalkan tiga tingkatan model, Haiku, Sonnet, dan Opus, menawarkan kompromi berbeda antara kecepatan dan kapabilitas. Model-model ini unggul dalam penalaran bernuansa, mengikuti instruksi kompleks, dan mempertahankan konteks dalam percakapan panjang (hingga 200K token).

Pada 2025 dan 2026, Anthropic meluncurkan model Claude 4, dengan yang terbaru, Opus 4.6 dan Sonnet 4.6, menempati puncak banyak tolok ukur LLM. 

Variasi Lain

Lanskap foundation model, khususnya model transformer, berkembang pesat. Sebuah studi mengidentifikasi lebih dari 50 model transformer signifikan, sementara kelompok Stanford mengevaluasi 30 di antaranya, mengakui pertumbuhan bidang yang serba cepat. NLP Cloud, startup inovatif bagian dari program Inception NVIDIA, memanfaatkan sekitar 25 large language model secara komersial untuk berbagai sektor seperti maskapai dan apotek.

Ada tren yang meningkat untuk membuat model-model ini open-source, dengan platform seperti model hub Hugging Face memimpin. Selain itu, banyak model berbasis Transformer telah dikembangkan, masing-masing terspesialisasi untuk tugas NLP berbeda, menunjukkan fleksibilitas dan efisiensi model dalam beragam aplikasi.

Anda dapat mempelajari lebih lanjut semua Foundation Model yang ada dalam artikel terpisah, yang membahas apa itu dan mana yang paling banyak digunakan.

Varian Transformer Modern

Sejak arsitektur 2017 asli, Transformer telah berkembang signifikan untuk mengatasi keterbatasan dan berekspansi ke domain baru.

Vision Transformers (ViT)

Vision Transformers menerapkan mekanisme self-attention pada gambar dengan membaginya menjadi patch dan memperlakukan setiap patch sebagai token. Pendekatan ini terbukti sangat efektif untuk klasifikasi gambar, deteksi objek, dan pembuatan gambar, seringkali melampaui CNN tradisional pada dataset besar.

Transformer Multimodal

Model modern seperti GPT-5, Gemini 3, dan Llama 4 memproses banyak jenis input (teks, gambar, audio, video) dalam satu arsitektur. Transformer multimodal ini menggunakan ruang embedding terpadu dan mekanisme cross-attention untuk menalar lintas berbagai modalitas secara simultan.

Transformer Efisien

Kompleksitas kuadratik self-attention membatasi panjang konteks. Sejumlah inovasi mengatasinya:

• Flash Attention: Mengoptimalkan pola akses memori untuk mengurangi penggunaan memori GPU dan mempercepat pelatihan 2–4x
• Rotary Position Embeddings (RoPE): Mengenkode informasi posisi melalui matriks rotasi, memungkinkan ekstrapolasi lebih baik ke urutan yang lebih panjang
• Varian linear attention: Linformer, Performer, dan Longformer mengurangi kompleksitas menjadi O(n) untuk memproses dokumen yang sangat panjang
• Mixture of Experts (MoE): Mengaktifkan hanya subset parameter per token, memungkinkan model lebih besar dengan biaya komputasi serupa

Benchmark dan Performa

Benchmark dan evaluasi performa model Transformer dalam NLP melibatkan pendekatan sistematis untuk menilai efektivitas dan efisiensinya.

Bergantung pada sifat tugasnya, ada berbagai cara dan sumber daya untuk melakukannya:

Tugas Penerjemahan Mesin

Saat menangani tugas Penerjemahan Mesin, Anda dapat memanfaatkan dataset standar seperti WMT (Workshop on Machine Translation) di mana sistem MT menghadapi beragam pasangan bahasa, masing-masing dengan tantangan unik.

Metrik seperti BLEU, METEOR, TER, dan chrF berfungsi sebagai penunjuk arah, membimbing kita menuju akurasi dan kefasihan.

Selain itu, pengujian lintas berbagai domain seperti berita, sastra, dan teks teknis memastikan kemampuan adaptasi dan fleksibilitas sistem MT, menjadikannya benar-benar poliglot di dunia digital.

Tolok Ukur QA

Untuk mengevaluasi model QA, kita menggunakan kumpulan pertanyaan dan jawaban khusus, seperti SQuAD (Stanford Question Answering Dataset), Natural Questions, atau TriviaQA.

Masing-masing seperti permainan berbeda dengan aturannya sendiri. Misalnya, SQuAD berfokus menemukan jawaban dalam teks yang diberikan, sementara yang lain lebih seperti kuis dengan pertanyaan dari mana saja.

Untuk melihat seberapa baik kinerja program ini, kita menggunakan skor seperti Precision, Recall, F1, dan terkadang exact match.

Tolok Ukur NLI

Saat menangani Natural Language Inference (NLI), kita menggunakan dataset khusus seperti SNLI (Stanford Natural Language Inference), MultiNLI, dan ANLI.

Ini seperti perpustakaan besar variasi bahasa dan kasus-kasus rumit, membantu kita melihat seberapa baik komputer memahami berbagai jenis kalimat. Kami terutama memeriksa seberapa akurat komputer memahami apakah pernyataan saling menyetujui, bertentangan, atau tidak terkait.

Penting juga melihat bagaimana komputer menalar hal-hal bahasa yang rumit, seperti ketika sebuah kata merujuk pada sesuatu yang disebutkan sebelumnya, atau memahami 'tidak', 'semua', dan 'sebagian'.

Perbandingan dengan Arsitektur Lain

Di dunia Jaringan Saraf, dua struktur menonjol biasanya dibandingkan dengan Transformer. Masing-masing menawarkan manfaat dan tantangan berbeda, disesuaikan untuk jenis pemrosesan data tertentu. RNN, yang telah beberapa kali muncul sepanjang artikel, dan Layer Konvolusional.

Layer Rekuren

Layer Rekuren, pilar Recurrent Neural Networks (RNN), unggul dalam menangani data berurutan. Kekuatan arsitektur ini terletak pada kemampuannya melakukan operasi berurutan, penting untuk tugas seperti pemrosesan bahasa atau analisis deret waktu. Pada Layer Rekuren, output dari langkah sebelumnya dimasukkan kembali ke jaringan sebagai input untuk langkah berikutnya. Mekanisme loop ini memungkinkan jaringan mengingat informasi sebelumnya, yang penting untuk memahami konteks dalam urutan.

Namun, seperti yang telah kita bahas, pemrosesan berurutan ini memiliki dua implikasi utama:

• Dapat menyebabkan waktu pelatihan lebih lama karena setiap langkah bergantung pada langkah sebelumnya, membuat pemrosesan paralel menjadi menantang.
• Sering kesulitan dengan ketergantungan jangka panjang karena masalah vanishing gradient, di mana jaringan menjadi kurang efektif dalam belajar dari titik data yang berjauhan dalam urutan.

Model Transformer berbeda secara signifikan dari arsitektur yang menggunakan layer rekuren karena tidak memiliki rekursi. Seperti yang telah kita lihat, layer Attention pada Transformer mengatasi kedua masalah tersebut, menjadikannya evolusi alami RNN untuk aplikasi NLP.

Layer Konvolusional

Di sisi lain, Layer Konvolusional, blok pembangun Convolutional Neural Networks (CNN), terkenal karena efisiensinya dalam memproses data spasial seperti gambar.

Layer ini menggunakan kernel (filter) yang memindai data input untuk mengekstrak fitur. Lebar kernel ini dapat disesuaikan, memungkinkan jaringan fokus pada fitur kecil atau besar, bergantung pada tugasnya.

Meskipun Layer Konvolusional sangat baik dalam menangkap hierarki spasial dan pola pada data, layer ini menghadapi tantangan pada ketergantungan jangka panjang. Secara inheren layer ini tidak mempertimbangkan informasi berurutan, sehingga kurang cocok untuk tugas yang memerlukan pemahaman urutan atau konteks.

Inilah mengapa CNN dan Transformer disesuaikan untuk jenis data dan tugas yang berbeda. CNN mendominasi di bidang computer vision karena efisiensinya dalam memproses informasi spasial, sementara Transformer menjadi pilihan utama untuk tugas berurutan yang kompleks, khususnya di NLP, berkat kemampuannya memahami ketergantungan jarak jauh.

Kelemahan dan Batasan Transformer

Terlepas dari kesuksesannya, Transformer memiliki keterbatasan yang patut dicatat:

• Kompleksitas kuadratik: Self-attention berskala O(n²) terhadap panjang urutan, membuat konteks sangat panjang menjadi mahal secara komputasi
• Kebutuhan memori: Model besar memerlukan memori GPU signifikan, membatasi opsi penerapan
• Kebutuhan data pelatihan: Transformer umumnya membutuhkan dataset masif untuk mencapai performa kuat
• Ketiadaan penalaran eksplisit: Walau piawai mencocokkan pola, Transformer tidak melakukan penalaran simbolik dan dapat berhalusinasi fakta
• Keterbatasan pengodean posisi: Positional encoding standar kesulitan menggeneralisasi ke panjang urutan yang tidak terlihat saat pelatihan

Riset terus mengatasi keterbatasan ini melalui inovasi arsitektural seperti Flash Attention, mixture-of-experts, dan retrieval-augmented generation (RAG).

Kesimpulan

Sebagai penutup, Transformer muncul sebagai terobosan monumental dalam kecerdasan buatan dan pemrosesan bahasa alami (NLP).

Dengan mengelola data berurutan secara efektif melalui mekanisme self-attention yang unik, model ini mengungguli RNN tradisional. Kemampuannya menangani urutan panjang dengan lebih efisien dan melakukan pemrosesan data secara paralel secara signifikan mempercepat pelatihan.

Model perintis seperti BERT dari Google dan seri GPT dari OpenAI mencontohkan dampak transformatif Transformer dalam meningkatkan mesin pencari dan menghasilkan teks mirip manusia.

Akibatnya, Transformer menjadi tak tergantikan dalam machine learning modern, mendorong batas AI dan membuka jalan baru dalam kemajuan teknologi.

Jika Anda ingin menyelami Transformer dan penggunaannya secara praktis, artikel kami tentang Transformer dan Hugging Face adalah awal yang tepat! Anda juga dapat mempelajari cara membangun Transformer dengan PyTorch melalui panduan mendalam kami.