Cách Transformer hoạt động: Khám phá chi tiết kiến trúc Transformer

Transformer là gì?

Transformers ban đầu được phát triển để giải quyết bài toán chuyển đổi chuỗi (sequence transduction), hay dịch máy nơ-ron, nghĩa là chúng được thiết kế để xử lý mọi tác vụ biến đổi một chuỗi đầu vào thành một chuỗi đầu ra. Đó là lý do chúng được gọi là “Transformers”.

Nhưng hãy bắt đầu từ căn bản.

Mô hình Transformer là gì?

Một mô hình transformer là một mạng nơ-ron học ngữ cảnh của dữ liệu tuần tự và tạo ra dữ liệu mới từ đó.

Nói đơn giản:

Transformer là một loại mô hình trí tuệ nhân tạo học cách hiểu và tạo văn bản giống con người bằng cách phân tích các mẫu trong lượng dữ liệu văn bản lớn.

Transformers hiện là mô hình NLP tiên tiến nhất và được xem là sự tiến hóa của kiến trúc encoder–decoder. Tuy nhiên, trong khi kiến trúc encoder–decoder chủ yếu dựa vào Mạng Nơ-ron Hồi quy (RNN) để trích xuất thông tin tuần tự, Transformers hoàn toàn không có tính lặp này.

Vậy, chúng làm điều đó như thế nào?

Chúng được thiết kế đặc biệt để nắm bắt ngữ cảnh và ý nghĩa bằng cách phân tích mối quan hệ giữa các phần tử khác nhau, và gần như hoàn toàn dựa vào một kỹ thuật toán học gọi là attention để làm điều đó.

Ảnh: tác giả.

Bối cảnh lịch sử

Bắt nguồn từ bài nghiên cứu năm 2017 của Google, các mô hình transformer là một trong những phát triển gần đây và có ảnh hưởng nhất trong lĩnh vực Máy học. Mô hình Transformer đầu tiên được giải thích trong bài báo có tầm ảnh hưởng "Attention is All You Need".

Khái niệm tiên phong này không chỉ là tiến bộ lý thuyết mà còn được triển khai thực tế, đáng chú ý trong gói Tensor2Tensor của TensorFlow. Hơn nữa, nhóm Harvard NLP đã đóng góp bằng cách cung cấp hướng dẫn có chú giải cho bài báo, kèm triển khai bằng PyTorch. Bạn có thể tìm hiểu thêm về cách tự xây dựng Transformer từ đầu trong bài hướng dẫn riêng.

Sự ra đời của chúng đã kích thích một làn sóng lớn trong lĩnh vực này, thường được gọi là Transformer AI. Mô hình mang tính cách mạng này đặt nền móng cho những đột phá tiếp theo trong các mô hình ngôn ngữ lớn, bao gồm BERT. Đến năm 2018, những phát triển này đã được ca ngợi như một cột mốc trong NLP.

Năm 2020, các nhà nghiên cứu tại OpenAI công bố GPT-3. Chỉ trong vài tuần, tính linh hoạt của GPT-3 nhanh chóng được thể hiện khi mọi người dùng nó để tạo thơ, chương trình, bài hát, trang web và hơn thế nữa, thu hút trí tưởng tượng của người dùng toàn cầu. Quan sát sự chuyển dịch này, các học giả Stanford đã xuất bản bài báo năm 2021 gọi những đổi mới này là "mô hình nền tảng", nhấn mạnh vai trò quan trọng của chúng trong tái định hình AI.

Trong khi các mô hình độc quyền thu hút sớm sự chú ý công chúng, một cuộc cách mạng mã nguồn mở song song đã nhanh chóng dân chủ hóa công nghệ transformer. Các nền tảng như Hugging Face nổi lên như trung tâm quan trọng để chia sẻ mô hình, nhưng bức tranh đã thay đổi căn bản vào năm 2023 với việc ra mắt họ Llama của Meta. Điều này châm ngòi cho phong trào "open-weights", chứng minh các nhà phát triển không còn cần phụ thuộc vào hệ sinh thái đóng của doanh nghiệp để xây dựng AI tiên tiến.

Trong suốt 2024 và 2025, phát triển mã nguồn mở tăng tốc mạnh mẽ. Các mô hình như Llama 3.1 khổng lồ của Meta và chuỗi Llama 4 sau đó, cùng các kiến trúc hiệu quả cao từ các startup như Mistral và các mô hình suy luận mạnh từ DeepSeek, cho thấy các mô hình mở có thể sánh ngang, thậm chí đôi khi vượt, những gã khổng lồ độc quyền.

Trong khi đó, các mô hình đóng tiếp tục phát triển năng lực phức tạp. GPT-4 năm 2023 giới thiệu khả năng đa phương thức, và GPT-4o năm 2024 hợp nhất xử lý văn bản, thị giác và âm thanh trong một mô hình duy nhất.

Cuối 2024 đánh dấu một bước ngoặt căn bản khác trong ngành với các mô hình như dòng o1 của OpenAI và R1 mở của DeepSeek, đưa vào một “chuỗi suy nghĩ” nội bộ để lập luận qua logic và toán học phức tạp trước khi trả lời.

Đến cuối 2025 và sang 2026, bức tranh chuyển hẳn từ trợ lý hội thoại sang hệ thống tự chủ với sự ra mắt của họ GPT-5, mang lại lập kế hoạch nhiều bước tiên tiến, bộ nhớ dài hạn, và quy trình agent mạnh mẽ cho hạ tầng doanh nghiệp.

Sự chuyển dịch từ các mô hình RNN như LSTM sang Transformers cho bài toán NLP

Tại thời điểm giới thiệu Transformer, Mạng Nơ-ron Hồi quy (RNN) là cách tiếp cận ưa thích để xử lý dữ liệu tuần tự, vốn được đặc trưng bởi thứ tự cụ thể trong đầu vào.

RNN hoạt động tương tự mạng nơ-ron truyền thẳng nhưng xử lý đầu vào tuần tự, từng phần tử một.

Transformers được truyền cảm hứng từ kiến trúc encoder–decoder trong RNN. Tuy nhiên, thay vì dùng tính lặp, mô hình Transformer hoàn toàn dựa trên cơ chế Attention.

Ngoài việc cải thiện hiệu năng RNN, Transformers cung cấp một kiến trúc mới để giải quyết nhiều tác vụ khác như tóm tắt văn bản, tạo chú thích ảnh và nhận dạng giọng nói.

Vậy vấn đề chính của RNN là gì? Chúng khá kém hiệu quả cho tác vụ NLP vì hai lý do chính:

• Chúng xử lý dữ liệu đầu vào một cách tuần tự, lần lượt. Quy trình lặp như vậy không tận dụng được GPU hiện đại vốn được thiết kế cho tính toán song song, do đó việc huấn luyện các mô hình này khá chậm.
• Chúng trở nên kém hiệu quả khi các phần tử cách xa nhau. Nguyên nhân là thông tin được truyền qua từng bước và chuỗi càng dài thì khả năng mất mát thông tin dọc theo chuỗi càng cao.

Sự chuyển dịch từ RNN như LSTM sang Transformers trong NLP được thúc đẩy bởi hai vấn đề trên và khả năng của Transformers trong việc giải quyết cả hai nhờ cải tiến của cơ chế Attention:

• Tập trung vào các từ cụ thể, bất kể khoảng cách.
• Tăng tốc độ thực thi.

Vì vậy, Transformers trở thành bước cải tiến tự nhiên của RNN.

Tiếp theo, hãy xem transformers hoạt động như thế nào.

Kiến trúc Transformer

Tổng quan

Ban đầu được đề xuất cho chuyển đổi chuỗi hoặc dịch máy nơ-ron, transformers xuất sắc trong việc chuyển đổi chuỗi đầu vào thành chuỗi đầu ra. Đây là mô hình chuyển đổi đầu tiên hoàn toàn dựa vào self-attention để tính biểu diễn cho đầu vào và đầu ra mà không dùng RNN căn chỉnh theo chuỗi hay tích chập. Đặc điểm cốt lõi của kiến trúc Transformers là vẫn duy trì mô hình encoder–decoder.

Nếu xem Transformer dùng cho dịch ngôn ngữ như một hộp đen đơn giản, nó sẽ nhận một câu ở một ngôn ngữ, chẳng hạn tiếng Anh, làm đầu vào và xuất ra bản dịch bằng tiếng Anh.

Ảnh: tác giả.

Nếu đi sâu hơn chút, ta thấy hộp đen này gồm hai phần chính:

• Encoder nhận đầu vào và xuất ra một ma trận biểu diễn của đầu vào đó. Ví dụ câu tiếng Anh “How are you?”
• Decoder nhận biểu diễn đã mã hóa đó và lặp lại để sinh đầu ra. Trong ví dụ của chúng ta, câu dịch “¿Cómo estás?”

Ảnh: tác giả. Cấu trúc tổng thể Encoder–Decoder.

Tuy nhiên, cả encoder và decoder thực ra là một chồng nhiều lớp (cùng số lượng cho mỗi bên). Tất cả encoder có cùng cấu trúc và đầu vào đi vào từng cái rồi truyền sang cái tiếp theo. Tất cả decoder cũng có cùng cấu trúc và nhận đầu vào từ encoder cuối cùng và decoder trước đó.

Kiến trúc gốc gồm 6 encoder và 6 decoder, nhưng ta có thể nhân bản bao nhiêu lớp tùy ý. Vậy hãy giả định N lớp cho mỗi bên.

Ảnh: tác giả. Cấu trúc tổng thể Encoder–Decoder. Nhiều lớp.

Giờ khi đã có cái nhìn tổng quát về kiến trúc Transformer, hãy tập trung vào cả Encoder và Decoder để hiểu rõ luồng hoạt động của chúng:

Quy trình Encoder

Encoder là thành phần nền tảng của kiến trúc Transformer. Chức năng chính của encoder là biến các token đầu vào thành biểu diễn theo ngữ cảnh. Khác với các mô hình trước xử lý token độc lập, encoder của Transformer nắm bắt ngữ cảnh của mỗi token so với toàn bộ chuỗi.

Cấu phần của nó gồm như sau:

Ảnh: tác giả. Cấu trúc tổng thể Encoder.

Hãy chia nhỏ quy trình của nó thành các bước cơ bản nhất:

BƯỚC 1 - Embedding đầu vào

Embedding chỉ diễn ra ở encoder thấp nhất. Encoder bắt đầu bằng việc chuyển các token đầu vào - từ hoặc phân từ - thành vector bằng các lớp embedding. Các embedding này nắm bắt ý nghĩa ngữ nghĩa của token và biến chúng thành vector số.

Tất cả encoder nhận một danh sách vector, mỗi vector kích thước 512 (cố định). Ở encoder dưới cùng, đó là từ nhúng; còn ở các encoder khác, đó là đầu ra của encoder ngay bên dưới.

Ảnh: tác giả. Quy trình Encoder. Input embedding.

BƯỚC 2 - Mã hóa vị trí

Vì Transformers không có cơ chế lặp như RNN, chúng dùng mã hóa vị trí cộng vào embedding đầu vào để cung cấp thông tin về vị trí của từng token trong chuỗi. Điều này cho phép chúng hiểu vị trí của mỗi từ trong câu.

Để làm vậy, các nhà nghiên cứu đề xuất dùng tổ hợp các hàm sin và cos khác nhau để tạo vector vị trí, cho phép dùng bộ mã hóa vị trí này cho câu dài bất kỳ.

Trong cách tiếp cận này, mỗi chiều được biểu diễn bằng tần số và độ lệch sóng riêng biệt, với giá trị từ -1 đến 1, biểu diễn hiệu quả mỗi vị trí.

Ảnh: tác giả. Quy trình Encoder. Positional encoding.

BƯỚC 3 - Chồng các lớp Encoder

Encoder của Transformer gồm một chồng các lớp giống hệt nhau (6 lớp trong mô hình gốc).

Lớp encoder dùng để biến mọi chuỗi đầu vào thành một biểu diễn liên tục, trừu tượng, bao quát thông tin học được từ toàn chuỗi. Lớp này gồm hai mô-đun phụ:

• Cơ chế attention đa đầu.
• Mạng fully connected.

Ngoài ra, nó có các kết nối tàn dư quanh mỗi lớp con, sau đó là chuẩn hóa lớp.

Ảnh: tác giả. Quy trình Encoder. Stack of Encoder Layers

BƯỚC 3.1 Cơ chế Self-Attention đa đầu

Trong encoder, attention đa đầu sử dụng một cơ chế attention chuyên biệt gọi là self-attention. Cách tiếp cận này cho phép mô hình liên hệ mỗi từ trong đầu vào với các từ khác. Chẳng hạn, trong một ví dụ, mô hình có thể học kết nối từ “are” với “you”.

Cơ chế này cho phép encoder tập trung vào các phần khác nhau của chuỗi đầu vào khi xử lý mỗi token. Nó tính điểm attention dựa trên:

• Một query là vector đại diện cho một từ hay token cụ thể từ chuỗi đầu vào trong cơ chế attention.

• Một key cũng là một vector trong cơ chế attention, tương ứng với mỗi từ hay token trong chuỗi đầu vào.

• Mỗi value gắn với một key và được dùng để tạo đầu ra của lớp attention. Khi query và key khớp tốt, tức có điểm attention cao, value tương ứng được nhấn mạnh trong đầu ra.

Mô-đun Self-Attention đầu tiên này cho phép mô hình nắm bắt thông tin ngữ cảnh từ toàn chuỗi. Thay vì thực hiện một hàm attention duy nhất, query, key và value được chiếu tuyến tính h lần. Trên mỗi phiên bản đã chiếu của query, key và value, cơ chế attention được thực hiện song song, cho ra các giá trị đầu ra h chiều.

Kiến trúc chi tiết như sau:

Nhân ma trận (MatMul) - Tích vô hướng giữa Query và Key

Khi các vector query, key và value đi qua một lớp tuyến tính, phép nhân ma trận tích vô hướng được thực hiện giữa query và key, tạo ra ma trận điểm số.

Ma trận điểm số xác lập mức độ mỗi từ nên nhấn mạnh các từ khác ra sao. Do đó, mỗi từ được gán một điểm tương quan với các từ khác trong cùng thời điểm. Điểm càng cao càng được tập trung hơn.

Quy trình này hiệu quả để ánh xạ các query đến key tương ứng.

Ảnh: tác giả. Quy trình Encoder. Cơ chế Attention - Nhân ma trận.

Giảm độ lớn của điểm attention

Các điểm sau đó được chia cho căn bậc hai kích thước của vector query và key để thu nhỏ. Bước này giúp đảm bảo gradient ổn định hơn, vì phép nhân giá trị có thể dẫn đến hiệu ứng quá lớn.

Ảnh: tác giả. Quy trình Encoder. Giảm điểm attention.

Áp dụng Softmax lên điểm đã điều chỉnh

Tiếp theo, hàm softmax được áp dụng lên các điểm đã điều chỉnh để thu được trọng số attention. Kết quả là các giá trị xác suất trong khoảng 0 đến 1. Hàm softmax nhấn mạnh điểm cao trong khi giảm điểm thấp, qua đó tăng cường khả năng xác định từ nào nên được chú ý hơn.

Ảnh: tác giả. Quy trình Encoder. Softmax các điểm đã điều chỉnh.

Kết hợp kết quả Softmax với vector Value

Bước tiếp theo của cơ chế attention là nhân các trọng số từ softmax với vector value, tạo ra một vector đầu ra.

Trong quá trình này, chỉ các từ có điểm softmax cao được giữ lại. Cuối cùng, vector đầu ra này được đưa vào một lớp tuyến tính để xử lý tiếp.

Ảnh: tác giả. Quy trình Encoder. Kết hợp kết quả Softmax với vector value.

Và cuối cùng chúng ta nhận được đầu ra của cơ chế Attention!

Vậy tại sao lại gọi là Attention đa đầu?

Hãy nhớ rằng trước khi toàn bộ quá trình bắt đầu, chúng ta tách query, key và value thành h phần. Quy trình này, gọi là self-attention, diễn ra riêng rẽ trong từng giai đoạn nhỏ hay “đầu”. Mỗi đầu hoạt động độc lập và tạo ra một vector đầu ra.

Tập hợp này đi qua một lớp tuyến tính cuối, giống như một bộ lọc tinh chỉnh hiệu năng tổng thể. Vẻ đẹp nằm ở sự đa dạng học được qua mỗi đầu, làm giàu cho encoder bằng hiểu biết mạnh và đa diện.

Để hiểu sâu hơn về cơ chế attention, xem bài hướng dẫn multi-head attention trong Transformers.

BƯỚC 3.2 Chuẩn hóa và kết nối tàn dư

Mỗi lớp con trong một lớp encoder được theo sau bởi một bước chuẩn hóa. Đồng thời, đầu ra của mỗi lớp con được cộng với đầu vào của nó (kết nối tàn dư) để giúp giảm vấn đề biến mất gradient, cho phép mô hình sâu hơn. Quy trình này sẽ lặp lại sau Mạng Nơ-ron Feed-Forward.

Ảnh: tác giả. Quy trình Encoder. Chuẩn hóa và kết nối tàn dư sau Multi-Head Attention.

BƯỚC 3.3 Mạng nơ-ron Feed-Forward

Hành trình của đầu ra tàn dư đã chuẩn hóa tiếp tục đi qua một mạng feed-forward theo điểm, một giai đoạn quan trọng để tinh chỉnh thêm.

Hãy hình dung mạng này như một cặp lớp tuyến tính, với một kích hoạt ReLU nằm giữa như chiếc cầu nối. Sau khi xử lý, đầu ra quay trở lại và trộn với đầu vào của mạng feed-forward theo điểm.

Cuộc hội ngộ này tiếp nối bằng một lần chuẩn hóa nữa, đảm bảo mọi thứ được điều chỉnh tốt và đồng bộ cho các bước tiếp theo.

Ảnh: tác giả. Quy trình Encoder. Lớp con Feed-Forward.

BƯỚC 4 - Đầu ra của Encoder

Đầu ra của lớp encoder cuối cùng là một tập các vector, mỗi vector đại diện cho chuỗi đầu vào với hiểu biết ngữ cảnh phong phú. Đầu ra này sau đó được dùng làm đầu vào cho decoder trong mô hình Transformer.

Việc mã hóa cẩn thận này mở đường cho decoder, dẫn dắt nó chú ý đến đúng từ trong đầu vào khi giải mã.

Hãy nghĩ như xây một tòa tháp, nơi bạn có thể xếp chồng N lớp encoder. Mỗi lớp trong chồng có cơ hội khám phá và học các khía cạnh chú ý khác nhau, tựa như các tầng kiến thức. Điều này không chỉ đa dạng hóa hiểu biết mà còn có thể khuếch đại đáng kể khả năng dự đoán của mạng transformer.

Quy trình Decoder

Vai trò của decoder tập trung vào việc tạo chuỗi văn bản. Phản chiếu encoder, decoder được trang bị một bộ lớp con tương tự. Nó có hai lớp attention đa đầu, một lớp feed-forward theo điểm, và kết hợp cả kết nối tàn dư lẫn chuẩn hóa lớp sau mỗi lớp con.

Ảnh: tác giả. Cấu trúc tổng thể của Encoder.

Các thành phần này hoạt động tương tự lớp của encoder, nhưng có một điểm khác: mỗi lớp attention đa đầu trong decoder có nhiệm vụ riêng.

Giai đoạn cuối của quá trình decoder gồm một lớp tuyến tính, đóng vai trò bộ phân loại, phía trên là hàm softmax để tính xác suất của các từ khác nhau.

Decoder của Transformer có cấu trúc được thiết kế đặc biệt để sinh đầu ra bằng cách giải mã thông tin đã mã hóa từng bước một.

Cần lưu ý rằng decoder hoạt động theo kiểu tự hồi quy, khởi động bằng một token bắt đầu. Nó khéo léo dùng danh sách đầu ra đã sinh trước đó làm đầu vào của chính mình, đồng thời với các đầu ra từ encoder giàu thông tin attention từ đầu vào ban đầu.

Điệu nhảy giải mã tuần tự này tiếp tục cho đến khi decoder đạt đến khoảnh khắc then chốt: sinh ra một token báo hiệu kết thúc việc tạo đầu ra.

BƯỚC 1 - Embedding đầu ra

Ở vạch xuất phát của decoder, quy trình phản chiếu encoder. Tại đây, đầu vào trước hết đi qua một lớp embedding

BƯỚC 2 - Mã hóa vị trí

Sau khi embedding, tương tự encoder, đầu vào đi qua lớp mã hóa vị trí. Trình tự này nhằm tạo ra embedding vị trí.

Các embedding vị trí này sau đó được đưa vào lớp attention đa đầu đầu tiên của decoder, nơi điểm attention riêng cho đầu vào của decoder được tính toán cẩn trọng.

BƯỚC 3 - Chồng các lớp Decoder

Decoder gồm một chồng các lớp giống hệt nhau (6 lớp trong mô hình Transformer gốc). Mỗi lớp có ba thành phần phụ chính:

BƯỚC 3.1 Cơ chế Self-Attention có mặt nạ

Tương tự cơ chế self-attention trong encoder nhưng có khác biệt quan trọng: nó ngăn các vị trí chú ý đến các vị trí phía sau, nghĩa là mỗi từ trong chuỗi không bị ảnh hưởng bởi các token tương lai.

Ví dụ, khi tính điểm attention cho từ "are", điều quan trọng là "are" không được nhìn thấy "you", vốn là từ tiếp theo trong chuỗi.

Ảnh: tác giả. Quy trình Decoder. Mặt nạ Multi-Head Attention đầu tiên.

Việc che này đảm bảo dự đoán cho một vị trí chỉ có thể phụ thuộc vào các đầu ra đã biết ở các vị trí trước đó.

BƯỚC 3.2 - Multi-Head Attention giữa Encoder–Decoder hay Cross Attention

Ở lớp attention đa đầu thứ hai của decoder, ta thấy sự tương tác độc đáo giữa thành phần encoder và decoder. Tại đây, đầu ra từ encoder đóng vai trò vừa là query vừa là key, trong khi đầu ra từ lớp attention đa đầu đầu tiên của decoder đóng vai trò value.

Thiết lập này hiệu quả trong việc căn chỉnh đầu vào của encoder với decoder, giúp decoder xác định và nhấn mạnh các phần liên quan nhất của đầu vào từ encoder.

Sau đó, đầu ra từ lớp attention đa đầu thứ hai này được tinh chỉnh qua một lớp feed-forward theo điểm, tăng cường xử lý hơn nữa.

Ảnh: tác giả. Quy trình Decoder. Attention giữa Encoder–Decoder.

Trong lớp con này, query đến từ lớp decoder trước đó, còn key và value đến từ đầu ra của encoder. Điều này cho phép mọi vị trí trong decoder chú ý đến tất cả vị trí trong chuỗi đầu vào, hiệu quả trong việc tích hợp thông tin từ encoder với thông tin trong decoder.

BƯỚC 3.3 Mạng nơ-ron Feed-Forward

Tương tự encoder, mỗi lớp decoder bao gồm một mạng feed-forward fully connected, áp dụng riêng rẽ và giống hệt cho từng vị trí.

BƯỚC 4 Bộ phân loại tuyến tính và Softmax để tạo xác suất đầu ra

Hành trình của dữ liệu qua mô hình transformer kết thúc khi đi qua lớp tuyến tính cuối, đóng vai trò bộ phân loại.

Kích thước của bộ phân loại này tương ứng với tổng số lớp (số từ trong từ vựng). Ví dụ, trong bối cảnh có 1000 lớp riêng biệt đại diện cho 1000 từ khác nhau, đầu ra của bộ phân loại sẽ là một mảng 1000 phần tử.

Đầu ra này sau đó được đưa vào một lớp softmax, chuyển nó thành dải điểm xác suất, mỗi điểm nằm giữa 0 và 1. Điểm xác suất cao nhất là chìa khóa, chỉ số tương ứng trực tiếp trỏ đến từ mà mô hình dự đoán sẽ là tiếp theo trong chuỗi.

Ảnh: tác giả. Quy trình Decoder. Đầu ra cuối cùng của Transformer.

Chuẩn hóa và kết nối tàn dư

Mỗi lớp con (self-attention có mặt nạ, attention encoder–decoder, mạng feed-forward) đều theo sau bởi một bước chuẩn hóa, và mỗi lớp cũng bao gồm một kết nối tàn dư bao quanh.

Đầu ra của Decoder

Đầu ra của lớp cuối được biến đổi thành một chuỗi dự đoán, thường thông qua lớp tuyến tính rồi softmax để tạo phân bố xác suất trên từ vựng.

Trong luồng hoạt động, decoder đưa đầu ra vừa sinh vào danh sách đầu vào đang tăng dần của nó, rồi tiếp tục giải mã. Chu trình này lặp lại cho đến khi mô hình dự đoán một token cụ thể, báo hiệu hoàn tất.

Token có xác suất dự đoán cao nhất được gán làm lớp kết thúc, thường là token kết thúc.

Hãy nhớ rằng decoder không bị giới hạn ở một lớp. Nó có thể được cấu trúc với N lớp, mỗi lớp xây dựng dựa trên đầu vào nhận từ encoder và các lớp trước. Kiến trúc nhiều lớp này cho phép mô hình đa dạng hóa trọng tâm và trích xuất các mẫu chú ý khác nhau trên các đầu attention.

Cách tiếp cận nhiều lớp như vậy có thể tăng cường đáng kể khả năng dự đoán của mô hình, khi nó phát triển hiểu biết tinh tế hơn về các tổ hợp chú ý khác nhau.

Kiến trúc cuối cùng trông như thế này (từ bài báo gốc):

Ảnh: tác giả. Cấu trúc gốc của Transformers.

Để hiểu rõ hơn kiến trúc này, tôi khuyến nghị thử áp dụng Transformer từ đầu theo hướng dẫn xây dựng transformer với PyTorch này.

Các mô hình Transformer trong thực tế

BERT

BERT do Google phát hành năm 2018 là một khung xử lý ngôn ngữ tự nhiên mã nguồn mở, đã cách mạng hóa NLP nhờ huấn luyện hai chiều độc đáo, cho phép mô hình có dự đoán được cung cấp ngữ cảnh hơn về từ tiếp theo.

Bằng cách hiểu ngữ cảnh từ cả hai phía của một từ, BERT vượt trội hơn các mô hình trước đây trong các tác vụ như hỏi–đáp và hiểu ngôn ngữ mơ hồ. Lõi của nó dùng Transformers, kết nối động mỗi phần tử đầu ra và đầu vào.

BERT, được tiền huấn luyện trên Wikipedia, xuất sắc trong nhiều tác vụ NLP, thôi thúc Google tích hợp vào công cụ tìm kiếm để xử lý truy vấn tự nhiên hơn. Sáng kiến này kích hoạt cuộc đua phát triển các mô hình ngôn ngữ tiên tiến và thúc đẩy đáng kể khả năng xử lý ngôn ngữ phức tạp của lĩnh vực.

Để biết thêm về BERT, bạn có thể xem bài viết riêng của chúng tôi giới thiệu mô hình BERT.

LaMDA

LaMDA (Language Model for Dialogue Applications) là một mô hình dựa trên Transformer do Google phát triển, được thiết kế riêng cho tác vụ hội thoại, ra mắt tại sự kiện Google I/O 2021. Chúng được thiết kế để tạo phản hồi tự nhiên và phù hợp ngữ cảnh hơn, nâng cao tương tác người dùng trong nhiều ứng dụng.

Thiết kế của LaMDA cho phép nó hiểu và phản hồi trên nhiều chủ đề và ý định người dùng, lý tưởng cho chatbot, trợ lý ảo và các hệ thống AI tương tác khác nơi hội thoại năng động là chìa khóa.

Sự tập trung vào hiểu và phản hồi hội thoại này đánh dấu LaMDA như một bước tiến đáng kể trong xử lý ngôn ngữ tự nhiên và giao tiếp do AI dẫn dắt.

Nếu bạn muốn hiểu sâu hơn về các mô hình LaMDA, bạn có thể nắm rõ hơn với  bài viết về LaMDA của chúng tôi.

GPT và ChatGPT

GPT và ChatGPT, do OpenAI phát triển, là các mô hình sinh tiên tiến nổi tiếng với khả năng tạo văn bản mạch lạc và phù hợp ngữ cảnh. GPT-1 là mô hình đầu tiên ra mắt tháng 6/2018 và GPT-3, một trong những mô hình có ảnh hưởng lớn, ra mắt hai năm sau vào 2020.

Các mô hình này thành thạo nhiều tác vụ, bao gồm tạo nội dung, hội thoại, dịch ngôn ngữ và hơn thế nữa. Kiến trúc của GPT cho phép nó tạo văn bản gần giống văn phong con người, hữu ích cho sáng tác, hỗ trợ khách hàng, thậm chí trợ giúp lập trình. ChatGPT, một biến thể tối ưu cho ngữ cảnh hội thoại, xuất sắc trong việc tạo đối thoại tự nhiên, tăng khả năng ứng dụng trong chatbot và trợ lý ảo.

Claude

Claude, do Anthropic phát triển, là họ trợ lý AI dựa trên Transformer được thiết kế tập trung vào an toàn và hữu ích. Claude sử dụng Constitutional AI (CAI), một phương pháp huấn luyện nơi mô hình được định hướng bởi tập hợp nguyên tắc để tạo phản hồi hữu ích, vô hại và trung thực.

Claude 3 (ra mắt 2024) giới thiệu ba tầng mô hình Haiku, Sonnet và Opus, mang lại cân bằng khác nhau giữa tốc độ và năng lực. Các mô hình này xuất sắc ở suy luận tinh tế, theo sát hướng dẫn phức tạp, và duy trì ngữ cảnh qua các cuộc hội thoại dài (tới 200K token).

Trong 2025 và 2026, Anthropic ra mắt các mô hình Claude 4, với bản mới nhất, Opus 4.6 và Sonnet 4.6, dẫn đầu nhiều bảng xếp hạng LLM. 

Các biến thể khác

Bức tranh mô hình nền tảng, đặc biệt là transformer, đang mở rộng nhanh chóng. Một nghiên cứu xác định hơn 50 mô hình transformer quan trọng, trong khi nhóm Stanford đánh giá 30 mô hình, ghi nhận tốc độ phát triển nhanh của lĩnh vực. NLP Cloud, một startup sáng tạo thuộc chương trình Inception của NVIDIA, sử dụng khoảng 25 mô hình ngôn ngữ lớn thương mại cho nhiều ngành như hàng không và dược.

Xu hướng mở mã nguồn cho các mô hình này ngày càng tăng, với các nền tảng như kho mô hình của Hugging Face dẫn đầu. Ngoài ra, vô số mô hình dựa trên Transformer đã được phát triển, mỗi mô hình chuyên cho các tác vụ NLP khác nhau, thể hiện tính linh hoạt và hiệu quả của kiến trúc trong nhiều ứng dụng.

Bạn có thể tìm hiểu thêm về tất cả các Mô hình Nền tảng hiện có trong một bài viết riêng, nói về chúng là gì và những mô hình được dùng nhiều nhất.

Biến thể Transformer hiện đại

Kể từ kiến trúc gốc năm 2017, Transformers đã tiến hóa đáng kể để khắc phục hạn chế và mở rộng sang các miền mới.

Vision Transformers (ViT)

Vision Transformers áp dụng cơ chế self-attention cho ảnh bằng cách chia ảnh thành các mảnh và coi mỗi mảnh là một token. Cách tiếp cận này tỏ ra rất hiệu quả cho phân loại ảnh, phát hiện đối tượng và sinh ảnh, thường vượt CNN truyền thống trên các tập dữ liệu lớn.

Transformers đa phương thức

Các mô hình hiện đại như GPT-5, Gemini 3 và Llama 4 xử lý nhiều loại đầu vào (văn bản, ảnh, âm thanh, video) trong một kiến trúc duy nhất. Những Transformer đa phương thức này dùng không gian embedding thống nhất và cơ chế cross-attention để suy luận đồng thời qua các phương thức khác nhau.

Transformers hiệu quả

Độ phức tạp bậc hai của self-attention giới hạn độ dài ngữ cảnh. Một số đổi mới giải quyết điều này:

• Flash Attention: Tối ưu mô hình truy cập bộ nhớ để giảm sử dụng bộ nhớ GPU và tăng tốc huấn luyện 2–4 lần
• Rotary Position Embeddings (RoPE): Mã hóa thông tin vị trí qua ma trận xoay, cho phép ngoại suy tốt hơn đến chuỗi dài hơn
• Biến thể attention tuyến tính: Linformer, Performer và Longformer giảm độ phức tạp xuống O(n) để xử lý tài liệu rất dài
• Mixture of Experts (MoE): Chỉ kích hoạt một tập con tham số cho mỗi token, cho phép mô hình lớn hơn với chi phí tính toán tương tự

Chuẩn đo và Hiệu năng

Chuẩn đo và đánh giá hiệu năng các mô hình Transformer trong NLP đòi hỏi một cách tiếp cận có hệ thống để thẩm định hiệu quả và hiệu suất.

Tùy vào bản chất tác vụ, có các cách và nguồn lực khác nhau để thực hiện:

Tác vụ Dịch máy

Khi xử lý tác vụ Dịch máy, bạn có thể tận dụng các bộ dữ liệu chuẩn như WMT (Workshop on Machine Translation) nơi hệ thống MT gặp nhiều cặp ngôn ngữ, mỗi cặp có thách thức riêng.

Các thước đo như BLEU, METEOR, TER và chrF đóng vai trò như công cụ dẫn hướng, đưa chúng ta đến độ chính xác và tính trôi chảy.

Ngoài ra, kiểm thử trên nhiều miền như tin tức, văn học và văn bản kỹ thuật đảm bảo khả năng thích ứng và đa dụng của hệ thống MT, khiến nó thực sự đa ngữ trong thế giới số.

Chuẩn đo Hỏi–Đáp (QA)

Để đánh giá các mô hình QA, chúng ta dùng những bộ sưu tập câu hỏi–đáp đặc biệt như SQuAD (Stanford Question Answering Dataset), Natural Questions hoặc TriviaQA.

Mỗi bộ như một trò chơi với luật riêng. Ví dụ, SQuAD hướng đến tìm đáp án trong văn bản cho sẵn, trong khi bộ khác giống trò đố nơi câu hỏi đến từ bất cứ đâu.

Để xem các chương trình này hoạt động tốt ra sao, chúng ta dùng điểm số như Precision, Recall, F1, và đôi khi cả exact match.

Chuẩn đo Suy diễn Ngôn ngữ Tự nhiên (NLI)

Khi xử lý NLI, chúng ta dùng các bộ dữ liệu như SNLI (Stanford Natural Language Inference), MultiNLI và ANLI.

Chúng như những thư viện lớn của biến thể ngôn ngữ và trường hợp hóc búa, giúp đánh giá máy tính hiểu tốt thế nào các loại câu khác nhau. Chúng ta chủ yếu kiểm tra độ chính xác trong việc hiểu liệu các mệnh đề đồng thuận, mâu thuẫn hay không liên quan.

Cũng quan trọng là xem máy tính xử lý các điểm ngôn ngữ tinh vi ra sao, như khi một từ ám chỉ điều được nhắc trước đó, hay hiểu ‘không’, ‘tất cả’ và ‘một số’.

So sánh với các kiến trúc khác

Trong thế giới Mạng Nơ-ron, hai cấu trúc nổi bật thường được so sánh với Transformers. Mỗi cấu trúc có lợi ích và thách thức riêng, phù hợp với các kiểu xử lý dữ liệu cụ thể. RNN, đã xuất hiện nhiều lần trong bài, và các lớp Tích chập.

Các lớp Hồi quy

Các lớp Hồi quy, nền tảng của Mạng Nơ-ron Hồi quy (RNN), xuất sắc trong xử lý dữ liệu tuần tự. Điểm mạnh của kiến trúc này nằm ở khả năng thực hiện các thao tác tuần tự, quan trọng cho các tác vụ như xử lý ngôn ngữ hay phân tích chuỗi thời gian. Trong một lớp Hồi quy, đầu ra của bước trước được đưa lại vào mạng làm đầu vào cho bước tiếp theo. Cơ chế vòng lặp này cho phép mạng ghi nhớ thông tin trước đó, rất quan trọng để hiểu ngữ cảnh trong chuỗi.

Tuy nhiên, như đã bàn, xử lý tuần tự có hai hệ quả chính:

• Có thể dẫn đến thời gian huấn luyện dài hơn vì mỗi bước phụ thuộc vào bước trước, gây khó khăn cho xử lý song song.
• Thường gặp khó khăn với phụ thuộc dài hạn do vấn đề biến mất gradient, khi mạng kém hiệu quả trong học từ các điểm dữ liệu cách xa nhau trong chuỗi.

Mô hình Transformer khác biệt đáng kể so với kiến trúc dùng lớp hồi quy vì chúng không có tính lặp. Như đã thấy, lớp Attention của Transformer xử lý cả hai vấn đề, khiến chúng trở thành bước tiến tự nhiên của RNN cho ứng dụng NLP.

Các lớp Tích chập

Mặt khác, các lớp Tích chập, khối xây dựng của Mạng Nơ-ron Tích chập (CNN), nổi tiếng nhờ hiệu quả trong xử lý dữ liệu không gian như ảnh.

Các lớp này dùng kernel (bộ lọc) quét trên dữ liệu đầu vào để trích xuất đặc trưng. Độ rộng kernel có thể điều chỉnh, cho phép mạng tập trung vào đặc trưng nhỏ hoặc lớn tùy tác vụ.

Dù các lớp Tích chập rất giỏi trong nắm bắt thứ bậc và mẫu không gian trong dữ liệu, chúng gặp thách thức với phụ thuộc dài hạn. Chúng không tự thân tính đến thông tin tuần tự, khiến kém phù hợp cho tác vụ cần hiểu thứ tự hay ngữ cảnh của chuỗi.

Đó là lý do CNN và Transformers được điều chỉnh cho các loại dữ liệu và tác vụ khác nhau. CNN thống trị lĩnh vực thị giác máy tính nhờ hiệu quả trong xử lý thông tin không gian, trong khi Transformers là lựa chọn hàng đầu cho các tác vụ tuần tự phức tạp, đặc biệt trong NLP, nhờ khả năng hiểu phụ thuộc xa.

Hạn chế và điểm yếu của Transformer

Dù thành công, Transformers có những hạn chế đáng chú ý:

• Độ phức tạp bậc hai: Self-attention tỉ lệ O(n²) theo độ dài chuỗi, khiến ngữ cảnh rất dài tốn kém tính toán
• Yêu cầu bộ nhớ: Mô hình lớn cần nhiều bộ nhớ GPU, hạn chế tùy chọn triển khai
• Yêu cầu dữ liệu huấn luyện: Transformers thường cần bộ dữ liệu khổng lồ để đạt hiệu năng cao
• Thiếu suy luận tường minh: Dù là bộ khớp mẫu mạnh, Transformers không thực hiện suy luận ký hiệu và có thể bịa thông tin
• Giới hạn mã hóa vị trí: Mã hóa vị trí chuẩn khó khái quát hóa sang độ dài chuỗi không xuất hiện trong huấn luyện

Nghiên cứu tiếp tục giải quyết các hạn chế này qua đổi mới kiến trúc như Flash Attention, mixture-of-experts, và tạo sinh tăng cường truy hồi (RAG).

Kết luận

Tóm lại, Transformers đã nổi lên như một đột phá lớn trong trí tuệ nhân tạo và xử lý ngôn ngữ tự nhiên (NLP).

Bằng cách quản lý hiệu quả dữ liệu tuần tự thông qua cơ chế self-attention độc đáo, các mô hình này đã vượt qua RNN truyền thống. Khả năng xử lý chuỗi dài hiệu quả hơn và song song hóa xử lý dữ liệu giúp tăng tốc huấn luyện đáng kể.

Những mô hình tiên phong như BERT của Google và dòng GPT của OpenAI minh họa tác động biến đổi của Transformers trong việc nâng cao công cụ tìm kiếm và tạo văn bản giống con người.

Kết quả là chúng trở nên không thể thiếu trong học máy hiện đại, thúc đẩy ranh giới AI và mở ra các hướng đi công nghệ mới.

Nếu bạn muốn tìm hiểu sâu về Transformers và cách sử dụng thực tế, bài viết về Transformers và Hugging Face là điểm khởi đầu hoàn hảo! Bạn cũng có thể học cách xây dựng một Transformer với PyTorch qua hướng dẫn chuyên sâu của chúng tôi.