Mô hình Foundation là gì?

BERT, GPT-3, DALL-E 2, LLaMA, BLOOM; những mô hình này là vài trong số các ngôi sao của cuộc cách mạng AI mà chúng ta đã chứng kiến kể từ khi ChatGPT ra mắt. Điểm chung của các mô hình này là gì? Bạn đoán đúng rồi: tất cả đều là mô hình foundation.

Mô hình foundation là một phát triển gần đây trong AI. Các mô hình này được xây dựng từ các thuật toán tối ưu cho tính khái quát và đa dụng của đầu ra. Chúng dựa trên mạng nơ-ron quy mô lớn, thường được huấn luyện trên dải nguồn dữ liệu rộng và lượng dữ liệu khổng lồ để thực hiện nhiều tác vụ hạ nguồn, bao gồm cả những tác vụ mà chúng không được phát triển và huấn luyện cụ thể.

Sự phổ biến của mô hình foundation đang khuấy động cuộc tranh luận kinh điển giữa Trí tuệ Nhân tạo Hẹp (Narrow AI) và Trí tuệ Nhân tạo Tổng quát (AGI), còn gọi là Trí tuệ Nhân tạo Mạnh. Narrow AI đề cập đến các hệ thống AI được thiết kế cho những tác vụ cụ thể nhưng không thể thực hiện các tác vụ ngoài phạm vi đã định. Ngược lại, AGI là hệ thống AI giả định có thể hiểu, học và áp dụng kiến thức trên hàng loạt tác vụ, tương tự con người.

Dù mô hình foundation vẫn chưa thể suy nghĩ như con người, chúng đang mang lại những kết quả đột phá đưa chúng ta tiến gần hơn tới ngưỡng AGI. Đó là lý do cả các chuyên gia dữ liệu lẫn người ngoài chuyên môn đều nên làm quen với các mô hình này.

Với người mới bắt đầu, Lộ trình Kỹ năng AI Essentials sẽ giúp bạn có cái nhìn sâu về các mô hình AI thế hệ tiếp theo. Với những ai đã có nền tảng, bài viết về các dự án AI tạo sinh cho bạn cơ hội kiểm nghiệm kiến thức.

Hãy cùng tìm hiểu kỹ hơn về mô hình foundation!

Mô hình Foundation là gì? Hiểu các khái niệm then chốt

Thuật ngữ mô hình foundation tương đối mới và có thể chồng lấn với các khái niệm phổ biến khác như AI tạo sinh (Generative AI), transformer và mô hình ngôn ngữ lớn (LLM).

Tuy nhiên, thuật ngữ trong AI vẫn còn đang tranh luận. Dưới đây là một số định nghĩa giúp bạn định hướng trong lĩnh vực AI đang phát triển nhanh chóng:

• AI tạo sinh. Đây là thuật ngữ rộng dùng để mô tả các hệ thống AI có chức năng chính là tạo nội dung, trái ngược với các hệ thống AI khác được thiết kế cho những nhiệm vụ như phân loại và dự đoán.
• Transformer. Transformers đã cách mạng hóa lĩnh vực học sâu. Chúng cung cấp một kiến trúc đổi mới để xử lý dữ liệu tuần tự hiệu quả hơn. Transformers đặc biệt phù hợp để xử lý văn bản, vì vậy chúng trở thành nền tảng trong xử lý và sinh ngôn ngữ tự nhiên (NLP/NLG). Tuy nhiên, transformers cũng đã được dùng với các loại dữ liệu khác như hình ảnh và đạt kết quả tương tự thành công.
• Mô hình ngôn ngữ lớn. LLM là các hệ thống AI dùng để mô hình hóa và xử lý ngôn ngữ con người. Transformers là công nghệ nền tảng đằng sau LLM. Chúng được gọi là “lớn” vì có hàng trăm triệu đến hàng tỷ tham số, được tiền huấn luyện trên kho dữ liệu văn bản khổng lồ.
• Mô hình foundation. Đây là thuật ngữ rộng để chỉ các mô hình AI được thiết kế tạo ra dải đầu ra rộng và tổng quát. Chúng có khả năng cho nhiều tác vụ và ứng dụng, bao gồm tạo văn bản, video, hình ảnh hoặc âm thanh. Một đặc điểm nổi bật là chúng có thể là hệ thống độc lập hoặc được dùng làm “nền tảng” cho các ứng dụng khác. Ví dụ, LLM có tên GPT là mô hình foundation của ChatGPT.

Mô hình Foundation hoạt động như thế nào?

Công nghệ nền tảng của mô hình foundation – bất kể tác vụ được thiết kế và loại dữ liệu dùng để huấn luyện – là transformer.

Được các nhà nghiên cứu Google phát triển năm 2017, transformers cung cấp một lựa chọn thay thế cho mạng nơ-ron hồi tiếp (RNN) và mạng nơ-ron tích chập (CNN) để xử lý dữ liệu tuần tự, chủ yếu là văn bản.

Transformers hoạt động bằng cách dự đoán từ tiếp theo trong chuỗi để tạo thành phản hồi mạch lạc. Quá trình này được thực hiện bằng cơ chế gọi là attention, cơ chế này gán trọng số ảnh hưởng của các từ khác nhau khi sinh phản hồi.

Huấn luyện transformers gồm hai bước: tiền huấn luyện và tinh chỉnh.

Tiền huấn luyện

Ở giai đoạn này, transformers được huấn luyện trên lượng lớn dữ liệu (văn bản) thô, với internet là nguồn dữ liệu chính.

Việc huấn luyện sử dụng học tự giám sát, một hình thức huấn luyện đổi mới không cần con người gán nhãn dữ liệu.

Mục tiêu của tiền huấn luyện là học các mẫu thống kê của ngôn ngữ. Vì chiến lược chủ đạo để cải thiện hiệu năng của transformers là tăng kích thước mô hình (tức tăng số tham số) và lượng dữ liệu dùng trong tiền huấn luyện, nên giai đoạn này thường tốn thời gian và chi phí cao.

Tinh chỉnh

Tiền huấn luyện giúp transformer có hiểu biết cơ bản về ngôn ngữ, nhưng chưa đủ để thực hiện các tác vụ thực tiễn cụ thể. Vì vậy mô hình trải qua giai đoạn tinh chỉnh, nơi nó được huấn luyện trên bộ dữ liệu hẹp hơn, theo miền cụ thể, được tạo ra với sự hỗ trợ của người đánh giá theo các hướng dẫn nhất định.

Tính đa phương thức

Một đặc điểm quan trọng khác của mô hình foundation là tính đa phương thức (modality). Tùy theo loại dữ liệu mà mô hình foundation có thể nhận làm đầu vào, chúng có thể là đơn phương thức hoặc đa phương thức. Loại thứ nhất chỉ nhận một loại dữ liệu và tạo đầu ra cùng loại, trong khi loại thứ hai có thể nhận nhiều loại đầu vào và tạo nhiều loại đầu ra (ví dụ, GPT-4 có thể nhận cả hình ảnh và văn bản làm đầu vào và tạo đầu ra văn bản).

Hiểu cách transformers hoạt động có thể phức tạp và vượt ngoài phạm vi bài viết này. Để có giải thích chi tiết hơn, hãy xem bài viết ChatGPT là gì, nơi chúng tôi đã hỏi trực tiếp ChatGPT và tìm hiểu về Transformers và Hugging Face để có góc nhìn kỹ thuật hơn.

Nếu bạn muốn biết thêm chi tiết về cách LLM hoạt động, khóa học Khái niệm về Mô hình Ngôn ngữ Lớn (LLM) là điểm khởi đầu tuyệt vời.

Ứng dụng của Mô hình Foundation

Mô hình foundation có thể dùng như hệ thống độc lập hoặc làm nền tảng cho vô số hệ thống và ứng dụng AI hạ nguồn. Dù phần lớn các hệ thống foundation hiện đại được thiết kế để tạo văn bản hoặc mã và thực hiện các tác vụ NLP, ngày càng có nhiều hệ thống có khả năng tạo các loại đầu ra khác như hình ảnh hoặc âm nhạc.

Bên dưới là một bảng liệt kê một số mô hình foundation phổ biến nhất.