Học Tự Giám Sát: Cách Mô hình Học mà Không Cần Dữ liệu Gán Nhãn

Mọi dự án học máy rồi cũng đến lúc cần dữ liệu đã gán nhãn, và việc gán nhãn tốn nhiều thời gian lẫn chi phí hơn khả năng của hầu hết các nhóm.

Thuê một đội để gắn thẻ một triệu ảnh hoặc chuyển âm một triệu đoạn âm thanh có thể tốn hàng trăm nghìn đô. Trong khi đó, internet tràn ngập văn bản, hình ảnh, âm thanh và video không có nhãn. Các nhóm ML có nhiều dữ liệu thô hơn mức họ có thể dùng, nhưng gần như không có nhãn kèm theo để huấn luyện mô hình.

Học tự giám sát không cần bước gán nhãn. Nó biến chính cấu trúc của dữ liệu thành thông tin huấn luyện. Thay vì trả tiền cho con người để nói trong ảnh có gì hay một câu có nghĩa gì, bạn thiết lập một tác vụ mà dữ liệu đã có thể tự trả lời — như ẩn một từ và để mô hình đoán từ các từ xung quanh.

Trong bài viết này, tôi sẽ phân tích cách học tự giám sát hoạt động, điểm qua các kỹ thuật chính, và cho thấy nó so với học có giám sát, không giám sát, và bán giám sát như thế nào.

Học Tự Giám Sát Là Gì?

Học tự giám sát là một cách huấn luyện mô hình mà không cần ai gán nhãn dữ liệu thủ công trước.

Thay vì một người gắn thẻ cho từng ví dụ, dữ liệu tự có “đáp án”. Mô hình nhìn một phần đầu vào, ẩn phần khác, và học bằng cách cố lấp đầy khoảng trống. Không cần con người can thiệp.

Ví dụ, bạn có thể lấy một câu, ẩn một từ, và yêu cầu mô hình đoán từ các từ xung quanh. “The engineer pushed the ___ to the main branch” cho mô hình đủ ngữ cảnh để đoán “code” hoặc “changes” mà không ai phải cho biết đáp án đúng. Bản thân câu là nhãn.

Học tự giám sát nằm ở vị trí lưng chừng giữa hai nhóm. Mục tiêu huấn luyện của nó trông giống học có giám sát — có đầu vào rõ ràng, mục tiêu rõ ràng, và hàm mất mát đo mức sai. Nhưng vì không có con người tạo ra các mục tiêu ấy, người ta thường xếp nó vào học không giám sát, vốn cũng làm việc với dữ liệu thô không nhãn. Học tự giám sát vay cơ chế của bên này và nguồn dữ liệu của bên kia.

Học Tự Giám Sát Hoạt Động Thế Nào?

Quy trình theo một khuôn mẫu lặp lại, bất kể bạn làm với loại dữ liệu nào. Các bước như sau:

1. Bắt đầu với dữ liệu không gán nhãn: Văn bản, hình ảnh, âm thanh, video — loại nào cũng được, miễn là bạn có thật nhiều.
2. Tạo một tác vụ học từ chính dữ liệu: Đây gọi là tác vụ tiền huấn luyện (pretext). Nó không phải tác vụ bạn thực sự quan tâm; là một bài toán đặt ra để buộc mô hình học được điều gì đó hữu ích. Ẩn một từ và dự đoán nó là một ví dụ.
3. Huấn luyện mô hình giải tác vụ đó: Mô hình đưa ra dự đoán, so với giá trị thật, rồi điều chỉnh.
4. Học các biểu diễn hữu ích: Khi giải tác vụ tiền huấn luyện, mô hình xây dựng hiểu biết nội tại về cấu trúc dữ liệu, như ngữ pháp, ngữ cảnh, hình dạng và mẫu.
5. Thích ứng các biểu diễn đó cho tác vụ hạ nguồn: Khi mô hình đã học được các biểu diễn tốt, bạn hướng nó tới tác vụ bạn thực sự muốn giải. Đây là tác vụ hạ nguồn.

Tác vụ tiền huấn luyện chỉ là bài tập. Không ai triển khai một mô hình dự đoán từ bị ẩn cho vui — giá trị đến từ các biểu diễn nó học được trong quá trình, rồi chuyển sang giải các bài toán thực.

Học Tự Giám Sát so với Các Phương Pháp Khác

Cách dễ nhất để hiểu học tự giám sát là xem nó trùng lặp và khác biệt gì với các mô hình huấn luyện khác.

Tự giám sát so với có giám sát

Học có giám sát cần một ví dụ có nhãn cho mọi đầu vào, như một ảnh gắn thẻ “dog”, hay một đánh giá gắn thẻ “negative”. Ai đó phải tạo các nhãn này bằng tay, đồng nghĩa với chi phí, thời gian và một giới hạn về lượng dữ liệu bạn có thể dùng thực tế.

Với học tự giám sát, mô hình vẫn có mục tiêu để dự đoán, nhưng mục tiêu đến từ chính dữ liệu — một từ bị ẩn hoặc token kế tiếp trong chuỗi. Không cần chú thích của con người để tạo tín hiệu huấn luyện.

Tự giám sát so với không giám sát

Cả hai đều làm việc với dữ liệu không nhãn, nên thường bị nhầm lẫn. Khác biệt nằm ở mục tiêu.

Học không giám sát tìm cấu trúc mà không có mục tiêu dự đoán cụ thể, như phân cụm khách hàng tương tự hoặc giảm số chiều tập dữ liệu. Học tự giám sát xây dựng một tác vụ dự đoán rõ ràng từ dữ liệu, rồi huấn luyện mô hình để giải nó. Mục tiêu dự đoán đó mang lại vòng lặp huấn luyện kiểu có giám sát, dù nhãn là tự sinh.

Tự giám sát so với bán giám sát

Học bán giám sát cố ý trộn một tập nhỏ có nhãn với một tập lớn không nhãn, dùng cả hai cùng lúc để cải thiện mô hình.

Tiền huấn luyện tự giám sát không cần bất kỳ nhãn nào để bắt đầu. Nó có thể tiền huấn luyện hoàn toàn trên dữ liệu không nhãn, rồi tùy chọn chuyển sang tập có nhãn sau đó để tinh chỉnh. Nhãn, nếu xuất hiện, đến sau giai đoạn tiền huấn luyện.

Học tự giám sát so với các phương pháp khác

Các Loại Học Tự Giám Sát

Các phương pháp tự giám sát rơi vào vài nhóm lớn, mỗi nhóm xoay quanh một kiểu tác vụ tiền huấn luyện khác nhau.

Học tương phản (contrastive)

Học tương phản huấn luyện mô hình để phân biệt ví dụ liên quan với ví dụ không liên quan. Nó kéo các biểu diễn của ví dụ tương tự lại gần và đẩy những ví dụ không tương tự ra xa, mà không cần dùng nhãn thủ công để định nghĩa “tương tự”.

Hai phiên bản tăng cường của cùng một ảnh được tính là liên quan. Một ảnh và chú thích khớp với nó cũng được tính là liên quan. SimCLR áp dụng ý tưởng này trong một mô thức duy nhất, so sánh các crop hay biến đổi khác nhau của cùng một ảnh. CLIP áp dụng xuyên mô thức, căn chỉnh ảnh với văn bản mô tả chúng.

Mô hình hóa che mặt (masked)

Mô hình hóa che mặt ẩn một phần đầu vào và huấn luyện mô hình để khôi phục. Đây là cùng ý tưởng điền vào chỗ trống đã nêu, chỉ áp dụng rộng hơn.

Trong ngôn ngữ, đó là masked language modeling, ẩn một vài từ trong câu và dự đoán chúng từ phần còn lại. Trong thị giác, đó là masked image modeling, ẩn các ô ảnh và yêu cầu mô hình tái tạo các pixel bị thiếu hoặc biểu diễn tiềm ẩn của chúng.

Học tự hồi quy (autoregressive)

Học tự hồi quy dự đoán phần tử kế tiếp trong một chuỗi dựa trên tất cả những gì phía trước. Cho phần đầu của câu, mô hình dự đoán từ tiếp theo. Có từ đó, nó dự đoán từ tiếp theo nữa, v.v.

Đây là mục tiêu đằng sau đa số tiền huấn luyện mô hình ngôn ngữ hiện đại. Nó phù hợp tự nhiên với văn bản, vì ngôn ngữ vốn có trình tự trái-sang-phải, và mở rộng tốt tới các tập văn bản khổng lồ mà không cần thiết lập thêm.

Tự chưng cất (self-distillation)

Tự chưng cất huấn luyện mô hình dùng chính dự đoán của nó làm mục tiêu, thay vì một đáp án cố định ẩn trong dữ liệu.

Một thiết lập phổ biến chạy hai phiên bản của cùng mạng — “học sinh” và “giáo viên” — trên các góc nhìn khác nhau của cùng đầu vào. Học sinh học để khớp đầu ra của giáo viên, và giáo viên được cập nhật như một trung bình trượt chậm của học sinh. DINO và BYOL là các cách tiếp cận tiêu biểu. Không cần ví dụ âm (negative) hay đầu vào bị che, vì mô hình tự tạo giám sát từ tính nhất quán qua các góc nhìn.

Học Tự Giám Sát trong Các Mô Hình Ngôn Ngữ Lớn

Tự giám sát chính là toàn bộ giai đoạn tiền huấn luyện cho các mô hình ngôn ngữ lớn. Mọi LLM lớn bạn từng dùng đều học cấu trúc ngôn ngữ, sự kiện và kiểu suy luận mà không có một nhãn viết tay nào, chỉ bằng cách giải các tác vụ tiền huấn luyện tự giám sát trên văn bản thô.

Dự đoán token kế tiếp

Đa số LLM hiện đại tiền huấn luyện với dự đoán token kế tiếp: cho một chuỗi token, dự đoán token tiếp theo. Mô hình đọc mọi thứ trước một vị trí và đoán phần theo sau, tự kiểm tra với token kế tiếp thực tế rồi điều chỉnh.

Nếu bạn chạy điều đó trên hàng nghìn tỷ token thu thập từ website và kho mã, mô hình sẽ xây một mô hình làm việc về ngữ pháp, sự kiện, thậm chí các kiểu lập luận. Đây là cùng mục tiêu tự hồi quy đã nói, chỉ áp dụng ở quy mô lớn.

Mô hình hóa ngôn ngữ che mặt

Trước khi tiền huấn luyện tự hồi quy chiếm ưu thế, các mô hình như BERT dùng một tác vụ tiền huấn luyện khác. Thay vì dự đoán phần tới, BERT ẩn ngẫu nhiên các token trong câu và dự đoán chúng dùng ngữ cảnh hai chiều.

Ngữ cảnh hai chiều đó khiến các mô hình ngôn ngữ che mặt giỏi ở các tác vụ hiểu như phân loại và hỏi đáp, dù chúng không sinh văn bản như các mô hình dự đoán token kế tiếp.

Học từ các kho văn bản lớn

Tất cả điều này không thể hoạt động nếu thiếu dữ liệu khổng lồ. Tiền huấn luyện lấy dữ liệu từ trang web, sách, kho mã và diễn đàn, được lọc và loại trùng thành các kho chứa hàng tỷ hay nghìn tỷ token. Kho càng lớn và đa dạng, biểu diễn thu được càng tổng quát.

Tiền huấn luyện là nơi tự giám sát phát huy, nhưng không phải giai đoạn cuối. Tinh chỉnh trên các ví dụ hướng dẫn do con người viết dạy mô hình làm theo chỉ dẫn, và các phương pháp tối ưu hóa sở thích như RLHF hoặc DPO dùng xếp hạng sở thích của con người để định hình phản hồi. Cả hai giai đoạn sau đều cần dữ liệu có nhãn. Tiền huấn luyện tự giám sát là giai đoạn duy nhất không cần.

Học Tự Giám Sát trong Thị Giác Máy Tính

Thị giác máy tính là lĩnh vực điển hình thiếu dữ liệu gán nhãn. Hộp giới hạn và mặt nạ phân đoạn tốn nhiều thời gian hơn hẳn so với một thẻ đơn trên văn bản, khiến phương pháp tự giám sát đặc biệt giá trị ở đây.

Học tương phản cho ảnh áp dụng cùng ý tưởng kéo-gần, đẩy-xa đã nói, như lấy hai phiên bản tăng cường của cùng bức ảnh (một crop hay lật ảnh) và huấn luyện mô hình nhận ra chúng là liên quan, trong khi coi các ảnh khác trong batch là không liên quan. SimCLR là ví dụ nổi tiếng áp dụng cách tiếp cận này cho ảnh.

Mô hình hóa ảnh che mặt mang ý tưởng điền vào chỗ trống từ ngôn ngữ sang pixel. Ý tưởng là ẩn các ô ảnh và huấn luyện mô hình tái tạo phần nội dung bị thiếu, hoặc dưới dạng pixel thô hoặc biểu diễn đặc trưng đã học. Đây là mục tiêu phía sau MAE (Masked Autoencoders).

Căn chỉnh ảnh-văn bản huấn luyện mô hình để ghép ảnh với chú thích mô tả chúng, kéo các cặp khớp nhau lại gần trong không gian embedding chung và tách các cặp không khớp. CLIP là ví dụ nổi tiếng nhất, và đó là lý do các mô hình huấn luyện theo cách này hỗ trợ phân loại zero-shot — chúng có thể nhận diện các hạng mục chưa từng được huấn luyện rõ ràng, chỉ bằng cách so sánh ảnh với mô tả văn bản.

Học Tự Giám Sát Vượt Ra Ngoài Văn Bản và Ảnh

Tác vụ tiền huấn luyện luôn theo hình dạng dữ liệu, nên ở đâu có nhiều dữ liệu không nhãn, thường bạn có thể thiết kế một tác vụ tự giám sát xoay quanh nó.

Trong giọng nói và âm thanh, các mô hình dự đoán các đoạn âm thanh bị che hoặc đối sánh tương phản các clip khác nhau giống như mô hình thị giác tương phản các crop ảnh, học các biểu diễn hữu ích cho các tác vụ như nhận dạng giọng nói mà không cần dữ liệu phiên âm ngay từ đầu.

Trong video, tác vụ tiền huấn luyện có thể liên quan đến dự đoán các khung hình tương lai hoặc ghép các đoạn clip cùng nguồn video, giúp mô hình có cảm nhận chuyển động và cấu trúc thời gian mà một ảnh tĩnh không có.

Các mô hình đa phương thức kết hợp hai hay nhiều ý tưởng này cùng lúc, căn chỉnh văn bản, hình ảnh, âm thanh và video trong một không gian biểu diễn chung, tương tự cách CLIP căn chỉnh ảnh và văn bản, chỉ là mở rộng sang nhiều loại dữ liệu hơn.

Tự giám sát thậm chí xuất hiện trong dữ liệu khoa học và cảm biến — như chuỗi gen hoặc chuỗi thời gian cảm biến — nơi việc che hoặc dự đoán các phần của tín hiệu cho phép mô hình học cấu trúc từ các phép đo vốn không bao giờ được “gán nhãn”.

Cách Dùng Mô Hình Tự Giám Sát ở Hạ Nguồn

Tiền huấn luyện tạo ra một mô hình giỏi giải tác vụ tiền huấn luyện. Không ai thực sự quan tâm chuyện đó; điều quan trọng là bạn làm gì tiếp theo với nó.

Tinh chỉnh

Tinh chỉnh lấy mô hình đã tiền huấn luyện và tiếp tục huấn luyện toàn bộ trọng số của nó, lần này trên dữ liệu có nhãn cho tác vụ bạn thực sự muốn. Vì mô hình đã hiểu cấu trúc miền, tinh chỉnh thường cần ít dữ liệu có nhãn hơn nhiều so với huấn luyện từ đầu.

Thăm dò tuyến tính (linear probing)

Thăm dò tuyến tính đóng băng hoàn toàn mô hình đã tiền huấn luyện và chỉ huấn luyện một tầng tuyến tính đơn trên đầu ra của nó. Nếu một bộ phân loại tuyến tính đơn giản có thể tách lớp bằng các đặc trưng đóng băng đó, thì các biểu diễn tiền huấn luyện đã nắm bắt được cấu trúc thật. Điều này khiến thăm dò tuyến tính là cách phổ biến để kiểm tra chất lượng biểu diễn độc lập, tách khỏi việc mô hình đầy đủ tinh chỉnh tốt ra sao.

Trích xuất đặc trưng

Trích xuất đặc trưng hoạt động giống thăm dò tuyến tính, nhưng không có phần tuyến tính. Bạn lấy các biểu diễn đóng băng và đưa chúng vào bất kỳ thuật toán hạ nguồn nào bạn muốn. Nhiệm vụ của mô hình tiền huấn luyện chỉ là tạo embedding tốt, mọi thứ phía sau là tùy bạn.

Sử dụng zero-shot và few-shot

Một số biểu diễn đủ tốt để dùng mà không cần huấn luyện hạ nguồn nào cả. CLIP làm điều này bằng cách embedding một ảnh và một tập nhãn văn bản ứng viên vào cùng không gian, rồi chọn nhãn gần ảnh nhất. Học few-shot lấy cùng ý tưởng và thêm một số ít ví dụ có nhãn, thường là đủ vì các biểu diễn đã mang phần lớn cấu trúc cần thiết.

Với học tự giám sát, bạn có các biểu diễn tái sử dụng được. Bạn tiền huấn luyện một lần, rồi tinh chỉnh, thăm dò, trích xuất đặc trưng, hoặc truy vấn cùng lõi đó cho nhiều tác vụ hạ nguồn như cần. Phần tốn kém nhất diễn ra một lần trong tiền huấn luyện, không phải lặp lại cho mỗi tác vụ.

Học Tự Giám Sát bằng Python

Dưới đây là một ví dụ gọn nhẹ dùng mô hình đã tiền huấn luyện, không phải dựng hệ tự giám sát từ đầu — chỉ để bạn cảm nhận quy trình làm việc.

all-MiniLM-L6-v2, có sẵn qua gói sentence-transformers, đã được tiền huấn luyện với mục tiêu masked language modeling và sau đó huấn luyện thêm với mục tiêu tương phản trên các cặp câu. Phần tự giám sát đã làm sẵn cho bạn — bạn chỉ việc đưa các biểu diễn thu được vào công việc.

Trước hết, đảm bảo bạn cài các phụ thuộc:

pip install sentence-transformers scikit-learn

Giờ đến phần mã:

from sentence_transformers import SentenceTransformer
from sklearn.linear_model import LogisticRegression

# Create unlabeled data
support_tickets = [
    "My order arrived damaged and I need a replacement.",
    "The app crashes every time I try to upload a photo.",
    "I love how fast the checkout process is now.",
    "Can you tell me when my refund will be processed?",
    "The new dashboard layout is so much easier to use.",
    "I can't log in, it keeps saying my password is wrong.",
]

# Load a model pretrained with a self-supervised objective
model = SentenceTransformer("all-MiniLM-L6-v2")

# Obtain learned representations
embeddings = model.encode(support_tickets)
print(embeddings.shape)

Kích thước embedding

Phương thức .encode() chạy từng ticket qua mô hình đã tiền huấn luyện và trả về một vector dày đặc biểu diễn ý nghĩa của nó. Từ đó, một tác vụ hạ nguồn chỉ cần vài ví dụ có nhãn, vì embedding đã mang phần lớn cấu trúc:

# Use the representations for a downstream task, 1 = complaint, 0 = positive feedback
labels = [1, 1, 0, 1, 0, 1]

clf = LogisticRegression()
clf.fit(embeddings, labels)

new_ticket = ["The delivery was late and no one responded to my email."]
new_embedding = model.encode(new_ticket)
print(clf.predict(new_embedding))

Dự đoán hồi quy logistic

Sáu ticket có nhãn và một bộ phân loại LogisticRegression là đủ ở đây vì các biểu diễn, chứ không phải bộ phân loại, đang làm phần lớn công việc.

Ưu Điểm và Hạn Chế của Học Tự Giám Sát

Giờ tôi sẽ điểm qua ưu và nhược điểm của học tự giám sát.

Ưu điểm

1. Giảm phụ thuộc vào dữ liệu gán nhãn thủ công: Tác vụ tiền huấn luyện tự sinh mục tiêu, nên ngân sách gán nhãn không còn là giới hạn cứng cho lượng dữ liệu bạn có thể huấn luyện
2. Khai thác được các tập dữ liệu rất lớn: Các bộ sưu tập văn bản và âm thanh ở quy mô web trở nên hữu dụng cho huấn luyện, không chỉ các tập con có nhãn nhỏ mà đội ngũ có thể chú thích
3. Tạo ra các biểu diễn có thể chuyển giao: Một mô hình tiền huấn luyện có thể hỗ trợ tinh chỉnh, thăm dò tuyến tính, trích xuất đặc trưng, và dùng zero-shot cho vài tác vụ hạ nguồn khác nhau
4. Cho phép tiền huấn luyện ở quy mô lớn: Đây là điều khiến các mô hình nền tảng ngày nay khả thi ngay từ đầu.

Hạn chế

1. Yêu cầu tính toán đáng kể: Tiền huấn luyện trên dữ liệu quy mô internet đòi hỏi phần cứng và thời gian lớn, vượt ngoài tầm với của hầu hết đội ngũ riêng lẻ
2. Thiết kế tác vụ tiền huấn luyện rất quan trọng: Một tác vụ tiền huấn luyện chọn sai sẽ tạo biểu diễn không chuyển giao tốt, dù bạn đưa vào bao nhiêu dữ liệu
3. Biểu diễn học được có thể kế thừa thiên lệch: Bất kỳ mẫu, khoảng trống, hay lệch nào trong dữ liệu huấn luyện cũng xuất hiện trong biểu diễn, vì không có gì lọc chúng ra trong tiền huấn luyện
4. Hiệu năng tiền huấn luyện mạnh không đảm bảo thành công hạ nguồn: Một mô hình giải tốt tác vụ tiền huấn luyện vẫn có thể kém ở một tác vụ hạ nguồn cụ thể mà nó chưa từng được tối ưu trực tiếp

Vì Sao Học Tự Giám Sát Quan Trọng với AI Hiện Đại

Học tự giám sát là lý do các mô hình nền tảng khả thi.

Tiền huấn luyện ở quy mô mô hình hiện đại đòi hỏi sẽ nằm ngoài tầm với nếu phụ thuộc vào nhãn thủ công. Không ai gán nhãn bằng tay một nghìn tỷ token văn bản hay một tỷ ảnh. Tự giám sát giúp tiền huấn luyện trên các bộ sưu tập quy mô internet trở nên khả thi, rồi tái sử dụng một mô hình duy nhất đó cho nhiều tác vụ hạ nguồn thay vì huấn luyện một mô hình riêng cho từng tác vụ.

Sự chuyển dịch từ nhiều mô hình theo tác vụ sang một mô hình tiền huấn luyện đa dụng thích nghi cho nhiều mục đích là hướng đi của phần lớn AI hiện đại. Học tự giám sát là cơ chế làm nên sự chuyển dịch ấy.

Kết Luận

Học tự giám sát tạo ra sự giám sát của chính nó từ cấu trúc của dữ liệu không nhãn thay vì các nhãn do con người viết. Mẫu hình điển hình là ẩn một từ hoặc dự đoán token kế tiếp. Dữ liệu tự trả lời câu hỏi của chính nó, và mô hình học bằng cách cố gắng trả lời đúng.

Các cách tiếp cận chính đều xây trên cùng ý tưởng theo những cách khác nhau. Học tương phản kéo các ví dụ liên quan lại gần và đẩy các ví dụ không liên quan ra xa. Mô hình hóa che mặt ẩn một phần đầu vào và huấn luyện mô hình để tái tạo nó. Học tự hồi quy dự đoán phần tử kế tiếp trong chuỗi dựa trên mọi thứ trước đó. Cơ chế khác nhau, nhưng nguyên lý cơ bản là để cấu trúc của chính dữ liệu cung cấp tín hiệu huấn luyện thì giống nhau.

Nguyên lý đó là lý do phần lớn các mô hình ngôn ngữ, thị giác và đa phương thức mà bạn dùng ngày nay dựa vào tự giám sát. Dự đoán token kế tiếp tiền huấn luyện LLM hiện nay, các mục tiêu tương phản và che mặt tiền huấn luyện mô hình thị giác, và căn chỉnh ảnh-văn bản tiền huấn luyện các mô hình đa phương thức gắn kết hai bên.

Nếu bạn muốn học cách tạo một LLM từ đầu, hãy đăng ký lộ trình Developing Large Language Models để xem PyTorch, Hugging Face và các kỹ thuật NLP mới nhất trong thực tiễn.