Human-in-the-Loop: Một cách tiếp cận để giám sát AI

Human-in-the-Loop (HITL) là một trong những thuật ngữ bị dùng quá nhiều đến mức dần trở nên vô nghĩa. Sau hơn một thập kỷ làm việc với các hệ thống AI, tôi thấy nó bị giản lược thành một ô đánh dấu ghi rằng \"đã có con người xem xét\" trước khi đưa ra quyết định tự động. 

Vậy \"có con người trong vòng lặp\" thực sự nghĩa là gì? Cốt lõi của HITL là con người tham gia chủ động vào quá trình phát triển, huấn luyện, đánh giá và vận hành các mô hình AI. Điều này ngày càng trở nên quan trọng khi các hệ thống AI mang tính tác vụ cao hơn. 

Sự giám sát của con người mang đến lớp hiểu biết theo ngữ cảnh, phán đoán đạo đức và khả năng thích ứng — những yếu tố then chốt để vận hành AI hiệu quả. 

Trong bài viết này, chúng ta sẽ vượt qua các định nghĩa trừu tượng về HITL và xem xét nó như một kỷ luật thiết kế hệ thống. 

Human-in-the-Loop (HITL) là gì?

HITL là việc tích hợp có chủ đích đầu vào của con người xuyên suốt vòng đời của các hệ thống học máy, bao gồm trước, trong và sau khi mô hình chạy. Đây là một mẫu thiết kế nhúng phán đoán của con người để định hướng, xác thực và cải thiện hành vi của hệ thống. 

Dĩ nhiên, cách con người tham gia sẽ khác nhau tùy theo giai đoạn trong vòng đời ML.

Gán nhãn và chọn lọc dữ liệu

Ở giai đoạn dữ liệu, con người chú thích đầu vào thô để tạo ra các bộ dữ liệu gán nhãn mà mô hình học từ đó. Đây là khâu nhiều đội ngũ đầu tư chưa đủ. Gán nhãn sai ở bước này ảnh hưởng đến mọi thứ phía sau, và tệ nhất là lỗi không lộ rõ ngay mà chỉ hiện ra thành những điểm mù có hệ thống sau vài tháng.

Huấn luyện mô hình

Phản hồi của con người là \"sự thật vàng\" và là nguyên lý cốt lõi đằng sau các quá trình học trong hệ thống thích nghi.

Đánh giá và xác thực

Con người đánh giá đầu ra về tính đúng đắn, sắc thái và mức độ phù hợp với thế giới thực — phần này thì hiển nhiên. Nhưng điều thường bị bỏ qua là đánh giá có nhiều chiều, không chỉ giới hạn ở \“độ chính xác\” tiêu chuẩn hay một điểm benchmark nào đó. Hữu ích hơn là đưa đầu ra của mô hình cho chính những người sẽ dùng hệ thống và ghi nhận mối bận tâm của họ.

Triển khai và giám sát

Khi đến giai đoạn triển khai, hầu hết các đội đều có con người để xử lý ngoại lệ và dự liệu rủi ro phát sinh. Ví dụ, hệ thống phát hiện gian lận sẽ gắn cờ giao dịch đáng ngờ, nhưng nhà phân tích con người đưa ra quyết định cuối cùng về việc chặn tài khoản hay không.

Trước khi đi sâu vào HITL, cũng đáng tách bạch nó khỏi hai thuật ngữ liên quan thường bị nhập nhằng:

• Human-on-the-Loop (HOTL) nghĩa là con người theo dõi nhưng chỉ can thiệp khi có dấu hiệu bất thường. Hãy nghĩ về HOTL như một hệ thống kiểm duyệt nội dung tự động gỡ nội dung bị gắn cờ nhưng chuyển các trường hợp biên cho con người xem xét.
• Human-out-of-the-Loop (HOOTL) là tự động hoàn toàn. Thuật toán giao dịch tần suất cao thực hiện hàng nghìn lệnh mỗi giây là ví dụ nơi con người đứng ngoài vòng lặp.

Hầu hết triển khai thực tế là sự pha trộn của các cách này. Hệ thống chẩn đoán hình ảnh y khoa có thể tự động cho qua các ảnh quét thường lệ (Human-out-of-the-Loop) trong khi chuyển những trường hợp bất thường cho bác sĩ X quang (Human-in-the-Loop). Hiệu chỉnh đúng — tức là biết đặt con người ở đâu trong quy trình — là một trong những quyết định thiết kế quan trọng nhất khi kiến trúc bất kỳ hệ thống AI nào.

Đặc điểm then chốt của hệ thống HITL là coi sự tham gia của con người là bộ phận không thể thiếu để vận hành. Con người là người tham gia chủ động vào quá trình ra quyết định hoặc học của hệ thống, đảm bảo vòng lặp không khép lại nếu thiếu đầu vào của họ. Hệ thống được thiết kế với kỳ vọng rằng đầu vào của con người sẽ liên tục định hình hành vi của nó.

HITL vận hành như thế nào?

Có hai khía cạnh trong cách HITL vận hành trên thực tế: cách con người tương tác với hệ thống và triển khai kỹ thuật hỗ trợ các tương tác đó.

Phương thức tương tác của con người

Một câu hỏi thường gặp khi nhúng con người vào vòng lặp là tích hợp con người như thế nào, khi nào và ở đâu. Một hệ thống HITL hiệu quả đảm bảo đây không phải là những can thiệp tùy hứng, mà là các điểm chạm được thiết kế kỹ lưỡng.

Gán nhãn dữ liệu

Đây là dạng HITL phổ biến và nền tảng nhất, nơi con người chú thích dữ liệu thô — gồm hình ảnh, văn bản, âm thanh — để tạo bộ dữ liệu gán nhãn.

Khi bác sĩ X quang chú thích ảnh X-quang, hoặc người làm theo nhóm đám đông gán nhãn ảnh cho phát hiện vật thể, họ đang định nghĩa thế nào là \"đúng\" với mô hình. Chất lượng nhãn này quyết định lớn cách mô hình học cách tri nhận môi trường, đồng thời quyết định hiệu năng của mô hình. Chỉ đưa cho người gán nhãn một bảng hướng dẫn có thể dẫn đến bộ dữ liệu thiên lệch về phía những người bạn thuê, chỉ dẫn bạn viết và các trường hợp biên bạn đã lường trước.

Cách tốt hơn là lặp đi lặp lại: gán nhãn một lô, huấn luyện mô hình, đánh giá mô hình thất bại ở đâu để chỉnh sửa hướng dẫn, rồi gán nhãn lại. Dễ hiểu là quá trình lặp có thể khiến mọi thứ chậm hơn, nhưng đó cũng là cách duy nhất để xây dựng thứ đáng tin cậy.

Đánh giá mô hình

Con người đánh giá các hệ thống AI và đưa phản hồi định tính khi kết quả mô hình lệch khỏi mong đợi. Họ thường là chuyên gia lĩnh vực, mang theo tri thức miền.

Tôi thấy việc đưa kết quả mô hình cho người dùng cuối xem là cách tốt nhất để tìm khoảng trống. Trong một sáng kiến AI gần đây, tôi xác thực kết quả của trợ lý thông minh dựa trên độ hữu ích, độ chính xác và giọng điệu thông qua chính đội ngũ sẽ dùng hệ thống. Kiểu đánh giá này quan trọng khi tính đúng đắn là chủ quan hoặc phụ thuộc ngữ cảnh.

Học chủ động

Thay vì gán nhãn ngẫu nhiên, học chủ động đảo ngược mối quan hệ. Mô hình xác định các ví dụ chưa gán nhãn mà nó thấy không chắc chắn nhất và yêu cầu con người gán nhãn những ví dụ đó. Trực giác ở đây là mô hình học được nhiều hơn từ một ví dụ nó đang bối rối so với hàng trăm ví dụ mà nó đã nắm tương đối đúng. Tôi đã thấy cách này giảm mạnh chi phí chú thích trên thực tế. 

Học tăng cường với phản hồi của con người (RLHF)

RLHF là kỹ thuật căn chỉnh các mô hình sinh như GPT-5.5 và Claude Opus 4.8 theo sở thích của con người. Nếu bạn từng tương tác với bất kỳ mô hình ngôn ngữ lớn nào vài năm qua, bạn đã trải nghiệm hệ quả quy mô của HITL. Quy trình gồm mô hình nền tạo nhiều phản hồi cho một nhắc lệnh và cần phản hồi của con người về đầu ra để hình thành mô hình thưởng. Mô hình nền sau đó được tinh chỉnh bằng học tăng cường để tối đa hóa điểm số từ mô hình thưởng.

Triển khai kỹ thuật

HITL thường được nghĩ như một \"bước của con người\" chèn vào pipeline hiện hữu. Trong các hệ thống mang tính tác vụ, nơi mô hình thực hiện chuỗi hành động thay vì tạo một đầu ra duy nhất, việc này phức tạp hơn. Cần có khả năng tạm dừng thực thi đúng lúc và thu thập đủ ngữ cảnh để con người đưa ra quyết định có cơ sở. 

Các công cụ workflow như LangGraph hỗ trợ chức năng ngắt quãng có thể kích hoạt khi vượt ngưỡng bất định hoặc vi phạm chính sách. Khó nhất là quyết định đặt các điểm kiểm soát ở đâu: quá ít sẽ biến hệ thống thành hộp đen, quá nhiều sẽ làm quá tải người đánh giá khi họ phải xem quá nhiều quyết định.

Tầm quan trọng của HITL trong học máy

HITL lấp khoảng trống ở nơi mô hình chạm trần dữ liệu huấn luyện của mình, và giúp hệ thống thích nghi khi thế giới thực thay đổi.

Lấp khoảng trống

Các mô hình học máy rất giỏi tìm mẫu trong dữ liệu chúng từng thấy. Vấn đề nảy sinh khi thực tế xuất hiện dưới dạng đầu vào thiếu, ngữ cảnh mơ hồ, hoặc tình huống đòi hỏi phán đoán mà không bộ huấn luyện nào từng bao quát đầy đủ.

Đây là nơi hệ thống HITL có thể xử lý bất định, bổ sung sắc thái, dựa vào tín hiệu ngữ cảnh và lập luận — khi kết hợp với điểm mạnh của học máy — tạo thành một tổ hợp thắng lợi.

Khả năng thích ứng

Nói về môi trường thực, tính năng động là bẩm sinh. Sở thích người dùng đổi thay, ngôn ngữ mọi người dùng trên mạng xã hội biến chuyển, và chiêu trò gian lận thay đổi để né hệ thống phát hiện.

Một mô hình triển khai tháng Một có thể âm thầm suy giảm đến tháng Bảy khi thế giới nó vận hành trôi dạt khỏi thế giới nó được huấn luyện. Con người trong vòng lặp có thể nhận thấy đầu ra bị trôi và kích hoạt huấn luyện lại để thích nghi, cập nhật và tinh chỉnh hiểu biết của mô hình.

Lợi ích của Human-in-the-Loop (HITL)

Ưu điểm của HITL thể hiện qua nhiều mặt, từ chất lượng đầu ra đến niềm tin của người dùng.

Nâng cao độ chính xác và độ tin cậy

Tác động bậc nhất của các hệ thống HITL là chính xác và đáng tin cậy hơn, đặc biệt với các tác vụ đòi hỏi ngữ cảnh và chuyên môn lĩnh vực. Giám sát của con người bắt lỗi mà hệ thống tự động có thể bỏ qua, nhất là ở các trường hợp biên.

Giảm thiên lệch

Mỗi bộ dữ liệu phản ánh hoàn cảnh lúc nó được tạo ra, đồng nghĩa mọi mô hình đều có nguy cơ mã hóa và khuếch đại thiên lệch sẵn có. Khi người đánh giá được nhúng vào các giai đoạn gán nhãn, huấn luyện và đánh giá, sẽ có cơ hội nhận diện và sửa các thiên lệch này trước khi chúng lan xuống các bước sau. Tuy nhiên, đây không phải biện pháp một lần là xong. Thiên lệch có thể quay lại qua dữ liệu mới, khiến HITL liên tục trở thành điều bắt buộc.

Tính minh bạch và khả năng giải thích

Một mối lo dai dẳng của hệ thống học máy là quá trình ra quyết định mờ đục. Quy trình HITL, về bản chất, tạo ra tài liệu dưới dạng nhãn, nhật ký phản hồi và quyết định đánh giá. Dấu vết kiểm toán này giúp giải thích hành vi mô hình và truy vết vấn đề về nguồn gốc, điều vô cùng quan trọng trong các ngành được quản lý chặt.

Cải thiện niềm tin người dùng

Người dùng có xu hướng tin tưởng hơn các hệ thống có con người tham gia giám sát, dù là phê duyệt khoản vay, diễn giải kết quả chẩn đoán hay xác định một nội dung có vi phạm tiêu chuẩn cộng đồng. Sự giám sát của con người là tín hiệu tạo niềm tin, ngay cả khi người dùng không trực tiếp tương tác với cơ chế giám sát.

Cải tiến liên tục

Không như phần mềm với quy tắc cố định, các hệ thống HITL có thể học và cải thiện theo thời gian. Mỗi vòng phản hồi tạo dữ liệu giúp vòng kế tiếp năng lực hơn. Sự cải thiện cộng dồn này là một trong những đặc tính bổ ích nhất của các hệ thống HITL được thiết kế tốt.

Ví dụ về HITL

Một vài lĩnh vực minh họa đặc biệt rõ mẫu hình này.

Phân loại hình ảnh

Các mô hình AI phát hiện bất thường trong ảnh X-quang ngực, MRI và mẫu bệnh học hầu như luôn có bác sĩ X quang hoặc bác sĩ bệnh học xem lại các trường hợp do AI gắn cờ. Sự kết hợp trí tuệ người - máy này chính xác hơn từng bên hoạt động riêng lẻ. Lý do là chi phí của một chẩn đoán bỏ sót đủ lớn để biện minh cho chi phí phát sinh, và con người mang đến chuyên môn thực sự mà mô hình không thể sao chép.

Xử lý ngôn ngữ tự nhiên

Những sắc thái ngôn ngữ tinh tế trong các ứng dụng như dịch máy, phân tích cảm xúc và lọc thư rác thường đòi hỏi cách hiểu của con người để phát hiện mỉa mai, thành ngữ văn hóa và nghĩa phụ thuộc ngữ cảnh — những điều làm khó cách tiếp cận thuần thuật toán.

Tạo và duyệt nội dung

Các nền tảng xử lý nội dung do người dùng tạo ở quy mô lớn dựa vào AI để phân loại khối lượng lớn và gắn cờ vi phạm chính sách tiềm ẩn cho con người duyệt. Đây là ví dụ kinh điển về hợp tác người - AI: AI xử lý khối lượng, con người xử lý các trường hợp biên đòi hỏi ngữ cảnh văn hóa tinh tế và hiểu biết về mỉa mai.

Ứng dụng chuyên biệt

Quyết định tín dụng, phát hiện gian lận và hệ thống giao dịch thuật toán đều vận hành dưới yêu cầu pháp lý đòi hỏi trách nhiệm của con người. Cơ chế HITL đảm bảo các quyết định hệ trọng có thể được xem xét, giải thích và tranh luận, đáp ứng cả tiêu chuẩn pháp lý lẫn nghĩa vụ đạo đức.

Nguyên tắc thiết kế cho hệ thống HITL

Khác biệt giữa HITL hiệu quả và HITL chỉ trông có vẻ ổn gói gọn trong vài nguyên tắc.

Tôn trọng quyền chủ động của con người

Những hệ thống HITL hiệu quả nhất coi đầu vào của con người là thực sự giá trị, chứ không chỉ là giải pháp tạm thời hay phương án dự phòng. Điều này đòi hỏi thiết kế nhiệm vụ tận dụng năng lực độc đáo của con người về phán đoán theo ngữ cảnh, lý luận đạo đức và đánh giá sáng tạo, thay vì dùng con người để làm công việc mà tự động hóa đã xử lý ổn thỏa.

Độ chi tiết của quyền kiểm soát

HITL hiệu quả hiếm khi có nghĩa là sự tham gia của con người kiểu tất cả hoặc không gì cả. Hệ thống tốt nhất triển khai các điểm kiểm soát mịn, huy động con người cho các trường hợp biên và quyết định rủi ro cao, trong khi để mô hình tự vận hành với tình huống thường lệ, độ tin cậy cao. Cách tiếp cận được hiệu chỉnh này tối đa hóa giá trị của sự chú ý con người.

Giao diện trực quan

Chất lượng đầu ra của HITL bị ràng buộc bởi chất lượng giao diện mà con người dùng để cung cấp đầu vào. Công cụ chú thích, bảng điều khiển đánh giá và giao diện phản hồi nên tối thiểu hóa tải nhận thức, hiển thị ngữ cảnh liên quan và giúp người đánh giá đưa ra phản hồi chính xác, có thể hành động. Một giao diện kém, cồng kềnh sẽ đưa \"nhiễu\" riêng của nó vào tín hiệu huấn luyện.

Cân bằng tự động hóa và tương tác

Mọi triển khai HITL đều cần cân bằng giữa tự động hóa và tương tác của con người. Quá ít sự tham gia của con người sẽ khiến bạn đánh mất lợi ích của giám sát, trong khi quá nhiều có thể làm chậm hệ thống, xóa nhòa lợi ích hiệu suất của tự động hóa. Tìm điểm cân bằng đúng phụ thuộc ngữ cảnh, cần thử nghiệm thực nghiệm, hiệu chỉnh liên tục và đánh giá trung thực xem phán đoán của con người thực sự tạo giá trị ở đâu.

Hạn chế của HITL

Dù rất giá trị, HITL đi kèm những đánh đổi thực sự.

Lỗi của con người

Sự tham gia của con người không loại bỏ hoàn toàn lỗi. Hệ thống HITL cũng có giới hạn, và chỉ tốt ngang những người tham gia. Mệt mỏi khi chú thích, tiêu chuẩn không nhất quán, thiên lệch nhận thức và lỗ hổng kiến thức đều ảnh hưởng đến chất lượng phản hồi. Nhưng có thể giảm thiểu qua các cách như chấm điểm độ đồng thuận giữa người gán nhãn, các buổi đào tạo và hiệu chỉnh, cũng như duyệt trùng lặp cho các nhãn rủi ro cao.

Khả năng mở rộng

Một hạn chế cốt lõi của con người trong vòng lặp là khả năng làm việc ở quy mô. Đúng vậy, sự chú ý của con người là nút thắt cổ chai căn bản. Khi bộ dữ liệu tăng lên hàng tỷ ví dụ và mô hình vận hành ở quy mô internet, tỷ lệ người đánh giá trên mỗi quyết định trở nên cực kỳ nhỏ. Dù học chủ động, lấy mẫu theo mức bất định và định tuyến thông minh giúp tập trung nỗ lực vào nơi quan trọng nhất, việc mở rộng HITL vẫn là một bài toán trung tâm chưa được giải quyết.

Chi phí

Xét về động lực chi phí, chú thích và đánh giá của con người rất tốn kém, nhất là ở lĩnh vực đòi hỏi chuyên môn. Chú thích ảnh y khoa bởi bác sĩ X quang, rà soát tài liệu pháp lý bởi luật sư, hay đánh giá mã bởi kỹ sư cao cấp đều có chi phí theo giờ có thể khiến một số ứng dụng HITL khó khả thi về kinh tế ở quy mô lớn.

Độ phức tạp tích hợp

Nhúng cơ chế HITL vào pipeline ML hiện có vừa là bài toán quy trình nội bộ — định nghĩa đường dây thăng cấp và cấu trúc trách nhiệm — vừa là bài toán hạ tầng kỹ thuật. Trong khi đội kỹ thuật cần xây dựng hệ thống định tuyến, gắn cờ và thu thập phản hồi, tôi đã làm việc với các đội Mops (vận hành thủ công) cũng cần được chú ý tương đương về nhân sự và quản lý hàng đợi đánh giá.

Khi nào HITL thất bại?

HITL sẽ không giải quyết mọi nỗi lo \"hệ thống AI hoạt động không như kỳ vọng\" của bạn. Có những kịch bản rõ ràng nơi nó không hiệu quả.

Hệ thống tần suất cao

Trong môi trường đòi hỏi phản hồi tính bằng mili-giây, như ổn định một chiếc drone, sự can thiệp của con người quá chậm và không thực tế. Cố nhồi HITL vào các bối cảnh này tạo ra độ trễ có thể làm suy giảm chức năng hệ thống.

Mệt mỏi và vấn đề nhất quán

Các phiên chú thích hay duyệt kéo dài làm giảm hiệu suất con người. Nghiên cứu về công việc kiểm duyệt nội dung, đặc biệt, cho thấy chi phí tâm lý và nhận thức cao đối với người lao động khi xem lượng lớn nội dung độc hại. Người đánh giá mệt mỏi tạo ra nhãn không nhất quán, có thể làm suy giảm hiệu năng mô hình.

Quá lệ thuộc vào tự động hóa

Và rồi có thiên lệch tự động hóa — xu hướng con người tin hệ thống quá mức đến nỗi ngừng đánh giá phê phán đầu ra. Nếu người đánh giá của bạn phê duyệt 98% những gì mô hình tạo ra, bạn đã trả tiền cho giám sát mà không nhận được giám sát. Điều này thường thấy khi người đánh giá chấm một số giọng nói là chuyên nghiệp hơn hoặc kém hơn, hoặc liên tục áp dụng giả định văn hóa không khái quát được. 

Hướng đi tương lai

Tương lai của HITL nằm ở tích hợp tốt hơn, không phải can thiệp nhiều hơn.

Công cụ nâng cao

Các nền tảng mới đang giúp việc điều phối phản hồi của con người và theo dõi quyết định trở nên dễ dàng hơn.

Khung đạo đức

Khi hệ thống AI được triển khai trong các lĩnh vực hệ trọng, áp lực quy định để duy trì giám sát có ý nghĩa của con người ngày càng tăng. Chẳng hạn, Đạo luật AI của EU đặt ra yêu cầu về giám sát của con người trong các ứng dụng AI rủi ro cao. HITL đang trở thành yêu cầu tuân thủ, và các khung triển khai có trách nhiệm đang được phát triển tích cực.

Tích hợp AI sinh

Các mô hình AI sinh có thể tạo đầu ra ở quy mô lớn đòi hỏi đánh giá của con người ở phạm vi vượt quá năng lực chú thích truyền thống.

Diễn biến thú vị hơn là duyệt có sự hỗ trợ của AI, dùng mô hình để giúp con người xử lý khối lượng công việc vốn vượt quá khả năng của họ. Đây là một vòng lặp lạ: dùng AI để biến việc giám sát AI bởi con người trở nên khả thi. Nhưng có lẽ đó là hướng đi của lĩnh vực, và bài toán mở là làm sao đạt được điều này mà không làm suy giảm chất lượng giám sát.

Kết luận

Lời hứa về hệ thống tự trị hoàn toàn nghe thật hào hứng vì mang lại hiệu quả, giảm chi phí và mở rộng quy mô. Nhưng quy mô đó cũng có nghĩa là thất bại, nếu xảy ra, sẽ biểu hiện ở chính quy mô đó. 

Human-in-the-Loop là một mô hình để xây dựng hệ thống AI tốt hơn bằng cách kết hợp thế mạnh của máy và người nhằm mang lại các hệ thống chính xác hơn, thích ứng hơn và đáng tin cậy hơn.

Mục tiêu là đặt sự tham gia đúng người, vào đúng thời điểm, với đúng giao diện, bởi những người không kiệt sức vì cảnh báo quá mức và cũng không phê duyệt tự động. Hiệu chỉnh đúng điều này khó hơn nghe tưởng, nhưng cũng là một trong những bài toán kỹ thuật quan trọng nhất của AI hiện nay.