Reinforcement Learning from Human Feedback là gì?

Việc các công cụ như ChatGPT và những công cụ AI sinh nội dung khác được áp dụng rộng rãi đã dẫn đến một cuộc tranh luận lớn về lợi ích và thách thức của AI, cũng như cách nó sẽ tái định hình xã hội. Để đánh giá tốt hơn những câu hỏi này, điều quan trọng là hiểu cách các Mô hình Ngôn ngữ Lớn (LLM) đứng sau các công cụ AI thế hệ mới vận hành.

Bài viết này giới thiệu về Reinforcement Learning from Human Feedback (RLHF), một kỹ thuật sáng tạo kết hợp học tăng cường và sự hướng dẫn của con người để giúp các LLM như ChatGPT mang lại kết quả ấn tượng. Chúng tôi sẽ đề cập RLHF là gì, lợi ích, hạn chế, và mức độ liên quan của nó trong tương lai phát triển của lĩnh vực AI sinh nội dung đang thay đổi nhanh chóng. Hãy tiếp tục đọc!

Tìm hiểu RLHF

Để hiểu vai trò của RLHF, trước hết chúng ta cần nói về quy trình huấn luyện của LLM.

Công nghệ nền tảng của các LLM phổ biến nhất là transformer. Kể từ khi được các nhà nghiên cứu Google phát triển, transformer đã trở thành mô hình tối tân trong lĩnh vực AI và học sâu, vì chúng cung cấp phương pháp hiệu quả hơn để xử lý dữ liệu tuần tự, như các từ trong một câu.

Để có phần giới thiệu chi tiết hơn về LLM và transformer, hãy xem khóa học Khái niệm về Mô hình Ngôn ngữ Lớn (LLM) của chúng tôi.

Transformer được tiền huấn luyện bằng một kho văn bản khổng lồ thu thập từ Internet thông qua học tự giám sát, một kiểu huấn luyện đổi mới không cần con người gán nhãn dữ liệu. Các transformer đã tiền huấn luyện có khả năng giải quyết nhiều bài toán xử lý ngôn ngữ tự nhiên (NLP).

Tuy nhiên, để một công cụ AI như ChatGPT đưa ra câu trả lời hấp dẫn, chính xác và giống con người, chỉ dùng một LLM đã tiền huấn luyện là chưa đủ. Suy cho cùng, giao tiếp của con người là một quá trình sáng tạo và chủ quan. Điều làm cho một văn bản “hay” chịu ảnh hưởng sâu sắc bởi giá trị và sở thích của con người, rất khó đo lường hay nắm bắt bằng một lời giải thuật toán rõ ràng.

Ý tưởng đằng sau RLHF là sử dụng phản hồi của con người để đo lường và cải thiện hiệu suất của mô hình. Điểm khác biệt của RLHF so với các kỹ thuật học tăng cường khác là việc sử dụng sự tham gia của con người để tối ưu hóa mô hình thay vì một hàm được xác định trước về mặt thống kê nhằm tối đa hóa phần thưởng của tác tử.

Chiến lược này cho phép trải nghiệm học tập linh hoạt và cá nhân hóa hơn, khiến LLM phù hợp với mọi loại ứng dụng theo ngành, như hỗ trợ viết mã, nghiên cứu pháp lý, viết luận và sáng tác thơ.

RLHF hoạt động như thế nào?

RLHF là một quy trình đầy thách thức, bao gồm huấn luyện nhiều mô hình và các giai đoạn triển khai khác nhau. Về bản chất, có thể chia thành ba bước.

1. Chọn một mô hình đã tiền huấn luyện

Giai đoạn đầu tiên là chọn một LLM đã tiền huấn luyện để sau đó tinh chỉnh bằng RLHF.

Bạn cũng có thể tiền huấn luyện LLM từ đầu, nhưng đây là quá trình tốn kém và mất thời gian. Vì vậy, chúng tôi khuyến nghị chọn một trong nhiều LLM đã tiền huấn luyện hiện có cho công chúng.

Nếu bạn muốn tìm hiểu thêm về cách huấn luyện LLM, hướng dẫn Cách huấn luyện một LLM với PyTorch của chúng tôi cung cấp một ví dụ minh họa.

Lưu ý rằng, để đáp ứng nhu cầu cụ thể của mô hình, trước khi bắt đầu giai đoạn tinh chỉnh bằng phản hồi của con người, bạn có thể tinh chỉnh mô hình trên các văn bản hoặc điều kiện bổ sung.

Ví dụ, nếu bạn muốn phát triển một trợ lý pháp lý AI, bạn có thể tinh chỉnh mô hình bằng một kho văn bản pháp lý để LLM đặc biệt quen thuộc với thuật ngữ và khái niệm pháp lý.

2. Phản hồi của con người

Thay vì dùng một mô hình phần thưởng được xác định trước về mặt thống kê (vốn sẽ rất hạn chế khi hiệu chỉnh sở thích của con người), RLHF sử dụng phản hồi của con người để giúp mô hình phát triển một mô hình phần thưởng tinh tế hơn. Quy trình như sau:

• Đầu tiên, một tập huấn luyện gồm các cặp lời nhắc đầu vào/văn bản được tạo ra bởi mô hình đã tiền huấn luyện bằng cách lấy mẫu một tập lời nhắc.
• Tiếp theo, những người kiểm thử xếp hạng các văn bản được tạo ra, sử dụng một số hướng dẫn nhất định để điều chỉnh mô hình theo các giá trị và sở thích của con người, đồng thời giữ an toàn. Các thứ hạng này sau đó có thể được chuyển thành điểm số bằng nhiều kỹ thuật, như hệ thống xếp hạng Elo.
• Cuối cùng, phản hồi của con người được tích lũy sẽ được hệ thống sử dụng để đánh giá hiệu suất và phát triển mô hình phần thưởng.

Hình dưới minh họa toàn bộ quy trình:

Nguồn: Hugging Face

3. Tinh chỉnh bằng học tăng cường

Ở giai đoạn cuối, LLM tạo ra các văn bản mới và sử dụng mô hình phần thưởng dựa trên phản hồi của con người để tạo điểm chất lượng. Sau đó mô hình dùng điểm này để cải thiện hiệu suất cho các lời nhắc tiếp theo.

Phản hồi của con người và tinh chỉnh bằng các kỹ thuật học tăng cường được kết hợp trong một quy trình lặp, tiếp tục cho đến khi đạt tới mức độ chính xác nhất định.

Ứng dụng của Reinforcement Learning from Human Feedback

RLHF là kỹ thuật tối tân để tinh chỉnh LLM, như ChatGPT. Tuy nhiên, RLHF là chủ đề phổ biến, với ngày càng nhiều tài liệu khám phá các khả năng vượt ra ngoài bài toán NLP. Dưới đây là danh sách những lĩnh vực khác mà RLHF đã được áp dụng thành công:

• Chatbot. ChatGPT là ví dụ nổi bật nhất về tiềm năng của RLHF. Để biết thêm cách ChatGPT sử dụng RLHF, hãy xem bài viết “ChatGPT là gì?” trong đó chúng tôi hỏi trực tiếp ChatGPT về cách nó hoạt động.
• Robotics. Robotics là một trong những lĩnh vực chính nơi RLHF đang mang lại kết quả đầy hứa hẹn. Việc sử dụng phản hồi của con người có thể giúp robot thực hiện các tác vụ và chuyển động khó mô tả trong một hàm phần thưởng. Các nhà nghiên cứu OpenAI đã dạy robot bật ngửa lộn vòng sau – một nhiệm vụ rất khó để mô hình hóa – bằng RLHF.
• Trò chơi. Các kỹ thuật học tăng cường đã được sử dụng để phát triển bot chơi game. Tuy nhiên, RLHF có thể huấn luyện bot dựa trên sở thích của con người, biến chúng thành người chơi giống con người hơn thay vì những cỗ máy chỉ tối đa hóa phần thưởng. Ví dụ, OpenAI và DeepMind đã huấn luyện bot chơi game Atari bằng RLHF.

Lợi ích của RLHF

RLHF là một kỹ thuật mạnh mẽ và đầy hứa hẹn, thiếu nó thì các công cụ AI thế hệ mới sẽ không thể thành hiện thực. Dưới đây là một số lợi ích của RLHF:

• Nâng cao hiệu suất. Phản hồi của con người là chìa khóa để các LLM như ChatGPT “suy nghĩ” và thể hiện như con người. RLHF cho phép máy móc giải quyết các nhiệm vụ phức tạp, như các vấn đề NLP, có liên quan đến giá trị hoặc sở thích của con người.
• Khả năng thích ứng. Vì LLM được tinh chỉnh bằng phản hồi của con người với mọi kiểu lời nhắc, RLHF cho phép máy móc thực hiện nhiều nhiệm vụ và thích ứng với các tình huống mong đợi. Điều này đưa LLM tiến gần hơn ngưỡng AI đa dụng.
• Cải thiện liên tục. RLHF là một quy trình lặp, nghĩa là hệ thống được cải thiện liên tục khi hàm học được cập nhật theo phản hồi mới của con người.
• Tăng cường an toàn. Khi nhận phản hồi của con người, hệ thống không chỉ học cách làm việc, mà còn học điều không nên làm, đảm bảo hệ thống hiệu quả, an toàn và đáng tin cậy.

Hạn chế của RLHF

Tuy nhiên, RLHF không phải là vạn năng. Kỹ thuật này cũng tiềm ẩn một số rủi ro và hạn chế. Dưới đây là một số điểm đáng chú ý:

• Phản hồi của con người hạn chế và tốn kém. RLHF phụ thuộc vào chất lượng và khả năng sẵn có của phản hồi con người. Tuy nhiên, hoàn thành công việc có thể chậm, tốn nhiều công sức và chi phí cao, đặc biệt nếu công việc đòi hỏi rất nhiều phản hồi.
• Thiên lệch trong phản hồi của con người. Dù có sử dụng hướng dẫn chuẩn hóa để đưa ra phản hồi, việc chấm điểm hay xếp hạng cuối cùng vẫn chịu ảnh hưởng bởi sở thích và giá trị cá nhân. Nếu nhiệm vụ xếp hạng không được thiết kế tốt, hoặc chất lượng phản hồi kém, mô hình có thể bị thiên lệch hoặc củng cố các đầu ra không mong muốn.
• Khả năng khái quát hóa sang ngữ cảnh mới. Ngay cả khi LLM được tinh chỉnh với lượng lớn phản hồi của con người, các ngữ cảnh bất ngờ vẫn có thể xuất hiện. Khi đó, thách thức là làm cho tác tử vững vàng trước các tình huống có ít phản hồi.
• Ảo giác. Khi phản hồi của con người hạn chế hoặc kém chất lượng, tác tử có thể gặp hiện tượng “ảo giác”, tức là hành vi không mong muốn, sai sự thật hoặc vô nghĩa.

Xu hướng và phát triển tương lai của RLHF

RLHF là một trong những trụ cột của các công cụ AI sinh nội dung hiện đại, như ChatGPT và GPT-4. Dù mang lại kết quả ấn tượng, RLHF vẫn là kỹ thuật tương đối mới và còn nhiều dư địa để cải thiện. Nghiên cứu tương lai về các kỹ thuật RLHF là rất quan trọng để giúp LLM hiệu quả hơn, giảm dấu chân môi trường và giải quyết một số rủi ro, hạn chế của LLM.

Để cập nhật những phát triển mới nhất về AI sinh nội dung, học máy và LLM, chúng tôi khuyến nghị bạn tham khảo các tài liệu học tập được tuyển chọn sau:

• Giới thiệu về Học tăng cường - Hướng dẫn này bao quát các khái niệm và thuật ngữ cơ bản của học tăng cường.
• Deep Learning bằng Python - Lộ trình này giúp người học mở rộng kiến thức học sâu và nâng tầm kỹ năng học máy.
• Hướng dẫn Deep Learning - Hướng dẫn này cung cấp tổng quan về học sâu và học tăng cường.
• Sử dụng Học máy một cách có đạo đức để đưa ra quyết định - Bài viết blog thảo luận tầm quan trọng của các cân nhắc đạo đức khi sử dụng mô hình học máy.