Tìm hiểu về Siêu căn chỉnh: Căn chỉnh AI với các giá trị của con người

Kỹ thuật để đạt Siêu căn chỉnh

Trong phần này, chúng tôi giải thích một số phương pháp và kỹ thuật dùng để đạt siêu căn chỉnh. Triết lý cốt lõi đằng sau các cách tiếp cận này là chúng phải có khả năng mở rộng. 

Huấn luyện đối kháng 

Trong căn chỉnh, cũng như mọi quá trình huấn luyện, nhà phát triển phải kiểm tra liệu hệ thống đã học thể hiện các hành vi mong muốn hay chưa. Một cách kiểm tra siêu căn chỉnh là đưa cho AI các phản ví dụ. Những hệ thống AI lớn phải được huấn luyện để nhận diện đâu là yêu cầu không xuất phát từ thiện chí và xử lý phù hợp. 

Một cách tiếp cận phổ biến cho siêu căn chỉnh là dùng hai AI đóng vai trò đối kháng. Điều này tương tự phương pháp đội đỏ và đội xanh thường dùng trong nghiên cứu an ninh, nơi đội đỏ cố gắng xâm nhập lớp an ninh và phòng thủ của đội xanh. 

Trong bối cảnh huấn luyện đối kháng cho siêu căn chỉnh, mỗi AI cố gắng tìm các đầu vào khiến AI còn lại rối trí. Ví dụ, giả sử một AI (đội xanh) đã được căn chỉnh để không phản hồi bằng lời lẽ thô tục. Trong huấn luyện đối kháng, mục tiêu của AI đối thủ (đội đỏ) là tìm những gợi ý có thể kích hoạt AI đội xanh đưa ra phản hồi không phù hợp. Mục tiêu là đảm bảo ngay cả khi bị đội đỏ thử thách, AI đội xanh vẫn tạo ra phản hồi chấp nhận được.

Minh họa khái niệm huấn luyện đối kháng. Ảnh tạo bằng DALL·E

Huấn luyện tăng cường độ vững 

Độ vững (robustness) đề cập đến khả năng phân biệt những đầu vào thực sự khác nhau nhưng bề ngoài có vẻ giống nhau. Mô hình cần nhận biết các trường hợp biên và góc cạnh. Ví dụ, một hệ thống nhận diện hành động con người trong video phải phân biệt được đánh nhau ngoài đường thực sự với một cảnh đánh nhau dàn dựng trong phim. Nhầm lẫn hai trường hợp có thể dẫn đến hậu quả bất lợi. 

Do đó, các mô hình lớn cần được phơi bày có chủ đích với những kịch bản bề ngoài tương tự nhau. Điều này sẽ dạy mô hình nhận ra sắc thái và đặc trưng tinh tế. 

Giám sát có khả năng mở rộng

Khi các mô hình AI có thêm người dùng và được dùng trong nhiều ứng dụng hơn, việc giám sát chúng cũng cần mở rộng song song. Sự tham gia của con người là then chốt trong giám sát và căn chỉnh AI. Mở rộng giám sát của con người khó hơn mở rộng một giải pháp công nghệ. Vì vậy, để duy trì giám sát có khả năng mở rộng đối với AI, cần có các phương pháp mới:

• Giám sát tự động theo thời gian thực: Hệ thống tự động có thể liên tục theo dõi phản hồi của AI và giám sát hành vi của nó để kiểm tra việc tuân thủ các giá trị của con người. Những sai lệch đáng kể so với tiêu chuẩn kỳ vọng có thể được gắn cờ để con người can thiệp. 
• Đánh giá theo chương trình (programmatic reviews): Việc xem xét và kiểm toán thủ công mọi đầu ra của AI là không khả thi. Có thể làm điều này bằng cách phát triển các chương trình và thuật toán mới để kiểm tra mức độ căn chỉnh của AI với đạo đức con người. Các trường hợp đáng ngờ có thể được gắn cờ để điều phối viên con người đánh giá thủ công.

Học tăng cường với phản hồi của con người (RLHF)

Như đã thảo luận trong bài viết về học tăng cường (RL), trong các triển khai RL truyền thống, hệ thống AI học cách điều chỉnh hành vi bằng cách quan sát con người. Nó dùng quy trình thử - sai để tối đa hóa phần thưởng. RLHF kết hợp RL với đầu vào của con người để định hướng hành động của AI trong quá trình huấn luyện. 

RLHF bắt đầu với một mô hình đã được tiền huấn luyện. Người đánh giá giao cho mô hình một tập nhiệm vụ và cung cấp phản hồi về đầu ra, như chấm điểm hoặc sửa câu trả lời của mô hình. 

Mô hình sử dụng thông tin này để tinh chỉnh hành vi nhằm căn chỉnh với phản hồi của con người và tối đa hóa phần thưởng (phản hồi tích cực). Quy trình này lặp lại cho đến khi đầu ra của mô hình được xem là phù hợp, thích đáng và chính xác. 

Học tăng cường nghịch đảo (IRL)

Trong học tăng cường truyền thống (RL), nhà phát triển mô hình khai báo rõ hàm phần thưởng (còn gọi là hàm tiện ích). Mục tiêu của mô hình là tối đa hóa động lực theo hàm phần thưởng này. 

Trong RL nghịch đảo, mô hình suy luận hàm phần thưởng dựa trên hành vi của một mô hình đã huấn luyện hoặc của con người. Ví dụ, một xe tự hành dùng RL có thể được thưởng dương khi đi đúng làn, dừng đèn đỏ, v.v. Một hệ tự lái dựa trên IRL suy ra các động lực bằng cách quan sát kỹ và làm theo hành động của tài xế con người giàu kinh nghiệm hoặc một AI đã được huấn luyện. 

Giá trị của con người không thể liệt kê tường minh cho mọi bối cảnh, khiến RL truyền thống khó áp dụng cho các bài toán căn chỉnh.

Một cách hiệu quả hơn là để AI quan sát và tái hiện hành vi của con người trong các bối cảnh khác nhau. Bằng cách quan sát hành vi của con người, AI học được phản hồi (hay phương án hành động) nào trong số các lựa chọn là gần giống nhất với cách con người có thể hành động trong kịch bản đó. Điều này giúp căn chỉnh hành vi của AI với các giá trị của con người.

Minh họa khái niệm học tăng cường nghịch đảo. Ảnh tạo bằng DALL·E

Tranh biện 

Nhiều phương pháp căn chỉnh liên quan đến việc con người huấn luyện AI về hành vi nào chấp nhận được và hành vi nào không, nhưng dùng con người không phải lúc nào cũng là giải pháp lý tưởng. 

Với nhiều vấn đề phức tạp, như lập lịch tối ưu cho hệ thống đường sắt quốc gia, có thể không có con người nào đủ khả năng đánh giá liệu một phương án đề xuất có phải tốt nhất hay không. Một giải pháp là tận dụng chính AI cho siêu căn chỉnh. Trong phương pháp tranh biện: 

• Một AI đề xuất giải pháp và đưa ra giải thích chi tiết cho từng bước. 
• Cùng AI đó hoặc một AI khác được dùng để phản biện (đưa lập luận phản đối) từng lời giải thích. 
• Con người quyết định lập luận nào đúng hơn. Vì mỗi lập luận có phạm vi giới hạn, con người sẽ dễ đánh giá tính xác đáng hơn. 

Quá trình suy luận logic được “gamification”, và lập luận xác đáng nhất sẽ thắng. Do đó, qua một loạt cuộc tranh biện, AI học được những hướng lập luận nào chấp nhận được và hướng nào không. Với các nhiệm vụ tương lai, đầu ra của AI sẽ căn chỉnh tốt hơn với các giá trị của con người. 

Khuếch đại lặp

Trong các hệ thống học máy và học sâu truyền thống, quá trình huấn luyện dựa trên việc đầu ra của mô hình có khớp với đầu ra kỳ vọng hay không. 

Khi năng lực của AI tăng lên, nó sẽ được dùng cho các nhiệm vụ ngày càng phức tạp. Với nhiều nhiệm vụ như vậy, con người không biết trước đầu ra kỳ vọng. Phương án khả dĩ duy nhất có thể là các lời giải do AI tạo ra. Với các nhiệm vụ phức tạp như vậy, căn chỉnh AI dựa trên đầu ra cuối cùng là khó vì con người không thể đánh giá đầu ra cuối cùng. 

Ví dụ, trong thiết kế lịch trình vận tải, hệ thống phải cân bằng giữa hiệu quả tài chính và cung cấp dịch vụ công hữu ích. Nhiều cân nhắc như vậy khiến khó xác định thiết kế hệ thống cuối cùng nào căn chỉnh tốt nhất với các giá trị của con người.

Trong các trường hợp như vậy, dễ hơn nếu tận dụng giám sát của con người để đảm bảo căn chỉnh trên các nhiệm vụ con nhỏ hơn. Về sau, các nhiệm vụ hơi lớn được chia nhỏ thành những nhiệm vụ con rồi căn chỉnh dưới giám sát của con người. Quy trình này tiếp diễn lặp đi lặp lại cho đến khi các nhiệm vụ trở nên quá lớn để con người đánh giá trực tiếp. 

Khuếch đại lặp giả định rằng vì các nhiệm vụ con nhỏ và đơn giản đã được căn chỉnh dựa trên xác nhận của con người, nhiệm vụ chính lớn hơn cũng được căn chỉnh. Đây được gọi là khuếch đại lặp. Khuếch đại lặp cũng được áp dụng kết hợp với các kỹ thuật như tranh biện. 

Học giá trị

Tương tác của con người phức tạp và nhiều sắc thái. Ở nhiều trường hợp, hành động của con người mơ hồ khi xét riêng lẻ — chúng chỉ có ý nghĩa trong đúng bối cảnh. Vì vậy, các hàm tiện ích truyền thống và học tăng cường là chưa đủ để thấm nhuần cho AI các giá trị của con người. 

Một phương án đề xuất là mô hình được truy cập tới một tập hàm tiện ích thay vì một hàm tiện ích duy nhất. Mỗi hàm tiện ích có thể được chọn tùy theo bối cảnh. Mô hình học cách chọn hàm tiện ích phù hợp bằng cách quan sát hành vi của con người trong các bối cảnh khác nhau. Điều này được gọi là học giá trị. 

Học giá trị là kỹ thuật trong đó AI trực tiếp quan sát hành vi của con người trong các kịch bản khác nhau và học hành vi đúng cho từng bối cảnh. Điều này liên quan đến việc cho AI tiếp xúc với hành vi của con người qua vô số tương tác thực tế. 

Minh họa khái niệm học giá trị. Ảnh tạo bằng DALL·E

Những người tham gia huấn luyện căn chỉnh nên hành xử theo cách được coi là chấp nhận được. Ví dụ, một người lái xe không nên nổi nóng khi cố gắng căn chỉnh AI. Tuy vậy, khi bị kẹt sau một xe chạy chậm, người đó nên cố gắng vượt an toàn phương tiện chậm hơn.

Siêu căn chỉnh trong các mô hình ngôn ngữ lớn (LLM)

LLM hiện là các mô hình AI quy mô lớn phổ biến nhất. Chúng được dùng trong rất nhiều nhiệm vụ. Xét tới tệp người dùng và trường hợp sử dụng lớn, siêu căn chỉnh trong bối cảnh LLM xứng đáng được xem xét kỹ hơn. 

LLM và các thách thức căn chỉnh

Các mô hình ngôn ngữ lớn như GPT-4, Gemini và Meta AI đang bắt đầu được dùng trong đời sống hằng ngày.  Với quy mô và phạm vi của chúng, LLM đi kèm những thách thức căn chỉnh mới, chẳng hạn: 

• Duy trì thiên lệch: Các mô hình này được huấn luyện trên lượng dữ liệu lớn từ internet mở và các thư viện khác. Bất kỳ thiên lệch nào trong dữ liệu huấn luyện sẽ phản chiếu trực tiếp vào đầu ra của mô hình. Thiên lệch do thiếu sót ở dữ liệu đầu vào được coi là thiên lệch thuật toán. 
• Hệ thống phức tạp: Kích thước lớn của các mô hình này, độ bao phủ của dữ liệu huấn luyện và sự đa dạng của trường hợp sử dụng khiến việc dự đoán hành vi hệ thống trở nên thách thức. Điều đó làm khó đảm bảo đầu ra của mô hình căn chỉnh với giá trị của con người cho mọi trường hợp. 
• Vấn đề về quy mô: Xét tệp người dùng khổng lồ và số lượng truy vấn lớn mà chúng xử lý: 

• Ngay cả khi tỷ lệ phản hồi không căn chỉnh với giá trị con người là nhỏ, nó vẫn chuyển hóa thành một số lượng lớn.
• Trở nên khó đảm bảo hành vi của AI luôn nhất quán với giá trị và đạo đức của con người ở mọi người dùng. 

Điều này khiến cần áp dụng các phương pháp mới để kiểm thử mức độ căn chỉnh của những mô hình này và liên tục tinh chỉnh để đảm bảo chúng căn chỉnh với các giá trị và chuẩn mực đạo đức của con người. 

Đánh giá đầu ra của LLM

Nhiều cách tiếp cận đã được đề xuất và thử nghiệm để đánh giá đầu ra của LLM nhằm đảm bảo căn chỉnh với giá trị con người. Những phương pháp này cần có khả năng mở rộng. Một số ví dụ: 

• Lọc đầu ra không mong muốn: Một cách thực dụng để loại bỏ phản hồi không phù hợp của LLM là dùng một lớp lọc phía trên mô hình ngôn ngữ. Huấn luyện các hệ thống riêng biệt cho nhiệm vụ sinh văn bản và nhiệm vụ lọc hiệu quả hơn. Bộ lọc bản thân có thể là một AI khác quét đầu ra của LLM sinh để tìm ngôn từ không phù hợp và chủ đề nhạy cảm. 
• Phát hiện thiên lệch: Tập dữ liệu huấn luyện hầu như luôn chứa một số thiên lệch, dẫn đến mô hình thiên lệch. Một số phương pháp phát hiện thiên lệch trong đầu ra của LLM gồm: 
• Nhà phát triển kiểm toán mô hình để tìm đầu ra thiên lệch. Kiểm toán thiên lệch bao gồm kiểm thử mô hình với các đầu vào đa dạng và so sánh phản hồi trong từng trường hợp. 
• Đôi khi dùng các thuật toán chuyên biệt phát hiện thiên lệch để tìm kiếm và xác định có hệ thống các loại thiên lệch khác nhau. 
• Kiểm chứng sự thật: Hiện tượng bịa đặt (hallucination) là điểm yếu của LLM từ đầu. Một LLM chỉ biết cách dự đoán từ nào nên theo sau một chuỗi từ dựa trên những gì nó đã thấy trong tập huấn luyện. Nó không có khái niệm về sự thật. Với LLM, câu “Dell sản xuất máy tính cá nhân” có ý nghĩa ngang với “Dell sản xuất khoai tây chiên.” Do đó, khi dùng LLM để tạo văn bản dựa trên sự kiện, điều quan trọng là phải kiểm tra tính chính xác thực tế của văn bản được tạo. 
• Khả năng giải thích: Các hệ thống CNTT và chương trình truyền thống dựa trên luật. Bạn có thể gỡ lỗi hệ thống để xác định quy tắc nào chịu trách nhiệm cho một đầu ra cụ thể. Ngược lại, LLM có hàng tỷ tham số. Không thể lần ra trọng số nào đóng góp cho các phần khác nhau của đầu ra. 

May mắn thay, suy luận là một thuộc tính nổi lên của các mô hình ngôn ngữ lớn. Thuộc tính nổi lên là thuộc tính của một hệ thống phức tạp không thể giải thích như tổng các phần của nó. 

Thường quan sát thấy LLM có thể giải thích phản hồi của mình và suy luận qua các bài toán nhiều bước. Yêu cầu LLM giải thích một lời giải phức tạp và đánh giá thủ công từng bước có thể cho phép con người thẩm định phản hồi của LLM. 

LLM và tương tác với con người

Những LLM dùng theo tương tác phải hiểu được sắc thái và tinh tế của hội thoại con người. Chúng nên phản hồi dựa trên ngữ cảnh cuộc trò chuyện. 

Tông giọng, ý định, mỉa mai và tín hiệu cảm xúc khó biểu diễn bằng toán học. Tuy vậy, các mô hình AI phải tính đến những khía cạnh này để giao tiếp hiệu quả với con người. Chỉ một LLM được căn chỉnh để có sự đồng cảm mới hiệu quả trong tương tác với mọi người. Nó có thể xây dựng niềm tin và thúc đẩy tương tác hiệu quả với con người, và cách duy nhất để đạt được điều này là áp dụng các kỹ thuật siêu căn chỉnh khác nhau.  

Cân nhắc đạo đức trong Siêu căn chỉnh

Mục tiêu tối hậu của siêu căn chỉnh là để AI mạnh mẽ tuân theo các chuẩn mực đạo đức của xã hội loài người. 

Phần này giải thích vai trò của đạo đức trong siêu căn chỉnh và những thách thức liên quan đến việc đảm bảo hành vi đạo đức ở các mô hình lớn. 

Đảm bảo hành vi đạo đức

Một AI không căn chỉnh với giá trị của con người sẽ không bao giờ an toàn để con người sử dụng. Một hệ thống lệch chuẩn có thể tạo nội dung gây hại mà các tác nhân xấu có thể lạm dụng. Nó có thể duy trì bất bình đẳng xã hội và khuếch đại những thiên lệch hiện có. 

Trong kịch bản tệ nhất, một hệ thống lệch chuẩn có thể lạm dụng năng lực này và dẫn đến hành vi thao túng. Do đó, mối quan ngại đạo đức nằm ở trung tâm của mọi nỗ lực siêu căn chỉnh. Chỉ bằng cách đảm bảo hành vi đạo đức trong mọi hoàn cảnh, các công cụ AI mới được coi là đáng tin cậy cho sử dụng rộng rãi và dài hạn. 

Cân bằng giữa hữu dụng và an toàn

Thấm nhuần hành vi đạo đức vào hệ thống AI đi kèm chi phí đáng kể. Để đạt siêu căn chỉnh, nhà phát triển mô hình cần: 

• Con người kiểm toán phản hồi và cung cấp phản hồi cho AI
• Thêm thời gian để đảm bảo siêu căn chỉnh trước khi phát hành mô hình
• Nguồn lực tính toán bổ sung để tinh chỉnh và căn chỉnh mô hình 

Hơn nữa, khi suy luận, mô hình cần thực hiện thêm tính toán để đảm bảo phản hồi căn chỉnh với giá trị con người. Đôi khi, áp đặt căn chỉnh như một ràng buộc có thể hạn chế năng lực của mô hình. Vì thế, một mô hình siêu căn chỉnh có thể kém hiệu năng hơn. 

Do đó, cần có sự cân bằng giữa hiệu năng kỹ thuật của mô hình và các cân nhắc căn chỉnh. Ưu tiên căn chỉnh và an toàn hơn các chỉ số hiệu năng truyền thống có thể dẫn đến các mô hình ít hữu dụng trong thực tiễn. 

Công bằng và thiên lệch

Các mô hình AI quy mô lớn có rất nhiều người dùng và trường hợp sử dụng đa dạng. Bất kỳ thiên lệch nào trong đầu ra của mô hình có thể có hệ quả sâu rộng. Vì vậy, nhà phát triển cần đảm bảo mô hình của họ càng ít thiên lệch càng tốt. 

Loại bỏ thiên lệch khỏi LLM là thách thức vì những mô hình này trải qua huấn luyện không giám sát dựa trên một kho văn bản khổng lồ. AI tiếp thu mọi thiên lệch và định kiến có trong văn bản của tập huấn luyện. Điều này có thể dẫn đến đầu ra của mô hình không công bằng và mang tính phân biệt. Nhà phát triển có thể áp dụng nhiều phương pháp để giải quyết vấn đề này:

• Phát hiện thiên lệch: Trước khi có biện pháp đối phó, bạn phải xác định được các trường hợp hành vi thiên lệch. Kiểm toán thường xuyên và đánh giá công bằng trên mẫu đầu ra của mô hình có thể giúp nhận diện các loại thiên lệch mà mô hình mắc phải và các tình huống kích hoạt chúng. 
• Loại bỏ thiên lệch: Có ba cách tiếp cận chính để loại bỏ thiên lệch:
• Lập trình mô hình để hiệu chỉnh các thiên lệch cụ thể trong đầu ra.
• Nâng cao tập dữ liệu huấn luyện bằng cách bổ sung dữ liệu tổng hợp. Chẳng hạn, nếu tập dữ liệu huấn luyện cho hệ thống nhận dạng ảnh có rất ít cá thể của một loài, điều đó làm giảm xác suất biên để nhận diện loài này. Thường xử lý bằng cách tăng cường tập dữ liệu huấn luyện với ảnh tổng hợp của loài đó và/hoặc tăng trọng số của nó trong quá trình huấn luyện. 
• Cập nhật trọng số cho các tập con bị đại diện thiếu trong dữ liệu huấn luyện. Điều này liên quan đến điều chỉnh trọng số của các tập con dữ liệu khác nhau sao cho các hạng mục bị thiếu đại diện (tức có ít ví dụ) có trọng số ngang với các hạng mục khác. 
• Giám sát liên tục: Mô hình được huấn luyện lại định kỳ trên các tập dữ liệu mới. Hơn nữa, hành vi của các phiên bản tương lai chịu ảnh hưởng bởi tương tác trong quá khứ của mô hình với người dùng. Hành vi người dùng cũng thay đổi dựa trên việc tiếp xúc và tương tác lâu dài với các mô hình AI. Vì vậy, phát hiện và loại bỏ thiên lệch không phải nhiệm vụ một lần. Nó cần trở thành một phần của vòng đời phát triển mô hình. 

Những thách thức trong việc đạt Siêu căn chỉnh

Như chúng tôi đã giải thích ở các phần trước, đạt siêu căn chỉnh là thách thức. Một số khó khăn chính gồm: 

• Độ phức tạp và quy mô của mô hình: Các mô hình AI hiện đại có hàng tỷ tham số. Điều này làm khó việc dự đoán phản hồi của chúng hoặc hiểu quy trình ra quyết định từ nguyên lý đầu tiên. Vì vậy, đảm bảo mô hình luôn căn chỉnh với giá trị con người là thách thức. Những cập nhật nhỏ lên tham số có thể làm xô lệch căn chỉnh. 
• Khả năng mở rộng của kỹ thuật căn chỉnh: Giám sát của con người giữ vai trò trung tâm trong quá trình căn chỉnh. Khi mô hình mở rộng về phạm vi và tính hữu dụng, chúng cần được căn chỉnh trong ngày càng nhiều kịch bản. Điều này đặt ra câu hỏi về mức độ hiệu quả và kinh tế trong việc con người giám sát nỗ lực căn chỉnh của mô hình. 
• Khả năng khái quát và độ vững: Các mô hình AI thường xuyên xử lý các kịch bản mới và đầu vào lạ. Trong khi đó, quá trình huấn luyện và căn chỉnh của mô hình dựa trên một tập dữ liệu và kịch bản lớn nhưng hữu hạn. Mô hình cần có khả năng mở rộng căn chỉnh sang những kịch bản không được đề cập tường minh khi huấn luyện. Nó phải phân biệt được các trường hợp biên và hành xử có đạo đức trong hoàn cảnh mới.
• Lệch chuẩn giá trị: AI không có sự hiểu biết bẩm sinh về giá trị của con người. Nó chỉ học dựa trên những gì được huấn luyện. Giá trị của con người phức tạp và đôi khi mâu thuẫn. Điều chấp nhận được trong một tình huống có thể hoàn toàn không phù hợp trong tình huống khác. Lệch chuẩn có thể xảy ra khi mô hình hiểu các giá trị khác với ý định. Điều này có thể dẫn tới phản hồi không phù hợp và tiềm ẩn hành vi phi đạo đức. 
• Tuân thủ quy định: Các cơ quan quốc gia và siêu quốc gia đang bắt đầu đặt ra tiêu chuẩn pháp lý và quy định để đảm bảo các mô hình AI mạnh không phương hại lợi ích công. Tuân thủ các quy định mới này sẽ đòi hỏi nỗ lực bổ sung từ nhà phát triển mô hình. 
• Tích hợp với các hệ thống CNTT khác:  Phần lớn nỗ lực căn chỉnh tập trung vào tương tác trực tiếp người - AI. Nảy sinh thách thức mới khi AI được tích hợp với hệ thống khác. Đầu vào và đầu ra của AI trong các hệ tích hợp như vậy không còn dựa trên ngôn ngữ tự nhiên. Điều này khiến việc diễn giải phản hồi của AI khó hơn. Đảm bảo siêu căn chỉnh cho một hệ thống CNTT phức tạp có AI đặt ra các thách thức chưa lường trước. Một khả năng là giao phó toàn bộ hệ tích hợp cho một AI khác giúp con người hiểu và giám sát nó. 
• Giám sát và cập nhật: Liên tục giám sát phản hồi của mô hình là cần thiết để đảm bảo mô hình hành xử đạo đức trong thực tế. Thông thường, điều này được thực hiện bằng cách lấy mẫu ngẫu nhiên đầu ra của mô hình đối với các đầu vào thực tế. Việc cập nhật tham số của mô hình cũng có thể làm xô lệch căn chỉnh. Vì vậy, căn chỉnh cần được duy trì và cập nhật như một phần của vòng đời phát triển mô hình. 

Kết luận

Một hệ thống AI không căn chỉnh với giá trị và đạo đức của con người là không phù hợp để sử dụng rộng rãi. Thực tế, nó có thể dẫn đến hậu quả bất lợi. 

Trong bài viết này, chúng tôi đã thảo luận về siêu căn chỉnh, một tập hợp phương pháp và cách tiếp cận dùng để căn chỉnh những hệ thống AI lớn và mạnh mẽ. Bên cạnh đó, chúng tôi xem xét siêu căn chỉnh trong bối cảnh LLM. Cuối cùng, vì siêu căn chỉnh là lĩnh vực đang phát triển, chúng tôi đề cập các thách thức lớn gắn với việc triển khai nó.