Mixture of A Million Experts (MoME): Giải thích các khái niệm then chốt

Tìm hiểu PEER: Sức mạnh của các chuyên gia song song

Một trong những thách thức lớn khi mở rộng LLM nằm ở nhu cầu tính toán và bộ nhớ của các lớp feedforward trong các khối transformer. MoE giải quyết điều này bằng cách thay thế các lớp đó bằng các mô-đun chuyên gia kích hoạt thưa, mỗi mô-đun chuyên sâu vào các khía cạnh khác nhau của tác vụ. Cách tiếp cận này nâng cao hiệu quả bằng cách chỉ kích hoạt các chuyên gia phù hợp với đầu vào cụ thể, giảm chi phí tính toán.

Các cách tiếp cận MoE hiện tại có hạn chế, như bộ định tuyến cố định cần điều chỉnh lại khi thêm chuyên gia mới. Vì vậy, một cách tiếp cận định tuyến mới được giới thiệu, thay thế bộ định tuyến cố định bằng một chỉ mục học được.

Parameter Efficient Expert Retrieval (PEER) giảm số lượng tham số đang hoạt động trong lớp MoE, ảnh hưởng tới tính toán và mức tiêu thụ bộ nhớ kích hoạt trong giai đoạn tiền huấn luyện và suy luận.

PEER cho thấy rằng bằng cách áp dụng cơ chế truy xuất và định tuyến phù hợp, MoE có thể mở rộng tới hàng triệu chuyên gia, giảm chi phí và độ phức tạp khi huấn luyện và phục vụ các mô hình ngôn ngữ rất lớn.

Nguồn

Trong sơ đồ trên, truy vấn đầu vào ban đầu trải qua bước truy xuất product key để xác định k chuyên gia hàng đầu. Các chuyên gia được chọn sau đó xử lý đầu vào dựa trên kiến thức chuyên môn của họ, và đầu ra của họ được kết hợp trong giai đoạn suy luận để tạo ra đầu ra cuối cùng của mô hình.

Mixture of Million Experts: Chi tiết kỹ thuật

Đổi mới cốt lõi của PEER là sử dụng truy xuất product key. Mục tiêu vẫn giống như trong MoE truyền thống: tìm ra top k chuyên gia phù hợp nhất cho tác vụ đã cho. Tuy nhiên, với số lượng chuyên gia cực lớn (có thể vượt quá một triệu), các kỹ thuật trước đây trở nên tốn kém hoặc kém hiệu quả về mặt tính toán.

Xét một kịch bản có N chuyên gia, mỗi chuyên gia được biểu diễn bằng một vector d chiều. Tính trực tiếp top k chuyên gia sẽ cần tính độ tương đồng giữa truy vấn đầu vào và toàn bộ N khóa chuyên gia, dẫn đến độ phức tạp thời gian là O(Nd). Khi N rất lớn (ví dụ, N ≥ 10^6), điều này trở nên cực kỳ tốn kém.

PEER giải quyết điều này bằng một chiến lược khéo léo: thay vì dùng N khóa chuyên gia độc lập chiều d, nó tách mỗi khóa thành hai tập con độc lập, mỗi tập có số chiều d/2. Tương tự, vector truy vấn được chia thành hai truy vấn con. Phép top-k sau đó được áp dụng lên các tích vô hướng giữa các truy vấn con và khóa con.

Cấu trúc tích Descartes của các khóa này làm giảm mạnh độ phức tạp tính toán từ O(Nd) xuống O((N^.5+ k2)d), giúp việc xác định hiệu quả top k chuyên gia trở nên khả thi ngay cả khi số lượng chuyên gia cực lớn.

Kiến trúc lớp PEER

Lớp Parameter-Efficient Expert Retrieval (PEER) là một kiến trúc MoE sử dụng product key trong bộ định tuyến và các MLP một nơ-ron làm chuyên gia.

Một lớp PEER gồm ba thành phần:

1. Một tập N chuyên gia E
2. Một tập khóa sản phẩm tương ứng gồm N product key K
3. Một mạng truy vấn q 

Cách thức hoạt động như sau: 

1. Với một truy vấn đầu vào x, truy xuất một tập con gồm k chuyên gia có các product key tương ứng cho tích vô hướng cao nhất với truy vấn q(x).
2. Áp dụng một hàm kích hoạt như sigmoid hoặc softmax để lấy điểm số bộ định tuyến cho top k chuyên gia được truy xuất này. 
3. Tính đầu ra bằng cách kết hợp tuyến tính các đầu ra của chuyên gia theo trọng số là điểm số bộ định tuyến.

Tựu trung, lớp PEER xác định hiệu quả các chuyên gia liên quan nhất cho một đầu vào cụ thể, cho phép khai thác hiệu quả số lượng chuyên gia khổng lồ trong khi vẫn đảm bảo khả năng tính toán khả thi. Đổi mới này là yếu tố then chốt để mở rộng các mô hình MoE tới hàng triệu chuyên gia, mở đường cho các LLM mạnh mẽ và hiệu quả hơn.

Ưu điểm của cách tiếp cận PEER

PEER, kết hợp với kiến trúc MoME, mang lại nhiều ưu thế thuyết phục so với các cách tiếp cận MoE truyền thống, đẩy rộng ranh giới năng lực của LLM:

• Hiệu quả được cải thiện: Bằng cách tận dụng số lượng lớn các chuyên gia chuyên biệt, PEER cho phép truy xuất thông tin liên quan chính xác và hiệu quả hơn, dẫn đến hiệu năng tổng thể của mô hình được cải thiện.
• Học liên tục: PEER tạo điều kiện cho việc học liên tục và tăng trưởng của mô hình. Có thể bổ sung dần các chuyên gia mới, mở rộng nền tảng tri thức của mô hình mà không cần huấn luyện lại toàn bộ, từ đó bảo toàn kiến thức đã có.
• Khả năng mở rộng: PEER khắc phục các hạn chế về khả năng mở rộng của kiến trúc MoE truyền thống, cho phép phát triển các mô hình có hàng nghìn tỷ tham số như GPT-MoE-1.8T. Điều này mở ra những khả năng mới để tạo ra các LLM còn mạnh mẽ và đa năng hơn.

Các ứng dụng tiềm năng của MoME

Mixture-of-Experts đã là một mô hình được sử dụng rộng rãi trong ngành, với các công ty như YouTube tích hợp vào hệ thống gợi ý của họ. Tương lai của MoME có vẻ tương tự, và điều này đã được gợi mở tại Nvidia GTC 2024, khi họ nói về mô hình GPT 1,8 nghìn tỷ tham số.

Nguồn

Mixture of Million Experts (MoME), với kiến trúc PEER, đặc biệt hứa hẹn cho các tác vụ NLP phức tạp đòi hỏi nền tảng tri thức rộng và khả năng truy xuất phản hồi nhanh. Nó giải quyết các thách thức về khả năng mở rộng vốn có trong việc huấn luyện và phục vụ các mô hình ngôn ngữ rất lớn, mở ra những khả năng mới để sử dụng trong các lĩnh vực như thị giác máy tính, tạo nội dung, hệ thống gợi ý và điện toán thông minh.

Thách thức và hạn chế

Mở rộng một mô hình lên tới hàng triệu chuyên gia có vẻ đầy hứa hẹn về mặt hiệu quả, nhưng quản lý một mạng lưới lớn như vậy lại nảy sinh nhiều thách thức. Hãy cùng điểm qua một số điểm: 

1. Độ phức tạp tính toán và hiệu suất:
• Chi phí truy xuất chuyên gia: Tính top k chuyên gia từ một tập gồm một triệu có thể rất tốn kém. Ngay cả với tối ưu hóa như truy xuất product key, quản lý quy trình truy xuất hiệu quả vẫn là thách thức.
• Chi phí huấn luyện: Huấn luyện một mô hình lớn với số lượng chuyên gia khổng lồ đòi hỏi tài nguyên tính toán đáng kể, có thể không khả thi với mọi phòng thí nghiệm nghiên cứu hoặc công ty.
2. Hạn chế về bộ nhớ:
• Bộ nhớ kích hoạt: Khi số lượng chuyên gia tăng, bộ nhớ cần để lưu trữ các kích hoạt và kết quả trung gian trong quá trình huấn luyện và suy luận có thể trở nên quá lớn.
• Lưu trữ tham số: Lưu trữ một triệu chuyên gia đòi hỏi dung lượng bộ nhớ lớn, có thể hạn chế việc triển khai trên thiết bị hạn chế tài nguyên.
3. Regularization và ổn định:
• Overfitting: Với số lượng tham số lớn như vậy, có nguy cơ khớp quá mức với dữ liệu huấn luyện. Các kỹ thuật regularization hiệu quả là tối quan trọng nhưng không dễ thiết kế và triển khai.
• Ổn định: Độ ổn định khi huấn luyện có thể là vấn đề, vì quản lý gradient và cập nhật cho hàng triệu chuyên gia có thể dẫn đến bất ổn số và khó hội tụ.

Kết luận

Trong bài viết này, chúng ta đã khám phá kỹ thuật Mixture of Million Experts (MoME), một cách tiếp cận có khả năng mở rộng cho các mô hình ngôn ngữ lớn.

MoME tận dụng các mạng chuyên gia chuyên biệt và cơ chế định tuyến PEER để cải thiện hiệu quả và hiệu năng. 

Chúng ta đã thảo luận các thành phần cốt lõi, lợi ích và ứng dụng tiềm năng của nó. Để tìm hiểu sâu hơn, hãy tham khảo bài báo nghiên cứu để biết chi tiết kỹ thuật và kết quả benchmark.

Để biết thêm thông tin, vui lòng tham khảo bài báo nghiên cứu để biết chi tiết kỹ thuật và kết quả benchmark.