Llama 3.1 405B của Meta là gì? Cách hoạt động, trường hợp sử dụng & hơn thế nữa

Llama 3.1 405B là gì?

Llama 3.1 là một bản cập nhật điểm cho Llama 3 (được công bố vào tháng 4 năm 2024). Llama 3.1 405B là phiên bản đầu bảng của mô hình, như tên gọi, có 405 tỷ tham số.

Nguồn: Meta AI

Llama3.1 405B trên bảng xếp hạng LMSys Chatbot Arena

Sở hữu 405 tỷ tham số giúp nó có cơ hội đạt vị trí cao trên bảng xếp hạng LMSys Chatbot Arena, thước đo hiệu năng dựa trên bình chọn ẩn danh của người dùng.

Những tháng gần đây, vị trí số một đã luân phiên giữa các phiên bản OpenAI GPT-4, Anthropic Claude 3 và Google Gemini. Hiện tại, GPT-4o đang giữ ngôi vương, nhưng Claude 3.5 Sonnet nhỏ hơn xếp thứ hai, và Claude 3.5 Opus sắp ra mắt nhiều khả năng sẽ lên hạng nhất nếu phát hành trước khi OpenAI cập nhật GPT-4o.

Điều đó có nghĩa là cạnh tranh ở phân khúc cao cấp rất khốc liệt, và sẽ thú vị khi xem Llama 3.1 405B so kè thế nào với các đối thủ này. Trong khi chờ Llama 3.1 405B xuất hiện trên bảng xếp hạng, một số điểm chuẩn sẽ được trình bày ở phần sau của bài viết.

Khả năng đa ngôn ngữ

Cập nhật chính từ Llama 3 lên Llama 3.1 là hỗ trợ tốt hơn cho các ngôn ngữ ngoài tiếng Anh. Dữ liệu huấn luyện của Llama 3 có 95% là tiếng Anh, nên nó hoạt động kém ở các ngôn ngữ khác. Bản 3.1 bổ sung hỗ trợ tiếng Đức, Pháp, Ý, Bồ Đào Nha, Hindi, Tây Ban Nha và Thái.

Ngữ cảnh dài hơn

Các mô hình Llama 3 có cửa sổ ngữ cảnh—lượng văn bản có thể suy luận cùng lúc—là 8k token (khoảng 6.000 từ). Llama 3.1 nâng lên mức hiện đại hơn là 128k, giúp cạnh tranh với các LLM tối tân khác.

Điều này khắc phục một điểm yếu quan trọng của họ Llama. Với các trường hợp doanh nghiệp như tóm tắt tài liệu dài, tạo mã cần ngữ cảnh từ một kho mã lớn, hay hội thoại hỗ trợ kéo dài, một cửa sổ ngữ cảnh dài có thể chứa hàng trăm trang văn bản là điều thiết yếu.

Thỏa thuận giấy phép mô hình mở

Các mô hình Llama 3.1 được phát hành theo Thỏa thuận Giấy phép Mô hình Mở tùy chỉnh của Meta. Giấy phép dễ chịu này cho phép nhà nghiên cứu, nhà phát triển và doanh nghiệp tự do sử dụng mô hình cho cả mục đích nghiên cứu và thương mại.

Trong một cập nhật đáng chú ý, Meta cũng mở rộng giấy phép để cho phép nhà phát triển sử dụng đầu ra từ các mô hình Llama, bao gồm cả 405B, để nâng cao các mô hình khác.

Về bản chất, điều này có nghĩa là bất kỳ ai cũng có thể tận dụng khả năng của mô hình để thúc đẩy công việc, tạo ứng dụng mới và khám phá tiềm năng AI, miễn là tuân thủ các điều khoản trong thỏa thuận.

Llama 3.1 405B hoạt động như thế nào?

Phần này giải thích chi tiết kỹ thuật về cách Llama 3.1 405B hoạt động, bao gồm kiến trúc, quy trình huấn luyện, chuẩn bị dữ liệu, yêu cầu tính toán và các kỹ thuật tối ưu hóa.

Kiến trúc Transformer với tinh chỉnh 

Llama 3.1 405B được xây dựng trên kiến trúc Transformer chỉ giải mã tiêu chuẩn, một thiết kế phổ biến với nhiều mô hình ngôn ngữ lớn thành công.

Trong khi cấu trúc lõi vẫn nhất quán, Meta đã đưa vào một số điều chỉnh nhỏ để tăng ổn định và hiệu năng trong quá trình huấn luyện. Đáng chú ý, kiến trúc Mixture-of-Experts (MoE) được cố ý loại trừ, ưu tiên sự ổn định và khả năng mở rộng trong huấn luyện.

Nguồn: Meta AI

Sơ đồ minh họa cách Llama 3.1 405B xử lý ngôn ngữ. Nó bắt đầu bằng việc chia văn bản đầu vào thành các đơn vị nhỏ hơn gọi là token rồi chuyển chúng thành các biểu diễn số gọi là token embedding.

Các embedding này sau đó được xử lý qua nhiều lớp tự chú ý (self-attention), nơi mô hình phân tích mối quan hệ giữa các token khác nhau để hiểu mức độ quan trọng và ngữ cảnh của chúng trong đầu vào.

Thông tin thu thập từ các lớp tự chú ý được truyền qua một mạng truyền thẳng (feedforward), tiếp tục xử lý và kết hợp thông tin để rút ra ý nghĩa. Quá trình tự chú ý và truyền thẳng này lặp lại nhiều lần để làm sâu sắc hiểu biết của mô hình.

Cuối cùng, mô hình dùng thông tin này để tạo phản hồi theo từng token, xây dựng dựa trên các đầu ra trước đó để tạo văn bản mạch lạc và phù hợp. Quy trình lặp này, gọi là giải mã tự hồi quy (autoregressive decoding), cho phép mô hình tạo phản hồi trôi chảy và phù hợp với ngữ cảnh cho lời nhắc đầu vào.

Quy trình huấn luyện đa giai đoạn

Phát triển Llama 3.1 405B bao gồm một quy trình huấn luyện nhiều giai đoạn. Ban đầu, mô hình được tiền huấn luyện trên một bộ sưu tập dữ liệu khổng lồ và đa dạng, bao trùm hàng nghìn tỷ token. Việc tiếp xúc với lượng văn bản khổng lồ cho phép mô hình học ngữ pháp, sự kiện và khả năng lập luận từ các mẫu và cấu trúc gặp phải.

Sau tiền huấn luyện, mô hình trải qua các vòng lặp tinh chỉnh có giám sát (SFT) và tối ưu hóa theo sở thích trực tiếp (DPO). SFT liên quan đến huấn luyện trên các tác vụ và bộ dữ liệu cụ thể với phản hồi của con người, định hướng mô hình tạo ra đầu ra mong muốn.

Trong khi đó, DPO tập trung tinh chỉnh phản hồi của mô hình dựa trên các sở thích thu thập từ người đánh giá. Quy trình lặp này dần dần nâng cao khả năng tuân thủ hướng dẫn, cải thiện chất lượng phản hồi và đảm bảo an toàn.

Chất lượng và số lượng dữ liệu

Meta cho biết họ nhấn mạnh mạnh mẽ vào chất lượng và số lượng dữ liệu huấn luyện. Với Llama 3.1 405B, điều này bao gồm một quy trình chuẩn bị dữ liệu nghiêm ngặt, với lọc và làm sạch rộng rãi để nâng cao chất lượng tổng thể của các bộ dữ liệu.

Đáng chú ý, chính mô hình 405B được dùng để tạo dữ liệu tổng hợp, sau đó được đưa vào quá trình huấn luyện để tiếp tục tinh luyện năng lực của mô hình.

Mở rộng quy mô tính toán

Huấn luyện một mô hình lớn và phức tạp như Llama 3.1 405B đòi hỏi lượng sức mạnh tính toán khổng lồ. Để hình dung, Meta đã sử dụng hơn 16.000 GPU mạnh nhất của NVIDIA, H100, để huấn luyện mô hình này một cách hiệu quả.

Họ cũng thực hiện những cải tiến đáng kể cho toàn bộ hạ tầng huấn luyện để đảm bảo có thể xử lý quy mô khổng lồ của dự án, cho phép mô hình học hỏi và cải thiện hiệu quả.

Lượng tử hóa cho suy luận

Để giúp Llama 3.1 405B dễ dùng hơn trong các ứng dụng thực tế, Meta áp dụng kỹ thuật lượng tử hóa (quantization), tức chuyển trọng số mô hình từ độ chính xác 16-bit (BF16) sang 8-bit (FP8). Điều này giống như chuyển từ ảnh độ phân giải cao sang thấp hơn một chút: vẫn giữ các chi tiết thiết yếu trong khi giảm kích thước tệp.

Tương tự, lượng tử hóa đơn giản hóa các phép tính nội bộ của mô hình, giúp chạy nhanh hơn nhiều và hiệu quả hơn trên một máy chủ đơn. Tối ưu hóa này giúp người khác dễ dàng và tiết kiệm chi phí hơn khi tận dụng khả năng của mô hình.

Trường hợp sử dụng Llama 3.1 405B

Llama 3.1 405B mang đến nhiều ứng dụng tiềm năng nhờ tính mã nguồn mở và năng lực lớn của nó.

Tạo dữ liệu tổng hợp

Khả năng tạo văn bản gần giống ngôn ngữ con người của mô hình có thể được dùng để tạo lượng lớn dữ liệu tổng hợp.

Dữ liệu tổng hợp này hữu ích để huấn luyện các mô hình ngôn ngữ khác, nâng cao kỹ thuật tăng cường dữ liệu (làm đa dạng dữ liệu hiện có) và phát triển các mô phỏng thực tế cho nhiều ứng dụng.

Chưng cất mô hình

Kiến thức được nhúng trong mô hình 405B có thể được chuyển giao sang các mô hình nhỏ hơn, hiệu quả hơn thông qua quá trình chưng cất (distillation).

Hãy hình dung chưng cất mô hình như việc dạy cho một học trò (một mô hình AI nhỏ hơn) kiến thức của một chuyên gia (mô hình Llama 3.1 405B lớn). Quá trình này cho phép mô hình nhỏ học và thực hiện tác vụ mà không cần mức độ phức tạp hay tài nguyên tính toán như mô hình lớn.

Điều này giúp có thể chạy các khả năng AI tiên tiến trên các thiết bị như điện thoại thông minh hoặc máy tính xách tay, vốn hạn chế sức mạnh so với các máy chủ mạnh mẽ dùng để huấn luyện mô hình gốc.

Một ví dụ gần đây về chưng cất mô hình là GPT-4o mini của OpenAI, một phiên bản chưng cất của GPT-4o.

Nghiên cứu và thử nghiệm

Llama 3.1 405B là công cụ nghiên cứu giá trị, cho phép các nhà khoa học và nhà phát triển khám phá những biên giới mới trong xử lý ngôn ngữ tự nhiên và trí tuệ nhân tạo.

Tính mở khuyến khích thử nghiệm và hợp tác, tăng tốc độ khám phá.

Giải pháp theo ngành

Bằng cách điều chỉnh mô hình theo dữ liệu riêng của từng ngành như y tế, tài chính hoặc giáo dục, có thể tạo ra các giải pháp AI tùy chỉnh đáp ứng thách thức và yêu cầu đặc thù của các lĩnh vực đó.

Tập trung vào an toàn của Llama 3.1 405B

Meta cho biết họ đặt trọng tâm đáng kể vào việc đảm bảo an toàn cho các mô hình Llama 3.1.

Nguồn: Meta AI

Trước khi phát hành Llama 3.1 405B, họ tiến hành các bài tập "red teaming" rộng rãi. Trong các bài tập này, chuyên gia nội bộ và bên ngoài đóng vai đối thủ, tìm cách khiến mô hình hành xử gây hại hoặc không phù hợp. Điều này giúp xác định rủi ro hay lỗ hổng tiềm ẩn trong hành vi mô hình.

Ngoài thử nghiệm tiền triển khai, Llama 3.1 405B còn được tinh chỉnh an toàn. Quy trình này bao gồm các kỹ thuật như Học tăng cường từ phản hồi của con người (RLHF), nơi mô hình học cách căn chỉnh phản hồi với các giá trị và sở thích của con người. Điều này giúp giảm thiểu đầu ra gây hại hoặc thiên lệch, khiến mô hình an toàn và đáng tin cậy hơn khi sử dụng thực tế.

Meta cũng giới thiệu Llama Guard 3, một mô hình an toàn đa ngôn ngữ mới được thiết kế để lọc và gắn cờ nội dung gây hại hoặc không phù hợp do Llama 3.1 405B tạo ra. Lớp bảo vệ bổ sung này giúp đảm bảo đầu ra của mô hình tuân thủ các nguyên tắc đạo đức và an toàn.

Nguồn: Meta AI

Một tính năng an toàn khác là Prompt Guard, nhằm ngăn chặn tấn công chèn prompt. Các cuộc tấn công này chèn chỉ dẫn độc hại vào prompt của người dùng để thao túng hành vi mô hình. Prompt Guard lọc các chỉ dẫn như vậy, bảo vệ mô hình khỏi nguy cơ bị lạm dụng.

Nguồn: Meta AI

Ngoài ra, Meta tích hợp Code Shield, tính năng tập trung vào bảo mật của mã do Llama 3.1 405B tạo ra. Code Shield lọc các gợi ý mã không an toàn theo thời gian thực trong quá trình suy luận và cung cấp bảo vệ thực thi lệnh an toàn cho bảy ngôn ngữ lập trình, với độ trễ trung bình 200ms. Điều này giúp giảm rủi ro tạo ra mã có thể bị khai thác hoặc gây đe dọa bảo mật.

Nguồn: Meta AI

Điểm chuẩn Llama 3.1 405B

Meta đã đánh giá Llama 3.1 405B một cách nghiêm ngặt trên hơn 150 bộ dữ liệu điểm chuẩn đa dạng. Các điểm chuẩn này bao phủ phổ rộng các tác vụ và kỹ năng ngôn ngữ, từ kiến thức tổng quát và lập luận đến lập trình, toán học và khả năng đa ngôn ngữ.

Nguồn: Meta AI

Llama 3.1 405B thể hiện khả năng cạnh tranh với các mô hình đóng hàng đầu như GPT-4, GPT-4o và Claude 3.5 Sonnet trên nhiều điểm chuẩn. Đáng chú ý, nó đặc biệt mạnh ở các tác vụ lập luận, đạt 96,9 trên ARC Challenge và 96,8 trên GSM8K. Nó cũng xuất sắc trong tạo mã, đạt 89,0 trên điểm chuẩn HumanEval.

Ngoài các điểm chuẩn tự động, Meta AI đã tiến hành các đánh giá bởi con người quy mô lớn để đánh giá hiệu năng của Llama 3.1 405B trong các kịch bản thực tế.

Nguồn: Meta AI

Dù Llama 3.1 405B cạnh tranh trong các đánh giá này, nó không nhất quán vượt trội hơn các mô hình khác. Nó ngang ngửa với GPT-4-0125-Preview (mô hình GPT-4 của OpenAI phát hành bản xem trước đầu 2024) và Claude 3.5 Sonnet, thắng thua với tỷ lệ tương tự nhau. Nó kém GPT-4o đôi chút, chỉ thắng 19,1% lượt so sánh.

Tôi có thể truy cập Llama 3.1 405B ở đâu?

Bạn có thể truy cập Llama 3.1 405B qua hai kênh chính:

1. Tải trực tiếp từ Meta: Trọng số mô hình có thể tải trực tiếp từ trang Llama chính thức của Meta: llama.meta.com
2. Hugging Face: Llama 3.1 405B cũng có trên nền tảng Hugging Face, một trung tâm phổ biến để chia sẻ và truy cập các mô hình học máy.

Bằng cách cung cấp mô hình một cách dễ tiếp cận, Meta hướng tới việc giúp nhà nghiên cứu, nhà phát triển và tổ chức sử dụng năng lực của nó cho nhiều ứng dụng và đóng góp vào tiến bộ AI—đọc thêm về nguyên tắc của Meta liên quan đến AI mã nguồn mở trong thư của Mark Zuckerberg.

Họ mô hình Llama 3.1

Trong khi Llama 3.1 405B gây chú ý bởi kích cỡ, họ Llama 3.1 còn cung cấp các mô hình khác phục vụ các trường hợp sử dụng và hạn chế tài nguyên khác nhau. Các mô hình này chia sẻ những tiến bộ của phiên bản 405B nhưng được điều chỉnh theo nhu cầu cụ thể.

Llama 3.1 70B: Đa dụng

Mô hình Llama 3.1 70B cân bằng giữa hiệu năng và hiệu quả, trở thành ứng viên mạnh cho nhiều ứng dụng.

Nó xuất sắc ở các tác vụ như tóm tắt văn bản dài, tạo tác nhân hội thoại đa ngôn ngữ và hỗ trợ lập trình.

Dù nhỏ hơn 405B, nó vẫn cạnh tranh với các mô hình mở và đóng cùng cỡ trong nhiều điểm chuẩn. Kích cỡ giảm cũng giúp dễ triển khai và quản lý trên phần cứng tiêu chuẩn.

Nguồn: Meta AI

Llama 3.1 8B: Gọn nhẹ và hiệu quả

Mô hình Llama 3.1 8B ưu tiên tốc độ và tiêu thụ tài nguyên thấp. Nó lý tưởng cho các kịch bản mà các yếu tố này then chốt, như triển khai trên thiết bị biên, nền tảng di động hoặc môi trường hạn chế tài nguyên tính toán.

Dù kích cỡ nhỏ, nó vẫn mang lại hiệu năng cạnh tranh so với các mô hình cùng cỡ trên nhiều tác vụ (xem bảng trên).

Nếu bạn quan tâm đến tinh chỉnh Llama 3.1 8B, hãy đọc thêm trong hướng dẫn Tinh chỉnh Llama 3.1 cho phân loại văn bản.

Cải tiến dùng chung ở tất cả mô hình Llama 3.1

Tất cả mô hình Llama 3.1 chia sẻ một số cải tiến chính:

• Cửa sổ ngữ cảnh mở rộng (128K token): Cửa sổ ngữ cảnh—đại diện cho lượng văn bản mô hình có thể xét cùng lúc—được tăng đáng kể lên 128.000 token. Điều này cho phép các mô hình xử lý đầu vào dài hơn nhiều và duy trì ngữ cảnh xuyên suốt hội thoại hay tài liệu kéo dài.
• Hỗ trợ đa ngôn ngữ: Tất cả mô hình nay hỗ trợ tám ngôn ngữ: tiếng Anh, Đức, Pháp, Ý, Bồ Đào Nha, Hindi, Tây Ban Nha và Thái. Hỗ trợ ngôn ngữ rộng hơn giúp mở rộng khả năng ứng dụng tới khán giả toàn cầu.
• Cải thiện sử dụng công cụ và lập luận: Các mô hình được tăng cường khả năng dùng công cụ và lập luận, khiến chúng linh hoạt hơn và xử lý tốt các tác vụ phức tạp.
• Nâng cao an toàn: Tất cả mô hình Llama 3.1 đều được kiểm thử và tinh chỉnh an toàn nghiêm ngặt để giảm thiểu rủi ro và thúc đẩy sử dụng AI có trách nhiệm, bao gồm nỗ lực giảm thiên lệch và đầu ra gây hại.

LLM lớn vs. nhỏ: Cuộc tranh luận

Việc phát hành Llama 3.1 405B, dù ấn tượng về quy mô, gợi mở cuộc thảo luận về kích thước tối ưu cho các mô hình ngôn ngữ trong bối cảnh AI hiện nay.

Như đã đề cập ngắn gọn ở phần mở đầu, các đối thủ như Mistral và Falcon chọn mô hình nhỏ hơn, lập luận rằng chúng thực tiễn và dễ tiếp cận hơn. Các mô hình nhỏ thường cần ít tài nguyên tính toán, giúp dễ triển khai và tinh chỉnh cho tác vụ cụ thể.

Tuy vậy, những người ủng hộ mô hình lớn như Llama 3.1 405B cho rằng kích cỡ khổng lồ giúp chúng nắm bắt độ sâu và bề rộng kiến thức lớn hơn, dẫn đến hiệu năng vượt trội trên dải tác vụ rộng hơn. Họ cũng chỉ ra tiềm năng các mô hình lớn này đóng vai trò "mô hình nền tảng" để từ đó xây dựng các mô hình nhỏ, chuyên biệt thông qua chưng cất.

Tranh luận giữa LLM lớn và nhỏ rốt cuộc là đánh đổi giữa năng lực và tính thực tiễn. Mô hình lớn mang lại tiềm năng hiệu năng cao hơn, nhưng đi kèm nhu cầu tính toán tăng và tác động môi trường tiềm ẩn do tiêu thụ năng lượng. Mô hình nhỏ, ngược lại, có thể hy sinh phần nào hiệu năng để đổi lấy khả năng tiếp cận và dễ triển khai.

Việc Meta phát hành Llama 3.1 405B song song với các biến thể nhỏ hơn như 70B và 8B dường như thừa nhận sự đánh đổi này. Bằng cách cung cấp dải kích cỡ mô hình, họ đáp ứng các nhu cầu và sở thích khác nhau trong cộng đồng AI.

Cuối cùng, lựa chọn giữa LLM lớn và nhỏ sẽ phụ thuộc vào trường hợp sử dụng cụ thể, tài nguyên sẵn có và đặc tính hiệu năng mong muốn. Khi lĩnh vực tiếp tục phát triển, nhiều khả năng cả hai cách tiếp cận sẽ cùng tồn tại, mỗi bên tìm được chỗ đứng trong bức tranh đa dạng của các ứng dụng AI.

Kết luận

Việc phát hành họ Llama 3.1, đặc biệt là mô hình 405B, là một đóng góp đáng chú ý cho lĩnh vực các mô hình ngôn ngữ lớn mã nguồn mở.

Dù hiệu năng của nó có thể không ổn định vượt qua mọi mô hình đóng, năng lực của nó cùng cam kết minh bạch và hợp tác của Meta mang đến một lộ trình mới cho phát triển AI.

Sự hiện diện của nhiều kích cỡ mô hình và các cải tiến dùng chung mở rộng phạm vi ứng dụng cho nhà nghiên cứu, nhà phát triển và tổ chức.

Bằng cách chia sẻ công nghệ này một cách cởi mở, Meta đang thúc đẩy môi trường hợp tác có thể tăng tốc tiến bộ trong lĩnh vực, giúp AI tiên tiến trở nên dễ tiếp cận hơn.

Tác động của Llama 3.1 đến tương lai của AI còn phải chờ quan sát, nhưng việc phát hành này nhấn mạnh tầm quan trọng ngày càng tăng của các sáng kiến mã nguồn mở trong nỗ lực theo đuổi công nghệ AI có trách nhiệm và hữu ích.