Hướng dẫn Llama 3.2: Cách hoạt động, Trường hợp sử dụng & hơn thế nữa

Theo các ví dụ của Meta, mô hình có thể phân tích biểu đồ nhúng trong tài liệu và tóm tắt xu hướng chính. Chúng cũng có thể diễn giải bản đồ, xác định đoạn dốc nhất của một cung đường leo núi, hoặc tính khoảng cách giữa hai điểm.

Trường hợp sử dụng của mô hình thị giác Llama

Sự kết hợp suy luận văn bản và hình ảnh này mở ra nhiều ứng dụng tiềm năng, gồm:

• Hiểu tài liệu: Các mô hình có thể trích xuất và tóm tắt thông tin từ tài liệu chứa hình ảnh, đồ thị, biểu đồ. Ví dụ, một doanh nghiệp có thể dùng Llama 3.2 để tự động diễn giải dữ liệu bán hàng trình bày dưới dạng trực quan.
• Hỏi đáp thị giác: Nhờ hiểu cả văn bản và hình ảnh, các mô hình Llama 3.2 có thể trả lời câu hỏi dựa trên nội dung trực quan, như nhận diện một đối tượng trong khung cảnh hoặc tóm tắt nội dung của một bức ảnh.
• Gán chú thích ảnh: Các mô hình có thể tạo chú thích cho hình ảnh, hữu ích trong các lĩnh vực như truyền thông số hoặc hỗ trợ tiếp cận, nơi việc hiểu nội dung hình ảnh rất quan trọng.

Mở và tùy biến được

Các mô hình thị giác của Llama 3.2 là mở và có thể tùy biến. Nhà phát triển có thể tinh chỉnh cả phiên bản tiền huấn luyện và đã căn chỉnh của các mô hình này bằng khung làm việc Torchtune của Meta.

Hơn nữa, các mô hình này có thể được triển khai cục bộ qua Torchchat, giảm phụ thuộc vào hạ tầng đám mây và mang lại giải pháp cho các nhà phát triển muốn triển khai hệ thống AI tại chỗ hoặc trong môi trường hạn chế tài nguyên.

Các mô hình thị giác cũng sẵn có để thử nghiệm thông qua Meta AI, trợ lý thông minh của Meta.

Cách hoạt động của mô hình thị giác Llama 3.2

Để giúp các mô hình thị giác Llama 3.2 hiểu cả văn bản lẫn hình ảnh, Meta đã tích hợp một bộ mã hóa hình ảnh đã tiền huấn luyện vào mô hình ngôn ngữ hiện có bằng các bộ chuyển đổi chuyên biệt. Các bộ chuyển đổi này liên kết dữ liệu hình ảnh với phần xử lý văn bản của mô hình, cho phép nó xử lý cả hai loại đầu vào.

Quy trình huấn luyện bắt đầu từ mô hình ngôn ngữ Llama 3.1. Trước hết, nhóm đã huấn luyện trên các bộ dữ liệu lớn gồm hình ảnh ghép cặp với mô tả văn bản để dạy mô hình cách liên hệ hai dạng dữ liệu. Sau đó, họ tinh luyện bằng dữ liệu sạch hơn, cụ thể hơn để cải thiện khả năng hiểu và suy luận trên nội dung thị giác.

Ở giai đoạn cuối, Meta dùng các kỹ thuật như tinh chỉnh và tạo dữ liệu tổng hợp để đảm bảo mô hình đưa ra câu trả lời hữu ích và hành xử an toàn.

Đánh giá chuẩn: Điểm mạnh và điểm yếu

Các mô hình thị giác Llama 3.2 nổi bật ở khả năng hiểu biểu đồ và sơ đồ. Trên các thang đo như AI2 Diagram (92,3) và DocVQA (90,1), Llama 3.2 vượt Claude 3 Haiku. Điều này khiến nó trở thành lựa chọn xuất sắc cho các tác vụ liên quan đến hiểu ở cấp độ tài liệu, hỏi đáp thị giác và trích xuất dữ liệu từ biểu đồ.

Ở các tác vụ đa ngôn ngữ (MGSM), Llama 3.2 cũng thể hiện tốt, gần tương đương GPT-4o-mini với điểm 86,9, là lựa chọn vững chắc cho nhà phát triển làm việc với nhiều ngôn ngữ.

Nguồn: Meta AI

Dù Llama 3.2 thể hiện tốt ở các tác vụ dựa trên thị giác, nó vẫn gặp thách thức ở lĩnh vực khác. Ở MMMU-Pro Vision, thang đo đánh giá suy luận toán học trên dữ liệu hình ảnh, GPT-4o-mini vượt Llama 3.2 với điểm 36,5 so với 33,8 của Llama.

Tương tự, trong thang đo MATH, hiệu suất của GPT-4o-mini (70,2) vượt xa Llama 3.2 (51,9), cho thấy Llama vẫn còn dư địa cải thiện ở các tác vụ suy luận toán học.

Mô hình Gọn nhẹ Llama 3.2 1B & 3B

Một bước tiến quan trọng khác trong Llama 3.2 là giới thiệu các mô hình gọn nhẹ dành cho thiết bị biên và di động. Các mô hình này, với 1 tỷ và 3 tỷ tham số, được tối ưu để chạy trên phần cứng nhỏ hơn mà vẫn giữ cân bằng hợp lý về hiệu năng.

AI trên thiết bị: Thời gian thực và riêng tư

Những mô hình này được thiết kế để chạy trên thiết bị di động, mang lại xử lý nhanh, cục bộ mà không cần gửi dữ liệu lên đám mây. Chạy mô hình cục bộ trên thiết bị biên đem lại hai lợi ích chính:

• Tốc độ phản hồi nhanh hơn: Vì mô hình chạy trên thiết bị, chúng có thể xử lý yêu cầu và tạo phản hồi gần như tức thời. Điều này đặc biệt hữu ích cho tương tác thời gian thực nơi tốc độ là yếu tố then chốt.
• Tăng cường quyền riêng tư: Với xử lý cục bộ, dữ liệu người dùng không phải rời khỏi thiết bị. Điều này giữ an toàn cho thông tin nhạy cảm, như tin nhắn cá nhân hoặc lịch làm việc, dưới sự kiểm soát của người dùng thay vì gửi lên đám mây.

Các mô hình gọn nhẹ của Llama 3.2 được tối ưu cho bộ xử lý Arm và hỗ trợ trên phần cứng Qualcomm và MediaTek, vốn vận hành nhiều thiết bị di động và biên hiện nay.

Ứng dụng của Llama 3.2 1B & 3B

Các mô hình gọn nhẹ được thiết kế cho nhiều ứng dụng thực tiễn ngay trên thiết bị, như:

1. Tóm tắt: Người dùng có thể tóm tắt lượng lớn văn bản, như email hoặc ghi chú cuộc họp, trực tiếp trên thiết bị mà không phụ thuộc dịch vụ đám mây.

2. Trợ lý cá nhân AI: Các mô hình có thể diễn giải chỉ dẫn ngôn ngữ tự nhiên và thực hiện tác vụ, như tạo danh sách việc cần làm hoặc lên lịch họp.

3. Viết lại văn bản: Các mô hình này có thể cải thiện hoặc chỉnh sửa văn bản ngay lập tức, hữu ích cho các ứng dụng như công cụ biên tập tự động hoặc diễn đạt lại.

Cách hoạt động của các mô hình gọn nhẹ Llama 3.2

Các mô hình gọn nhẹ Llama 3.2 (1B và 3B) được xây dựng để phù hợp hiệu quả với thiết bị di động và biên mà vẫn giữ hiệu năng mạnh. Để đạt được điều này, Meta dùng hai kỹ thuật chính: cắt tỉa (pruning) và chưng cất (distillation).

Nguồn: Meta AI

Cắt tỉa: Làm mô hình nhỏ gọn hơn

Cắt tỉa giúp giảm kích thước các mô hình Llama gốc bằng cách loại bỏ những phần ít quan trọng của mạng nhưng vẫn giữ tối đa tri thức. Với các mô hình 1B và 3B của Llama 3.2, quá trình này bắt đầu từ mô hình Llama 3.1 8B tiền huấn luyện lớn hơn.

Bằng cách cắt tỉa có hệ thống, nhóm Meta AI đã tạo ra các phiên bản nhỏ hơn, hiệu quả hơn mà không làm suy giảm đáng kể hiệu năng. Điều này thể hiện trong sơ đồ trên, nơi mô hình 8B tiền huấn luyện (hộp màu tím) được cắt tỉa và tinh luyện để trở thành nền tảng cho các mô hình Llama 3.2 1B/3B nhỏ hơn.

Chưng cất: Truyền dạy cho mô hình nhỏ

Chưng cất là quá trình chuyển giao tri thức từ mô hình lớn, mạnh hơn ("giáo viên") sang mô hình nhỏ ("học trò"). Trong Llama 3.2, các logits (dự đoán) từ Llama 3.1 8B và Llama 3.1 70B lớn hơn được dùng để dạy các mô hình nhỏ.

Nhờ vậy, các mô hình 1B và 3B nhỏ có thể học thực hiện tác vụ hiệu quả hơn dù kích thước giảm. Sơ đồ trên cho thấy quá trình này sử dụng dữ liệu logits từ mô hình lớn để dẫn dắt mô hình 1B và 3B trong giai đoạn tiền huấn luyện.

Tinh chỉnh cuối

Sau cắt tỉa và chưng cất, các mô hình 1B và 3B trải qua hậu huấn luyện, tương tự các mô hình Llama trước đây. Quá trình bao gồm các kỹ thuật như tinh chỉnh có giám sát, lấy mẫu loại bỏ và tối ưu hóa theo sở thích trực tiếp để căn chỉnh đầu ra với kỳ vọng của người dùng.

Dữ liệu tổng hợp cũng được tạo để đảm bảo mô hình có thể xử lý nhiều tác vụ như tóm tắt, viết lại và làm theo chỉ dẫn.

Như trong sơ đồ, các mô hình chỉ dẫn Llama 3.2 1B/3B cuối cùng là kết quả của cắt tỉa, chưng cất và hậu huấn luyện chuyên sâu.

Đánh giá chuẩn: Điểm mạnh và điểm yếu

Llama 3.2 3B nổi bật ở một số hạng mục, đặc biệt các tác vụ liên quan đến suy luận. Chẳng hạn, trong ARC Challenge, mô hình đạt 78,6, vượt Gemma (76,7) và chỉ kém Phi-3.5-mini (87,4). Tương tự, mô hình đạt kết quả tốt trên thang đo Hellawag với 69,8, vượt Gemma và cạnh tranh với Phi.

Ở các tác vụ sử dụng công cụ như BFCL V2, Llama 3.2 3B cũng nổi trội với điểm 67,0, vượt cả hai đối thủ. Điều này cho thấy mô hình 3B xử lý tốt các tác vụ theo chỉ dẫn và liên quan đến công cụ.

Nguồn: Meta AI

Llama Stack Distribution

Để bổ sung cho bản phát hành Llama 3.2, Meta giới thiệu Llama Stack. Với nhà phát triển, sử dụng Llama Stack nghĩa là họ không phải lo các chi tiết phức tạp khi thiết lập hoặc triển khai mô hình lớn. Họ có thể tập trung xây dựng ứng dụng và tin cậy rằng Llama Stack sẽ gánh phần lớn công việc nặng.

Các tính năng chính của Llama Stack gồm:

• API tiêu chuẩn hóa: Nhà phát triển có thể dùng để tương tác với các mô hình Llama mà không cần xây dựng mọi thứ từ đầu.
• Hoạt động ở mọi nơi: Llama Stack được thiết kế để hoạt động trên nhiều nền tảng:
• Một nút: Chạy mô hình Llama chỉ trên một máy tính.
• Tại chỗ: Sử dụng mô hình trên máy chủ của bạn hoặc đám mây riêng.
• Đám mây: Triển khai các mô hình Llama qua nhà cung cấp đám mây như AWS hoặc Google Cloud.
• Thiết bị di động và biên: Cho phép chạy các mô hình Llama trên điện thoại hoặc thiết bị nhỏ mà không phụ thuộc vào đám mây.
• Giải pháp dựng sẵn: Llama Stack cung cấp các giải pháp “chìa khóa trao tay”, tức thiết lập sẵn cho những tác vụ phổ biến như phân tích tài liệu hoặc hỏi đáp. Điều này giúp tiết kiệm thời gian và công sức.
• Tích hợp an toàn: Stack cũng bao gồm các tính năng an toàn tích hợp, đảm bảo AI hành xử có trách nhiệm và đạo đức khi triển khai.

Nguồn: Meta AI

Tính an toàn của Llama 3.2

Meta tiếp tục tập trung vào AI có trách nhiệm với Llama 3.2. Llama Guard 3 đã được cập nhật để bao gồm phiên bản hỗ trợ thị giác, tương thích với năng lực đa phương thức mới của Llama 3.2. Điều này đảm bảo các ứng dụng dùng tính năng hiểu hình ảnh mới vẫn an toàn và tuân thủ các nguyên tắc đạo đức.

Ngoài ra, Llama Guard 3 1B đã được tối ưu để triển khai trong môi trường hạn chế tài nguyên hơn, nhỏ gọn và hiệu quả hơn các phiên bản trước.

Cách truy cập và tải xuống các mô hình Llama 3.2

Truy cập và tải xuống các mô hình Llama 3.2 tương đối đơn giản. Meta đã cung cấp các mô hình này trên nhiều nền tảng, gồm website của họ và Hugging Face, nền tảng phổ biến để lưu trữ và chia sẻ mô hình AI.

Bạn có thể tải trực tiếp mô hình Llama 3.2 từ trang Llama chính thức. Meta cung cấp cả các mô hình gọn nhẹ (1B và 3B) và mô hình hỗ trợ thị giác lớn (11B và 90B) cho nhà phát triển sử dụng.

Hugging Face là nền tảng khác nơi các mô hình Llama 3.2 sẵn có. Nền tảng này cung cấp truy cập thuận tiện và thường được cộng đồng nhà phát triển AI sử dụng.

Các mô hình Llama 3.2 có thể phát triển ngay trên hệ sinh thái rộng các nền tảng đối tác của chúng tôi, gồm AMD, AWS, Databricks, Dell, Google Cloud, Groq, IBM, Intel, Microsoft Azure, NVIDIA, Oracle Cloud, Snowflake và các đối tác khác.

Kết luận

Bản phát hành Llama 3.2 của Meta giới thiệu những mô hình đa phương thức đầu tiên trong dòng sản phẩm, tập trung vào hai mảng chính: mô hình hỗ trợ thị giác và mô hình gọn nhẹ cho thiết bị biên và di động.

Các mô hình đa phương thức 11B và 90B nay có thể xử lý cả văn bản và hình ảnh, trong khi các mô hình 1B và 3B được tối ưu để sử dụng cục bộ hiệu quả trên thiết bị nhỏ.

Trong bài viết này, tôi đã trình bày những điều cốt lõi—cách các mô hình hoạt động, ứng dụng thực tiễn và cách bạn có thể truy cập chúng.