Lộ trình
Cơ bản về Trí tuệ Nhân tạo
10 giờ
Sự ra mắt của DeepSeek-R1 đã làm rung chuyển ngành AI, kéo theo đà giảm mạnh cổ phiếu của NVIDIA và các công ty AI lớn của Mỹ.
Giờ đây, DeepSeek giới thiệu Janus-Pro, mô hình đa phương thức mới nhất dành cho tạo văn bản và hình ảnh. Tương tự R1, Janus Pro là mã nguồn mở và đạt kết quả benchmark ấn tượng. Nói ngắn gọn, đây là đối thủ đáng gờm của DALL-E 3 của OpenAI và Stable Diffusion của Stability AI trong không gian AI đa phương thức.
Trong bài viết này, tôi sẽ giải thích Janus Pro là gì, AI đa phương thức nghĩa là gì, cách nó hoạt động và cách truy cập. Tôi cũng sẽ so sánh nó với DALL-E 3 trên một vài prompt.
Janus-Pro là gì?
Janus-Pro là mô hình AI đa phương thức mới nhất của DeepSeek, được thiết kế để xử lý các tác vụ liên quan đến cả văn bản và hình ảnh. Nó mang đến nhiều cải tiến so với phiên bản Janus ban đầu, bao gồm chiến lược huấn luyện tốt hơn, bộ dữ liệu lớn hơn và quy mô mô hình được mở rộng (có các phiên bản 1B và 7B tham số).
Janus so với Janus Pro-7b. Nguồn: bài phát hành Janus-Pro.
Không giống các mô hình AI chỉ chuyên về một loại đầu vào, những mô hình đa phương thức như Janus-Pro được xây dựng để hiểu và kết nối hai kênh này. Ví dụ, bạn có thể tải lên một hình ảnh và đặt câu hỏi bằng văn bản về nó—chẳng hạn nhận diện đối tượng trong cảnh, diễn giải văn bản trong ảnh hoặc thậm chí phân tích ngữ cảnh.
Nhận dạng văn bản với Janus-Pro. Nguồn: bài phát hành Janus-Pro.
Janus-Pro có thể tạo hình ảnh chất lượng cao từ prompt văn bản, như tạo tác phẩm nghệ thuật chi tiết, thiết kế sản phẩm hoặc hình ảnh hóa chân thực dựa trên hướng dẫn cụ thể. Nó cũng có thể phân tích đầu vào thị giác, như nhận diện đối tượng trong ảnh, đọc và diễn giải văn bản trong ảnh, hoặc trả lời câu hỏi về biểu đồ hay sơ đồ.
Sinh ảnh từ văn bản với Janus-Pro. Nguồn: bài phát hành Janus-Pro.
Janus-Pro có hai kích thước—1B và 7B tham số—mang lại sự linh hoạt tùy vào phần cứng của bạn.
Janus-Pro hoạt động thế nào?
Janus-Pro được thiết kế để vừa hiểu vừa tạo văn bản và hình ảnh, đạt được điều này nhờ một số cải tiến thông minh so với tiền nhiệm. Dưới đây là các thành phần chính được diễn giải dễ nắm bắt hơn.
Mã hóa thị giác tách rời
Một điểm nổi bật của Janus-Pro là nó không dùng một hệ thống duy nhất để vừa diễn giải vừa tạo hình ảnh. Thay vào đó, nó tách biệt các quy trình này (mã hóa thị giác tách rời).
Ví dụ, khi bạn tải lên một bức ảnh và đặt câu hỏi về nó, Janus-Pro dùng một hệ thống chuyên biệt để “đọc” ảnh và xác định phần quan trọng. Ngược lại, khi bạn yêu cầu tạo ảnh từ mô tả văn bản, nó chuyển sang một hệ thống khác tập trung vào việc sinh hình ảnh. Sự tách biệt này giúp mô hình làm tốt cả hai nhiệm vụ—tránh những thỏa hiệp xảy ra khi một hệ thống bị buộc phải xử lý mọi thứ.
Quy trình huấn luyện được cải thiện
Việc huấn luyện Janus-Pro được chia thành ba giai đoạn, mỗi giai đoạn nhằm tinh chỉnh năng lực của mô hình:
- Học các yếu tố thị giác cơ bản: Mô hình bắt đầu bằng việc huấn luyện trên các bộ dữ liệu như ImageNet, tập trung vào nhận diện đối tượng, văn bản và mẫu thị giác. Giai đoạn này được kéo dài trong Janus-Pro, giúp mô hình có thêm thời gian để mô hình hóa sự phụ thuộc điểm ảnh và xử lý dữ liệu hình ảnh hiệu quả.
- Kết nối hình ảnh và văn bản: Ở giai đoạn này, Janus-Pro tích hợp văn bản và hình ảnh bằng cách huấn luyện trên các bộ dữ liệu mô tả văn bản–sang–hình ảnh chất lượng cao. Khác với các phiên bản trước, Janus-Pro bỏ qua những cách tiếp cận kém hiệu quả và sử dụng prompt dày đặc để có kết quả tốt hơn.
- Tinh chỉnh cuối: Giai đoạn này điều chỉnh tỷ lệ dữ liệu huấn luyện—đa phương thức, chỉ văn bản và văn bản–sang–hình ảnh—từ 7:3:10 xuống 5:1:4.
Dữ liệu lớn hơn và mở rộng quy mô mô hình
Janus-Pro mở rộng năng lực bằng cách sử dụng cả dữ liệu thế giới thực và dữ liệu tổng hợp theo tỷ lệ bằng nhau. Sự pha trộn này không chỉ đảm bảo chất lượng cao hơn mà còn cải thiện độ ổn định trong các tác vụ như sinh ảnh.
Janus-Pro so với DALL-E 3
Trong phần này, tôi sẽ so sánh Janus-Pro-7B và DALL-E 3 ở khả năng hiểu đa phương thức và sinh ảnh từ văn bản. So sánh này nhằm mang đến cho bạn cảm nhận thực tế về cách các mô hình vận hành, nhưng không thay thế cho các phép đo benchmark có hệ thống và chuyên sâu.
Khả năng hiểu đa phương thức
Tôi đã tải lên hình ảnh dưới đây và hỏi cả Janus-Pro-7B lẫn DALL-E 3:
“Trong một câu, thông điệp chính của hình này là gì?”
Nguồn: trang GitHub của Janus-Pro.
Đây là các phản hồi:
Janus-Pro: Thông điệp chính của hình này là mô hình Janus đạt hiệu năng trung bình cao nhất trên các tác vụ hiểu đa phương thức, đồng thời thể hiện độ chính xác cao trên các benchmark tuân thủ hướng dẫn cho sinh ảnh từ văn bản.
DALL-E 3: Các mô hình Janus-Pro, đặc biệt là Janus-Pro-7B, vượt trội so với các mô hình đa phương thức khác ở cả benchmark hiểu biết và tuân thủ hướng dẫn, thể hiện năng lực mạnh mẽ trên các tác vụ văn bản và hình ảnh.
Cả hai mô hình đều tóm tắt biểu đồ tốt, nhưng Janus-Pro lại nhắc đến “mô hình Janus”, không phân biệt được với Janus-Pro. Trong khi đó, DALL-E 3 chỉ rõ “các mô hình Janus-Pro, đặc biệt là Janus-Pro-7B”, cho thấy khả năng hiểu ngữ cảnh tốt hơn.
Đây chỉ là một ví dụ đơn lẻ, nên chưa thể rút ra kết luận tổng quát.
Sinh ảnh từ văn bản
Tôi thử prompt này vì nó có thể hữu ích trong thực tế:
“Thiết kế không gian văn phòng hiện đại với khu làm việc cộng tác, buồng họp riêng và ánh sáng tự nhiên, trình bày dưới dạng render phong cách 3D”
DALL-E 3 đã tạo ra hình ảnh dưới đây, đáp ứng đủ các yếu tố trong prompt: không gian văn phòng hiện đại, khu làm việc cộng tác, buồng họp riêng, ánh sáng tự nhiên và render phong cách 3D. Tuy nhiên, khi nhìn kỹ, bạn sẽ thấy khá nhiều lỗi tạo tác, như:
- Phản chiếu trên các tấm kính góc trên bên trái bị méo nhẹ, đặc biệt là đèn trần dạng vòng tròn.
- Một số vật dụng trên bàn (đèn, giấy tờ và máy tính) có cạnh mờ hoặc không tự nhiên, cho thấy khả năng lỗi trộn AI.
- Ghế văn phòng, đặc biệt là chiếc ở giữa, có vẻ hơi méo, nhất là phần chân ghế và cách chúng tiếp xúc với sàn (đệm tay vịn cũng không đặt đúng vị trí).
Tôi dùng Janus-Pro-7B trên Hugging Face. Mô hình tạo năm hình ảnh, và tất cả trông khá tệ:
Janus-Pro đã tạo năm hình ảnh
Nhìn vào hình đầu tiên, chúng ta có thể dễ dàng nhận ra vài lỗi lớn:
- Trần nhà bị méo không tự nhiên, đèn trần bị nhân bản và lệch hàng, có cảm giác bị kéo giãn hoặc lơ lửng.
- Một số bàn có hình dạng kỳ lạ, góc cạnh không nhất quán và chồng chéo không tự nhiên. Vài chiếc ghế có vẻ như bị “chảy” hoặc dính vào sàn.
- Kết cấu buồng bên phải có vẻ như bị “chảy”, với chiếc ghế bên trong bị biến dạng và tách rời.
Bạn có thể tái tạo kết quả này trên Hugging Face bằng cùng prompt và các tham số cùng seed sau:
Dù đã thử nghiệm với các tham số và seed khác nhau, tôi vẫn không tạo ra được kết quả tốt hơn với Janus-Pro-7B. Một lần nữa, đây chỉ là một ví dụ và không đủ bằng chứng để đưa ra kết luận rộng hơn về bất kỳ mô hình nào.
Benchmark của Janus-Pro
Janus-Pro đã được kiểm thử trên nhiều benchmark để đo hiệu năng ở cả khả năng hiểu đa phương thức và sinh ảnh từ văn bản. Kết quả cho thấy các cải thiện so với tiền nhiệm Janus và xếp nó vào nhóm các mô hình hiệu năng hàng đầu trong phân khúc.
Nguồn: trang GitHub của Janus-Pro.
Biểu đồ bên trái trong hình trên cho thấy hiệu năng của Janus-Pro trên bốn benchmark hiểu đa phương thức—nhóm DeepSeek đã tính trung bình độ chính xác của POPE, MME-Perception, GQA và MMMU. Kết luận chính là Janus-Pro-7B vượt trội so với bản nhỏ hơn Janus-Pro-1B, cũng như các mô hình đa phương thức khác như LLaVA-v1.5-7B và VILA-U.
Biểu đồ bên phải so sánh Janus-Pro-7B với các mô hình hàng đầu khác trên các benchmark tuân thủ hướng dẫn cho sinh ảnh từ văn bản, cụ thể là GenEval và DPG-Bench:
- Trên GenEval, bài test đánh giá khả năng mô hình tuân theo prompt văn bản để sinh ảnh, Janus-Pro-7B đạt 80,0%, vượt DALL-E 3 (67%) và SD3-Medium (74%).
- Trên DPG-Bench, nơi kiểm tra độ chính xác trong thực thi prompt chi tiết, Janus-Pro-7B đạt 84,2%, vượt qua tất cả mô hình khác.
Cách truy cập Janus-Pro
Bạn có thể dùng thử Janus-Pro mà không cần thiết lập phức tạp bằng vài cách khác nhau.
Bản demo trực tuyến trên Hugging Face
Cách nhanh nhất để thử Janus-Pro là thông qua demo Hugging Face Spaces, nơi bạn có thể nhập prompt và tạo văn bản hoặc hình ảnh trực tiếp trên trình duyệt. Không cần cài đặt hay thiết lập.
GUI cục bộ với Gradio
Nếu bạn muốn thiết lập cục bộ với giao diện thân thiện, DeepSeek cung cấp bản demo dựa trên Gradio. Cách này cho phép bạn tương tác với Janus-Pro qua GUI nền web trên máy của mình. Để sử dụng, hãy làm theo hướng dẫn trên kho GitHub chính thức của Janus.
Kết luận
Janus-Pro là bước đi mới nhất của DeepSeek trong lĩnh vực AI đa phương thức, mang đến lựa chọn mã nguồn mở thay thế cho các mô hình như DALL-E 3. Nó cải thiện so với tiền nhiệm nhờ huấn luyện tốt hơn, bộ dữ liệu lớn hơn và kiến trúc tách rời để xử lý văn bản và hình ảnh hiệu quả hơn.
Trong so sánh trực diện với DALL-E 3, Janus-Pro bộc lộ vài điểm yếu ở sinh ảnh từ văn bản, tạo ra các lỗi và sự thiếu nhất quán dễ nhận thấy. Tuy vậy, nó thể hiện tốt ở các tác vụ hiểu đa phương thức. Dẫu vậy, đây chỉ là thử nghiệm hạn chế và chưa đủ bằng chứng để kết luận chung về năng lực tổng thể của mô hình.
