Janus Pro da DeepSeek: Recursos, comparação com o DALL-E 3 e muito mais

O lançamento do DeepSeek-R1 abalou o setor de IA, causando quedas significativas nas ações da NVIDIA e das principais empresas americanas de IA.

A DeepSeek apresentou agora o Janus-Pro, seu mais recente modelo multimodal projetado para geração de texto e imagem. Assim como o R1, o Janus Pro é de código aberto e oferece bons resultados de benchmark. Resumidamente, ele é um concorrente de peso do DALL-E 3 da OpenAI e do Stable Diffusion da Stability AI no segmento de IA multimodal.

Neste blog, explicarei o Janus Pro, o que ele é, o que significa IA multimodal, como ele funciona e como você pode acessá-lo. Também vou compará-lo com o DALL-E 3 em alguns prompts.

O que é o Janus-Pro?

O Janus-Pro é o mais novo modelo de IA multimodal da DeepSeek, projetado para lidar com tarefas que envolvem texto e imagens. Ele apresenta vários aprimoramentos em relação ao modelo Janus original, incluindo melhores estratégias de treinamento, conjuntos de dados maiores e tamanhos de modelos escalonados (disponíveis nas versões de parâmetros 1B e 7B).

Janus vs. Janus Pro-7b. Fonte: Artigo de lançamento do Janus-Pro.

Ao contrário dos modelos de IA especializados em apenas um tipo de entrada, os modelos de IA multimodal, como o Janus-Pro, são criados para entender e conectar essas duas modalidades. Por exemplo, você pode carregar uma imagem e escrever uma pergunta sobre ela como, por exemplo, identificar objetos na cena, interpretar o texto dentro da imagem ou até mesmo analisar seu contexto.

Reconhecimento de texto com o Janus-Pro. Fonte: Artigo de lançamento do Janus-Pro.

O Janus-Pro pode gerar imagens de alta qualidade a partir de instruções de texto, como a criação de trabalhos artísticos detalhados, projetos de produtos ou visualizações realistas com base em instruções específicas. Ele também pode analisar entradas visuais, como identificar objetos em uma foto, ler e interpretar textos em uma imagem ou responder a perguntas sobre um gráfico ou diagrama.

Geração de imagens a partir de texto com o Janus-Pro. Fonte: Artigo de lançamento do Janus-Pro.

O Janus-Pro é fornecido em dois tamanhos, parâmetros 1B e 7B, oferecendo flexibilidade, dependendo do seu hardware.

Como o Janus-Pro funciona?

O Janus-Pro foi projetado para lidar tanto com a compreensão quanto com a geração de texto e imagens, e consegue isso com alguns aprimoramentos inteligentes em relação ao seu antecessor. Vou explicar seus principais componentes de uma forma que seja mais fácil de digerir.

Programação visual desacoplada

Um dos recursos de destaque do Janus-Pro é que ele não usa um único sistema para lidar com a interpretação e a criação de imagens. Em vez disso, ele separa esses processos (programação visual desacoplada).

Por exemplo, quando você carrega uma imagem e faz uma pergunta sobre ela, o Janus-Pro usa um sistema especializado para "ler" a imagem e descobrir o que é importante. Por outro lado, quando você pede que ele crie uma imagem a partir de uma descrição em texto, ele muda para um sistema diferente que se concentra na geração de imagens. Essa separação permite que o modelo realize melhor as duas tarefas, evitando as concessões que ocorrem quando um sistema é forçado a lidar com tudo.

Processo de treinamento aprimorado

O treinamento da Janus-Pro é dividido em três etapas, cada uma delas projetada para aperfeiçoar seus recursos:

1. Aprendizado de conceitos básicos de elementos visuais: O modelo começa com o treinamento em conjuntos de dados como ImageNetcom foco no reconhecimento de objetos, textos e padrões visuais. Esse estágio foi ampliado no Janus-Pro, dando ao modelo mais tempo para modelar dependências de pixel e processar dados visuais com eficiência.
2. Conexão de elementos visuais e texto: Nessa fase, o Janus-Pro integra texto e imagens por meio do treinamento em conjuntos de dados descritivos de texto para imagem de alta qualidade. Diferentemente das versões anteriores, o Janus-Pro ignora abordagens ineficientes e usa prompts densos para obter melhores resultados.
3. Ajuste final: Esse estágio ajusta o equilíbrio dos dados de treinamento— multimodal, somente texto e texto para imagem—de 7:3:10 para 5:1:4.

Dados maiores e dimensionamento de modelos

O Janus-Pro amplia seus recursos usando tanto dados do mundo real quanto dados sintéticos em partes iguais. Essa combinação não apenas garante resultados de maior qualidade, mas também melhora a estabilidade durante tarefas como a geração de imagens.

Janus-Pro vs. DALL-E 3

Nesta seção, compararei o Janus-Pro-7B e o DALL-E 3 na compreensão multimodal e na geração de imagens a partir de texto. Essa comparação tem o objetivo de dar a você uma noção prática desses modelos em ação, mas não substitui a profundidade das medições sistemáticas de benchmark.

Compreensão multimodal

Carreguei a imagem abaixo e perguntei ao Janus-Pro-7B e ao DALL-E 3:

"Em uma frase, qual é a principal conclusão dessa imagem?"

Fonte: Página do GitHub do Janus-Pro.

Aqui estão as respostas:

Janus-Pro: A principal conclusão dessa imagem é que o modelo Janus atinge o desempenho médio mais alto em tarefas de compreensão multimodal, além de demonstrar alta precisão em benchmarks de cumprimento de instruções para geração de imagens a partir de texto.

DALL-E 3: Os modelos Janus-Pro, especialmente o Janus-Pro-7B, superam outros modelos multimodais em benchmarks de compreensão e de cumprimento de instruções, demonstrando recursos sólidos em tarefas de texto e imagem.

Embora ambos os modelos resumam bem o gráfico, o Janus-Pro se refere incorretamente ao "modelo Janus", deixando de diferenciá-lo do Janus-Pro. O DALL-E 3, no entanto, identifica especificamente "modelos Janus-Pro, particularmente Janus-Pro-7B", demonstrando melhor compreensão contextual.

Esse é apenas um exemplo isolado, portanto, não podemos tirar conclusões gerais.

Geração de imagens a partir de texto

Tentei esse prompt porque pode ser algo que tenha um uso real na prática:

"Um projeto de um escritório moderno com estações de trabalho colaborativas, salas de reunião privadas e luz natural, apresentado como uma renderização em estilo 3D"

O DALL-E 3 gerou esta imagem abaixo, que atende a todos os elementos do prompt: escritório moderno, estações de trabalho colaborativas, salas de reunião privadas, luz natural e renderização em estilo 3D. No entanto, se você observar com atenção, perceberá alguns artefatos, como:

1. Os reflexos nos painéis de vidro superiores à esquerda parecem ligeiramente deformados, especialmente a luminária circular.
2. Alguns dos itens nas mesas (lâmpadas, papéis e computadores) têm bordas borradas ou não naturais, indicando possíveis erros de mesclagem de IA.
3. As cadeiras de escritório, especialmente a do meio, parecem um pouco distorcidas, principalmente as pernas e a forma como interagem com o chão (os apoios de braço também não estão posicionados corretamente).

Fiz um prompt para o Janus-Pro-7B no Hugging Face. O modelo gerou cinco imagens, e todas elas ficaram muito ruins: