Janus Pro de DeepSeek: características, comparación de DALL-E 3 y más

El lanzamiento de DeepSeek-R1 sacudió la industria de la IA y provocó importantes caídas en las acciones de NVIDIA y las principales empresas estadounidenses de IA.

DeepSeek acaba de presentar Janus-Pro, su modelo multimodal más reciente diseñado para la generación de texto e imágenes. Al igual que R1, Janus Pro es de código abierto y obtiene buenos resultados en los benchmarks. En pocas palabras, es un serio competidor del DALL-E 3 de OpenAI y del Stable Diffusion de Stability AI en el ámbito de la IA multimodal.

En este blog, te presentaré Janus Pro y explicaré qué es, qué es la IA multimodal, cómo funciona y cómo acceder. También lo compararé con DALL-E 3 con algunos prompts.

¿Qué es Janus-Pro?

Janus-Pro es el modelo de IA multimodal más reciente de DeepSeek, diseñado para manejar tareas que implican tanto texto como imágenes. Introduce varias mejoras respecto al modelo Janus original, como mejores estrategias de entrenamiento, conjuntos de datos más amplios y tamaños de modelo escalados (disponibles en las versiones de parámetros 1B y 7B).

Janus frente a Janus Pro-7b. Fuente: Documento de lanzamiento de Janus-Pro.

A diferencia de los modelos de IA que se especializan en un solo tipo de entrada, los modelos de IA multimodal como Janus-Pro se construyen para comprender y conectar estas dos modalidades. Por ejemplo, puedes subir una imagen y hacer una pregunta de texto sobre ella, como identificar objetos en la escena, interpretar texto dentro de la imagen o incluso analizar su contexto.

Reconocimiento de texto con Janus-Pro. Fuente: Documento de lanzamiento de Janus-Pro.

Janus-Pro puede generar imágenes de alta calidad a partir de prompts de texto, como la creación de ilustraciones detalladas, diseños de productos o imágenes realistas basadas en instrucciones específicas. También puede analizar entradas visuales, como identificar objetos en una foto, leer e interpretar texto dentro de una imagen o responder preguntas sobre un gráfico o diagrama.

Generación de texto a imagen con Janus-Pro. Fuente: Documento de lanzamiento de Janus-Pro.

Janus-Pro viene en dos tamaños (parámetros 1B y 7B) que ofrecen flexibilidad en función del hardware del que dispongas.

¿Cómo funciona Janus-Pro?

Janus-Pro está diseñado para manejar tanto la comprensión como la generación de texto e imágenes. Para ello, introduce algunas mejoras inteligentes respecto a su predecesor. Deja que te explique sus componentes clave de una forma más fácil de digerir.

Codificación visual desacoplada

Una de las funciones más destacadas de Janus-Pro es que no utiliza un único sistema para gestionar tanto la interpretación como la creación de imágenes. En su lugar, separa estos procesos (codificación visual desacoplada).

Por ejemplo, cuando subes una imagen y haces una pregunta sobre ella, Janus-Pro utiliza un sistema especializado para "leer" la imagen y averiguar qué es importante. En cambio, cuando le pides que cree una imagen a partir de una descripción de texto, cambia a un sistema diferente que se centra en generar elementos visuales. Esta separación permite al modelo realizar mejor ambas tareas y evitar las limitaciones derivadas de obligar a un sistema a encargarse de todo.

Mejora del proceso de formación

El entrenamiento de Janus-Pro se divide en tres etapas, cada una destinada a perfeccionar sus capacidades:

1. Aprender los conceptos básicos relacionados con imágenes: El entrenamiento del modelo comienza con conjuntos de datos como ImageNety se centra en el reconocimiento de objetos, texto y patrones visuales. Esta etapa se ha ampliado en Janus-Pro, para dar al modelo más tiempo para modelar las dependencias de los píxeles y procesar eficazmente los datos visuales.
2. Conectar imágenes y texto: En esta fase, Janus-Pro integra texto y elementos visuales y se entrena con conjuntos de datos descriptivos de texto a imagen de alta calidad. A diferencia de las versiones anteriores, Janus-Pro se salta los enfoques ineficaces y utiliza prompts densos para obtener mejores resultados.
3. Puesta a punto final: Esta etapa ajusta el equilibrio de los datos de entrenamiento (multimodal, solo texto y texto a imagen) de 7:3:10 a 5:1:4.

Mayores datos y escalado de modelos

Janus-Pro amplía sus capacidades al utilizar tanto datos del mundo real como datos sintéticos a partes iguales. Esta mezcla no solo garantiza resultados de mayor calidad, sino que también mejora la estabilidad durante tareas como la generación de imágenes.

Janus-Pro frente a DALL-E 3

En esta sección, compararé Janus-Pro-7B y DALL-E 3 en cuanto a comprensión multimodal y generación de texto a imagen. Esta comparación pretende darte una idea práctica de estos modelos en acción, pero no sustituye la profundidad de las mediciones sistemáticas de referencia.

Comprensión multimodal

He subido la imagen que se muestra a continuación y he preguntado tanto a Janus-Pro-7B como a DALL-E 3:

"En una frase, ¿cuál es la idea principal de esta imagen?"

Fuente: Página GitHub de Janus-Pro.

Aquí tienes las respuestas:

Janus-Pro: La principal conclusión de esta imagen es que el modelo Janus consigue el mayor rendimiento medio en las tareas de comprensión multimodal, al tiempo que demuestra una gran precisión en los benchmarks de seguimiento de instrucciones para la generación de texto a imagen.

DALL-E 3: Los modelos Janus-Pro, en particular Janus-Pro-7B, superan a otros modelos multimodales tanto en comprensión como en seguimiento de instrucciones, por lo que demuestran una gran capacidad en tareas de texto e imagen.

Aunque ambos modelos resumen bien el gráfico, Janus-Pro denomina incorrectamente el gráfico "modelo Janus", sin distinguirlo de Janus-Pro. Sin embargo, DALL-E 3 identifica específicamente los "modelos Janus-Pro, en particular Janus-Pro-7B", lo que demuestra una mejor comprensión del contexto.

Se trata solo de un ejemplo aislado, por lo que no podemos sacar conclusiones generales.

Generación de texto a imagen

He probado este prompt porque puede ser algo que tenga un uso real en la práctica:

"Un diseño moderno de un espacio de oficina con puestos de trabajo colaborativos, cabinas de reunión privadas y luz natural, renderizado en estilo 3D"

DALL-E 3 ha generado esta imagen a continuación, que contiene todos los elementos del prompt: espacio de oficina moderno, puestos de trabajo colaborativos, cabinas de reunión privadas, luz natural y renderizado en 3D. Sin embargo, si te fijas bien, notarás bastantes artefactos, como los siguientes:

1. Los reflejos en los paneles de cristal de la parte superior izquierda parecen ligeramente deformados, especialmente la iluminación circular.
2. Algunos de los elementos del escritorio (lámparas, papeles y ordenadores) tienen bordes borrosos o poco naturales, lo que indica posibles errores de fusión de la IA.
3. Las sillas de oficina, especialmente la del centro, parecen ligeramente distorsionadas, sobre todo las patas y cómo interactúan con el suelo (las almohadillas de los reposabrazos tampoco están bien colocadas).

He introducido un prompt para Janus-Pro-7B sobre Hugging Face. El modelo ha generado cinco imágenes y todas ellas tienen muy mal aspecto: