Leerpad
AI-basisprincipes
10 uur
De release van DeepSeek-R1 schudde de AI-industrie op en zorgde voor forse koersdalingen bij NVIDIA en grote Amerikaanse AI-bedrijven.
DeepSeek heeft nu Janus-Pro geïntroduceerd, het nieuwste multimodale model voor tekst- en beeldgeneratie. Net als R1 is Janus Pro open-source en levert het sterke benchmarkresultaten. Simpel gezegd: het is een serieuze concurrent voor DALL-E 3 van OpenAI en Stable Diffusion van Stability AI binnen de multimodale AI-ruimte.
In deze blog leg ik uit wat Janus Pro is, wat multimodale AI betekent, hoe het werkt en hoe je het kunt gebruiken. Ook vergelijk ik het met DALL-E 3 op een paar prompts.
Wat is Janus-Pro?
Janus-Pro is het nieuwste multimodale AI-model van DeepSeek, ontworpen voor taken met zowel tekst als afbeeldingen. Het brengt verschillende verbeteringen ten opzichte van het oorspronkelijke Janus-model, waaronder betere trainingsstrategieën, grotere datasets en opgeschaalde modelgroottes (beschikbaar in versies met 1B en 7B parameters).
Janus vs. Janus Pro-7b. Bron: het publicatiepaper van Janus-Pro.
In tegenstelling tot AI-modellen die zich op één type input specialiseren, zijn multimodale AI-modellen zoals Janus-Pro gebouwd om deze twee modaliteiten te begrijpen en te verbinden. Je kunt bijvoorbeeld een afbeelding uploaden en er een tekstvraag over stellen—zoals het identificeren van objecten in de scène, het lezen van tekst in de afbeelding of zelfs het analyseren van de context.
Tekstherkenning met Janus-Pro. Bron: het publicatiepaper van Janus-Pro.
Janus-Pro kan hoogwaardige beelden genereren op basis van tekstprompts, zoals gedetailleerde illustraties, productontwerpen of realistische visualisaties op basis van specifieke instructies. Het kan ook visuele input analyseren, zoals objecten in een foto identificeren, tekst in een afbeelding lezen en interpreteren of vragen over een grafiek of diagram beantwoorden.
Tekst-naar-beeldgeneratie met Janus-Pro. Bron: het publicatiepaper van Janus-Pro.
Janus-Pro is er in twee groottes—1B en 7B parameters—zodat je kunt kiezen wat past bij je hardware.
Hoe werkt Janus-Pro?
Janus-Pro is ontworpen om zowel tekst en beelden te begrijpen als te genereren, en doet dat met slimme verbeteringen ten opzichte van zijn voorganger. Hier zijn de kernonderdelen, in begrijpelijke taal uitgelegd.
Gekoppelde visual encoding losgekoppeld
Een van de opvallende kenmerken van Janus-Pro is dat het niet één enkel systeem gebruikt om zowel visuals te interpreteren als te creëren. In plaats daarvan scheidt het deze processen (decoupled visual encoding).
Als je bijvoorbeeld een afbeelding uploadt en er een vraag over stelt, gebruikt Janus-Pro een gespecialiseerd systeem om de afbeelding te “lezen” en te bepalen wat belangrijk is. Vraag je om een beeld te genereren op basis van een tekstbeschrijving, dan schakelt het over naar een ander systeem dat zich richt op het creëren van visuals. Deze scheiding zorgt ervoor dat het model beide taken beter uitvoert—zonder de compromissen die ontstaan als één systeem alles moet doen.
Verbeterd trainingsproces
De training van Janus-Pro is opgedeeld in drie fasen, elk bedoeld om de capaciteiten te verfijnen:
- Visuele basis leren: Het model begint met trainen op datasets zoals ImageNet, met focus op het herkennen van objecten, tekst en visuele patronen. Deze fase is bij Janus-Pro verlengd, zodat het model meer tijd krijgt om pixelafhankelijkheden te modelleren en visuele data effectief te verwerken.
- Visuals en tekst verbinden: In deze fase integreert Janus-Pro tekst en visuals door te trainen op hoogwaardige, beschrijvende tekst-naar-beeld-datasets. In tegenstelling tot eerdere versies slaat Janus-Pro inefficiënte benaderingen over en gebruikt het dense prompts voor betere resultaten.
- Laatste fine-tuning: In deze fase wordt de balans van de trainingsdata—multimodaal, alleen tekst en tekst-naar-beeld—aangepast van 7:3:10 naar 5:1:4.
Grotere data en opschalen van het model
Janus-Pro schaalt zijn mogelijkheden op door zowel real-world als synthetische data in gelijke delen te gebruiken. Deze mix zorgt niet alleen voor hogere kwaliteit, maar verbetert ook de stabiliteit bij taken zoals beeldgeneratie.
Janus-Pro vs. DALL-E 3
In deze sectie vergelijk ik Janus-Pro-7B en DALL-E 3 op multimodaal begrip en tekst-naar-beeldgeneratie. Deze vergelijking geeft je een praktisch beeld van de modellen in actie, maar is geen vervanging voor diepgaande, systematische benchmarks.
Multimodaal begrip
Ik uploadde de onderstaande afbeelding en vroeg zowel Janus-Pro-7B als DALL-E 3:
“Wat is in één zin de belangrijkste boodschap van deze afbeelding?”
Bron: de GitHub-pagina van Janus-Pro.
Dit waren de antwoorden:
Janus-Pro: De belangrijkste boodschap van deze afbeelding is dat het Janus-model de hoogste gemiddelde prestaties behaalt op multimodale begrijptaken en ook hoge nauwkeurigheid laat zien op benchmarks voor het volgen van instructies bij tekst-naar-beeldgeneratie.
DALL-E 3: De Janus-Pro-modellen, met name Janus-Pro-7B, presteren beter dan andere multimodale modellen op zowel begrip- als instructie-volgbenchmarks, en tonen sterke capaciteiten bij tekst- en beeldtaken.
Hoewel beide modellen de grafiek goed samenvatten, verwijst Janus-Pro onjuist naar “het Janus-model” en maakt zo geen onderscheid met Janus-Pro. DALL-E 3 benoemt daarentegen expliciet “Janus-Pro-modellen, met name Janus-Pro-7B”, wat op beter contextbegrip wijst.
Dit is slechts een losstaand voorbeeld, dus we kunnen hieruit geen algemene conclusies trekken.
Tekst-naar-beeldgeneratie
Ik probeerde deze prompt, omdat die in de praktijk echt nuttig kan zijn:
“Een modern kantoorontwerp met samenwerkingswerkplekken, privé-vergaderpods en daglicht, gepresenteerd als een 3D-achtige render”
DALL-E 3 genereerde de onderstaande afbeelding, die alle elementen uit de prompt bevat: modern kantoor, samenwerkingswerkplekken, privé-vergaderpods, daglicht en een 3D-achtige render. Maar als je goed kijkt, zie je de nodige artefacten, zoals:
- De reflecties in de glazen panelen linksboven lijken licht vervormd, vooral de ronde lamp.
- Sommige bureau-items (lampen, papieren en computers) hebben wazige of onnatuurlijke randen, wat op mogelijke AI-samensmeltingsfouten duidt.
- De bureaustoelen, vooral die in het midden, lijken licht vervormd, met name de poten en hoe ze het vloeroppervlak raken (de armleuningen zitten ook niet helemaal goed).
Ik gaf Janus-Pro-7B dezelfde prompt op Hugging Face. Het model genereerde vijf afbeeldingen, en die zagen er stuk voor stuk behoorlijk slecht uit:
Janus-Pro genereerde vijf afbeeldingen
Als we naar de eerste afbeelding kijken, vallen een paar grote artefacten meteen op:
- Het plafond heeft een onnatuurlijke vervorming, met gedupliceerde en mis uitgelijnde lichtarmaturen die uitgerekt of zwevend lijken.
- Sommige bureaus zijn vreemd gevormd, met inconsistente hoeken en onnatuurlijke overlappingen. Bepaalde stoelen lijken deels gesmolten of met de vloer versmolten.
- De booth-constructie rechts heeft een onnatuurlijk, gesmolten uiterlijk; de stoel erin oogt gedeformeerd en losgekoppeld.
Je kunt dit resultaat reproduceren op Hugging Face met dezelfde prompt en de volgende parameters en seed:
Ondanks experimenteren met verschillende parameters en seeds lukte het me niet om betere outputs te krijgen met Janus-Pro-7B. Nogmaals: dit is slechts één voorbeeld en onvoldoende bewijs om brede conclusies te trekken over een van beide modellen.
Janus-Pro-benchmarks
Janus-Pro is op meerdere benchmarks getest om de prestaties te meten in zowel multimodaal begrip als tekst-naar-beeldgeneratie. De resultaten tonen verbeteringen ten opzichte van zijn voorganger, Janus, en plaatsen het model bij de toppers in zijn categorie.
Bron: de GitHub-pagina van Janus-Pro.
De linker grafiek in de afbeelding hierboven toont hoe Janus-Pro presteert op vier multimodale begripbenchmarks—het DeepSeek-team nam het gemiddelde van de nauwkeurigheid op POPE, MME-Perception, GQA en MMMU. Belangrijkste inzicht: Janus-Pro-7B presteert beter dan zijn kleinere tegenhanger, Janus-Pro-1B, én dan andere multimodale modellen zoals LLaVA-v1.5-7B en VILA-U.
De rechter grafiek vergelijkt Janus-Pro-7B met andere toonaangevende modellen op benchmarks voor het volgen van instructies bij tekst-naar-beeldgeneratie, specifiek GenEval en DPG-Bench:
- Op GenEval, dat beoordeelt hoe goed een model tekstprompts volgt bij beeldgeneratie, scoort Janus-Pro-7B 80,0% en presteert daarmee beter dan DALL-E 3 (67%) en SD3-Medium (74%).
- Op DPG-Bench, dat nauwkeurigheid bij gedetailleerde promptuitvoering test, scoort Janus-Pro-7B 84,2% en overtreft het alle andere modellen.
Hoe krijg je toegang tot Janus-Pro
Je kunt Janus-Pro uitproberen zonder complexe setup via een paar verschillende methoden.
Online demo op Hugging Face
De snelste manier om Janus-Pro te testen is via de Hugging Face Spaces-demo, waar je direct in je browser prompts kunt invoeren en tekst of afbeeldingen kunt genereren. Installatie is niet nodig.
Lokale GUI met Gradio
Als je liever lokaal werkt met een gebruiksvriendelijke interface, biedt DeepSeek een Gradio-demo. Daarmee kun je via een webgebaseerde GUI op je eigen machine met Janus-Pro werken. Volg hiervoor de instructies in de officiële GitHub-repository van Janus.
Conclusie
Janus-Pro is de nieuwste zet van DeepSeek in de multimodale AI-ruimte en biedt een open-source alternatief voor modellen als DALL-E 3. Het verbetert zijn voorganger met betere training, grotere datasets en een ontkoppelde architectuur om tekst en beelden effectiever te verwerken.
In mijn directe vergelijking met DALL-E 3 liet Janus-Pro zwaktes zien bij tekst-naar-beeldgeneratie, met zichtbare artefacten en inconsistenties. Wel presteerde het sterk op multimodale begrijptaken. Dit was echter een beperkte test en biedt onvoldoende bewijs om algemene conclusies te trekken over de algehele capaciteiten van het model.
