Leerpad
AI-basisprincipes
10 uur
Wat is DALL-E 3?
DALL-E is een generatieve AI voor beeldgeneratie, gemaakt door OpenAI. Het werd voor het eerst gelanceerd in januari 2021; de nieuwste release is de derde iteratie.
Het model genereert beelden op basis van natuurlijke taal, zogenaamde prompts. Met een paar korte zinnen begrijpt het model de taal en maakt het nauwkeurige afbeeldingen die de beschrijving weergeven.
Leuk weetje: de bedenkers kwamen op de naam “DALL-E” door de namen van Salvador Dalí, de beroemde Spaanse surrealistische kunstenaar, en Pixars film WALL-E uit 2008 te combineren.
Zoals we hierboven al aanstipten, heeft het DALL-E-model sinds de conceptie verschillende upgrades gekregen.
Evolutie van de DALL-E-serie
Eén ding dat DALL-E, DALL-E 2 en DALL-E 3 gemeen hebben, is dat het allemaal tekst-naar-beeldmodellen zijn die zijn ontwikkeld met deep learning-technieken waarmee gebruikers digitale afbeeldingen kunnen genereren vanuit natuurlijke taal. Verder zijn er best wat verschillen. Zo genereerde de eerste iteratie van DALL-E, die OpenAI in 2021 in een blogpost onthulde, beelden uit tekst met een aangepaste versie van GPT-3 die afbeeldingen kon genereren.
Meer specifiek gebruikte DALL-E 1 een technologie die bekendstaat als een Discrete Variational Auto-Encoder (dVAE). Deze technologie was gebaseerd op onderzoek van DeepMind, een divisie van Alphabet, met de Vector Quantized Variational AutoEncoder.
Een jaar later, in 2022, kondigde OpenAI de opvolger van DALL-E aan: DALL-E 2. DALL-E 2 wilde realistischer beelden op hoge resoluties genereren, waarbij concepten, attributen en stijlen werden gecombineerd.
Om dit te bereiken, verbeterde DALL-E 2 de gebruikte technieken. Zo genereert DALL-E 2 beelden van hogere kwaliteit met een stable diffusion-model dat gegevens integreert uit het Contrastive Language-Image Pre-training (CLIP)-model, dat is getraind op 400 miljoen gelabelde afbeeldingen. Dit model (CLIP) helpt de output van DALL-E te evalueren door te beoordelen welk bijschrift het best past bij een gegenereerde afbeelding.
En dan nu het heden. In september 2023 kondigde OpenAI de nieuwste toevoeging aan de DALL-E-serie aan: DALL-E 3. Volgens het team van OpenAI begrijpt DALL-E 3 “significant meer nuance en detail” dan zijn voorgangers. Het model volgt complexe prompts nauwkeuriger en genereert samenhangendere beelden. Het is ook geïntegreerd in ChatGPT – een andere generatieve AI-oplossing van OpenAI.
Functies en mogelijkheden van DALL-E 3
Laten we enkele van de belangrijkste functies bekijken die DALL-E 3 biedt, vooral in vergelijking met eerdere modellen.
Verbeterd begrip van context
Vergeleken met zijn voorgangers toont DALL-E 3 een geavanceerder gevoel voor nuance en meer gedetailleerde herkenning, waardoor je idee naadloos wordt omgezet in precieze visuals. Traditionele tekst-naar-beeldtechnologie neigt ertoe om bepaalde woorden of beschrijvingen te negeren, waardoor gebruikers zich moesten bekwamen in prompt engineering.
OpenAI geeft aan dat DALL-E 3 de context beter begrijpt en uitblinkt in precisie en efficiënte beeldgeneratie. DALL-E 3 heeft stappen gezet in het produceren van visuals die nauw aansluiten bij de tekstuele beschrijvingen van de gebruiker.
Het doel was om het genereren van afbeeldingen minder ingewikkeld te maken door meer details in te voeren die nauw aansluiten op de behoefte van de gebruiker.
Integratie met ChatGPT
DALL-E 3 is in de kern gebouwd op ChatGPT en maakt snelle verfijning van prompts en moeiteloze aanpassingen van afbeeldingen mogelijk. Gebruikers profiteren van de samenwerking met ChatGPT als hun ‘creatieve partner’ om te helpen bij het bedenken van beeldconcepten.
Veiligheids- en juridische protocollen
Met extra nadruk op veiligheidsmaatregelen verbiedt DALL-E 3 het genereren van expliciete, agressieve of discriminerende beelden om de bredere gemeenschap te beschermen. Om intellectuele eigendomsrechten te respecteren en inbreuk op het auteursrecht te voorkomen, vermijdt DALL-E 3 het genereren van beelden die lijken op levende publieke figuren of die duidelijke stijlen van levende kunstenaars spiegelen.
Net als andere AI-platforms haalt DALL-E 3 zijn kennis uit publiek beschikbare data, zowel visueel als tekst. Door die data te absorberen kan DALL-E 3 nieuwe beelden maken die zijn geïnspireerd op eerder verworven gegevens.
Niet alle kunstenaars willen echter dat hun data door DALL-E 3 worden gebruikt. Daarom biedt OpenAI makers twee manieren om hun afbeeldingen uit te sluiten als trainingsmateriaal: ze kunnen zich afmelden via dit online formulier of voorkomen dat GPTBot, een webdataverzamelaar, toegang krijgt tot hun content.
Toegankelijkheid en release
In een baanbrekende stap die het AI-landschap heeft veranderd, heeft Microsoft Bing DALL-E 3 en ChatGPT van OpenAI naadloos geïntegreerd, waardoor de toegang voor iedereen is gedemocratiseerd. Je kunt DALL-E 3 ook gebruiken met een ChatGPT Plus-abonnement.
Gefaseerde uitrol
Zowel Microsoft als OpenAI hanteren een gefaseerde uitrolstrategie, zodat DALL-E 3 naadloos kan integreren met Bing. In het begin was DALL-E 3 alleen beschikbaar voor geselecteerde gebruikers en ontwikkelaars om feedback te verzamelen en potentiële problemen op te lossen. Gaandeweg werd de toegang uitgebreid naar een brede gebruikersgroep.
Publieke toegang
OpenAI zet zich er altijd voor in om zijn technologie beschikbaar te maken voor het publiek. Er is een gratis publieke versie van DALL-E 3 beschikbaar, zodat de bredere gemeenschap de mogelijkheden van AI kan verkennen zonder financiële drempels. OpenAI werkt bovendien actief samen met onderwijsinstellingen om hun technologie voor leerdoeleinden in te zetten.
Aan de slag met DALL-E 3
Om DALL-E 3 te gebruiken heb je een apparaat nodig met toegang tot Bing en een actieve internetverbinding. Je hebt geen speciale hardware of software nodig.
DALL-E 3 gebruiken voor beeldgeneratie
Stapsgewijze handleiding voor beeldgeneratie met DALL-E 3
1. Ga naar de website van Bing
2. Selecteer linksboven het pictogram “chat” om de chatinterface te openen.
Zo ziet de chatinterface eruit…
3. Voer een gedetailleerde tekstuele beschrijving in van de afbeelding die je wilt genereren en druk op Enter om te verzenden.
De gebruikte prompt was: “Maak een filmposter voor een horrorfilm met de titel 'The man next door.'”
Dit is wat er werd gegenereerd…
De output begrijpen
DALL-E 3 genereert meerdere beelden op basis van je tekstuele beschrijving. Blader door de gegenereerde afbeeldingen en kies de afbeelding die het best bij je wensen past.
Geavanceerde technieken
DALL-E 3 fijn afstemmen voor specifieke taken
Je kunt een stap verder gaan en specifiekere trefwoorden geven om DALL-E 3 precies te sturen naar wat je wilt. Wil je bijvoorbeeld een afbeelding genereren, dan kun je zoeken naar een bepaald thema of een bepaalde stijl.
- Gebruik van bijvoeglijke naamwoorden. Beschrijvende bijvoeglijke naamwoorden in je prompt helpen om specifieker te zijn. In plaats van “Een zonsondergang aan zee” kun je bijvoorbeeld aangeven: “Een vuurrode lucht boven een kalme blauwe zee.”
- Gelaagde beschrijvingen. Door lagen toe te voegen aan je prompt kan DALL-E 3 meerdere elementen combineren. Bijvoorbeeld: "Een serene blauwe en roze lucht met vogels die in noordoostelijke richting vliegen."
- Kunststijlen. Als je een bepaalde kunststijl in gedachten hebt, voeg die dan toe aan je prompt — bijvoorbeeld fotorealistisch, illustratie of in de stijl van Van Gogh.
- Iteratief verfijnen. Je eerste prompt levert misschien niet op wat je wilt. Blijf daarom proberen en verfijnen.
Best practices en tips om DALL-E 3 effectief te gebruiken
Volg deze best practices en tips om je ervaring met DALL-E 3 soepeler en effectiever te maken:
- Wees specifiek. Context is cruciaal, zeker met DALL-E 3. Hoe gedetailleerder en specifieker je prompts, hoe beter de resultaten.
Dit is bijvoorbeeld wat er wordt gegenereerd als je “A man.” invoert.
… En dit is het verschil als je invoert: “A man in a suit, standing in an urban area with sunglasses on while holding a black briefcase and a skateboard.”
- Experimenteer. Speel met DALL-E 3 totdat je de sterke en zwakke punten begrijpt. De meest onverwachte prompt kan de beste resultaten opleveren.
- Beperkingen. Als je de beperkingen van een systeem begrijpt, kun je er beter mee werken en je prompts blijven verfijnen.
- Updates. Blijf op de hoogte van updates, zodat je de laatste veranderingen kent en het meeste uit DALL-E 3 haalt.
Praktische toepassingen en use cases
DALL-E 3 is een belangrijke mijlpaal in AI-gestuurde beeldgeneratie.
Nu we verbinding hebben met DALL-E 3 en de mogelijkheden begrijpen, is het tijd om in te zoomen op de tastbare toepassingen. Met zijn generatieve AI-mogelijkheden biedt DALL-E een breed scala aan use cases om individuen en organisaties te ondersteunen, zoals hieronder uitgelicht:
Logodesign
Bedrijven, ongeacht hun omvang, kunnen DALL-E 3 gebruiken om unieke en opvallende logo’s te maken zonder uitgebreide designvaardigheden. Logo’s vormen de visuele identiteit van een merk en zijn daarom erg belangrijk. Met DALL-E 3 kunnen bedrijven unieke logo’s genereren rechtstreeks vanuit tekstuele beschrijvingen — een unieke, efficiënte en betaalbare optie.
- Hoe het werkt. Door een tekstuele beschrijving van het gewenste logo in te voeren, presenteert DALL-E 3 verschillende ontwerpopties. Zo kunnen bedrijven snel door ideeën itereren, ze verfijnen en een logo kiezen dat past bij de essentie van hun merk.
Een voorbeeldprompt die je kunt gebruiken: “Plat geometrisch vectorgrafisch logo in de vorm van een kamp, zwart, simpel en minimalistisch, door Ivan Chermayeff.”
Logo’s maken met DALL-E 3
- Voordelen. Dit proces doorbreekt de cyclus van steeds opnieuw ontwerpen en bespaart tijd en middelen. Bedrijven profiteren van snelle aanpassingen, zoals seizoensvarianten of logo’s voor events.
Advertentieposters
Zowel bedrijven als individuen kunnen DALL-E 3 gebruiken om overtuigende posters te maken die hun producten en diensten tonen en potentiële klanten aantrekken.
- Hoe het werkt. Door onderscheidende productdetails zoals kleurpaletten, motieven en slogans aan DALL-E 3 te voeren, krijgt het genoeg tekstuele context om posters te genereren die zijn afgestemd op diverse socialmediakanalen.
Een voorbeeldprompt die je kunt gebruiken: “Movie poster for the movie Fight Club, feature Tyler Durden, a lot of black color, in the style of Saul Bass –ar 2:3” [Bron: Awesome Poster prompts]
Filmposters gemaakt met DALL-E 3
- Voordelen. Dit zorgt voor een consistente merkweergave op alle platforms, wat de merkbekendheid en klantloyaliteit vergroot zonder de volledige kosten van een traditioneel ontwerpproces.
Kunst en design
Kunstenaars kunnen DALL-E 3 gebruiken als aanvullend hulpmiddel om hun creatieve proces te versterken. Van het maken van basisontwerpen voor een kledinglijn tot het schetsen van verschillende tatoeageontwerpen of het maken van onderscheidende albumhoezen: DALL-E 3 fungeert als startpunt dat kunstenaars verder kunnen verfijnen. Het opent nieuwe wegen voor artistieke expressie en experiment, waardoor het creatieve proces dynamischer en veelzijdiger wordt.
- Hoe het werkt. Kunstenaars kunnen beginnen met een rudimentair idee en met gedetailleerde tekstprompts beelden genereren, die ze vervolgens verder kunnen verfijnen om aan hun specifieke eisen te voldoen.
Een voorbeeldprompt die je kunt gebruiken: “The night sky full of fireworks by Roy Lichtenstein.”
Kunststijlen recreëren met DALL-E 3
- Voordelen. Kunstenaars kunnen uiteraard last hebben van creatieve blokkades, die DALL-E 3 helpt doorbreken door verschillende startpunten te bieden. Zo kunnen ze stijlen en thema’s verkennen buiten hun gebruikelijke repertoire.
Infographics
Journalisten kunnen DALL-E 3 inzetten om infographics te ontwerpen die complexe data vertalen naar behapbare visuals voor het publiek.
- Hoe het werkt. Journalisten kunnen DALL-E 3 voeden met onderwerpen, gedetailleerde beschrijvingen en gewenste visualisatietypen. De AI geeft een tekstuele beschrijving van de infographic, die je vervolgens in DALL-E 3 kunt invoeren om deze te visualiseren. De output kan verder worden verfijnd om aan de gewenste esthetiek te voldoen.
Een voorbeeldprompt die je kunt gebruiken: “Infographic drawing of ironman suit.”
Infographics maken met DALL-E
- Voordelen. Het versnellen van het datavisualisatieproces met DALL-E 3 blijkt tijd en middelen te besparen. Visuals die zowel nauwkeurig als boeiend zijn, kosten vaak veel tijd; met DALL-E 3 verhoog je de algehele kwaliteit van journalistieke content.
Ethische overwegingen en veiligheidsmaatregelen
OpenAI zet ethische overwegingen en veiligheidsmaatregelen altijd voorop bij de ontwikkeling van zijn technologie. Nu de bredere gemeenschap zich zorgen maakt over het gebruik van AI-systemen en hun implementatie in de samenleving, is het de plicht van de eigenaren van die systemen om te zorgen voor veiligheid en zekerheid.
DALL-E 2-controverse
DALL-E 3’s voorganger, DALLE-2, kreeg kritiek toen het valse, ongepaste en discriminerende content produceerde. Zo genereerde DALL-E 2 een nepafbeelding van een explosie bij het Pentagon, wat een beursdaling veroorzaakte. Ook de afhankelijkheid van publieke datasets beïnvloedde de output, die bevooroordeeld bleek.
Er werden bijvoorbeeld vaker afbeeldingen met mannen dan met vrouwen gegenereerd. Dit leidde tot een ander probleem met DALL-E 2, omdat de trainingsdata waren gefilterd om gewelddadige of seksuele content te verwijderen, wat vervolgens het aantal vrouwen in de gegenereerde beelden verminderde.
Deepfakes en desinformatie
Een belangrijke zorg in de samenleving is de generatie van deepfakes en andere vormen van desinformatie. Veel mensen vragen zich af hoe ze echt en nep kunnen onderscheiden met de komst van AI-systemen. Een manier waarop OpenAI dit probeert te beperken, is door prompts met publieke figuren te weigeren en geüploade beelden met menselijke gezichten te blokkeren. Bovendien worden prompts met geüploade afbeeldingen extra geanalyseerd om te beoordelen of ze aanstootgevende materialen bevatten; bezwaarlijke content wordt geblokkeerd.
Een uitdaging van promptgebaseerde filtering is echter dat gebruikers de filter vrij eenvoudig kunnen omzeilen met alternatieve formuleringen. Daardoor kan het AI-systeem toch een vergelijkbaar resultaat geven; in plaats van het woord “bloed” kan een gebruiker bijvoorbeeld “rode vloeistof” gebruiken.
Werkloosheid
Op basis van wat we hebben geleerd over DALL-E, de potentiële use cases en de voordelen voor organisaties en individuen, rijst ook de zorg over een stijging van de werkloosheid onder creatieven zoals kunstenaars, fotografen en grafisch ontwerpers.
Veiligheidsmaatregelen van OpenAI
OpenAI zet in op verantwoord AI-beheer en werkt samen met andere techgiganten zoals Microsoft, Google en Meta om AI-gegenereerde audio en video te voorzien van watermerken. Deze watermerkfunctie is echter nog niet beschikbaar in de testversie, wat zorgen oproept over het gebrek aan veiligheidsfuncties tijdens de testfase.
Dat betekent niet dat OpenAI geen veiligheidsfuncties en plannen heeft. Ze werken samen met red teamers — mensen die systemen bewust proberen te breken om kwetsbaarheden, zwaktes en verbeterpunten bloot te leggen. Zo kan OpenAI DALL-E 3 aan een stresstest onderwerpen en de juiste risicobeoordelingen en mitigaties opstellen om desinformatie te beperken.
Wil je dieper duiken in de basis van ethiek in AI en leren hoe je met vertrouwen en verantwoordelijkheid in deze complexe wereld navigeert? Schrijf je dan vandaag nog in voor onze cursus AI Ethics!
Conclusie
Wat een tijd om te leven. De evolutie van DALL-E 3, gebouwd op de fundamenten van zijn voorgangers, biedt ongeëvenaarde nauwkeurigheid, snelheid en contextbegrip.
De strategische samenwerking tussen OpenAI en Microsoft belooft brede toegankelijkheid voor het publiek en democratiseert AI-gestuurde beeldgeneratie. De integratie met ChatGPT verbetert het verfijnen van prompts en stimuleert een collaboratieve aanpak van beeldgeneratie.
DALL-E 3 is een krachtig bewijs van het potentieel van machine learning en van efficiënte oplossingen voor het genereren van visuele content binnen handbereik.
Meer weten:
- Wat zijn Foundation Models? blogpost: DALL-E is een foundation model. Dat betekent dat het is ontwikkeld met algoritmen die zijn geoptimaliseerd voor generaliteit. Zulke modellen zijn gebaseerd op grootschalige neurale netwerken die doorgaans zijn getraind op een breed scala aan databronnen om allerlei downstreamtaken uit te voeren (ook taken waarvoor ze niet specifiek zijn ontworpen) — lees meer over foundation models in dit overzicht.
- De OpenAI API in Python cheatsheet: De OpenAI API is een cloudinterface die gebruikers toegang geeft tot nieuwe, voorgetrainde AI-modellen van OpenAI (bijv. DALL-E, Codex, GPT-3). Leer de basis om deze API te benutten met DataCamps cheatsheet.
Wat is DALL-E 3 en door wie is het gemaakt?
Hoe verschilt DALL-E 3 van zijn voorgangers?
Hoe krijg ik toegang tot DALL-E 3?
Wat zijn best practices voor het gebruik van DALL-E 3?
Welke veiligheidsmaatregelen kent DALL-E 3?
Welke maatregelen zijn genomen om het genereren van deepfakes en desinformatie te voorkomen?
Onderwerpen
