Een uitgebreide gids voor de DALL-E 3 API

We leven nu in een wereld waarin creativiteit minder grenzen kent. Dankzij generatieve AI-mogelijkheden voor natuurlijk taalgebruik, beelden en video kunnen onze levendigste ideeën worden omgezet in verbluffende visuele realiteiten.

Zulke mogelijkheden leken een paar jaar geleden nog fictie, maar dat is niet langer het geval, zeker niet met de baanbrekende technologie van de DALL-E 3 API.

Dit artikel biedt een complete gids om de DALL-E 3-technologie te begrijpen, met een verkenning van de functies, praktische en realistische toepassingen, en hoe deze de creatieve wereld verandert.

Een overzicht van de DALL-E 3 API

Voordat we ingaan op het API-gedeelte, kijken we eerst wat DALL-E 3 is. We hebben een volledige introductie tot het gebruik van DALL-E 3 via Bing en ChatGPT; deze gids richt zich vooral op het integreren van de API.

Wat is DALL-E 3?

Het is OpenAI’s nieuwste model voor beeldgeneratie en werd aangekondigd in september 2023. Dit model kan aanzienlijk meer nuance en detail begrijpen dan zijn voorgangers. DALL-E 3 stelt gebruikers in staat uitzonderlijke visuals te genereren op basis van tekstuele beschrijvingen.

Meerdere versies, zoals DALL-E 1 en DALL-E 2, verschenen respectievelijk in januari 2021 en april 2022. DALL-E 3 is veruit de meest verbeterde versie, en hieronder staat een tabel met een vergelijking met de eerdere versies.

Prijsdetails

De prijsdetails worden weergegeven voor elk van de DALL-E-versies. Zoals we zien, biedt alleen DALL-E 3 standaard- en high-definition beeldkwaliteit en de bijbehorende resoluties.

Aanvullende kenmerken

De bovenstaande tabel geeft een vergelijkend overzicht van drie verschillende iteraties van het DALL-E AI-systeem, ontworpen om afbeeldingen te genereren op basis van tekstuele beschrijvingen. Het gaat om DALL-E, DALL-E 2 en DALL-E 3, elk met een eigen releasedatum en set aan functies.

• DALL-E, de eerste versie, werd geïntroduceerd in januari 2021 en gebruikte GPT-3 als onderliggend taalmodel. Het markeerde de eerste stap in technologie voor tekst-naar-beeldgeneratie en was beschikbaar voor gebruikers met een OpenAI API-account.

• De tweede versie, DALL-E 2, werd gelanceerd in juli 2022 en bracht de technologie verder met het CLIP-taalmodel. Dankzij CLIP begreep het systeem tekstprompts beter, wat leidde tot nauwkeurigere beeldgeneratie.

• De meest recente versie is DALL-E 3, uitgebracht in oktober 2023. Deze integreert het meer geavanceerde GPT-4-taalmodel en biedt waarschijnlijk een verder verbeterd tekstbegrip en beeldcreatie. Deze versie is niet alleen toegankelijk voor houders van een OpenAI API-account, maar ook voor "Plus"-abonnees via de ChatGPT-interface.

Elke versie betekent een evolutionaire stap in AI voor tekst-naar-beeld, met vooruitgang in taalmodellen en toegankelijkheid, wat OpenAI’s inzet laat zien om AI-technologie te verbeteren en te democratiseren.

OpenAI biedt extra mogelijkheden via het "Plus"-abonnement, waaronder GPT-4 Vision. Wil je hier meer over weten? Onze GPT-4 Vision: een uitgebreide gids voor beginners laat je alles zien wat je moet weten over GPT-4 Vision, van toegang tot praktische voorbeelden uit de echte wereld en de beperkingen.

Waarom een API-versie?

OpenAI kondigde tijdens zijn allereerste developer day de lancering van verschillende API’s aan, waaronder DALL-E 3.

De API-versie van DALL-E 3 biedt directere en veelzijdigere toegang tot de mogelijkheden. Na de komst naar de ChatGPT-interface en Bing Chat, die een meer gecontroleerde en begeleide ervaring bieden, kunnen ontwikkelaars en bedrijven met de API-versie DALL-E 3 rechtstreeks integreren in hun eigen applicaties en workflows.

Functies van de DALL-E 3 API

De API biedt een reeks functies om de gebruikerservaring te verbeteren. Laten we deze mogelijkheden in detail bekijken:

Functies van de DALL-E 3 API

• Tekstinbedding in afbeeldingen: De DALL-E 3 API kan gewenste tekst in een visuele context integreren, zodat het lijkt alsof die altijd al deel uitmaakte van de scène.
• Verschillende beeldoriëntaties: met DALL-E 3 kunnen gebruikers zowel liggende als staande beeldformaten genereren, wat flexibiliteit biedt voor verschillende media- en lay-outvereisten.
• Betere beeldkwaliteit: het model kan niet alleen visueel aantrekkelijke, maar ook detailrijke beelden maken, waardoor een realistische en boeiende visuele ervaring ontstaat.
• Begrip van complexe prompts: DALL-E 3 is goed in het interpreteren van complexe prompts, zodat gebruikers zeer specifieke en gedetailleerde afbeeldingen kunnen creëren.

Use-cases per sector van de DALL-E 3 API

Veel sectoren profiteren al van de DALL-E-technologie sinds de eerste versies. De huidige API biedt geavanceerdere mogelijkheden voor beeldgeneratie, wat creativiteit en efficiëntie bevordert.

Hoewel er talloze sectoren zijn, focussen we hier op drie: reclame en marketing, onderwijs en de ontwikkeling van videogames.

• Reclame en marketing: Meerdere bureaus kunnen de API gebruiken om snel aangepaste visuals te maken voor marketingcampagnes en branding. Dit stimuleert de creativiteit en verkort de time-to-market.
• Onderwijs: Online leerplatforms kunnen de API gebruiken om op maat gemaakte illustraties en diagrammen te genereren, zodat hun lesmateriaal aantrekkelijker wordt en toegankelijk voor een breder publiek.
• Ontwikkeling van videogames: Dit is, denk ik, een van de domeinen die het meest zullen profiteren van de DALL-E 3 API, omdat gaming volledig visueel is. Game-ontwikkelaars kunnen de technologie inzetten om snel unieke gamevisuals te ontwerpen.

Hands-on: aan de slag met de DALL-E 3 API

Nu we beter begrijpen wat de DALL-E 3 API is en wat deze kan, is het tijd om creatief te worden. In dit deel begeleiden we je bij het genereren van afbeeldingen met de DALL-E 3 API nadat je alle vereisten hebt ingesteld.

Workflow voor beeldgeneratie

Voor elke technische implementatie is het nuttig om een visuele workflow te bieden die de interactie tussen de belangrijkste componenten van de te ontwikkelen applicatie illustreert.

Deze workflow legt uit hoe de gebruiker met de API interageert: van het geven van de aangepaste prompt tot het ontvangen van de uiteindelijke afbeelding.

Vereenvoudigde workflow van de interactie van de gebruiker met de DALL-E 3 API

Er zijn twee hoofdonderdelen in de workflow:

• De front-end is het gedeelte waarin de gebruiker de beschrijving voor de gewenste afbeelding kan invoeren.
• Het tweede onderdeel is de back-end, die verantwoordelijk is voor het doorgeven van de prompt van de gebruiker aan de DALL-E 3 API.

Tijd om in de technische implementatie te duiken. De broncode voor deze tutorial staat in deze DataLab-werkmap. Maak een kopie om deze in de browser te bewerken en uit te voeren zonder iets op je computer te installeren.

Stel de OpenAI KEY in

De belangrijkste tools die nodig zijn om de resultaten van deze tutorial succesvol te reproduceren, zijn:

• Python: dit is de belangrijkste programmeertaal die we in deze tutorial gebruiken. Een alternatief is NodeJS.
• OpenAI: het pakket om met OpenAI-services te communiceren
• OS: het operating system-pakket om de omgevingsvariabele te configureren
• Image: verantwoordelijk voor het omzetten van de DALL-E 3-respons naar het afbeeldingsformaat

De eerste stap is het verkrijgen van de OpenAI KEY, die helpt om toegang te krijgen tot het DALL-E 3-model. De belangrijkste stappen staan hieronder weergegeven:

Vier hoofdlijnen om een OpenAI KEY te maken

De bovenstaande vier hoofd­stappen spreken voor zich. Het is echter belangrijk om een account aan te maken via de officiële OpenAI-website.

Interactie met de DALL-E 3 API

Zodra je de KEY hebt, zorg ervoor dat je die met niemand deelt. De sleutel moet privé blijven. Stel de sleutel vervolgens als omgevingsvariabele in zoals volgt, zodat je ermee kunt werken:

import os
OPENAI_API_KEY= “<YOUR PRIVATE KEY>”
os.environ["OPENAI_API_KEY"] = OPENAI_API_KEY

Deze os.environ-instructie start de interactie met OpenAI-services, afhankelijk van de scope van de privésleutel van de gebruiker, die Personal of Enterprise kan zijn.

Vervolgens kan de gebruiker met de generate-functie van de OpenAI-clients het volgende opgeven:

• Het te gebruiken model, voor deze tutorial is dat dall-e-3.
• De prompt die naar het model wordt gestuurd.
• De afmetingen van de uiteindelijke afbeelding die door dall-e-3 wordt gegenereerd; we gebruiken dezelfde afmeting van 1024x1024 voor alle gegenereerde afbeeldingen.
• De kwaliteit van de afbeelding, standard of high definition (hd). We richten ons op het genereren van alleen high-definition beelden.
• De gebruiker kan één afbeelding per keer opvragen met het DALL-E 3-model of tot tien afbeeldingen tegelijk met de parameter n, wat handig kan zijn voor parallelle verzoeken. In deze tutorial gebruiken we voor de eenvoud n=1.

De volgende helperfunctie bundelt al het bovenstaande voor betere reproduceerbaarheid, maar daarvoor moeten we eerst de OpenAI-bibliotheek installeren en alle vereiste bibliotheken importeren:

De installatie gebeurt met de Python-pakketbeheerder pip als volgt:

pip install --upgrade openai

De upgrade-optie is om te upgraden naar de Python SDK v1.2, die nodig is om succesvol met DALL-E 3 te communiceren.

from openai import OpenAI


# Instantiate the OpenAI client
client = OpenAI()
from IPython.display import Image

De client is verantwoordelijk voor het starten van de communicatie met de DALL-E 3 API.

De helperfunctie is hieronder geïmplementeerd:

def get_image_from_DALL_E_3_API(user_prompt,
                               image_dimension="1024x1024",
                               image_quality="hd",
                               model="dall-e-3",
                               nb_final_image=1):
   response = client.images.generate(
     model = model,
     prompt = user_prompt,
     size = image_dimension,
     quality = image_quality,
     n=nb_final_image,
   )


   image_url = response.data[0].url
  
   display(Image(url=image_url))

Realistische afbeeldingen genereren

Met de bovenstaande helperfunctie gaan we experimenteren met het genereren van afbeeldingen met eenvoudige en geavanceerde prompts. De geavanceerde prompts sluiten aan bij de eerder genoemde sector­voorbeelden.

Belangrijk om te weten: het meerdere keren uitvoeren van dezelfde code levert verschillende resultaten op, vanwege het “creatieve” karakter van het model.

Gebruik een eenvoudige prompt

Stel dat we de volgende prompt naar het model sturen:

Maak een afbeelding van een schattige bruine puppy die in een groene weide zit onder een strakke blauwe lucht.

puppy_prompt = "Create an image of a cute brown puppy sitting in a green meadow under a clear blue sky."


get_image_from_DALL_E_3_API(puppy_prompt)

Na succesvolle uitvoering van de bovenstaande code wordt de volgende afbeelding gegenereerd.

Afbeelding gegenereerd op basis van de eenvoudige prompt

Dit resultaat weerspiegelt de onderliggende prompt nauwkeurig.

Gebruik complexere prompts

Laten we nu de complexe prompts bekijken voor onderwijs, reclame en gameontwikkeling.

Onderwijsmateriaal

• Prompt:

Genereer een illustratie van het zonnestelsel met planeten die om de zon draaien, gelabeld in het Engels, voor een natuurkundeboek voor de basisschool.

• Code:

education_prompt = "Generate an illustration of the solar system with planets orbiting the sun, labeled in English, for a grade school science textbook"

get_image_from_DALL_E_3_API(education_prompt)

• Resultaat:

Afbeelding gegenereerd voor de prompt “Education”

Reclame en marketing

• Prompt:

Maak een afbeelding van een gezin dat geniet van een picknick in een futuristisch stadspark, met wolkenkrabbers op de achtergrond en een strakke blauwe lucht, te gebruiken in een campagne ter promotie van milieuvriendelijk stedelijk leven.

• Code:

advertising_prompt = "Create an image of a family enjoying a picnic in a futuristic city park, with skyscrapers in the background and a clear blue sky, to be used in a campaign promoting eco-friendly urban living."

get_image_from_DALL_E_3_API(advertising_prompt)

• Resultaat:

Afbeelding gegenereerd voor de prompt “Advertising”

Gameontwikkeling

Voor dit laatste voorbeeld vragen we het model om tekstuele informatie toe te voegen, vetgedrukt in oranje in de prompt, en kijken we hoe het reageert.

• Prompt:

Ontwerp een concept art van een mystiek bos in de schemering, met gloeiende planten en een verborgen ingang naar een ondergrondse grot, voor een avonturengame-setting. Voeg een wegwijzer toe in de afbeelding met de tekst 'Beware: Mythical Creatures Ahead' in een oud, mystiek lettertype.

• Code:

game_dev_prompt = "Design a concept art of a mystical forest at twilight, with glowing plants and a hidden entrance to an underground cave, for an adventure game setting. Include a signpost in the image with the text 'Beware: Mythical Creatures Ahead' in an ancient, mystical font style"

get_image_from_DALL_E_3_API(game_dev_prompt)

• Resultaat:

Afbeelding gegenereerd voor de prompt “Game Development”

We zien dat het model de tekst “BEWARE MYTHICAL CREATURES AHEAD” succesvol aan de afbeelding heeft toegevoegd. Dat is gewoon fantastisch.

Best practices bij het gebruik van de DALL-E 3 API

Voor een betere ervaring met de DALL-E 3 API volgen hier enkele best practices en richtlijnen:

• Prioriteer gedetailleerde communicatie: Het geven van precieze en gedetailleerde prompts aan DALL-E 3 is cruciaal, net zoals duidelijke en specifieke instructies helpen in menselijke interacties. Hoe explicieter de verzoeken, hoe nauwkeuriger het eindresultaat.
• Ethiek in het oog houden: Houd rekening met de ethische implicaties van de uiteindelijke creaties door auteursrechten en privacywetten te respecteren en stil te staan bij de mogelijke impact van de gegenereerde beelden.
• Beperkingen erkennen en erop inspelen: Zoals elke technologie heeft DALL-E 3 ook zijn beperkingen. Als je vertrouwd raakt met wat de API wel en niet kan, kun je prompts beter afstemmen en realistischer verwachtingen scheppen.
• Blijf op de hoogte en evolueer: Door met verschillende prompts te experimenteren, ontdek je het bereik aan mogelijkheden van de API én je eigen creatieve grenzen. Voor schilders is dit vergelijkbaar met het verkennen van verschillende penselen en kleuren.

Conclusie

Samenvattend heeft dit artikel een grondige verkenning van de DALL-E 3 API gepresenteerd, met uitleg over de setup en diverse toepassingen. We begonnen met een overzicht van de API, waarbij we de baanbrekende mogelijkheden schetsten als opmaat voor een diepere duik.

Vervolgens gingen we in op de specifieke functies van DALL-E 3 en gaven we helderheid over de geavanceerde functionaliteiten voor beeldgeneratie. Daarna volgde een blik op diverse use-cases per sector, waarmee de veelzijdigheid en brede impact van de API werden getoond.

Ook namen we de eerste stappen met de DALL-E 3 API door, van toegang verkrijgen tot het instellen voor verschillende toepassingen, waarbij we het belang benadrukten van het begrijpen en effectief gebruiken van de functies van de API.

Daarnaast bespraken we best practices voor het gebruik van de DALL-E 3 API, met nadruk op ethische overwegingen en strategieën om het potentieel te maximaliseren. Praktische tips, aangevuld met voorbeelden van de mogelijkheden van de API, hielpen gebruikers hun ervaring te optimaliseren.

Ben je klaar voor je volgende stap in de wereld van AI en creatieve technologie? Versterk je skills en ontgrendel je creatieve potentieel met de geavanceerde tools die AI-innovators gebruiken. Ga vandaag nog van start met onze tutorial How to Use Midjourney: A Comprehensive Guide to AI-Generated Artwork Creation. Of leer werken met andere populaire API’s, zoals in onze cursus Working with the OpenAI API.