Una guida completa alla DALL-E 3 API

Viviamo in un mondo in cui la creatività ha sempre meno confini. Grazie alle capacità dell’IA generativa nel creare linguaggio naturale, immagini e video, le nostre immaginazioni più vivide possono trasformarsi in straordinarie realtà visive.

Tali possibilità fino a pochi anni fa sembravano fantascienza, ma non è più così, soprattutto con la tecnologia rivoluzionaria della DALL-E 3 API.

Questo articolo offre una guida completa per comprendere la tecnologia DALL-E 3, esplorandone le funzionalità, le applicazioni pratiche e reali e come sta ridisegnando il panorama creativo.

Panoramica della DALL-E 3 API

Prima di entrare nell’aspetto API, capiamo cos’è DALL-E 3. Abbiamo un’introduzione completa a come usare DALL-E 3 tramite Bing e ChatGPT, mentre questa guida si concentra principalmente sull’integrazione dell’API.

Che cos’è DALL-E 3?

È l’ultimo modello di generazione di immagini di OpenAI, annunciato a settembre 2023. Questo modello è in grado di comprendere molte più sfumature e dettagli rispetto ai suoi predecessori. DALL-E 3 consente agli utenti di generare visual straordinari a partire da descrizioni testuali.

Le versioni precedenti, come DALL-E 1 e DALL-E 2, sono state rilasciate rispettivamente a gennaio 2021 e aprile 2022. DALL-E 3 è di gran lunga la versione più avanzata; di seguito trovi una tabella comparativa con le versioni precedenti.

Dettagli sui prezzi

I dettagli sui prezzi sono forniti per ciascuna versione di DALL-E. Come si vede, solo DALL-E 3 offre qualità di immagine standard e in alta definizione e le relative risoluzioni.

Caratteristiche aggiuntive

La tabella sopra offre una panoramica comparativa di tre diverse iterazioni del sistema di IA DALL-E, progettato per generare immagini da descrizioni testuali. Le versioni sono DALL-E, DALL-E 2 e DALL-E 3, ciascuna con la propria data di rilascio e un set di funzionalità.

• DALL-E, la prima versione, è stata introdotta a gennaio 2021 e utilizza GPT-3 come modello linguistico sottostante. Ha segnato il primo passo nella tecnologia di generazione testo-immagine, disponibile per gli utenti con un account OpenAI API.

• La seconda versione, DALL-E 2, è stata rilasciata a luglio 2022, facendo evolvere la tecnologia con il modello linguistico CLIP. Le capacità di CLIP hanno migliorato la comprensione dei prompt testuali, portando a una generazione di immagini più accurata.

• La versione più recente è DALL-E 3, rilasciata a ottobre 2023. Integra il più avanzato modello linguistico GPT-4, offrendo probabilmente una comprensione del testo e una creazione di immagini ulteriormente migliorate. Questa versione è accessibile non solo ai titolari di account OpenAI API ma anche agli abbonati "Plus" tramite l’interfaccia di ChatGPT.

Ogni versione rappresenta un passo evolutivo nelle capacità di IA testo-immagine, con progressi nei modelli linguistici e nell’accessibilità che riflettono l’impegno di OpenAI nel migliorare e democratizzare la tecnologia AI.

OpenAI offre funzionalità aggiuntive tramite l’abbonamento "Plus", tra cui GPT-4 Vision. Per saperne di più, la nostra guida GPT-4 Vision: una guida completa per principianti ti introduce a tutto ciò che devi sapere su GPT-4 Vision, dall’accesso agli esempi pratici reali fino ai suoi limiti.

Perché una versione API?

OpenAI ha annunciato il lancio di diverse API durante il suo primo developer day, e DALL-E 3 è stata una di queste.

La versione API di DALL-E 3 offre un accesso più diretto e versatile alle sue funzionalità. Dopo l’arrivo su ChatGPT e Bing Chat, che offrono un’esperienza più controllata e guidata, l’API consente a sviluppatori e aziende di integrare direttamente le capacità di DALL-E 3 nelle proprie applicazioni e nei propri flussi di lavoro.

Funzionalità della DALL-E 3 API

L’API mette sul tavolo un insieme di funzionalità pensate per migliorare l’esperienza degli utenti: vediamole nel dettaglio.

Funzionalità della DALL-E 3 API

• Integrazione del testo nelle immagini: la DALL-E 3 API può integrare il testo desiderato in un contesto visivo, facendolo sembrare parte della scena originale.
• Varie orientazioni dell’immagine: con DALL-E 3 puoi generare immagini sia in orizzontale che in verticale, garantendo flessibilità per diversi media ed esigenze di layout.
• Migliore qualità dell’immagine: il modello non solo è in grado di creare immagini visivamente attraenti, ma anche ricche di dettagli, offrendo un’esperienza visiva realistica e coinvolgente.
• Comprensione di prompt complessi: DALL-E 3 interpreta con efficacia prompt complessi, consentendo di creare immagini altamente specifiche e dettagliate.

Casi d’uso della DALL-E 3 API nei settori

Molti settori hanno sfruttato la tecnologia DALL-E fin dalle prime versioni. L’attuale API offre capacità di generazione di immagini più avanzate, favorendo creatività ed efficienza.

Anche se i settori sono innumerevoli, qui ci concentriamo su tre ambiti: advertising e marketing, istruzione e sviluppo di videogiochi.

• Advertising e marketing: più agenzie possono sfruttare l’API per creare rapidamente visual personalizzati per campagne e branding. Il vantaggio è una creatività potenziata e tempi di go-to-market ridotti.
• Istruzione: le piattaforme educative online possono usare l’API per generare illustrazioni e diagrammi su misura, rendendo i materiali didattici più coinvolgenti e accessibili a un pubblico più ampio.
• Sviluppo di videogiochi: questo è, credo, uno degli ambiti che trarranno maggiore vantaggio dalla DALL-E 3 API, perché il gaming è soprattutto visual. Gli sviluppatori possono integrare la tecnologia per progettare rapidamente elementi grafici di gioco unici.

Hands-on: iniziare con la DALL-E 3 API

Ora che abbiamo una comprensione migliore della DALL-E 3 API e delle sue capacità, mettiamoci creativi. Questa sezione ti guida nel processo di generazione di immagini usando la DALL-E 3 API dopo aver configurato tutti i prerequisiti.

Workflow di generazione delle immagini

Per qualsiasi implementazione tecnica, è utile fornire un workflow visivo che illustri l’interazione tra i componenti principali dell’applicazione in sviluppo.

Questo workflow spiega come l’utente interagisce con l’API, dalla fornitura del prompt personalizzato fino all’ottenimento dell’immagine finale.

Workflow semplificato dell’interazione dell’utente con la DALL-E 3 API

Nel workflow ci sono due parti principali:

• Il front-end è la parte che consente all’utente di fornire la descrizione dell’immagine desiderata.
• La seconda parte è il back-end, responsabile di mappare il prompt dell’utente verso la DALL-E 3 API.

Ora è il momento di entrare nell’implementazione tecnica. Il codice sorgente di questo tutorial è disponibile in questo workbook DataLab; creane una copia per modificarlo ed eseguirlo nel browser senza installare nulla sul tuo computer.

Configura la chiave OpenAI

Gli strumenti principali necessari per riprodurre con successo i risultati di questo tutorial sono:

• Python: è il linguaggio di programmazione principale che useremo in questo tutorial. Un’alternativa è NodeJS.
• OpenAI: il pacchetto per interagire con i servizi OpenAI
• OS: il pacchetto del sistema operativo per configurare la variabile d’ambiente
• Image: responsabile della conversione della risposta di DALL-E 3 in formato immagine

Il primo passo è ottenere la chiave OpenAI, necessaria per accedere al modello DALL-E 3. I passaggi principali sono illustrati di seguito:

Quattro passaggi principali per creare una chiave OpenAI

I quattro passaggi sopra sono autoesplicativi. È però importante creare un account dal sito ufficiale di OpenAI.

Interagisci con la DALL-E 3 API

Una volta ottenuta la chiave, assicurati di non condividerla con nessuno. La chiave deve rimanere privata. Successivamente, imposta la chiave come variabile d’ambiente come segue per poterci lavorare:

import os
OPENAI_API_KEY= “<YOUR PRIVATE KEY>”
os.environ["OPENAI_API_KEY"] = OPENAI_API_KEY

L’istruzione os.environ avvia l’interazione con i servizi OpenAI in base allo scope della chiave privata dell’utente, che può essere Personal o Enterprise.

Poi, usando la funzione generate dei client OpenAI, l’utente può specificare:

• Il modello da usare, che in questo tutorial è dall-e-3.
• Il prompt da inviare al modello.
• Le dimensioni dell’immagine finale generata da dall-e-3; usiamo la stessa dimensione 1024x1024 per tutte le immagini generate.
• La qualità dell’immagine, standard o alta definizione (hd). Qui ci concentriamo solo su immagini in alta definizione.
• L’utente può richiedere un’immagine alla volta con il modello DALL-E 3 o fino a dieci immagini per volta usando il parametro n, utile per richieste in parallelo. In questo tutorial usiamo n=1 per semplicità.

La seguente funzione helper combina tutte le informazioni di cui sopra per una migliore riproducibilità; prima però dobbiamo installare la libreria OpenAI e importare quelle necessarie:

L’installazione viene eseguita con il gestore pacchetti Python pip come segue:

pip install --upgrade openai

L’opzione di upgrade consente l’aggiornamento alla Python SDK v1.2, richiesta per interagire correttamente con DALL-E 3.

from openai import OpenAI


# Instantiate the OpenAI client
client = OpenAI()
from IPython.display import Image

Il client è responsabile di iniziare la comunicazione con la DALL-E 3 API.

La funzione helper è implementata di seguito:

def get_image_from_DALL_E_3_API(user_prompt,
                               image_dimension="1024x1024",
                               image_quality="hd",
                               model="dall-e-3",
                               nb_final_image=1):
   response = client.images.generate(
     model = model,
     prompt = user_prompt,
     size = image_dimension,
     quality = image_quality,
     n=nb_final_image,
   )


   image_url = response.data[0].url
  
   display(Image(url=image_url))

Genera immagini realistiche

Con la funzione helper sopra, facciamo qualche esperimento generando immagini con prompt semplici e avanzati. I prompt avanzati riprendono le illustrazioni dei casi d’uso menzionati.

È importante notare che l’esecuzione dello stesso codice più volte genera risultati diversi, per via della componente "creativa" del modello.

Usa un prompt semplice

Immaginiamo di inviare al modello il seguente prompt:

Crea l’immagine di un cucciolo marrone carino seduto in un prato verde sotto un cielo azzurro limpido.

puppy_prompt = "Create an image of a cute brown puppy sitting in a green meadow under a clear blue sky."


get_image_from_DALL_E_3_API(puppy_prompt)

La seguente immagine è stata generata dopo l’esecuzione con successo dello snippet di codice sopra.

Immagine generata dal prompt semplice

Questo risultato riflette fedelmente il prompt di partenza.

Usa prompt più complessi

Ora consideriamo prompt complessi per istruzione, advertising e sviluppo di videogiochi.

Contenuti educativi

• Prompt:

Genera un’illustrazione del sistema solare con i pianeti che orbitano attorno al Sole, etichettati in inglese, per un libro di scienze della scuola primaria.

• Codice:

education_prompt = "Generate an illustration of the solar system with planets orbiting the sun, labeled in English, for a grade school science textbook"

get_image_from_DALL_E_3_API(education_prompt)

• Risultato:

Immagine generata per il prompt “Education”

Advertising e marketing

• Prompt:

Crea l’immagine di una famiglia che si gode un picnic in un parco cittadino futuristico, con grattacieli sullo sfondo e un cielo azzurro limpido, da usare in una campagna che promuove uno stile di vita urbano ecologico.

• Codice:

advertising_prompt = "Create an image of a family enjoying a picnic in a futuristic city park, with skyscrapers in the background and a clear blue sky, to be used in a campaign promoting eco-friendly urban living."

get_image_from_DALL_E_3_API(advertising_prompt)

• Risultato:

Immagine generata per il prompt “Advertising”

Sviluppo di giochi

Per questo ultimo esempio, chiediamo al modello di aggiungere informazioni testuali evidenziate in arancione nel prompt e vediamo come si comporta.

• Prompt:

Progetta un concept art di una foresta mistica al crepuscolo, con piante luminose e un ingresso nascosto a una grotta sotterranea, per l’ambientazione di un gioco d’avventura. Includi nell’immagine un cartello con il testo 'Beware: Mythical Creatures Ahead' in uno stile di font antico e mistico.

• Codice:

game_dev_prompt = "Design a concept art of a mystical forest at twilight, with glowing plants and a hidden entrance to an underground cave, for an adventure game setting. Include a signpost in the image with the text 'Beware: Mythical Creatures Ahead' in an ancient, mystical font style"

get_image_from_DALL_E_3_API(game_dev_prompt)

• Risultato:

Immagine generata per il prompt “Game Development”

Si nota che il modello è riuscito ad aggiungere correttamente il testo "BEWARE MYTHICAL CREATURES AHEAD" dopo aver generato l’immagine. Davvero fantastico.

Best practice per l’uso della DALL-E 3 API

Per ottenere un’esperienza migliore con la DALL-E 3 API, ecco alcune best practice e linee guida:

• Dai priorità alla comunicazione dettagliata: fornire prompt precisi e dettagliati a DALL-E 3 è fondamentale, proprio come nelle interazioni umane. Più le richieste sono esplicite, più accurato sarà il risultato finale.
• Considerazioni etiche: è importante essere consapevoli delle implicazioni etiche delle creazioni finali, rispettando le leggi su copyright e privacy e valutando il potenziale impatto delle immagini generate.
• Riconosci e adatta le sue limitazioni: come ogni tecnologia, anche DALL-E 3 ha i propri limiti. Familiarizzare con ciò che l’API può e non può fare aiuta a calibrare i prompt per aspettative più realistiche.
• Resta aggiornato ed evolvi: sperimentare con una varietà di prompt può aiutare a scoprire il range di possibilità dell’API e i propri confini creativi. Per i pittori, è come esplorare pennelli e colori diversi.

Conclusione

In sintesi, questo articolo ha presentato un’esplorazione approfondita della DALL-E 3 API, descrivendone la configurazione e i vari ambiti applicativi. Siamo partiti da una panoramica dell’API, delineandone le capacità rivoluzionarie e preparando il terreno per un’analisi più dettagliata.

Siamo poi entrati nelle funzionalità specifiche di DALL-E 3, chiarendone le capacità avanzate di generazione delle immagini. A seguire, abbiamo esaminato i casi d’uso nei diversi settori, dimostrando la versatilità e l’ampio impatto dell’API.

L’articolo ti ha inoltre guidato nei primi passi per usare la DALL-E 3 API, dall’ottenimento dell’accesso alla configurazione per diverse applicazioni, evidenziando l’importanza di comprendere e usare efficacemente le sue funzionalità.

Abbiamo anche discusso le best practice per l’uso della DALL-E 3 API, sottolineando le considerazioni etiche e le strategie per massimizzarne il potenziale. Sono stati condivisi consigli pratici ed esempi delle capacità dell’API per aiutarti a ottimizzare l’esperienza.

Sei pronto a fare il prossimo passo nel mondo dell’IA e della tecnologia creativa? Migliora le tue competenze e sblocca il tuo potenziale creativo con gli strumenti avanzati usati dagli innovatori dell’IA. Inizia il tuo percorso con il nostro tutorial How to Use Midjourney: A Comprehensive Guide to AI-Generated Artwork Creation già oggi. Oppure impara a lavorare con altre API popolari, come nel corso Working with the OpenAI API.