Corso
Understanding ChatGPT
1 ore
436.4K
Stability AI ha annunciato un’anteprima iniziale di Stable Diffusion 3, il loro modello generativo testo-immagine. A differenza dell’annuncio di Sora, il testo-in-video di OpenAI, della scorsa settimana, le dimostrazioni delle nuove capacità del modello sono state limitate, ma sono stati forniti alcuni dettagli. Qui approfondiamo cosa significa l’annuncio, come funziona il nuovo modello e quali sono le implicazioni per l’avanzamento della generazione di immagini.
Che cos’è Stable Diffusion 3?
Stable Diffusion è una serie di modelli generativi testo-immagine. In pratica, scrivi un prompt descrivendo ciò che vuoi vedere e il modello crea un’immagine che corrisponde alla tua descrizione. Esiste un’interfaccia web per accedere facilmente all’AI.
Una grande differenza rispetto al rivale di OpenAI, DALL·E, è che ha "open weights". In altre parole, i dettagli della rete neurale che esegue i calcoli del modello sono pubblici. Questo garantisce una certa trasparenza su come funziona il modello e consente ai ricercatori di adattare e sviluppare il lavoro di Stability AI.
Stable Diffusion 3 non è un singolo modello, ma un’intera famiglia, con dimensioni che vanno da 800 milioni a 8 miliardi di parametri. Un numero maggiore di parametri produce output di qualità superiore, ma con l’effetto collaterale che le immagini sono più costose e richiedono più tempo per essere create. Le versioni con meno parametri sono più adatte per immagini semplici, mentre quelle con più parametri si prestano meglio a immagini di qualità superiore o più complesse.
Come funziona Stable Diffusion 3?
Stable Diffusion 3 utilizza un’architettura diffusion transformer, simile a quella usata da Sora. Le versioni precedenti di Stable Diffusion—e la maggior parte delle AI per la generazione di immagini attuali—usano un modello di diffusione. I grandi modelli linguistici per la generazione di testo, come GPT, usano un’architettura transformer. La possibilità di combinare i due approcci è un’innovazione recente e promette di sfruttare il meglio di entrambe le architetture.
I modelli di diffusione sono molto efficaci nel creare dettagli in piccole regioni ma sono deboli nel generare l’impaginazione complessiva di un’immagine. Al contrario, i transformer sono bravi nell’organizzazione del layout ma meno nel creare dettagli. È quindi probabile che Stable Diffusion utilizzi un transformer per impostare la composizione globale e poi i diffusers per generare le porzioni dettagliate.
Questo significa che possiamo aspettarci che Stable Diffusion 3 organizzi meglio di prima le scene complesse.
L’annuncio afferma anche che Stable Diffusion 3 utilizza una tecnica chiamata flow matching. È un metodo più efficiente dal punto di vista computazionale per addestrare i modelli e creare immagini rispetto alla tecnica di diffusione tradizionale. Questo si traduce in costi inferiori per addestrare l’AI e per generare immagini, con conseguente riduzione dei costi complessivi.
Quali sono le limitazioni di Stable Diffusion 3?
Una delle attuali limitazioni delle AI generative di immagini è la capacità di generare testo. Non a caso, l’annuncio di Stability AI si apre con un’immagine che include il nome del modello, "Stable Diffusion 3". Il posizionamento delle lettere nel testo è buono ma non perfetto: si nota che la distanza tra la "B" e la "L" in Stable è maggiore rispetto a quella tra la "L" e la "E". Allo stesso modo, le due "F" in Diffusion sono troppo vicine. Nel complesso, però, si tratta di un miglioramento evidente rispetto alla generazione precedente di modelli.
Prompt: Illustrazione anime epica di un mago in cima a una montagna di notte che lancia un incantesimo cosmico nel cielo scuro con la scritta "Stable Diffusion 3" fatta di energia colorata
Un altro problema dei modelli è che, poiché i diffusers generano separatamente porzioni dell’immagine, possono verificarsi incoerenze tra le varie regioni. Ciò è soprattutto un problema quando si tenta di generare immagini realistiche. Il post di annuncio non includeva molti esempi realistici, ma un’immagine di un autobus in una strada cittadina evidenzia alcuni di questi problemi. Si noti che l’ombra sotto l’autobus suggerisce una luce proveniente da dietro, ma l’ombra di un edificio sulla strada indica una luce proveniente da sinistra. Inoltre, il posizionamento delle finestre nell’edificio in alto a destra è leggermente incoerente tra le diverse zone dell’edificio. L’autobus, inoltre, non ha un conducente, anche se questo potrebbe essere risolvibile con un prompt più accurato.
Come posso accedere a Stable Diffusion 3?
Stable Diffusion 3 è in una fase di "early preview". Ciò significa che è disponibile solo per i ricercatori a scopo di test. Questa fase serve a permettere a Stability AI di raccogliere feedback sulle prestazioni e sulla sicurezza del modello prima del rilascio pubblico.
Puoi iscriverti alla lista d’attesa per l’accesso all’AI qui.
Quali sono i casi d’uso di Stable Diffusion 3?
Le AI per la generazione di immagini hanno già trovato molti impieghi, dalle illustrazioni al graphic design fino ai materiali di marketing. Stable Diffusion promette di essere utilizzabile negli stessi modi, con il vantaggio aggiuntivo di poter creare immagini con layout più complessi.
Quali sono i rischi di Stable Diffusion 3?
Il dataset su cui è stato addestrato Stable Diffusion includeva alcune immagini coperte da copyright, il che ha portato a diverse cause legali ancora irrisolte. Non è chiaro quale sarà l’esito, ma teoricamente è possibile che anche le immagini create con Stable Diffusion vengano considerate in violazione del copyright.
Cosa non sappiamo ancora?
I dettagli tecnici completi di Stable Diffusion 3 non sono stati ancora resi noti e, in particolare, non c’è modo di testare le prestazioni dell’AI. Una volta che il modello sarà disponibile pubblicamente e saranno stabiliti dei benchmark, sarà possibile determinare quanto l’AI migliori rispetto alle versioni precedenti. Anche altri fattori, come il tempo e il costo per generare un’immagine, diventeranno più chiari.
Uno sviluppo tecnico fortemente sostenuto da OpenAI nel loro paper su DALL·E 3, ma non menzionato nell’annuncio di Stability AI, è il recaptioning. Si tratta di una forma di prompt engineering automatico, in cui il testo scritto dall’utente viene ristrutturato e arricchito di dettagli per fornire istruzioni più chiare al modello. Non è noto se Stable Diffusion 3 utilizzi o meno questa tecnica.
Considerazioni finali
Stable Diffusion 3 promette di essere un nuovo passo avanti nel progresso dell’AI generativa testo-immagine. Una volta rilasciata pubblicamente, potremo testarla meglio e scoprire nuovi casi d’uso. Se vuoi iniziare subito nel mondo dell’AI generativa, il nostro percorso di competenze AI Fundamentals ti aiuterà a metterti al passo con machine learning, deep learning, NLP, modelli generativi e altro ancora.
Per altre risorse sulle ultime novità nel mondo dell’AI, dai un’occhiata all’elenco qui sotto:
Argomenti
