Come usare la Stable Diffusion 3 API

Stability AI ha annunciato un’anteprima iniziale di Stable Diffusion 3 a febbraio 2024. Il modello di AI è ancora in anteprima, ma ad aprile 2024 il team ha annunciato che avrebbe reso disponibili Stable Diffusion 3 e Stable Diffusion 3 Turbo sulla Developer Platform API di Stability AI dopo la partnership con Fireworks AI, la piattaforma API più veloce e affidabile sul mercato.

Nota che Stable Diffusion 3 è semplicemente una serie di modelli generativi testo-immagine. Secondo il team di Stability AI, il modello è “pari o superiore” ad altri generatori testo-immagine, come DALL-E 3 di OpenAI e Midjourney v6, in “tipografia e aderenza ai prompt”.

In questo tutorial imparerai passaggi pratici per iniziare a usare l’API, così potrai iniziare a generare le tue immagini.

Perché Stable Diffusion 3?

Stable Diffusion 3 introduce diversi progressi e funzionalità che la distinguono dalle versioni precedenti e la rendono altamente competitiva nel campo della generazione testo-immagine, in particolare per il miglioramento della generazione di testo e delle capacità di seguire i prompt.

Esploriamo questi progressi:

Aderenza ai prompt migliorata

• Comprensione contestuale: Stable Diffusion 3 incorpora tecniche all’avanguardia di elaborazione del linguaggio naturale (NLP), che le consentono di comprendere e interpretare meglio i prompt degli utenti. Questo permette risposte più accurate e pertinenti al contesto degli input.
• Continuità del prompt: A differenza delle versioni precedenti, Stable Diffusion 3 mantiene una migliore continuità nel seguire i prompt, assicurando che il testo generato resti coerente e allineato all’input dell’utente durante tutta la conversazione.

Generazione di testo migliorata

• Modelli linguistici ottimizzati: Stable Diffusion 3 utilizza modelli linguistici ottimizzati addestrati estesamente su grandi dataset, con il risultato di capacità di generazione del testo migliorate. Questi modelli comprendono meglio grammatica, sintassi e semantica, producendo risposte più coerenti e naturali.
• Variabilità delle risposte ridotta: Grazie a metodologie di training e architetture del modello migliorate, Stable Diffusion 3 riduce la variabilità delle risposte, generando output più coerenti e di alta qualità su diversi prompt e contesti.

Espansione avanzata dei prompt

• Supporto per dialoghi multi-turno: Stable Diffusion 3 gestisce con maggiore efficacia i dialoghi su più turni, mantenendo coerenza e contesto attraverso molteplici scambi tra utente e modello di AI.
• Tecniche di espansione del prompt: Il modello utilizza tecniche avanzate di espansione del prompt per generare risposte più informative e pertinenti al contesto, arricchendo il dialogo e fornendo all’utente risposte più complete alle sue domande.

Meccanismi di controllo perfezionati

• Regolazione dei parametri: Stable Diffusion 3 offre meccanismi di controllo perfezionati che permettono di regolare parametri come lunghezza della risposta, livello di creatività e pertinenza dell’argomento, abilitando un’esperienza più personalizzata.
• Mitigazione dei bias: Il modello integra misure per mitigare bias nella generazione del testo, promuovendo correttezza e inclusività nelle risposte ai prompt degli utenti.

Primi passi con la Stable Diffusion 3 API

Questa sezione illustra i passaggi per iniziare con la Stability API.

Passaggio 1: Crea il tuo account. Devi creare un account prima di poter usare l’API di Stability AI. Puoi iscriverti con username e password, ma i nuovi utenti ricevono 25 crediti gratuiti se si registrano con l’account Google.

Passaggio 2: Richiedi la tua chiave API. Una volta creato l’account, ti servirà una chiave API. La trovi nella pagina API Keys. Nella documentazione, Stability AI dichiara che “tutte le API documentate su questo sito usano lo stesso meccanismo di autenticazione: passare la chiave API nell’header Authorization.”

Passaggio 3: Ricaricare i crediti. Devi avere crediti per inviare richieste all’API. I crediti sono l’unità di valuta consumata quando chiami l’API: la quantità consumata varia a seconda di modelli e modalità. Dopo aver esaurito i crediti, puoi acquistarne altri tramite la tua dashboard di Billing a 1 USD per 100 crediti.

In questo tutorial useremo Google Colab e ComfyUI per mostrare come generare immagini usando la Stable Diffusion 3 API. Nella prossima sezione copriremo i passaggi per iniziare con ciascuno strumento.

Usare la Stable Diffusion 3 API con Google Colab

Per iniziare con Google Colab devi creare un account Google: fai clic sul link e segui le istruzioni.

Se hai già un account Google, apri un nuovo notebook e segui i passaggi qui sotto.

Nota: Il codice usato in questo esempio è tratto dal tutorial SD3_API di Stability AI.

Passaggio 1: Installa i requisiti.

from io import BytesIO
import IPython
import json
import os
from PIL import Image
import requests
import time
from google.colab import output

Passaggio 2: Connettiti alla Stability API.

import getpass
# To get your API key, visit https://platform.stability.ai/account/keys
STABILITY_KEY = getpass.getpass('Enter your API Key')

Passaggio 3. Definisci le funzioni

def send_generation_request(
    host,
    params,
):
    headers = {
        "Accept": "image/*",
        "Authorization": f"Bearer {STABILITY_KEY}"
    }

    # Encode parameters
    files = {}
    image = params.pop("image", None)
    mask = params.pop("mask", None)
    if image is not None and image != '':
        files["image"] = open(image, 'rb')
    if mask is not None and mask != '':
        files["mask"] = open(mask, 'rb')
    if len(files)==0:
        files["none"] = ''

    # Send request
    print(f"Sending REST request to {host}...")
    response = requests.post(
        host,
        headers=headers,
        files=files,
        data=params
    )
    if not response.ok:
        raise Exception(f"HTTP {response.status_code}: {response.text}")

    return response

Passaggio 4. Genera immagini.

Secondo la documentazione, i servizi Stable Image includono al momento un’unica offerta in produzione:

• SD3: usa 6,5 crediti
• SD3 Turbo: usa 4 crediti

Mettiamoli alla prova.

In questo esempio creeremo un’immagine di un tucano in una zona tropicale di pianura.

# SD3

prompt = "This dreamlike digital art captures a vibrant, Toucan bird in a lowland tropic area" #@param {type:"string"}
negative_prompt = "" #@param {type:"string"}
aspect_ratio = "1:1" #@param ["21:9", "16:9", "3:2", "5:4", "1:1", "4:5", "2:3", "9:16", "9:21"]
seed = 0 #@param {type:"integer"}
output_format = "jpeg" #@param ["jpeg", "png"]

host = f"https://api.stability.ai/v2beta/stable-image/generate/sd3"

params = {
    "prompt" : prompt,
    "negative_prompt" : negative_prompt,
    "aspect_ratio" : aspect_ratio,
    "seed" : seed,
    "output_format" : output_format,
    "model" : "sd3",
    "mode" : "text-to-image"
}

response = send_generation_request(
    host,
    params
)

# Decode response
output_image = response.content
finish_reason = response.headers.get("finish-reason")
seed = response.headers.get("seed")

# Check for NSFW classification
if finish_reason == 'CONTENT_FILTERED':
    raise Warning("Generation failed NSFW classifier")

# Save and display result
generated = f"generated_{seed}.{output_format}"
with open(generated, "wb") as f:
    f.write(output_image)
print(f"Saved image {generated}")

output.no_vertical_scroll()
print("Result image:")
IPython.display.display(Image.open(generated))

Ecco cosa ha creato:

Immagine creata dall’autore con Stable Diffusion 3

Ora creiamo un’immagine di un’auto fatta di frutta usando SD3 Turbo:

#SD3 Turbo

prompt = "A car made out of fruits." #@param {type:"string"}
aspect_ratio = "1:1" #@param ["21:9", "16:9", "3:2", "5:4", "1:1", "4:5", "2:3", "9:16", "9:21"]
seed = 0 #@param {type:"integer"}
output_format = "jpeg" #@param ["jpeg", "png"]

host = f"https://api.stability.ai/v2beta/stable-image/generate/sd3"

params = {
    "prompt" : prompt,
    "aspect_ratio" : aspect_ratio,
    "seed" : seed,
    "output_format" : output_format,
    "model" : "sd3-turbo"
}

response = send_generation_request(
    host,
    params
)

# Decode response
output_image = response.content
finish_reason = response.headers.get("finish-reason")
seed = response.headers.get("seed")

# Check for NSFW classification
if finish_reason == 'CONTENT_FILTERED':
    raise Warning("Generation failed NSFW classifier")

# Save and display result
generated = f"generated_{seed}.{output_format}"
with open(generated, "wb") as f:
    f.write(output_image)
print(f"Saved image {generated}")

output.no_vertical_scroll()
print("Result image:")
IPython.display.display(Image.open(generated))

Eseguendo questo codice è stata prodotta la seguente immagine:

Immagine creata dall’autore con Stable Diffusion 3 Turbo

Usare l’API con ComfyUI

ComfyUI è un’interfaccia grafica (GUI) robusta e flessibile per stable diffusion. Offre un’interfaccia basata su grafi e utilizza un design in stile flowchart per permettere agli utenti di creare ed eseguire workflow di stable diffusion sofisticati.

Requisiti di sistema:

• Graphics Processing Unit (GPU): Una GPU NVIDIA adeguata con almeno 8 GB di VRAM, come RTX 3060 Ti o superiore.
• Central Processing Unit (CPU): Un processore moderno, tra cui Intel Xeon E5, i5, Ryzen 5 o superiore.
• Random Access Memory (RAM): 16 GB o più.
• Sistema operativo: Windows 10/11 o Linux.
• Spazio di archiviazione sufficiente sul computer per modelli e immagini generate.

Passaggio 1: Installa ComfyUI

Il metodo più semplice per installare ComfyUI su Windows è usare l’installer standalone presente nella pagina delle release. Questo installer include dipendenze essenziali come PyTorch e Hugging Face Transformers, eliminando la necessità di installazioni separate.

Fornisce un pacchetto completo, consentendo una configurazione rapida di ComfyUI su Windows senza richiedere impostazioni complesse.

Basta scaricare, estrarre, aggiungere i modelli e avviare!

Passaggio 1.1: Scarica la versione standalone di ComfyUI da questo repository GitHub: cliccare sul link avvierà il download.

Passaggio 1.2: Una volta scaricato il file comfyui-windows.zip più recente, estrailo usando un’utility come 7-Zip o WinRAR.

Passaggio 1.3: Per iniziare a usare ComfyUI è necessario un modello checkpoint. Puoi scaricarne uno da Stable Diffusion o Hugging Face. Metti il modello nella cartella:

ComfyUI_windows_portable\ComfyUI\models\checkpoints

Passaggio 1.4: Ora esegui semplicemente run_nvidia_gpu.bat (consigliato) oppure run_cpu.bat. Questo dovrebbe avviare automaticamente ComfyUI nel browser.

La riga di comando verrà eseguita e genererà un URL http://127.0.0.1:8188/ che ora puoi aprire nel browser.

Passaggio 2: Installa ComfyUI Manager

All’interno di Esplora file, individua la directory appena installata. Dato che usi Windows, dovrebbe chiamarsi “ComfyUI_windows_portable.” Da qui vai su ComfyUI, poi custom_nodes. Da questa posizione, digita cmd nella barra degli indirizzi e premi Invio.

Questo dovrebbe aprire un terminale del prompt dei comandi, dove devi inserire il seguente comando:

git clone https://github.com/ltdrdata/ComfyUI-Manager

Una volta completato, riavvia ComfyUI. Il nuovo pulsante “Manager” dovrebbe apparire sul pannello flottante.

Passaggio 3: Installa il nodo Stability AI API

Seleziona il pulsante Manage e vai su “Install Custom Nodes.” Da qui cerca “stability API.”

Individua il nodo "Stability API nodes for ComfyUI", quindi fai clic sul pulsante Install situato a destra per avviare il processo di installazione. In seguito comparirà un pulsante “Restart”. Clicca su “Restart” per riavviare ComfyUI.

Passaggio 4: Definisci la chiave API a livello di sistema

Questo passaggio è facoltativo, ma consigliato. In particolare, puoi impostare una chiave API di Stability AI per ciascun nodo all’interno del nodo personalizzato di Stability AI. Questo evita di dover inserire la chiave API ogni volta in ogni workflow e riduce il rischio di condividerla inavvertitamente quando condividi il file JSON del tuo workflow.

Per farlo, vai alla directory del nodo personalizzato:

ComfyUI_windows_portable > ComfyUI > custom_nodes > ComfyUI-SAI_API. 

Crea un nuovo file chiamato sai_platform_key.txt. Incolla la tua chiave API nel file, salva il documento e quindi riavvia ComfyUI.

Passaggio 5: Carica ed esegui il workflow

Installa il workflow text-to-image di Stable Diffusion 3 e rilascialo in ComfyUI.

Ora sei pronto per partire!

Risoluzione dei problemi e consigli

Come con qualsiasi strumento, c’è sempre la possibilità di incontrare qualche problema lungo il percorso. Ecco le difficoltà più comuni e i passaggi per la risoluzione dedicati a chi incontra problemi con l’API o con la procedura di setup.

Problemi con chiave API e autenticazione

Problema: Gli utenti possono imbattersi in errori di autenticazione durante l’accesso all’API a causa di una chiave API errata o di credenziali non corrette.

Soluzione: Ricontrolla la chiave API e assicurati che sia copiata e incollata correttamente. Verifica che non ci siano spazi o caratteri extra nella chiave. Assicurati che la chiave API sia correttamente autenticata dal server di Stable Diffusion 3.

Problemi di gestione dei crediti

Problema: Gli utenti potrebbero riscontrare problemi relativi alla gestione dei crediti, come crediti insufficienti o errori di fatturazione.

Soluzione: Controlla il saldo crediti nella dashboard di Stable Diffusion 3 per assicurarti di averne a sufficienza. Verifica le informazioni di fatturazione e risolvi eventuali errori o discrepanze con il team di supporto.

Problemi di connettività e rete

Problema: Gli utenti possono riscontrare problemi di connettività o interruzioni di rete che impediscono l’accesso all’API.

Soluzione: Assicurati di avere una connessione Internet stabile e che non ci siano interruzioni di rete. Per isolare il problema, prova ad accedere all’API da un’altra rete o dispositivo. Contatta il tuo provider Internet se continui a riscontrare problemi di connettività.

Errori di compatibilità e dipendenze

Problema: Potresti incontrare problemi di compatibilità o errori di dipendenze durante l’installazione o l’uso degli strumenti e delle librerie richiesti.

Soluzione: Controlla i requisiti di compatibilità della Stable Diffusion 3 API e assicurati di usare versioni compatibili di strumenti e librerie. Aggiorna o reinstalla eventuali dipendenze che causano errori. Fai riferimento alla documentazione e ai forum della community per indicazioni sulla risoluzione dei problemi.

Prestazioni e tempi di risposta

Problema: Gli utenti possono sperimentare tempi di risposta lenti o problemi di prestazioni quando interagiscono con l’API, soprattutto durante i periodi di picco.

Soluzione: Monitora le prestazioni dell’API e traccia i tempi di risposta per identificare pattern o tendenze. Valuta l’upgrade a un piano di abbonamento di livello superiore per prestazioni migliori e accesso prioritario. Contatta il team di supporto se riscontri costantemente tempi di risposta lenti.

Documentazione e supporto

Problema: Gli utenti possono avere difficoltà a comprendere la documentazione dell’API o necessitare di assistenza per la risoluzione di problemi specifici.

Soluzione: Per indicazioni sull’uso dell’API, la risoluzione dei problemi e le best practice, consulta la documentazione di Stable Diffusion 3. Se hai problemi o domande non risolti, contatta il team di supporto o i forum della community.

Conclusione

Stable Diffusion 3 è una serie di modelli generativi testo-immagine. Questo articolo ha coperto passaggi pratici per iniziare a usare l’API con Google Colab e ComfyUI. Ora hai le competenze per creare le tue immagini: metti in pratica quello che hai imparato il prima possibile per non dimenticarlo.

Grazie per la lettura!

Per approfondire

• Stable Diffusion Web UI: una guida completa per principianti
• Fine-tuning di Stable Diffusion XL con DreamBooth e LoRA
• Come eseguire Stable Diffusion
• Generare immagini fotorealistiche con l’AI usando Diffusers in Python