Stable Diffusion Web UI (SDUI) è un'interfaccia browser intuitiva per il potente modello di IA generativa noto come Stable Diffusion. Si tratta di un modello avanzato in grado di generare immagini da descrizioni testuali o modificare immagini esistenti sulla base di prompt testuali. La web UI sviluppata da AUTOMATIC1111 offre una piattaforma coinvolgente per interagire con i modelli di Stable Diffusion senza richiedere competenze tecniche o di programmazione avanzate.
Puoi usare la Web UI in locale su un laptop o PC, con supporto sia CPU che GPU. Inoltre, hai la possibilità di distribuire il tuo modello su un server, consentendo ad altri di esplorare e fare esperimenti. Supporta quasi tutti i sistemi operativi e le GPU, incluse Nvidia, AMD e Intel. Questo strumento rivoluzionario ha trasformato il modo in cui gli artisti creano arte di alta qualità sui propri computer, rendendo la creatività con IA privata e accessibile.
In questo tutorial, vedremo come scaricare e configurare SDUI su un laptop con Windows 11 e GPU Nvidia. Completata l'installazione, esploreremo le varie funzioni disponibili nella Web UI, incluse estensioni e modelli personalizzati di stable diffusion. Questa guida è adatta a persone di ogni estrazione, anche senza competenze tecniche o adolescenti.
Scarica e installa CUDA per GPU Nvidia
Puoi usare la Stable Diffusion Web UI anche senza GPU o installazione di CUDA. La Web UI è in grado di girare sulla CPU e può fornire risultati rapidi. Tuttavia, per ottenere risultati più veloci, è altamente consigliato usare l'accelerazione GPU quando possibile.
Questa guida si concentra solo sugli utenti con GPU Nvidia e Windows come sistema operativo.
Per prima cosa, scarica e installa l'ultima versione del CUDA Toolkit 12.3. Devi selezionare le opzioni corrette in base al tuo sistema operativo e scaricare il programma di installazione Base.
Successivamente, installa l'ultima versione di cuDNN. Puoi scaricare il file zip da Nvidia cuDNN. Assicurati che corrisponda alla versione corretta del CUDA Toolkit.
Estrai tutte le cartelle dal file zip, aprilo e sposta i contenuti nella cartella del toolkit CUDA. In questo caso, la directory è C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.3; tuttavia, potrebbe essere diversa per te. Se compare un messaggio che chiede dei file duplicati, seleziona "Replace All".
Nota: assicurati sempre di avere installati i driver Nvidia più recenti sul computer per prestazioni ottimali.
Scarica e installa la Stable Diffusion Web UI
In questa sezione, vedremo il modo più semplice e automatizzato per installare SDUI. La installeremo usando una distribuzione binaria per chi non può installare Python e Git.
- Scarica il file
sd.Web UI.zipda Release v1.0.0-pre. Anche se è una versione più vecchia, durante l'installazione si aggiornerà automaticamente all'ultima versione. - Estrai i contenuti dello zip nella posizione che preferisci. Ad esempio, puoi estrarlo in
C:\Desktop\Web UI. - Per aggiornare la Stable Diffusion Web UI, ti basta fare doppio clic sul file
update.bat. - Dopodiché, fai doppio clic sul pulsante
run.batper avviare la Web UI. La prima volta impiegherà circa un'ora per scaricare i file necessari e il modello. - Una volta scaricati e installati tutti i pacchetti Python necessari e il modello di Stable Diffusion, verrai reindirizzato al browser con un URL locale "http://127.0.0.1:7860". Se il link non si apre automaticamente, fai semplicemente clic sul link fornito nel terminale.
Nota: Il repository di Stable Diffusion Web UI fornisce linee guida per l'installazione su altri sistemi operativi.
Guida alla scheda Txt2img
Nel browser predefinito vedrai l'interfaccia utente con diverse opzioni. Proviamole una per generare immagini di alta qualità.
Per prima cosa, cliccheremo sulla scheda txt2img e inseriremo prompt positivi e negativi per generare l'immagine di una ragazza in una foresta oscura con abiti natalizi. Sono state aggiunte parole chiave aggiuntive per migliorare qualità e stile dell'immagine.
Inizieremo con un prompt negativo limitato e aggiungeremo via via altre parole chiave per eliminare deformazioni ricorrenti nell'immagine.
Prompt positivo: “masterpiece, best quality, ultra high res, visually stunning, a beautiful, 1girl, dark forest, style illustration, sorceress, dark theme, wearing Christmas clothes, close up, looking at camera”
Prompt negativo: “bad quality, bad anatomy, worst quality, low quality, low resolution, extra fingers, blur, blurry, ugly, wrong proportions, watermark, image artifacts, lowres, ugly, jpeg artifacts, deformed, noisy image, 2girls, double images,”
L'opera generata raffigura una donna in un'ambientazione natalizia cupa con qualità eccezionale.
Regoliamo ora le impostazioni avanzate. Possiamo cambiare la dimensione dell'immagine e aumentare gli step di campionamento per aggiungere più dettagli.
Tutte le immagini generate includono metadati che comprendono prompt positivi e negativi e impostazioni avanzate. Puoi usarli per ottenere lo stesso risultato.
Ora sposteremo l'immagine nella scheda 'img2img' facendo clic sul pulsante con l'emoji della foto sotto l'immagine, come mostrato sopra.
Se vuoi creare il tuo modello di IA generativa da zero, puoi farlo seguendo questa guida: Building a Diffuser Model From Scratch with PyTorch.
Guida alla scheda Img2img
La scheda img2img ti permette di caricare l'immagine di riferimento per generare un'immagine simile usando prompt diversi per stili differenti. Abbiamo inserito un nuovo prompt positivo e mantenuto invariato quello negativo per generare quattro immagini con stili diversi. Se vuoi generare più immagini con un singolo prompt, puoi farlo regolando il Batch count nelle impostazioni di generazione.
Prompt positivo: “masterpiece, best quality, ultra high res, visually stunning, a beautiful, 1barbie, pink theme, wearing Christmas clothes, close up, looking at camera, 3d, ”
Le immagini risultanti sono splendide, con stili e oggetti di scena diversi. Alcune sono senza corona, altre sono colorate.
Passiamo alla scheda 'Inpaint' e proviamo a cambiare la corona di legno nella foto. Possiamo usare lo strumento di inpainting per selezionare solo la parte superiore della testa della ragazza e trasformarla in una corona d'oro. L'inpainting ci consente di modificare solo la parte selezionata dell'immagine.
La nuova corona dorata si integra perfettamente nell'immagine senza bisogno di Photoshop. Con uno strumento di evidenziazione e un semplice prompt, siamo riusciti a modificare una parte dell'immagine.
Uso dell'Upscaler
Per eseguire l'upscaling dell'immagine che abbiamo generato, invieremo l'immagine alla scheda Extras. Ridimensioneremo l'immagine per quattro volte e lasceremo tutto il resto invariato.
Dopodiché, faremo clic sul pulsante Generate per convertire “512X512” in “2048X2048” in pochi secondi senza perdita di qualità.
Puoi verificare la dimensione di un'immagine scaricandola sul tuo computer e aprendo le proprietà del file immagine.
PNG Info
Come abbiamo visto, ogni immagine contiene metadati che indicano come è stata generata. Se vuoi visualizzare le informazioni di un'immagine generata in precedenza, puoi caricarla nella scheda "PNG Info". Da lì puoi vedere prompt positivi e negativi, oltre alle impostazioni avanzate.
Installazione delle estensioni
Per installare le estensioni nella Web UI, devi passare alla scheda Extensions e cliccare sulla scheda install from URL. Quindi aggiungi l'URL del repository dell'estensione. Nel nostro caso, stiamo installando l'estensione ControNet usando https://github.com/Mikubill/sd-Web UI-controlnet. ControNet è un'architettura di rete neurale che può essere usata per controllare i modelli di diffusione fornendo condizioni aggiuntive.
- Quindi installeremo l'estensione OpenPose Editor usando l'URL di Github:
https://github.com/fkunn1326/openpose-editore premiamo Install. - Scarica il modello OpenPose dal repository Hugging Face:
hf.co/lllyasviel/ControlNet-v1-1/tree/main. Assicurati di scaricare il file “control_v11p_sd15_openpose.pth”. - Sposta il file del modello nella directory del modello di Stable Diffusion Web UI:
stable-diffusion-Web UI\extensions\sd-Web UI-controlnet\models - Dopo aver installato correttamente l'estensione, avrai accesso a
OpenPose Editor. - Cambia la posa dell'omino stilizzato con il mouse e, quando hai finito, clicca su “Send to txt2img”.
Scorri in basso e apri il pannello ControlNet. Seleziona Enable, Pixel Perfect e l'opzione OpenPose.
Dopodiché, scorri in alto e scrivi un prompt positivo e negativo per generare quattro immagini con pose simili.
Prompt positivo: “a belle dancer, near beach, looking at camera, high quality, hires, 4k, detailed ”
Prompt negativo: “worst quality, low quality, lowres, monochrome, greyscale, multiple views, comic, sketch, bad anatomy, deformed, disfigured, watermark, multiple_views, mutation hands, watermark, bad facial,”
Abbiamo quattro immagini di donne nella stessa posa. Clicca su una qualsiasi immagine per visualizzarle come un'unica immagine.
Uso di modelli personalizzati
In questa sezione, scaricheremo e caricheremo il modello personalizzato messo a punto su ritratti di alta qualità per generare immagini estremamente realistiche. CivitAI è una piattaforma con vari modelli open source per la generazione di immagini. Puoi cercare facilmente un modello specifico e scaricarlo anche senza creare un account.
Puoi mettere a punto il modello Stable Diffusion seguendo la guida Fine-tuning di Stable Diffusion XL con DreamBooth e LoRA. La guida fornisce passaggi semplici per effettuare il fine-tuning su Kaggle con accesso GPU gratuito.
Nel nostro caso, scaricheremo il modello RealVisXL V2.0 cercandolo sul sito e cliccando il pulsante di download nel pannello di destra.
Dopo aver scaricato il modello, spostalo nella directory dei modelli di Stable Diffusion Web UI in C:\Desktop\Web UI\Web UI\models\Stable-diffusion.
Clicca il pulsante di aggiornamento in alto a sinistra, quindi seleziona il modello RealVisXL più recente dal pannello a discesa per attivarlo.
Nota: Se stai usando una macchina con accelerazione su CPU, generare una singola immagine potrebbe richiedere fino a 5 minuti. Assicurati quindi di eseguire la Web UI su una macchina con GPU.
Per accedere ai prompt positivi e negativi ottimizzati per il modello ReallVisXL, scorri semplicemente verso il basso nella pagina del modello e clicca sull'immagine desiderata. Queste immagini includono metadati che possono essere usati per generare immagini realistiche. Ad esempio, se vogliamo generare un'immagine di Spiderwoman che guarda in su e verso la fotocamera, possiamo usare i metadati appropriati.
Prompt positivo: “An image from a marvel spiderwoman, focused, decisive, surreal, dynamic pose, ultra highres, sharpness texture, High detail RAW Photo, detailed face, shallow depth of field, sharp eyes, (realistic skin texture:1.2), (freckles, moles:0.6), dslr, film grain”
Prompt negativo: “(worst quality, low quality, illustration, 3d, 2d, painting, cartoons, sketch), open mouth”
I risultati sono più che perfetti. Abbiamo ottenuto illuminazione, colore, texture della pelle, capelli e tratti del viso impeccabili.
Ecco le due immagini migliori. Se le mostrassi ai tuoi colleghi, non crederebbero nemmeno che siano immagini generate.
Attualmente, il modello con le migliori prestazioni è DALLE-3; puoi saperne di più leggendo il blog An Introduction to Using DALL-E 3: Tips, Examples, and Features.
Conclusione
La Stable Diffusion Web UI offre un modo accessibile per chiunque di sfruttare la potenza della generazione di immagini con l'IA. Questa interfaccia intuitiva rende semplice interagire con modelli di diffusione all'avanguardia come Stable Diffusion, anche per chi non è tecnico.
In questo tutorial, abbiamo visto come scaricare, installare e aggiornare la Web UI su Windows con una GPU Nvidia. Con SDUI configurata, abbiamo esplorato funzioni di base come generazione da testo a immagine, editing da immagine a immagine, aumento della risoluzione e altro. Abbiamo anche installato estensioni per potenziare lo strumento, usando i controlli di ControNet per generare immagini tramite il modello OpenPose.
Infine, abbiamo usato un modello messo a punto per generare volti umani incredibilmente realistici. Da questa breve panoramica è chiaro che la Web UI sblocca un potenziale creativo un tempo inaccessibile senza competenze avanzate in IA e programmazione.
Per il tuo prossimo progetto, prova a usare i diffusers in Python per generare immagini fotorealistiche con l'IA. Questo ti aiuterà a creare la tua interfaccia e generare immagini con facilità.
