StableDiffusion Web UI : guide complet pour bien débuter

Stable Diffusion Web UI (SDUI) est une interface Web conviviale pour le puissant modèle d’IA générative Stable Diffusion. Ce modèle avancé est capable de générer des images à partir de descriptions textuelles ou de modifier des images existantes sur la base d’instructions. L’interface développée par AUTOMATIC1111 offre un environnement intuitif pour interagir avec les modèles Stable Diffusion, sans compétences techniques ni de programmation avancées.

Vous pouvez utiliser la Web UI en local sur un ordinateur portable ou un PC, avec prise en charge du CPU et du GPU. Vous pouvez également déployer votre propre modèle sur un serveur afin de le mettre à disposition d’autres utilisateurs. L’outil prend en charge la plupart des systèmes d’exploitation et des GPU, notamment Nvidia, AMD et Intel. Cet outil révolutionnaire a transformé la manière dont les artistes créent des visuels de haute qualité sur leur ordinateur personnel, en rendant la créativité assistée par l’IA privée et accessible.

Dans ce tutoriel, nous allons télécharger et configurer SDUI sur un ordinateur portable sous Windows 11 avec un GPU Nvidia. Une fois l’installation terminée, nous explorerons les différentes fonctionnalités de la Web UI, y compris les extensions et les modèles Stable Diffusion personnalisés. Ce guide s’adresse à tous, y compris aux personnes non techniques et aux adolescents.

Télécharger et installer CUDA pour les GPU Nvidia

Vous pouvez utiliser Stable Diffusion Web UI sans GPU ni installation de CUDA. La Web UI peut fonctionner sur le CPU et fournir des résultats rapidement. Cependant, pour des résultats bien plus rapides, il est vivement recommandé d’activer l’accélération GPU quand c’est possible.

Ce guide s’adresse uniquement aux utilisateurs de GPU Nvidia sous Windows.

Commencez par télécharger et installer la dernière version du CUDA Toolkit 12.3. Sélectionnez les options correspondant à votre OS et téléchargez l’installeur de base.

Installez ensuite la dernière version de cuDNN. Téléchargez l’archive zip depuis Nvidia cuDNN. Assurez-vous qu’elle correspond à la version de votre CUDA Toolkit.

Extrayez tous les dossiers du fichier zip, ouvrez-les et déplacez leur contenu dans le dossier du CUDA Toolkit. Dans notre cas, le répertoire est C:\\Program Files\\NVIDIA GPU Computing Toolkit\\CUDA\\v12.3 ; il peut toutefois différer chez vous. Si une alerte signale des fichiers en double, choisissez \"Remplacer tout\".

Remarque : vérifiez toujours que vous disposez des derniers pilotes Nvidia pour des performances optimales.

Télécharger et installer Stable Diffusion Web UI

Dans cette section, nous allons voir la méthode la plus simple et la plus automatisée pour installer SDUI. Nous l’installerons via une distribution binaire pour celles et ceux qui ne peuvent pas installer Python et Git.

\n
1. Téléchargez le fichier sd.Web UI.zip depuis Release v1.0.0-pre. Bien qu’il s’agisse d’une version plus ancienne, elle se mettra automatiquement à jour vers la dernière version lors de l’installation.
\n
2. Extrayez le contenu du zip à l’emplacement de votre choix. Par exemple : C:\\Desktop\\Web UI.
\n
3. Pour mettre à jour Stable Diffusion Web UI, double-cliquez simplement sur le fichier update.bat.
\n
4. Ensuite, double-cliquez sur run.bat pour lancer la Web UI. Le premier lancement peut prendre près d’une heure, le temps de télécharger les fichiers et le modèle nécessaires.
\n
5. Une fois tous les paquets Python et le modèle Stable Diffusion installés, vous serez redirigé vers votre navigateur sur l’URL locale \"http://127.0.0.1:7860\". Si le lien ne s’ouvre pas automatiquement, cliquez simplement sur le lien affiché dans le terminal.
\n

Remarque : le référentiel Stable Diffusion Web UI fournit des consignes d’installation pour d’autres systèmes d’exploitation.

Guide de l’onglet Txt2img

Dans votre navigateur par défaut, vous verrez l’interface utilisateur avec de nombreuses options. Testons-les pour générer des images de haute qualité.

Commencez par cliquer sur l’onglet txt2img et saisissez des invites positives et négatives pour générer l’image d’une jeune femme dans une forêt sombre, vêtue d’habits de Noël. Des mots‑clés supplémentaires sont ajoutés pour affiner la qualité et le style.

Nous partirons d’une invite négative courte et ajouterons des mots‑clés au fil de l’eau pour éliminer les défauts récurrents.

Invite positive : \"masterpiece, best quality, ultra high res, visually stunning, a beautiful, 1girl, dark forest, style illustration, sorceress, dark theme, wearing Christmas clothes, close up, looking at camera\"

Invite négative : \"bad quality, bad anatomy, worst quality, low quality, low resolution, extra fingers, blur, blurry, ugly, wrong proportions, watermark, image artifacts, lowres, ugly, jpeg artifacts, deformed, noisy image, 2girls, double images,\"

L’œuvre générée montre une femme dans une scène de Noël sombre, avec une qualité remarquable.

Ajustons les paramètres avancés. Nous pouvons modifier la taille de l’image et augmenter le nombre d’itérations d’échantillonnage pour ajouter des détails.

Chaque image générée contient des métadonnées indiquant les invites positives et négatives ainsi que les paramètres avancés. Vous pouvez les réutiliser pour reproduire le même rendu.

Nous allons maintenant envoyer l’image vers l’onglet \"img2img\" en cliquant sur l’icône en forme de photo sous l’image, comme ci‑dessus.

Si vous souhaitez créer votre propre modèle d’IA générative de zéro, suivez ce guide : Building a Diffuser Model From Scratch with PyTorch.

Guide de l’onglet Img2img

L’onglet img2img permet de téléverser une image de référence pour générer une image similaire en utilisant différentes invites pour divers styles. Nous avons saisi une nouvelle invite positive en conservant l’invite négative, afin de produire quatre images de styles variés. Pour générer plusieurs images avec une seule invite, ajustez le paramètre Batch count dans les réglages de génération.

Invite positive : \"masterpiece, best quality, ultra high res, visually stunning, a beautiful, 1barbie, pink theme, wearing Christmas clothes, close up, looking at camera, 3d, \"

Les images obtenues sont superbes, avec des styles et des accessoires différents. Certaines sans couronne, d’autres plus colorées.

Passons à l’onglet \"Inpaint\" pour modifier la couronne en bois sur la photo. Avec l’outil d’inpainting, sélectionnez uniquement le haut de la tête et remplacez-le par une couronne dorée. L’inpainting permet de modifier uniquement la zone sélectionnée.

La nouvelle couronne dorée s’intègre parfaitement à l’image, sans Photoshop. Avec l’outil de sélection et une simple invite, nous avons modifié une partie de la photo.

Utiliser l’upscaler

Pour agrandir l’image générée, envoyez-la vers l’onglet Extras. Nous allons multiplier la résolution par quatre en conservant les autres paramètres.

Cliquez ensuite sur Générer pour passer de \"512×512\" à \"2048×2048\" en quelques secondes, sans perte de qualité visible.

Vous pouvez vérifier la taille d’une image en la téléchargeant sur votre ordinateur puis en consultant ses propriétés.

PNG Info

Comme nous l’avons vu, chaque image contient des métadonnées décrivant sa génération. Pour consulter celles d’une image déjà produite, téléversez-la dans l’onglet \"PNG Info\". Vous pourrez y voir les invites positives et négatives ainsi que les paramètres avancés.

Installer des extensions

Pour installer des extensions dans la Web UI, allez dans l’onglet Extensions puis cliquez sur install from URL. Ajoutez ensuite l’URL du dépôt de l’extension. Ici, nous installons l’extension ControlNet avec https://github.com/Mikubill/sd-Web UI-controlnet. ControlNet est une architecture de réseau de neurones qui permet de piloter les modèles de diffusion en leur fournissant des conditions supplémentaires.

\n
1. Installez ensuite l’extension OpenPose Editor via l’URL GitHub : https://github.com/fkunn1326/openpose-editor puis cliquez sur Install.
\n
2. Téléchargez le modèle OpenPose depuis le dépôt Hugging Face : hf.co/lllyasviel/ControlNet-v1-1/tree/main. Assurez-vous de récupérer le fichier \"control_v11p_sd15_openpose.pth\".
\n
3. Déplacez le fichier du modèle dans le répertoire de Stable Diffusion Web UI : stable-diffusion-Web UI\\extensions\\sd-Web UI-controlnet\\models
\n
4. Après une installation réussie, vous aurez accès à OpenPose Editor.
\n
5. Modifiez la pose du bonhomme articulé à la souris, puis cliquez sur \"Send to txt2img\" une fois terminé.
\n

Faites défiler vers le bas et ouvrez le panneau ControlNet. Cochez Enable, Pixel Perfect et OpenPose.

Ensuite, remontez et saisissez les invites positive et négative pour générer quatre images avec des poses similaires.

Invite positive : \"a belle dancer, near beach, looking at camera, high quality, hires, 4k, detailed \"

Invite négative : \"worst quality, low quality, lowres, monochrome, greyscale, multiple views, comic, sketch, bad anatomy, deformed, disfigured, watermark, multiple_views, mutation hands, watermark, bad facial,\"

Nous obtenons quatre images de femmes dans la même pose. Cliquez sur l’une d’elles pour les afficher en une seule image.

Utiliser des modèles personnalisés

Dans cette partie, nous allons télécharger et charger un modèle personnalisé, affiné sur des portraits de haute qualité, pour générer des images extrêmement réalistes. CivitAI est une plateforme rassemblant de nombreux modèles open source de génération d’images. Vous pouvez facilement y rechercher un modèle et le télécharger sans même créer de compte.

Vous pouvez affiner le modèle Stable Diffusion en suivant le guide Fine-tuning Stable Diffusion XL with DreamBooth and LoRA. Le guide détaille des étapes simples pour l’entraîner sur Kaggle avec un accès GPU gratuit.

Ici, nous téléchargerons le modèle RealVisXL V2.0 : recherchez-le sur le site puis cliquez sur le bouton de téléchargement dans le panneau de droite.

Après téléchargement, déplacez le modèle dans le répertoire des modèles de Stable Diffusion Web UI situé à C:\\Desktop\\Web UI\\Web UI\\models\\Stable-diffusion.

Cliquez sur le bouton d’actualisation en haut à gauche, puis sélectionnez le nouveau modèle RealVisXL dans la liste déroulante pour l’activer.

Remarque : si vous utilisez une machine sans GPU (accélérée CPU), la génération d’une seule image peut prendre jusqu’à 5 minutes. Veillez donc à exécuter la Web UI sur une machine équipée d’un GPU.

Pour accéder aux invites positives et négatives optimisées pour le modèle RealVisXL, faites simplement défiler la page du modèle et cliquez sur l’image souhaitée. Ces images embarquent des métadonnées exploitables pour générer des rendus réalistes. Par exemple, pour créer une image de Spiderwoman regardant vers le haut et face caméra, utilisez les métadonnées adaptées.

Invite positive : \"An image from a marvel spiderwoman, focused, decisive, surreal, dynamic pose, ultra highres, sharpness texture, High detail RAW Photo, detailed face, shallow depth of field, sharp eyes, (realistic skin texture:1.2), (freckles, moles:0.6), dslr, film grain\"

Invite négative : \"(worst quality, low quality, illustration, 3d, 2d, painting, cartoons, sketch), open mouth\"

Les résultats sont bluffants : lumière, couleurs, texture de peau, cheveux et traits du visage sont impeccables.

Voici les deux images les plus réussies. Présentées à vos collègues, elles pourraient être prises pour de vraies photos.

À l’heure actuelle, le modèle le plus performant est DALLE-3 ; pour en savoir plus, consultez l’article An Introduction to Using DALL-E 3: Tips, Examples, and Features.

Conclusion

Stable Diffusion Web UI offre un moyen simple pour tous de tirer parti de la génération d’images par l’IA. Son interface intuitive facilite l’interaction avec des modèles de diffusion de pointe comme Stable Diffusion, même sans bagage technique.

Dans ce tutoriel, nous avons vu comment télécharger, installer et mettre à jour la Web UI sous Windows avec un GPU Nvidia. Une fois SDUI opérationnel, nous avons exploré les fonctionnalités clés : génération texte‑vers‑image, édition image‑vers‑image, augmentation de résolution, etc. Nous avons aussi installé des extensions pour enrichir l’outil, en utilisant ControlNet et le modèle OpenPose pour guider les générations.

Enfin, nous avons exploité un modèle affiné pour produire des visages humains d’un réalisme saisissant. Cette vue d’ensemble montre que la Web UI libère un potentiel créatif autrefois réservé aux experts de l’IA et du code.

Pour votre prochain projet, essayez d’utiliser des diffusers en Python pour générer des images photoréalistes avec l’IA. Vous pourrez ainsi créer votre propre interface et produire des images facilement.