Cursus
Principes fondamentaux de l'IA
10 h
Stability AI a annoncé un aperçu anticipé de Stable Diffusion 3 en février 2024. Le modèle d’IA est encore en préversion, mais en avril 2024, l’équipe a annoncé la mise à disposition de Stable Diffusion 3 et Stable Diffusion 3 Turbo sur l’API Developer Platform de Stability AI, en partenariat avec Fireworks AI, la plateforme d’API la plus rapide et la plus fiable du marché.
Notez que Stable Diffusion 3 est une série de modèles d’IA génératifs texte‑vers‑image. D’après l’équipe de Stability AI, le modèle est « égal ou supérieur » à d’autres générateurs texte‑vers‑image, comme DALL‑E 3 d’OpenAI et Midjourney v6, en matière de « typographie et respect des prompts ».
Dans ce tutoriel, vous découvrirez des étapes concrètes pour prendre en main l’API et commencer à générer vos propres images.
Pourquoi Stable Diffusion 3 ?
Stable Diffusion 3 apporte plusieurs avancées et fonctionnalités qui le distinguent de ses prédécesseurs et en font un concurrent de premier plan sur le terrain du texte‑vers‑image – notamment grâce à une génération de texte et un suivi des prompts nettement améliorés.
Voyons ces avancées de plus près :
Un suivi de prompt renforcé
- Compréhension contextuelle : Stable Diffusion 3 intègre des techniques de pointe en traitement automatique du langage naturel (NLP), ce qui lui permet de mieux comprendre et interpréter les prompts. Résultat : des réponses plus précises et pertinentes.
- Continuité du prompt : Contrairement aux versions précédentes, Stable Diffusion 3 maintient mieux la continuité, garantissant une sortie cohérente et fidèle à l’intention initiale tout au long de l’échange.
Une génération de texte améliorée
- Modèles linguistiques affinés : Stable Diffusion 3 s’appuie sur des modèles de langue finement ajustés et entraînés sur de larges jeux de données, ce qui renforce la qualité de génération. Meilleure maîtrise de la grammaire, de la syntaxe et de la sémantique : les réponses gagnent en naturel et en cohérence.
- Variabilité réduite des réponses : Grâce à des méthodes d’entraînement et des architectures de modèle améliorées, Stable Diffusion 3 réduit la variabilité des sorties et produit des résultats plus réguliers et de meilleure qualité selon les prompts et contextes.
Expansion avancée des prompts
- Gestion des dialogues multi‑tours : Stable Diffusion 3 gère plus efficacement les échanges sur plusieurs tours, en conservant la cohérence et le contexte entre l’utilisateur et le modèle.
- Techniques d’expansion de prompt : Le modèle déploie des techniques avancées pour enrichir les réponses, les rendre plus informatives et mieux ancrées dans le contexte, afin d’apporter des réponses complètes.
Mécanismes de contrôle affinés
- Ajustement des paramètres : Stable Diffusion 3 propose des mécanismes de contrôle fins permettant de régler la longueur de réponse, le niveau de créativité et la pertinence thématique, pour une expérience plus personnalisée.
- Atténuation des biais : Le modèle intègre des garde‑fous pour réduire les biais dans la génération de texte, favorisant des réponses plus justes et inclusives.
Bien démarrer avec l’API Stable Diffusion 3
Cette section détaille les étapes pour débuter avec l’API Stability.
Étape 1 : créez votre compte. Vous devez créer un compte avant d’utiliser l’API de Stability AI. Vous pouvez vous inscrire avec identifiant et mot de passe, mais les nouveaux utilisateurs obtiennent 25 crédits gratuits en s’inscrivant via leur compte Google.
Étape 2 : récupérez votre clé d’API. Une fois votre compte créé, il vous faut une clé d’API. Elle est disponible sur la page API Keys. Dans la documentation, Stability AI précise que « Toutes les API documentées sur ce site utilisent le même mécanisme d’authentification : passer la clé d’API via l’en‑tête Authorization. »
Étape 3 : alimentez votre crédit. Vous devez disposer de crédits pour appeler l’API. Les crédits sont l’unité consommée à chaque appel – la consommation varie selon les modèles et modalités. Une fois vos crédits épuisés, vous pouvez en acheter de nouveaux depuis votre tableau de bord Billing au tarif de 1 $ US pour 100 crédits.
Dans ce tutoriel, nous utiliserons Google Colab et ComfyUI pour montrer comment générer des images via l’API Stable Diffusion 3. Dans la section suivante, nous détaillons les étapes pour démarrer avec chacun de ces outils.
Utiliser l’API Stable Diffusion 3 avec Google Colab
Pour commencer avec Google Colab, vous devez créer un compte Google – cliquez sur le lien et suivez les instructions.
Si vous avez déjà un compte Google, ouvrez un nouveau notebook et suivez les étapes ci‑dessous.
Note : Le code utilisé dans cet exemple est tiré du tutoriel SD3_API de Stability AI.
Étape 1 : installez les dépendances.
from io import BytesIO
import IPython
import json
import os
from PIL import Image
import requests
import time
from google.colab import outputÉtape 2 : connectez‑vous à l’API Stability.
import getpass
# To get your API key, visit https://platform.stability.ai/account/keys
STABILITY_KEY = getpass.getpass('Enter your API Key')Étape 3. Définissez les fonctions
def send_generation_request(
host,
params,
):
headers = {
"Accept": "image/*",
"Authorization": f"Bearer {STABILITY_KEY}"
}
# Encode parameters
files = {}
image = params.pop("image", None)
mask = params.pop("mask", None)
if image is not None and image != '':
files["image"] = open(image, 'rb')
if mask is not None and mask != '':
files["mask"] = open(mask, 'rb')
if len(files)==0:
files["none"] = ''
# Send request
print(f"Sending REST request to {host}...")
response = requests.post(
host,
headers=headers,
files=files,
data=params
)
if not response.ok:
raise Exception(f"HTTP {response.status_code}: {response.text}")
return responseÉtape 4. Générez des images.
Selon la documentation, les services Stable Image comprennent actuellement une seule offre en production :
- SD3 : 6,5 crédits par utilisation
- SD3 Turbo : 4 crédits
Testons‑les.
Dans cet exemple, nous allons créer l’image d’un toucan dans une zone tropicale de plaine.
# SD3
prompt = "This dreamlike digital art captures a vibrant, Toucan bird in a lowland tropic area" #@param {type:"string"}
negative_prompt = "" #@param {type:"string"}
aspect_ratio = "1:1" #@param ["21:9", "16:9", "3:2", "5:4", "1:1", "4:5", "2:3", "9:16", "9:21"]
seed = 0 #@param {type:"integer"}
output_format = "jpeg" #@param ["jpeg", "png"]
host = f"https://api.stability.ai/v2beta/stable-image/generate/sd3"
params = {
"prompt" : prompt,
"negative_prompt" : negative_prompt,
"aspect_ratio" : aspect_ratio,
"seed" : seed,
"output_format" : output_format,
"model" : "sd3",
"mode" : "text-to-image"
}
response = send_generation_request(
host,
params
)
# Decode response
output_image = response.content
finish_reason = response.headers.get("finish-reason")
seed = response.headers.get("seed")
# Check for NSFW classification
if finish_reason == 'CONTENT_FILTERED':
raise Warning("Generation failed NSFW classifier")
# Save and display result
generated = f"generated_{seed}.{output_format}"
with open(generated, "wb") as f:
f.write(output_image)
print(f"Saved image {generated}")
output.no_vertical_scroll()
print("Result image:")
IPython.display.display(Image.open(generated))Voici le résultat obtenu :
Image créée par l’auteur avec Stable Diffusion 3
Créons maintenant une image d’une voiture faite de fruits avec SD3 Turbo :
#SD3 Turbo
prompt = "A car made out of fruits." #@param {type:"string"}
aspect_ratio = "1:1" #@param ["21:9", "16:9", "3:2", "5:4", "1:1", "4:5", "2:3", "9:16", "9:21"]
seed = 0 #@param {type:"integer"}
output_format = "jpeg" #@param ["jpeg", "png"]
host = f"https://api.stability.ai/v2beta/stable-image/generate/sd3"
params = {
"prompt" : prompt,
"aspect_ratio" : aspect_ratio,
"seed" : seed,
"output_format" : output_format,
"model" : "sd3-turbo"
}
response = send_generation_request(
host,
params
)
# Decode response
output_image = response.content
finish_reason = response.headers.get("finish-reason")
seed = response.headers.get("seed")
# Check for NSFW classification
if finish_reason == 'CONTENT_FILTERED':
raise Warning("Generation failed NSFW classifier")
# Save and display result
generated = f"generated_{seed}.{output_format}"
with open(generated, "wb") as f:
f.write(output_image)
print(f"Saved image {generated}")
output.no_vertical_scroll()
print("Result image:")
IPython.display.display(Image.open(generated))L’exécution de ce code a produit l’image suivante :
Image créée par l’auteur avec Stable Diffusion 3 Turbo
Utiliser l’API avec ComfyUI
ComfyUI est une interface graphique (GUI) robuste et flexible pour Stable Diffusion. Elle propose une interface en graphe et un design en organigramme pour créer et exécuter des workflows avancés de diffusion.
Configuration requise :
- Carte graphique (GPU) : Une carte NVIDIA adaptée avec au moins 8 Go de VRAM, comme la RTX 3060 Ti ou supérieure.
- Processeur (CPU) : Un processeur récent, par exemple Intel Xeon E5, i5, Ryzen 5 ou mieux.
- Mémoire vive (RAM) : 16 Go ou plus.
- Système d’exploitation : Windows 10/11 ou Linux.
- Espace de stockage suffisant pour les modèles et les images générées.
Étape 1 : installer ComfyUI
La méthode la plus simple sous Windows consiste à utiliser l’installateur autonome disponible sur la page des versions. Cet installateur inclut des dépendances essentielles comme PyTorch et Hugging Face Transformers, évitant des installations séparées.
Vous obtenez ainsi un package complet pour configurer rapidement ComfyUI sous Windows sans réglages complexes.
Téléchargez, extrayez, ajoutez les modèles et lancez !
Étape 1.1 : Téléchargez la version autonome de ComfyUI depuis ce référentiel GitHub – le téléchargement démarre en cliquant sur le lien.
Étape 1.2 : Une fois le fichier comfyui-windows.zip le plus récent téléchargé, extrayez‑le avec un utilitaire comme 7‑Zip ou WinRAR.
Étape 1.3 : Un modèle checkpoint est requis pour commencer à utiliser ComfyUI. Vous pouvez en télécharger un depuis Stable Diffusion ou Hugging Face. Placez le modèle dans le dossier :
ComfyUI_windows_portable\ComfyUI\models\checkpointsÉtape 1.4 : Lancez ensuite run_nvidia_gpu.bat (recommandé) ou run_cpu.bat. ComfyUI devrait démarrer automatiquement dans votre navigateur.
La ligne de commande affichera une URL http://127.0.0.1:8188/ que vous pouvez ouvrir dans votre navigateur.
Étape 2 : installer ComfyUI Manager
Dans l’Explorateur de fichiers, localisez le répertoire que vous venez d’installer. Sous Windows, il se nomme généralement « ComfyUI_windows_portable ». Accédez à ComfyUI, puis custom_nodes. À partir de là, tapez cmd dans la barre d’adresse et appuyez sur Entrée.
Un terminal de commande s’ouvre ; saisissez la commande suivante :
git clone https://github.com/ltdrdata/ComfyUI-ManagerUne fois l’opération terminée, redémarrez ComfyUI. Le nouveau bouton « Manager » doit apparaître sur le panneau flottant.
Étape 3 : installer le nœud Stability AI API
Cliquez sur le bouton Manage et allez dans « Install Custom Nodes ». Recherchez « stability API ».
Repérez le nœud « Stability API nodes for ComfyUI », puis cliquez sur le bouton Install à droite pour lancer l’installation. Un bouton « Restart » apparaîtra ensuite : cliquez dessus pour redémarrer ComfyUI.
Étape 4 : définir la clé d’API au niveau système
Cette étape est facultative mais recommandée. Vous pouvez définir une clé d’API Stability AI pour chaque nœud au sein du nœud personnalisé Stability AI. Cela évite de saisir la clé à chaque workflow et réduit le risque de la partager par inadvertance en diffusant le fichier JSON de votre workflow.
Pour ce faire, accédez au répertoire du nœud personnalisé :
ComfyUI_windows_portable > ComfyUI > custom_nodes > ComfyUI-SAI_API. Créez un nouveau fichier nommé sai_platform_key.txt. Collez votre clé d’API dans le fichier, enregistrez, puis redémarrez ComfyUI.
Étape 5 : charger et exécuter le workflow
Installez le workflow texte‑vers‑image Stable Diffusion 3 et déposez‑le dans ComfyUI.
Vous êtes prêt !
Dépannage et conseils
Comme avec tout outil, vous pouvez rencontrer quelques obstacles. Voici les problèmes les plus fréquents et des pistes de résolution pour les difficultés liées à l’API ou à la configuration.
Clé d’API et authentification
Problème : Des erreurs d’authentification peuvent survenir à cause d’une clé d’API incorrecte ou de mauvais identifiants.
Solution : Vérifiez votre clé d’API et assurez‑vous de l’avoir copiée‑collée correctement, sans espace ni caractère superflu. Confirmez que la clé est bien reconnue par le serveur Stable Diffusion 3.
Gestion des crédits
Problème : Crédits insuffisants ou erreurs de facturation.
Solution : Contrôlez votre solde de crédits dans le tableau de bord Stable Diffusion 3. Vérifiez vos informations de facturation et signalez toute anomalie à l’équipe support.
Connectivité et réseau
Problème : Des soucis de connexion ou des interruptions réseau empêchent l’accès à l’API.
Solution : Assurez‑vous de la stabilité de votre connexion Internet. Testez depuis un autre réseau ou appareil pour isoler la cause. Contactez votre fournisseur d’accès si le problème persiste.
Compatibilité et dépendances
Problème : Incompatibilités ou erreurs de dépendances lors de l’installation ou de l’utilisation des outils requis.
Solution : Vérifiez les prérequis de compatibilité de l’API Stable Diffusion 3 et utilisez des versions d’outils/bibliothèques compatibles. Mettez à jour ou réinstallez les dépendances en cause. Consultez la documentation et les forums communautaires.
Performance et temps de réponse
Problème : Lenteurs ou dégradation des performances, notamment aux heures de pointe.
Solution : Surveillez les performances de l’API et les temps de réponse pour identifier des tendances. Envisagez une offre d’abonnement supérieure pour de meilleures performances et un accès prioritaire. Contactez le support si les lenteurs sont récurrentes.
Documentation et support
Problème : Difficultés à comprendre la documentation de l’API ou besoin d’aide pour un point précis.
Solution : Consultez la documentation Stable Diffusion 3 pour l’usage de l’API, le dépannage et les bonnes pratiques. En cas de question non résolue, contactez le support ou la communauté.
Conclusion
Stable Diffusion 3 est une série de modèles d’IA génératifs texte‑vers‑image. Cet article a présenté des étapes concrètes pour utiliser l’API avec Google Colab et ComfyUI. Vous avez désormais les bases pour créer vos propres images : mettez en pratique rapidement afin de consolider vos acquis.
Merci de votre lecture !