Hoe gebruik je de Stable Diffusion 3 API

Stability AI kondigde in februari 2024 een vroege preview van Stable Diffusion 3 aan. Het AI-model is nog steeds in preview, maar in april 2024 kondigde het team aan dat ze Stable Diffusion 3 en Stable Diffusion 3 Turbo beschikbaar zouden maken op de Stability AI Developer Platform API na een samenwerking met Fireworks AI, het snelste en meest betrouwbare API-platform op de markt.

Let op: Stable Diffusion 3 is simpelweg een reeks text-to-image generatieve AI-modellen. Volgens het team van Stability AI is het model “gelijk aan of beter dan” andere text-to-image generators, zoals DALL-E 3 van OpenAI en Midjourney v6, op het gebied van “typografie en het opvolgen van prompts.”

In deze tutorial leer je praktische stappen om met de API aan de slag te gaan, zodat je je eigen afbeeldingen kunt genereren.

Waarom Stable Diffusion 3?

Stable Diffusion 3 introduceert verschillende verbeteringen en functies die het onderscheiden van zijn voorgangers en zeer competitief maken in de text-to-image space – vooral qua verbeterde tekstgeneratie en het nauwkeuriger opvolgen van prompts.

Laten we deze verbeteringen verkennen:

Verbeterd opvolgen van prompts

• Contextueel begrip: Stable Diffusion 3 bevat state-of-the-art technieken voor natural language processing (NLP), waardoor het prompts van gebruikers beter kan begrijpen en interpreteren. Dit zorgt voor nauwkeurigere en contextueel relevantere reacties op invoer van gebruikers.
• Continuïteit in prompts: In tegenstelling tot vorige versies behoudt Stable Diffusion 3 beter de continuïteit bij het volgen van prompts, zodat de gegenereerde tekst coherent blijft en gedurende het gesprek aansluit bij de invoer van de gebruiker.

Verbeterde tekstgeneratie

• Fijnafgestelde taalmodellen: Stable Diffusion 3 maakt gebruik van fijnafgestelde taalmodellen die uitgebreid zijn getraind op grote datasets, wat leidt tot sterkere tekstgeneratie. Deze modellen begrijpen grammatica, syntaxis en semantiek beter, wat resulteert in meer coherente en natuurlijk klinkende reacties.
• Lagere variabiliteit in antwoorden: Door verbeterde trainingsmethoden en modelarchitecturen vermindert Stable Diffusion 3 de variabiliteit in antwoorden, met consistentere en hoogwaardige output over verschillende prompts en contexten.

Geavanceerde promptexpansie

• Ondersteuning voor meerstapsdialogen: Stable Diffusion 3 kan meerstapsdialogen effectiever afhandelen en behoudt samenhang en context over meerdere uitwisselingen tussen de gebruiker en het AI-model.
• Promptexpansietechnieken: Het model gebruikt geavanceerde technieken om prompts uit te breiden en zo informatievere en contextueel relevantere reacties te genereren, waardoor de dialoog wordt verrijkt en gebruikers volledige antwoorden op hun vragen krijgen.

Fijnmazige controlemechanismen

• Parameterafstemming: Stable Diffusion 3 heeft fijnmazige controlemechanismen waarmee gebruikers parameters kunnen aanpassen, zoals antwoordlengte, creativiteitsniveau en relevantie voor het onderwerp, voor een meer gepersonaliseerde interactie.
• Bias-mitigatie: Het model bevat maatregelen om bias in tekstgeneratie te beperken en bevordert eerlijkheid en inclusiviteit in reacties op gebruikersprompts.

Aan de slag met de Stable Diffusion 3 API

In dit gedeelte doorlopen we de stappen om met de Stability API te beginnen.

Stap 1: Maak je account aan. Je moet een account aanmaken voordat je de API van Stability AI kunt gebruiken. Je kunt je aanmelden met een gebruikersnaam en wachtwoord, maar nieuwe gebruikers krijgen 25 gratis credits als ze zich met hun Google-account aanmelden.

Stap 2: Claim je API-sleutel. Zodra je je account hebt aangemaakt, heb je een API-sleutel nodig. Deze is te vinden op de pagina API Keys. In de documentatie stelt Stability AI dat “alle API’s die op deze site zijn gedocumenteerd hetzelfde authenticatiemechanisme gebruiken: de API-sleutel doorgeven via de Authorization-header.”

Stap 3: Credits aanvullen. Je moet credits hebben om verzoeken naar de API te doen. Credits zijn de rekeneenheid die wordt verbruikt bij het aanroepen van de API – de hoeveelheid verschilt per model en modaliteit. Nadat je al je credits hebt gebruikt, kun je via je Billing-dashboard meer kopen voor $1 USD per 100 credits.

In deze tutorial gebruiken we Google Colab en ComfyUI om te laten zien hoe je afbeeldingen genereert met de Stable Diffusion 3 API. In de volgende sectie behandelen we de stappen om met elk hulpmiddel te beginnen.

De Stable Diffusion 3 API gebruiken met Google Colab

Om met Google Colab te beginnen, moet je een Google-account aanmaken – klik op de link en volg de instructies.

Als je al een Google-account hebt, open dan een nieuw notebook en volg de onderstaande stappen.

Opmerking: De code in dit voorbeeld is afkomstig uit de SD3_API-tutorial van Stability AI.

Stap 1: Installeer de vereisten.

from io import BytesIO
import IPython
import json
import os
from PIL import Image
import requests
import time
from google.colab import output

Stap 2: Maak verbinding met de Stability API.

import getpass
# To get your API key, visit https://platform.stability.ai/account/keys
STABILITY_KEY = getpass.getpass('Enter your API Key')

Stap 3. Definieer functies

def send_generation_request(
    host,
    params,
):
    headers = {
        "Accept": "image/*",
        "Authorization": f"Bearer {STABILITY_KEY}"
    }

    # Encode parameters
    files = {}
    image = params.pop("image", None)
    mask = params.pop("mask", None)
    if image is not None and image != '':
        files["image"] = open(image, 'rb')
    if mask is not None and mask != '':
        files["mask"] = open(mask, 'rb')
    if len(files)==0:
        files["none"] = ''

    # Send request
    print(f"Sending REST request to {host}...")
    response = requests.post(
        host,
        headers=headers,
        files=files,
        data=params
    )
    if not response.ok:
        raise Exception(f"HTTP {response.status_code}: {response.text}")

    return response

Stap 4. Genereer afbeeldingen.

Volgens de documentatie bevatten de Stable Image-services momenteel slechts één aanbieding die in productie is:

• SD3: gebruikt 6,5 credits
• SD3 Turbo: gebruikt 4 credits

Laten we ze testen.

In dit voorbeeld maken we een afbeelding van een toekan in een laagland tropisch gebied.

# SD3

prompt = "This dreamlike digital art captures a vibrant, Toucan bird in a lowland tropic area" #@param {type:"string"}
negative_prompt = "" #@param {type:"string"}
aspect_ratio = "1:1" #@param ["21:9", "16:9", "3:2", "5:4", "1:1", "4:5", "2:3", "9:16", "9:21"]
seed = 0 #@param {type:"integer"}
output_format = "jpeg" #@param ["jpeg", "png"]

host = f"https://api.stability.ai/v2beta/stable-image/generate/sd3"

params = {
    "prompt" : prompt,
    "negative_prompt" : negative_prompt,
    "aspect_ratio" : aspect_ratio,
    "seed" : seed,
    "output_format" : output_format,
    "model" : "sd3",
    "mode" : "text-to-image"
}

response = send_generation_request(
    host,
    params
)

# Decode response
output_image = response.content
finish_reason = response.headers.get("finish-reason")
seed = response.headers.get("seed")

# Check for NSFW classification
if finish_reason == 'CONTENT_FILTERED':
    raise Warning("Generation failed NSFW classifier")

# Save and display result
generated = f"generated_{seed}.{output_format}"
with open(generated, "wb") as f:
    f.write(output_image)
print(f"Saved image {generated}")

output.no_vertical_scroll()
print("Result image:")
IPython.display.display(Image.open(generated))

Dit is wat er werd gemaakt:

Afbeelding gemaakt door de auteur met Stable Diffusion 3

Laten we nu met SD3 Turbo een afbeelding maken van een auto van fruit:

#SD3 Turbo

prompt = "A car made out of fruits." #@param {type:"string"}
aspect_ratio = "1:1" #@param ["21:9", "16:9", "3:2", "5:4", "1:1", "4:5", "2:3", "9:16", "9:21"]
seed = 0 #@param {type:"integer"}
output_format = "jpeg" #@param ["jpeg", "png"]

host = f"https://api.stability.ai/v2beta/stable-image/generate/sd3"

params = {
    "prompt" : prompt,
    "aspect_ratio" : aspect_ratio,
    "seed" : seed,
    "output_format" : output_format,
    "model" : "sd3-turbo"
}

response = send_generation_request(
    host,
    params
)

# Decode response
output_image = response.content
finish_reason = response.headers.get("finish-reason")
seed = response.headers.get("seed")

# Check for NSFW classification
if finish_reason == 'CONTENT_FILTERED':
    raise Warning("Generation failed NSFW classifier")

# Save and display result
generated = f"generated_{seed}.{output_format}"
with open(generated, "wb") as f:
    f.write(output_image)
print(f"Saved image {generated}")

output.no_vertical_scroll()
print("Result image:")
IPython.display.display(Image.open(generated))

Bij het uitvoeren van deze code werd de volgende afbeelding gegenereerd:

Afbeelding gemaakt door de auteur met Stable Diffusion 3 Turbo

De API gebruiken met ComfyUI

ComfyUI is een robuuste en flexibele grafische gebruikersinterface (GUI) voor Stable Diffusion. Het heeft een grafiekgebaseerde interface en gebruikt een flowchart-achtige opzet waarmee gebruikers geavanceerde Stable Diffusion-workflows kunnen bouwen en draaien.

Systeemvereisten:

• Graphics Processing Unit (GPU): Een geschikte NVIDIA GPU met minimaal 8 GB VRAM, zoals de RTX 3060 Ti of beter.
• Central Processing Unit (CPU): Een moderne processor, zoals Intel Xeon E5, i5, Ryzen 5 of hoger.
• Random Access Memory (RAM): 16 GB of meer.
• Besturingssysteem: Windows 10/11 of Linux.
• Voldoende opslagruimte op je computer voor modellen en gegenereerde afbeeldingen.

Stap 1: Installeer ComfyUI

De eenvoudigste manier om ComfyUI op Windows te installeren is met de standalone installer op de releases-pagina. Deze installer bevat essentiële afhankelijkheden zoals PyTorch en Hugging Face Transformers, zodat je die niet apart hoeft te installeren.

Het is een compleet pakket waarmee je ComfyUI snel op Windows kunt opzetten zonder ingewikkelde configuraties.

Download, pak uit, voeg modellen toe en start!

Stap 1.1: Download de standalone-versie van ComfyUI uit deze GitHub-repository – als je op de link klikt, start de download.

Stap 1.2: Zodra je het meest recente comfyui-windows.zip-bestand hebt gedownload, pak je het uit met een tool zoals 7-Zip of WinRAR.

Stap 1.3: Er is een checkpoint-model nodig om ComfyUI te gebruiken. Je kunt een checkpoint-model downloaden van Stable Diffusion of Hugging Face . Plaats het model in de map:

ComfyUI_windows_portable\ComfyUI\models\checkpoints

Stap 1.4: Voer nu simpelweg run_nvidia_gpu.bat (aanbevolen) of run_cpu.bat uit. Hiermee zou ComfyUI automatisch in je browser moeten starten.

De opdrachtregel voert uit en genereert een URL http://127.0.0.1:8188/ die je nu in je browser kunt openen.

Stap 2: Installeer ComfyUI Manager

Zoek in de Verkenner de map die je zojuist hebt geïnstalleerd. Aangezien je Windows gebruikt, zou deze “ComfyUI_windows_portable.” moeten heten. Navigeer vanaf hier naar ComfyUI en vervolgens custom_nodes. Typ op deze locatie cmd in de adresbalk en druk op Enter.

Er opent nu een opdrachtprompt waarin je de volgende opdracht moet invoeren:

git clone https://github.com/ltdrdata/ComfyUI-Manager

Als dit klaar is, start je ComfyUI opnieuw. De nieuwe knop “Manager” zou op het zwevende paneel moeten verschijnen.

Stap 3: Installeer de Stability AI API-node

Selecteer de knop Manage en ga naar “Install Custom Nodes.” Zoek hier op “stability API.”

Zoek de node "Stability API nodes for ComfyUI" en klik op de knop Install aan de rechterkant om de installatie te starten. Hierna verschijnt een knop “Restart”. Klik op “Restart” om ComfyUI opnieuw op te starten.

Stap 4: Definieer de systeemwijde API-sleutel

Deze stap is optioneel, maar wel aan te raden. Je kunt namelijk binnen de Stability AI custom node voor elke node een Stability AI API-sleutel instellen. Zo hoef je de API-sleutel niet telkens opnieuw in te voeren in elke workflow en verklein je de kans dat je per ongeluk je API-sleutel deelt wanneer je je workflow-JSON-bestand deelt.

Ga hiervoor naar de map van de custom node:

ComfyUI_windows_portable > ComfyUI > custom_nodes > ComfyUI-SAI_API. 

Maak een nieuw bestand met de naam sai_platform_key.txt. Plak je API Key in het bestand, sla het op en start ComfyUI opnieuw.

Stap 5: Laad en voer de workflow uit

Installeer de Stable Diffusion 3 text-to-image workflow en zet deze in ComfyUI.

Je kunt nu aan de slag!

Probleemoplossing en tips

Zoals bij elk hulpmiddel is er altijd een kans dat je onderweg wat problemen tegenkomt. Dit zijn de meest voorkomende uitdagingen en stappen voor probleemoplossing voor gebruikers die issues hebben met de API of het installatieproces.

API-sleutel en authenticatieproblemen

Uitdaging: Gebruikers kunnen authenticatiefouten krijgen bij toegang tot de API door een onjuiste API-sleutel of verkeerde inloggegevens.

Oplossing: Controleer de API-sleutel en zorg dat deze correct is gekopieerd en geplakt. Verifieer dat er geen extra spaties of tekens in de sleutel staan. Zorg dat de API-sleutel correct wordt geauthenticeerd door de Stable Diffusion 3-server.

Problemen met creditbeheer

Uitdaging: Gebruikers kunnen problemen ondervinden met creditbeheer, zoals onvoldoende credits of fouten bij de facturatie.

Oplossing: Controleer je creditbalans in het Stable Diffusion 3-dashboard om te zien of je voldoende credits hebt. Verifieer je facturatiegegevens en los eventuele factureringsfouten of afwijkingen op met het supportteam.

Verbindings- en netwerkproblemen

Uitdaging: Gebruikers kunnen verbindingsproblemen of netwerkonderbrekingen ervaren waardoor ze geen toegang krijgen tot de API.

Oplossing: Zorg dat je internetverbinding stabiel is en dat er geen netwerkstoringen zijn. Probeer, om het probleem te isoleren, toegang te krijgen tot de API vanaf een ander netwerk of apparaat. Neem contact op met je internetprovider als de verbindingsproblemen aanhouden.

Compatibiliteits- en afhankelijkheidsfouten

Uitdaging: Gebruikers kunnen compatibiliteitsproblemen of afhankelijkheidsfouten tegenkomen bij het installeren of gebruiken van de vereiste tools en libraries.

Oplossing: Controleer de compatibiliteitsvereisten van de Stable Diffusion 3 API en zorg dat je compatibele versies van tools en libraries gebruikt. Werk afhankelijkheden bij of installeer ze opnieuw als ze fouten veroorzaken. Raadpleeg de documentatie en communityfora voor hulp bij probleemoplossing.

Prestaties en responstijd

Uitdaging: Gebruikers kunnen trage responstijden of prestatieproblemen ervaren bij interactie met de API, vooral tijdens piekuren.

Oplossing: Monitor de prestaties van de API en houd responstijden bij om patronen te identificeren. Overweeg te upgraden naar een abonnement met hogere prioriteit voor betere prestaties en voorrangstoegang. Neem contact op met het supportteam als je consequent trage responstijden ervaart.

Documentatie en support

Uitdaging: Gebruikers kunnen moeite hebben de API-documentatie te begrijpen of hulp nodig hebben bij specifieke problemen.

Oplossing: Raadpleeg de documentatie van Stable Diffusion 3 voor uitleg over API-gebruik, probleemoplossing en best practices. Neem contact op met het supportteam of de communityfora als je vragen of onopgeloste problemen hebt.

Conclusie

Stable Diffusion 3 is een reeks generatieve AI-modellen voor tekst-naar-beeld. In dit artikel behandelden we praktische stappen om de API te gebruiken met Google Colab en ComfyUI. Je hebt nu de skills om je eigen afbeeldingen te maken; pas toe wat je hebt geleerd zodat je het niet vergeet.

Bedankt voor het lezen!

Verder leren

• Stable Diffusion Web UI: een uitgebreide gids voor beginners
• Fine-tunen van Stable Diffusion XL met DreamBooth en LoRA
• Hoe je Stable Diffusion uitvoert
• Fotorealistische afbeeldingen genereren met AI met Diffusers in Python