Cara Menggunakan Stable Diffusion 3 API

Stability AI mengumumkan pratinjau awal Stable Diffusion 3 pada Februari 2024. Model AI ini masih dalam tahap pratinjau, namun pada April 2024, tim mengumumkan bahwa mereka akan menyediakan Stable Diffusion 3 dan Stable Diffusion 3 Turbo di Developer Platform API Stability AI setelah bermitra dengan Fireworks AI, platform API tercepat dan paling andal di pasar.

Perlu dicatat bahwa Stable Diffusion 3 hanyalah serangkaian model AI generatif teks-ke-gambar. Menurut tim di Stability AI, model ini “setara atau melampaui” generator teks-ke-gambar lain, seperti DALL-E 3 dari OpenAI dan Midjourney v6, dalam hal “tipografi dan kepatuhan terhadap prompt.”

Dalam tutorial ini, Anda akan mempelajari langkah-langkah praktis untuk memulai dengan API sehingga Anda dapat mulai membuat gambar sendiri.

Mengapa Stable Diffusion 3?

Stable Diffusion 3 menghadirkan sejumlah kemajuan dan fitur yang membedakannya dari pendahulunya dan membuatnya sangat kompetitif di ranah pembuatan teks-ke-gambar – khususnya dalam hal peningkatan pembuatan teks dan kemampuan mengikuti prompt.

Mari kita telusuri kemajuan ini:

Kemampuan mengikuti prompt yang ditingkatkan

• Pemahaman kontekstual: Stable Diffusion 3 menggabungkan teknik pemrosesan bahasa alami (NLP) mutakhir, yang memungkinkannya memahami dan menafsirkan prompt pengguna dengan lebih baik. Ini menghasilkan respons yang lebih akurat dan relevan secara kontekstual terhadap masukan pengguna.
• Konsistensi mengikuti prompt: Tidak seperti versi sebelumnya, Stable Diffusion 3 menjaga konsistensi yang lebih baik dalam mengikuti prompt, memastikan teks yang dihasilkan tetap koheren dan selaras dengan masukan pengguna sepanjang percakapan.

Pembuatan teks yang lebih baik

• Model bahasa yang di-fine-tune: Stable Diffusion 3 memanfaatkan model bahasa yang di-fine-tune dan telah menjalani pelatihan ekstensif pada dataset besar, sehingga kemampuan pembuatan teksnya meningkat. Model-model ini lebih memahami tata bahasa, sintaks, dan semantik, menghasilkan respons yang lebih koheren dan terdengar alami.
• Variabilitas respons berkurang: Melalui metodologi pelatihan dan arsitektur model yang ditingkatkan, Stable Diffusion 3 mengurangi variabilitas respons, menghasilkan keluaran yang lebih konsisten dan berkualitas tinggi di berbagai prompt dan konteks.

Perluasan prompt tingkat lanjut

• Dukungan dialog multi-giliran: Stable Diffusion 3 dapat menangani dialog multi-giliran dengan lebih efektif, menjaga koherensi dan konteks di berbagai pertukaran antara pengguna dan model AI.
• Teknik perluasan prompt: Model ini menggunakan teknik perluasan prompt tingkat lanjut untuk menghasilkan respons yang lebih informatif dan relevan secara kontekstual, memperkaya dialog dan memberikan jawaban yang komprehensif untuk pertanyaan pengguna.

Mekanisme kontrol yang di-fine-tune

• Penyetelan parameter: Stable Diffusion 3 memiliki mekanisme kontrol yang di-fine-tune yang memungkinkan pengguna menyesuaikan parameter seperti panjang respons, tingkat kreativitas, dan relevansi topik, sehingga interaksi dapat lebih dipersonalisasi.
• Mitigasi bias: Model ini mengintegrasikan langkah-langkah untuk memitigasi bias dalam pembuatan teks, mendorong keadilan dan inklusivitas dalam respons terhadap prompt pengguna.

Memulai dengan Stable Diffusion 3 API

Bagian ini akan membahas langkah-langkah untuk mulai menggunakan Stability API.

Langkah 1: Buat akun Anda. Anda perlu membuat akun sebelum dapat menggunakan API Stability AI. Anda dapat mendaftar menggunakan nama pengguna dan kata sandi, tetapi pengguna baru mendapatkan 25 kredit gratis jika mendaftar menggunakan akun Google mereka.

Langkah 2: Klaim kunci API Anda. Setelah membuat akun, Anda memerlukan kunci API. Ini dapat ditemukan pada halaman API Keys. Dalam dokumentasi, Stability AI menyatakan bahwa “Semua API yang didokumentasikan di situs ini menggunakan mekanisme autentikasi yang sama: mengirimkan kunci API melalui header Authorization.”

Langkah 3: Isi ulang kredit. Anda harus memiliki kredit untuk melakukan permintaan ke API. Kredit adalah satuan yang digunakan saat memanggil API – jumlah yang digunakan bervariasi antar model dan modalitas. Setelah menggunakan semua kredit, Anda dapat membeli lagi melalui dasbor Billing sebesar $1 USD per 100 kredit.

Dalam tutorial ini, kita akan menggunakan Google Colab dan ComfyUI untuk mendemonstrasikan cara membuat gambar menggunakan Stable Diffusion 3 API. Pada bagian berikutnya, kita akan membahas langkah-langkah memulai dengan masing-masing alat.

Menggunakan Stable Diffusion 3 API dengan Google Colab

Untuk memulai dengan Google Colab, Anda harus membuat akun Google – klik tautan tersebut dan ikuti instruksinya.

Jika Anda sudah memiliki akun Google, buka notebook baru dan ikuti langkah-langkah di bawah ini.

Catatan: Kode yang digunakan dalam contoh ini diambil dari tutorial SD3_API oleh Stability AI.

Langkah 1: Instal kebutuhan.

from io import BytesIO
import IPython
import json
import os
from PIL import Image
import requests
import time
from google.colab import output

Langkah 2: Sambungkan ke Stability API.

import getpass
# To get your API key, visit https://platform.stability.ai/account/keys
STABILITY_KEY = getpass.getpass('Enter your API Key')

Langkah 3. Definisikan fungsi

def send_generation_request(
    host,
    params,
):
    headers = {
        "Accept": "image/*",
        "Authorization": f"Bearer {STABILITY_KEY}"
    }

    # Encode parameters
    files = {}
    image = params.pop("image", None)
    mask = params.pop("mask", None)
    if image is not None and image != '':
        files["image"] = open(image, 'rb')
    if mask is not None and mask != '':
        files["mask"] = open(mask, 'rb')
    if len(files)==0:
        files["none"] = ''

    # Send request
    print(f"Sending REST request to {host}...")
    response = requests.post(
        host,
        headers=headers,
        files=files,
        data=params
    )
    if not response.ok:
        raise Exception(f"HTTP {response.status_code}: {response.text}")

    return response

Langkah 4. Hasilkan gambar.

Menurut dokumentasinya, layanan Stable Image saat ini hanya memiliki satu penawaran yang sudah di produksi:

• SD3: menggunakan 6,5 kredit
• SD3 Turbo: menggunakan 4 kredit

Mari kita uji.

Dalam contoh ini, kita akan membuat gambar burung Toucan di wilayah tropis dataran rendah.

# SD3

prompt = "This dreamlike digital art captures a vibrant, Toucan bird in a lowland tropic area" #@param {type:"string"}
negative_prompt = "" #@param {type:"string"}
aspect_ratio = "1:1" #@param ["21:9", "16:9", "3:2", "5:4", "1:1", "4:5", "2:3", "9:16", "9:21"]
seed = 0 #@param {type:"integer"}
output_format = "jpeg" #@param ["jpeg", "png"]

host = f"https://api.stability.ai/v2beta/stable-image/generate/sd3"

params = {
    "prompt" : prompt,
    "negative_prompt" : negative_prompt,
    "aspect_ratio" : aspect_ratio,
    "seed" : seed,
    "output_format" : output_format,
    "model" : "sd3",
    "mode" : "text-to-image"
}

response = send_generation_request(
    host,
    params
)

# Decode response
output_image = response.content
finish_reason = response.headers.get("finish-reason")
seed = response.headers.get("seed")

# Check for NSFW classification
if finish_reason == 'CONTENT_FILTERED':
    raise Warning("Generation failed NSFW classifier")

# Save and display result
generated = f"generated_{seed}.{output_format}"
with open(generated, "wb") as f:
    f.write(output_image)
print(f"Saved image {generated}")

output.no_vertical_scroll()
print("Result image:")
IPython.display.display(Image.open(generated))

Berikut hasil yang dibuat:

Gambar dibuat oleh penulis menggunakan Stable Diffusion 3

Sekarang, mari buat gambar mobil dari buah-buahan menggunakan SD3 Turbo:

#SD3 Turbo

prompt = "A car made out of fruits." #@param {type:"string"}
aspect_ratio = "1:1" #@param ["21:9", "16:9", "3:2", "5:4", "1:1", "4:5", "2:3", "9:16", "9:21"]
seed = 0 #@param {type:"integer"}
output_format = "jpeg" #@param ["jpeg", "png"]

host = f"https://api.stability.ai/v2beta/stable-image/generate/sd3"

params = {
    "prompt" : prompt,
    "aspect_ratio" : aspect_ratio,
    "seed" : seed,
    "output_format" : output_format,
    "model" : "sd3-turbo"
}

response = send_generation_request(
    host,
    params
)

# Decode response
output_image = response.content
finish_reason = response.headers.get("finish-reason")
seed = response.headers.get("seed")

# Check for NSFW classification
if finish_reason == 'CONTENT_FILTERED':
    raise Warning("Generation failed NSFW classifier")

# Save and display result
generated = f"generated_{seed}.{output_format}"
with open(generated, "wb") as f:
    f.write(output_image)
print(f"Saved image {generated}")

output.no_vertical_scroll()
print("Result image:")
IPython.display.display(Image.open(generated))

Menjalankan kode ini menghasilkan gambar berikut:

Gambar dibuat oleh penulis menggunakan Stable Diffusion 3 Turbo

Menggunakan API dengan ComfyUI

ComfyUI adalah antarmuka pengguna grafis (GUI) yang tangguh dan fleksibel untuk stable diffusion. Ia menampilkan antarmuka berbasis graf dan menggunakan desain gaya bagan alir untuk memungkinkan pengguna membuat dan menjalankan alur kerja stable diffusion yang canggih.

Persyaratan sistem:

• Graphics Processing Unit (GPU): GPU NVIDIA yang memadai dengan minimal 8GB VRAM, seperti RTX 3060 Ti atau yang lebih baik.
• Central Processing Unit (CPU): Prosesor modern, termasuk Intel Xeon E5, i5, Ryzen 5, atau yang lebih tinggi.
• Random Access Memory (RAM): 16GB atau lebih.
• Operating System: Windows 10/11 atau Linux.
• Ruang penyimpanan yang memadai di komputer Anda untuk model dan gambar yang dihasilkan.

Langkah 1: Instal ComfyUI

Metode paling sederhana untuk memasang ComfyUI di Windows adalah menggunakan penginstal mandiri yang tersedia di halaman rilis. Penginstal ini sudah menyertakan dependensi penting seperti PyTorch dan Hugging Face Transformers, sehingga tidak perlu instalasi terpisah.

Paket ini lengkap, memungkinkan penyiapan ComfyUI di Windows dengan cepat tanpa konfigurasi rumit.

Cukup unduh, ekstrak, tambahkan model, dan jalankan!

Langkah 1.1: Unduh versi mandiri ComfyUI dari repositori GitHub ini – mengeklik tautan akan memulai pengunduhan.

Langkah 1.2: Setelah Anda mengunduh berkas comfyui-windows.zip terbaru, ekstrak menggunakan utilitas seperti 7-Zip atau WinRAR.

Langkah 1.3: Model checkpoint diperlukan untuk mulai menggunakan ComfyUI. Anda dapat mengunduh model checkpoint dari Stable Diffusion atau Hugging Face. Letakkan model di folder:

ComfyUI_windows_portable\ComfyUI\models\checkpoints

Langkah 1.4: Sekarang, cukup jalankan run_nvidia_gpu.bat (disarankan) atau run_cpu.bat. Ini seharusnya otomatis menjalankan ComfyUI di browser Anda.

Baris perintah akan dieksekusi dan menghasilkan URL http://127.0.0.1:8188/ yang kini dapat Anda buka di browser.

Langkah 2: Instal ComfyUI Manager

Di aplikasi File Explorer, temukan direktori yang baru saja Anda pasang. Karena Anda menggunakan Windows, namanya seharusnya “ComfyUI_windows_portable.” Dari sini, masuk ke ComfyUI, lalu custom_nodes. Dari lokasi ini, ketik cmd di bilah alamat dan tekan Enter.

Ini akan membuka terminal command prompt, tempat Anda harus memasukkan perintah berikut:

git clone https://github.com/ltdrdata/ComfyUI-Manager

Setelah selesai, mulai ulang ComfyUI. Tombol “Manager” yang baru akan muncul pada panel mengambang.

Langkah 3: Instal node Stability AI API

Pilih tombol Manage dan navigasikan ke “Install Custom Nodes.” Dari sini, cari “stability API.”

Temukan node "Stability API nodes for ComfyUI", lalu klik tombol Install yang terletak di sisi kanan untuk memulai proses instalasi. Setelah itu, tombol “Restart” akan muncul. Klik “Restart” untuk mem-boot ulang ComfyUI.

Langkah 4: Tentukan kunci API tingkat sistem

Langkah ini opsional, tetapi direkomendasikan. Anda dapat menetapkan kunci API Stability AI untuk setiap node dalam custom node Stability AI. Ini mencegah kebutuhan memasukkan kunci API berulang kali di setiap alur kerja dan mengurangi risiko tanpa sengaja membagikan kunci API saat membagikan berkas JSON alur kerja Anda.

Untuk melakukannya, buka direktori custom node:

ComfyUI_windows_portable > ComfyUI > custom_nodes > ComfyUI-SAI_API. 

Buat berkas baru bernama sai_platform_key.txt. Tempel Kunci API Anda ke dalam berkas, simpan, lalu mulai ulang ComfyUI.

Langkah 5: Muat dan jalankan alur kerja

Instal alur kerja teks-ke-gambar Stable Diffusion 3 dan jatuhkan ke ComfyUI.

Sekarang Anda siap!

Pemecahan Masalah dan Tips

Seperti halnya alat lainnya, selalu ada kemungkinan Anda menemui beberapa masalah di sepanjang jalan. Berikut tantangan paling umum dan langkah pemecahan masalah bagi pengguna yang menghadapi kendala dengan API atau proses penyiapan.

Masalah Kunci API dan autentikasi

Tantangan: Pengguna mungkin mengalami kesalahan autentikasi saat mengakses API karena kunci API yang salah atau kredensial autentikasi yang keliru.

Pemecahan masalah: Periksa kembali kunci API dan pastikan disalin-tempel dengan benar. Verifikasi tidak ada spasi atau karakter tambahan pada kunci. Pastikan kunci API terautentikasi dengan benar oleh server Stable Diffusion 3.

Masalah pengelolaan kredit

Tantangan: Pengguna dapat mengalami masalah terkait pengelolaan kredit, seperti kredit tidak mencukupi atau kesalahan penagihan.

Pemecahan masalah: Periksa saldo kredit Anda di dasbor Stable Diffusion 3 untuk memastikan kredit mencukupi. Verifikasi informasi penagihan Anda dan tangani kesalahan atau ketidaksesuaian penagihan dengan tim dukungan.

Masalah konektivitas dan jaringan

Tantangan: Pengguna dapat mengalami kendala konektivitas atau gangguan jaringan yang menghalangi akses ke API.

Pemecahan masalah: Pastikan koneksi internet Anda stabil dan tidak ada gangguan jaringan. Coba akses API dari jaringan atau perangkat lain untuk mengisolasi masalah. Hubungi penyedia layanan internet jika kendala konektivitas berlanjut.

Kesalahan kompatibilitas dan dependensi

Tantangan: Pengguna dapat menemui masalah kompatibilitas atau kesalahan dependensi saat memasang atau menggunakan alat dan pustaka yang diperlukan.

Pemecahan masalah: Periksa persyaratan kompatibilitas Stable Diffusion 3 API dan pastikan Anda menggunakan versi alat dan pustaka yang kompatibel. Perbarui atau pasang ulang dependensi yang menyebabkan kesalahan. Rujuk dokumentasi dan forum komunitas untuk panduan pemecahan masalah.

Kinerja dan waktu respons

Tantangan: Pengguna dapat mengalami waktu respons lambat atau masalah kinerja saat berinteraksi dengan API, khususnya pada jam sibuk.

Pemecahan masalah: Pantau kinerja API dan lacak waktu respons untuk mengidentifikasi pola atau tren. Pertimbangkan untuk meningkatkan ke paket langganan tingkat lebih tinggi demi kinerja lebih baik dan akses prioritas. Hubungi tim dukungan jika Anda secara konsisten mengalami waktu respons yang lambat.

Dokumentasi dan dukungan

Tantangan: Pengguna mungkin kesulitan memahami dokumentasi API atau memerlukan bantuan untuk memecahkan masalah tertentu.

Pemecahan masalah: Untuk panduan penggunaan API, pemecahan masalah, dan praktik terbaik, rujuk dokumentasi Stable Diffusion 3. Jika Anda memiliki masalah atau pertanyaan yang belum terpecahkan, hubungi tim dukungan atau forum komunitas.

Kesimpulan

Stable Diffusion 3 adalah serangkaian model AI generatif teks-ke-gambar. Artikel ini membahas langkah-langkah praktis untuk mulai menggunakan API dengan Google Colab dan ComfyUI. Kini, Anda memiliki keterampilan untuk membuat gambar sendiri; pastikan untuk segera mempraktikkan apa yang telah Anda pelajari agar tidak lupa.

Terima kasih sudah membaca!

Pembelajaran lanjutan

• Stable Diffusion Web UI: Panduan Pengguna Komprehensif untuk Pemula
• Fine-tuning Stable Diffusion XL dengan DreamBooth dan LoRA
• Cara Menjalankan Stable Diffusion
• Membuat Gambar Fotorealistik menggunakan AI dengan Diffusers di Python