Last chance! 50% off DataCamp Premium
Sale ends in
Stability AI mengumumkan pratinjau awal Stable Diffusion 3, model AI generatif teks-ke-gambar mereka. Tidak seperti pengumuman Sora teks-ke-video dari OpenAI minggu lalu, demonstrasi kemampuan baru model ini terbatas, namun beberapa detail disampaikan. Di sini, kami membahas apa arti pengumuman tersebut, bagaimana model baru ini bekerja, dan implikasinya bagi kemajuan generasi gambar.
Apa itu Stable Diffusion 3?
Stable Diffusion adalah rangkaian model AI generatif teks-ke-gambar. Artinya, Anda menulis prompt yang menggambarkan apa yang ingin Anda lihat, dan model akan membuat gambar yang sesuai dengan deskripsi Anda. Ada antarmuka pengguna web untuk akses mudah ke AI ini.
Satu perbedaan utama dibandingkan DALL·E, AI generasi gambar pesaing dari OpenAI, adalah bahwa model ini memiliki "bobot terbuka". Artinya, detail jaringan saraf yang menjalankan komputasi model tersedia untuk publik. Ini memberikan transparansi tentang cara kerja model, dan memungkinkan peneliti menyesuaikan serta membangun di atas karya Stability AI.
Stable Diffusion 3 bukan satu model, melainkan satu keluarga model, dengan ukuran mulai dari 800 juta parameter hingga 8 miliar parameter. Lebih banyak parameter menghasilkan keluaran yang lebih berkualitas, tetapi berdampak pada biaya pembuatan gambar yang lebih mahal dan waktu pemrosesan yang lebih lama. Versi model dengan lebih sedikit parameter lebih baik untuk membuat gambar sederhana, sementara versi dengan lebih banyak parameter lebih cocok untuk membuat gambar berkualitas lebih tinggi atau lebih kompleks.
Bagaimana cara kerja Stable Diffusion 3?
Stable Diffusion 3 menggunakan arsitektur diffusion transformer, mirip dengan yang digunakan oleh Sora. Versi sebelumnya dari Stable Diffusion—dan sebagian besar AI generasi gambar saat ini—menggunakan model difusi. Model bahasa besar untuk generasi teks, seperti GPT, menggunakan arsitektur transformer. Kemampuan untuk menggabungkan kedua model ini adalah inovasi terbaru dan menjanjikan pemanfaatan keunggulan dari kedua arsitektur tersebut.
Model difusi unggul dalam membuat detail pada area kecil namun kurang baik dalam menghasilkan tata letak keseluruhan gambar. Sebaliknya, transformer bagus dalam tata letak tetapi kurang dalam menciptakan detail. Jadi kemungkinan Stable Diffusion akan menggunakan transformer untuk menyusun gambaran keseluruhan lalu menggunakan diffuser untuk membuat tambalan detail.
Ini berarti kita dapat berharap Stable Diffusion 3 bekerja lebih baik daripada pendahulunya dalam mengorganisasi adegan yang kompleks.
Pengumuman tersebut juga menyatakan bahwa Stable Diffusion 3 menggunakan teknik bernama flow matching. Ini adalah cara pelatihan model dan pembuatan gambar dari model yang lebih efisien secara komputasi dibandingkan teknik jalur difusi saat ini. Artinya AI lebih murah untuk dikembangkan, dan gambar yang dibuat dengan AI ini juga lebih murah dibuat, sehingga menurunkan biaya penggunaan AI.
Apa saja keterbatasan Stable Diffusion 3?
Salah satu keterbatasan AI generasi gambar saat ini adalah kemampuan untuk menghasilkan teks. Perlu dicatat, pengumuman Stability AI dimulai dengan sebuah gambar yang menyertakan nama model, "Stable Diffusion 3". Penempatan huruf pada teks sudah baik tetapi belum sempurna: perhatikan bahwa jarak antara huruf "B" dan "L" pada kata Stable lebih lebar dibandingkan jarak antara "L" dan "E". Demikian pula, dua huruf "F" pada kata Diffusion terlalu berdekatan. Namun, secara keseluruhan, ini merupakan peningkatan yang jelas dibandingkan generasi model sebelumnya.
Prompt: Karya seni anime epik tentang seorang penyihir di puncak gunung pada malam hari yang melantarkan mantra kosmik ke langit gelap yang bertuliskan "Stable Diffusion 3" terbuat dari energi berwarna-warni
Masalah lain pada model-model ini adalah, karena diffuser menghasilkan tambalan gambar secara terpisah, inkonsistensi dapat terjadi antarwilayah gambar. Ini terutama menjadi masalah saat mencoba menghasilkan gambar yang realistis. Posting pengumuman tidak menyertakan banyak contoh realistis, tetapi sebuah gambar bus di jalan kota mengungkap beberapa contoh masalah tersebut. Perhatikan bahwa bayangan di bawah bus menunjukkan cahaya berasal dari belakang bus, tetapi bayangan gedung di jalan menunjukkan cahaya berasal dari sisi kiri gambar. Demikian pula, penempatan jendela pada gedung di kanan atas gambar sedikit tidak konsisten di berbagai bagian gedung. Bus tersebut juga tidak memiliki sopir, meskipun hal ini mungkin dapat diatasi dengan prompt yang lebih cermat.
Bagaimana cara saya mengakses Stable Diffusion 3?
Stable Diffusion 3 berada dalam status "pratinjau awal". Artinya, saat ini hanya tersedia bagi peneliti untuk tujuan pengujian. Tahap pratinjau dimaksudkan agar Stability AI dapat mengumpulkan masukan mengenai kinerja dan keamanan model sebelum dirilis ke publik.
Anda dapat bergabung dalam daftar tunggu untuk mendapatkan akses ke AI ini di sini.
Apa saja use case Stable Diffusion 3?
AI generasi gambar telah menemukan banyak use case, mulai dari ilustrasi hingga desain grafis hingga materi pemasaran. Stable Diffusion menjanjikan kegunaan yang serupa, dengan keunggulan tambahan berupa kemampuan yang lebih baik untuk membuat gambar dengan tata letak yang lebih kompleks.
Apa saja risikonya dengan Stable Diffusion 3?
Kumpulan data yang digunakan untuk melatih Stable Diffusion mencakup beberapa gambar berhak cipta, yang berujung pada beberapa gugatan yang hingga kini belum terselesaikan. Belum jelas bagaimana hasil dari gugatan-gugatan ini, namun secara teoretis, gambar apa pun yang dibuat oleh Stable Diffusion juga mungkin dianggap melanggar hak cipta.
Apa yang Belum Kita Ketahui?
Detail teknis lengkap tentang Stable Diffusion 3 belum dirilis, dan khususnya, belum ada cara untuk menguji kinerja AI ini. Setelah model tersedia untuk publik dan tolok ukur ditetapkan, barulah dapat ditentukan seberapa besar peningkatan AI ini dibandingkan model sebelumnya. Faktor lain seperti waktu dan biaya untuk menghasilkan sebuah gambar juga akan menjadi jelas.
Satu perkembangan teknis yang sangat didorong oleh OpenAI dalam makalah DALL·E 3, namun tidak disebutkan dalam pengumuman Stability AI, adalah recaptioning. Ini adalah bentuk rekayasa prompt otomatis, di mana teks yang ditulis pengguna disusun ulang dan diberi detail tambahan untuk memberikan instruksi yang lebih jelas kepada model. Belum diketahui apakah Stable Diffusion 3 menggunakan teknik ini atau tidak.
Penutup
Stable Diffusion 3 menjanjikan langkah maju lainnya dalam kemajuan AI generatif teks-ke-gambar. Setelah AI ini dirilis ke publik, kita akan dapat mengujinya lebih lanjut dan menemukan use case baru. Jika Anda ingin segera memulai di dunia AI generatif, alur keahlian AI Fundamentals kami akan membantu Anda memahami machine learning, deep learning, NLP, model generatif, dan lainnya.
Untuk sumber daya lain seputar perkembangan terbaru di dunia AI, lihat daftar di bawah ini:
Topik
