FLUX.2’yi RTX 3090’da Yerel Olarak Nasıl Çalıştırırsınız

Bu eğitimde, FLUX.2 görsel üretim modelini yerelde nasıl çalıştıracağımızı öğreneceğiz. GPU ortamını kuracak, FLUX.2’nin quantize edilmiş bir sürümünü indirecek, modeli GPU ve RAM’e verimli biçimde yükleyecek, çıkarım çalıştıracak ve ardından farklı yapılandırma seçenekleriyle denemeler yapacağız.

Bu boyuttaki bir modeli RTX 3090 üzerinde çalıştırmak zorlayıcı olabilir ve bu eğitim, gereksiz karmaşıklık olmadan FLUX.2’yi yerelde çalıştırmanın en basit ve en pratik yoluna odaklanır.

Model yönetimi ve optimizasyonunda budama, quantization ve loglama gibi ileri tekniklerle ilgileniyorsanız, PyTorch Lightning ile Ölçeklenebilir Yapay Zekâ Modelleri kursunu öneririm. 

FLUX.2 nedir?

FLUX.2, yalnızca deneyler için değil, gerçek yaratıcı işler için geliştirilmiş bir görsel üretim modelidir. Birden fazla referans görselde karakterleri, stilleri ve ürünleri tutarlı kılarken yüksek kaliteli, gerçekçi görseller üretir. Orijinal FLUX modelinin üzerine inşa edilen bu sürüm, istemleri doğru takip eder, metni net şekilde üretir ve ışık, yerleşim ve markalama öğelerini iyi yönetir. 

FLUX.2 ayrıca yüksek çözünürlükte görsel düzenleme destekler ve hazır API’ler ile yerelde çalıştırabileceğiniz açık modeller olarak sunulur; bu da onu pratik, esnek ve gerçek üretim iş akışlarına kolayca uyarlanabilir kılar.

FLUX.2’nin dört ana varyantı vardır: 

• FLUX.2 [max]
• FLUX.2 [pro]
• FLUX.2 [flex]
• FLUX.2 [dev]

Her biri farklı düzeyde kontrol, performans ve dağıtım gereksinimleri için tasarlanmıştır. 

Daha geniş karşılaştırma listelerinde, üç FLUX.2 varyantının tamamı Artificial Analysis lider panosunda ilk 10 görsel düzenleme modeli arasında yer alır; FLUX.2 [max] ve FLUX.2 [pro], GPT-5 ve önceki nesil FLUX.1 Kontext varyantları gibi modelleri geride bırakır.

Kaynak: Text to Image Leaderboard | Artificial Analysis

FLUX.2’yi Yerelde Çalıştırma: Adım Adım Rehber

Aşağıdaki adımlarda, FLUX.2’yi bir RTX 3090 GPU kullanarak yerelde çalıştırmak için bilmeniz gereken her şeyi açıklayacağım. 

1. Sistem gereksinimleri ve önkoşullar

FLUX.2’yi yerelde çalıştırmadan önce, sisteminizin GPU çıkarımı için doğru yapılandırıldığından emin olun.

Donanım

• NVIDIA GPU (RTX 3090 önerilir)
• 24 GB VRAM
• 64 GB sistem RAM önerilir

NVIDIA Sürücüleri ve CUDA Toolkit

• NVIDIA Sürücülerini Yükleyin: En güncel NVIDIA GPU sürücülerinin, yeni CUDA sürümlerini destekleyecek şekilde kurulu olduğundan emin olun (CUDA 12.1+ önerilir).
• CUDA Toolkit’i Yükleyin: GPU eklentileri ve özel çekirdeklerle uyumluluğu artırmak için resmi NVIDIA CUDA Downloads sayfasından CUDA Toolkit’i indirin ve kurun.

Kurulumu doğrulamak için terminalde aşağıdaki komutu çalıştırın:

nvidia-smiAltyapı:

Gördüğünüz gibi, CUDA sürümü 13 olan bir RTX 3090 GPU’ya sahibiz. 

Python ve Jupyter

• Python 3.10+
• Jupyter Notebook veya JupyterLab (kolay ve etkileşimli denemeler için önerilir)

pip install jupyterlab notebookAltyapı:

Not: Deneme yapmayı, adım adım çıkarım çalıştırmayı ve görselleri doğrudan not defteri içinde yinelemeli olarak üretip düzenlemeyi kolaylaştırdığı için kodlama ortamı olarak Jupyter Notebook kullanıyoruz.

2. CUDA Desteği ile PyTorch Kurulumu

Bu adımda, çıkarımın CPU yerine GPU’da çalışması için CUDA destekli PyTorch kuruyoruz. Aşağıdaki komut, PyTorch, TorchVision ve TorchAudio’yu önceden derlenmiş CUDA ikili dosyalarıyla kurar; böylece CUDA’yı kaynaktan derleme ihtiyacını ortadan kaldırır.

!pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu130Altyapı:

Kurulumdan sonra, uygun şekilde yapılandırılmışsa PyTorch GPU’yu otomatik olarak kullanır.

3. FLUX.2 ve gerekli bağımlılıkların kurulumu

Sırada, FLUX.2’yi yerelde çalıştırmak için gereken çekirdek kütüphaneleri kuruyoruz. Bu paketler model yükleme, çıkarım, GPU hızlandırma, quantization ve verimli veri transferini üstlenir.

!pip install -q diffusers transformers accelerate bitsandbytes huggingface_hub protobuf sentencepiece hf_transferAltyapı:

Kurulum tamamlandığında ortamınız FLUX.2’yi yükleyip görsel üretimi ve düzenleme çıkarımlarını çalıştırmaya hazırdır.

4. GPU ve quantization desteğini doğrulama

FLUX.2’yi yüklemeden önce, PyTorch’un GPU’yu görebildiğini ve 4 bit quantization desteğinin bulunduğunu doğrularız. Bu adım, modelin RTX 3090’ın bellek sınırları içinde verimli şekilde çalışabilmesini sağlamak için önemlidir.

import torch
import bitsandbytes as bnb

print(f"PyTorch Version: {torch.__version__}")
print(f"CUDA Version: {torch.version.cuda}")
print(f"Is CUDA available? {torch.cuda.is_available()}")
print(f"GPU Name: {torch.cuda.get_device_name(0)}")

# Check if 4-bit quantization is supported (Ampere 3090 supports this natively)
try:
    print(f"BitsAndBytes Version: {bnb.__version__}")
    print("4-bit quantization check: PASSED")
except ImportError:
    print("BitsAndBytes not installed correctly.")Altyapı:

Çıktı, PyTorch’un CUDA desteğiyle doğru kurulduğunu, RTX 3090 GPU’nuzun algılandığını ve bitsandbytes kütüphanesinin 4 bit quantization etkin şekilde çalıştığını doğrular; böylece sistem verimli GPU çıkarımı için hazırdır.

PyTorch Version: 2.8.0+cu128
CUDA Version: 12.8
Is CUDA available? True
GPU Name: NVIDIA GeForce RTX 3090
BitsAndBytes Version: 0.49.0
4-bit quantization check: PASSEDAltyapı:

5. FLUX.2’yi 4 bit quantization ile yükleme

Bu adımda, FLUX.2 [dev]’i 4 bit quantize edilmiş bir kontrol noktası ile yükleyerek GPU bellek kullanımını düşürürken görsel kalitesini yüksek tutuyoruz. Bu, FLUX.2 gibi büyük bir modeli RTX 3090’da çalıştırmak için kritiktir.

Gerekli kütüphaneleri içe aktararak ve birkaç temel ayarı tanımlayarak başlıyoruz.

• repo_id, 4 bit FLUX.2 dev kontrol noktasını işaret eder.
• device, GPU’nuzu (ilk CUDA aygıtı) seçer.
• torch_dtype, çıkarım sırasında kullanılan hesaplama duyarlılığını ayarlar. bfloat16 genellikle bellek kullanımını azaltıp hızı artırırken çıktıları kararlı tuttuğu için tercih edilir.

import torch
from transformers import Mistral3ForConditionalGeneration
from diffusers import Flux2Pipeline, Flux2Transformer2DModel

repo_id = "diffusers/FLUX.2-dev-bnb-4bit"
device = "cuda:0"
torch_dtype = torch.bfloat16Altyapı:

Ardından, FLUX.2’nin görsel dönüştürücü omurgasını (görsel latentlerini üreten ana bileşen) önce CPU’ya yüklüyoruz. Bu, ilk yükleme sırasında VRAM’in dolmasını engeller ve hatların yalnızca gerektiğinde modülleri GPU’ya taşımasına olanak tanır.

transformer = Flux2Transformer2DModel.from_pretrained(
  repo_id, subfolder="transformer", torch_dtype=torch_dtype, device_map="cpu"
)Altyapı:

Sonrasında metin kodlayıcıyı da CPU’ya yüklüyoruz. Metin kodlayıcı, isteminizi görsel üretimine yön veren gömlemelere dönüştürür. Kurulum sırasında CPU’da tutmak, üretim sürecinin daha ağır kısımları için GPU belleğini boşta tutmaya yardımcı olur.

text_encoder = Mistral3ForConditionalGeneration.from_pretrained(
  repo_id, subfolder="text_encoder", dtype=torch_dtype, device_map="cpu"
)Altyapı:

Son olarak, yüklediğimiz dönüştürücü ve metin kodlayıcıyı enjekte ederek tam Diffusers hattını oluşturuyoruz. 

Buradaki kilit satır enable_model_cpu_offload()’dur: otomatik CPU ↔ GPU offload’u etkinleştirir; yani hat, modelin parçalarını yalnızca aktif olarak gerekli olduklarında GPU’ya taşır ve ardından tekrar CPU’ya alır. Bu, aygıt yerleşimini elle yönetmeden tüketici GPU’larında büyük modelleri çalıştırmanın en kolay yollarından biridir.

pipe = Flux2Pipeline.from_pretrained(
  repo_id, transformer=transformer, text_encoder=text_encoder, torch_dtype=torch_dtype
)
pipe.enable_model_cpu_offload()Altyapı:

6. İlk metinden görsele üretiminizi çalıştırma

Artık FLUX.2 ile ilk görselimizi üretmeye hazırız. Basit tutmak için, uğur böceğinin hiper-gerçekçi makro fotoğrafını tarif eden tek bir metin istemiyle başlıyoruz.

prompt = (
    "Realistic macro photo of a ladybug perched on the edge of a dew-covered rose petal, "
    "early morning mist, soft natural light, shallow depth of field, crisp detail, creamy bokeh."
)
Altyapı:

Sonraki adımda istemi hatta iletip çıkarımı çalıştırıyoruz.

• Hız ve görsel kalitesi arasında denge kurmak için 28 çıkarım adımı kullanıyoruz.
• 4’lük bir yönlendirme ölçeği, sonucu istemi aşırı zorlamadan doğal tutar.
• Sabit bir rastgele tohum, tekrarlanabilir sonuçlar sağlar.

image = pipe(
  prompt=prompt,
  generator=torch.Generator(device=device).manual_seed(42),
  num_inference_steps=28,
  guidance_scale=4,
).images[0]Altyapı:

Çıkarım sırasında ne kadar GPU belleği kullanıldığını izlemek için bir terminal açıp şunu çalıştırın:

nvidia-smiAltyapı:

RTX 3090 üzerinde modelin mevcut kaynakları verimli kullandığını ve tam performansta çalıştığını gösteren, yaklaşık 21 GB GPU VRAM kullanımı ve yüksek GPU kullanımını görmelisiniz.

Çıkarım tamamlandığında, görsel nesnesini doğrudan görüntüleyerek üretilen görseli Jupyter Notebook içinde görebilirsiniz:

imageAltyapı:

Sonuç son derece ayrıntılı ve gerçekçidir. Model istemi yakından takip ederken, ayrıca açıkça belirtilmeyen ışık ve doku gibi ince ayrıntılar da ekler.

Son olarak, üretilen görseli yerelde kaydediyoruz:

output_path = "flux2_local_full.png"
image.save(output_path)
print(f"Image saved to {output_path}")Altyapı:

Çıktı:

Image saved to flux2_local_full.pngAltyapı:

7. Yapılandırılmış JSON ile ileri düzey istem yazımı

FLUX.2, düz metnin ötesine geçen ve nihai görsel üzerinde çok daha ince ayar sunan gelişmiş istem tekniklerini destekler. Yapılandırılmış JSON istemleri kullanarak sahne yerleşimini, özneleri, ışıklandırmayı, kamera ayarlarını, duyguyu ve hatta kesin hex kodlarıyla renk paletlerini açıkça tanımlayabilirsiniz.

Bu bölümde, sahneyi ayrıntılı şekilde tanımlamak için yapılandırılmış bir JSON istemi kullanıyoruz. Tek cümle yerine, ortamı, özneleri, stili, renkleri, ışığı, kamera özelliklerini ve negatif kısıtları açık ve düzenli bir formatta belirtiyoruz. 

Bu yaklaşım, FLUX.2’nin karmaşık talimatları daha iyi anlamasına ve daha öngörülebilir, yüksek kaliteli sonuçlar üretmesine yardımcı olur.

advanced_prompt = """
{
  "scene": "New Year's Eve night on a rooftop overlooking a glowing city skyline",
  "subjects": [
    {
      "description": "Group of close friends including men and women in winter clothing, natural facial proportions, diverse appearances",
      "position": "center and slightly spread across the frame",
      "action": "standing together in a loose circle, some smiling softly, others quietly reflective, sharing the moment before midnight"
    }
  ],
  "style": "Cinematic semi-realistic illustration with grounded realism, subtle painterly softness",
  "color_palette": ["#0B132B", "#1C2541", "#EAEAEA", "#F4D35E"],
  "lighting": "Soft moonlight as ambient key light, warm glow from sparklers and nearby string lights illuminating faces, gentle contrast",
  "mood": "Warm, intimate, reflective, hopeful",
  "background": "Out-of-focus city skyline with distant fireworks softly lighting the sky, minimal visual noise",
  "composition": "Wide medium shot, balanced framing, friends forming a natural arc, negative space above for sky and fireworks",
  "camera": {
    "angle": "eye-level",
    "lens": "50mm cinematic look",
    "depth_of_field": "sharp focus on group, gentle background blur"
  },
  "details": [
    "subtle breath vapor in cold air",
    "soft fabric textures on coats and scarves",
    "sparklers emitting warm golden particles",
    "natural body language and expressions",
    "no exaggerated poses or faces"
  ],
  "negative_prompt": [
    "cartoon style",
    "emote proportions",
    "chibi",
    "oversized heads",
    "text",
    "watermark",
    "logo",
    "overcrowded scene",
    "harsh neon lighting",
    "over-saturation",
    "extra limbs",
    "distorted faces"
  ]
}
"""Altyapı:

Ardından, daha fazla ayrıntı yakalamak için adım sayısını artırıp, doğal bir görünüm için yönlendirme ölçeğini makul düzeyde tutarak çıkarım çalıştırıyoruz.

image_2 = pipe(
  prompt=advanced_prompt,
  generator=torch.Generator(device=device).manual_seed(42),
  num_inference_steps=50,
  guidance_scale=4,
).images[0]Altyapı:

Üretilen görseli Jupyter Notebook içinde görüntülemek için:

image_2Altyapı:

Elde edilen görsel, yapılandırılmış istemi yakından takip eder; sahneyi, duyguyu, ışığı ve kompozisyonu tam olarak belirtildiği gibi yakalar. 

8. FLUX.2 ile görsel düzenleme (görüntüden görüntüye)

FLUX.2, bir referans görselin temel alındığı ve modele metin istemiyle yönlendirilen değişikliklerin uygulandığı görsel düzenlemeyi de destekler. Öznenin kimliğini, yüz hatlarını ve ten tonlarını koruyup sahneyi, duyguyu veya ortamı değiştirirken özellikle kullanışlıdır.

Bu örnekte, referans görsel olarak Pexels.com’dan alınmış Hintli bir kadının fotoğrafını kullanıyoruz:

Fotoğraf: cottonbro studio: https://www.pexels.com/photo/a-woman-with-a-nose-piercing-9317190/

İstemi, kadının yüzünü ve doğal ten tonlarını koruması; mekânı, ışığı ve duygusal ifadeyi ise değiştirmesi için dikkatle tasarlıyoruz. Amaç, kimliğini değiştirmeden görseli düzenlemektir.

from diffusers.utils import load_image

prompt = (
    "Using the provided reference image, generate a realistic photograph of a woman with a similar face, "
    "standing at night and looking up at the sky with stars with a subtle, sad expression. "
    "Natural skin tones, soft moonlight, gentle shadows, shallow depth of field, "
    "with blurred city lights in the background."
)Altyapı:

Sonraki adımda referans görseli yüklüyor ve hatta iletiyoruz. FLUX.2 birden fazla referans görseli destekler; ancak burada düzenlemeye rehberlik etmek için tek bir görsel kullanıyoruz.

indian_woman = load_image("https://images.pexels.com/photos/9317190/pexels-photo-9317190.jpeg")
image_3 = pipe(
    prompt=prompt,
    image=[indian_woman], 
    generator=torch.Generator(device=device).manual_seed(42),
    num_inference_steps=28,
    guidance_scale=4,
).images[0]Altyapı:

Düzenlenmiş sonucu Jupyter Notebook içinde görüntülemek için:

image_3Altyapı:

Çıktı son derece gerçekçidir. Model, kadının yüz yapısını ve ten tonunu korurken onu farklı ışık, duygu ve arka plana sahip yeni bir sahneye doğal olarak yerleştirir. 

Sonuç, bir yapay zekâ düzenlemesinden çok, farklı bir zamanda ve yerde profesyonel bir fotoğrafçı tarafından çekilmiş bir fotoğraf gibi hissedilir.

FLUX.2 Bellek Optimizasyonu İpuçları

Deneyimlerime göre, FLUX.2’yi yerelde çalıştırmak, 4 bit quantize edilmiş modele geçip Transformers ve Diffusers ile kod-öncelikli bir kurulum kullandıktan sonra güvenilir hale geldi. 

Daha önce, çok fazla bileşeni doğrudan CUDA’ya yüklemeye çalıştığımda 24 GB RTX 3090’da sürekli bellek yetersizliği hataları alıyordum. 

Stable Diffusion WebUI ve ComfyUI gibi arayüz araçları da, düşük VRAM seçenekleri dikkatlice ayarlanmadıkça, sıklıkla fazladan ara tamponları, önizlemeleri ve iş akışı durumunu bellekte tuttukları için bellek sınırlarına daha kolay takılabilir.

VRAM optimizasyon ipuçları (gerçekten işe yarayanlar):

• Tam duyarlıklı ağırlıklar yerine 4 bit kontrol noktasını (bitsandbytes) kullanın.
• Bileşenleri önce CPU’da yükleyin (device_map="cpu") ve her şeyi en baştan CUDA’ya itmekten kaçının.
• CPU–GPU offload’u etkinleştirin (pipe.enable_model_cpu_offload()) böylece yalnızca aktif parçalar GPU’da kalır.
• Çıkarım adımlarını makul tutun (örneğin, hızlı çalıştırmalar için 28–35 adım; yalnızca gerektiğinde artırın).
• Yönlendirme ölçeğini makul seviyede tutun (yaklaşık 3–5) gereksiz hesaplama ve kararsızlıktan kaçınmak için.
• VRAM’i canlı izlemek için nvidia-smi kullanın ve diğer GPU-ağır uygulamaları kapatın.
• Hâlâ OOM ile karşılaşırsanız, not defteri çekirdeğini yeniden başlatın ve yeniden denemeden önce GPU belleğini tamamen temizleyin.

Bu adımları uyguladıktan sonra hâlâ bellek yetersizliği sorunları yaşıyorsanız, ek sorun giderme ve bellek optimizasyon örnekleri için lütfen bu DataLab not defterine bakın.

Son Düşünceler

Açık kaynak görsel üretim modellerinin geldiği nokta beni gerçekten etkiliyor. 

FLUX.2 gibi modeller artık hem görsel kalite hem de istem anlama açısından tescilli sistemlerle açıkça rekabet edebiliyor. Doğru kurulum, biraz deneme ve biraz bellek optimizasyonuyla, tüketici GPU’larda bile yerelde ve ücretsiz olarak yüksek kaliteli, gerçekçi görseller üretmek mümkün.

En çok öne çıkan nokta, sağlanan kontrol düzeyi. Gelişmiş istem yazımı, yapılandırılmış JSON, çoklu referans düzenleme ve görüntüden görüntüye iş akışlarıyla basit üretimin ötesine geçmek kolaylaşıyor. 

Sinematik sahneler oluşturabilir, hikâye anlatımı için görselleri geliştirebilir, profesyonel düzeyde görsel düzenleme yapabilir ve kapalı platformlara bağlı kalmadan hızlıca yineleyebilirsiniz. 

Bu, yaratıcılar, araştırmacılar ve geliştiriciler için büyük bir yaratıcılık özgürlüğü sunuyor ve üst düzey görsel üretimi her zamankinden daha erişilebilir kılıyor.