Chuyển đến nội dung chính

Hướng dẫn Qwen Image 2.1: Xây dựng Trình chỉnh sửa ảnh và Trình tạo GIF

Học cách chỉnh sửa ảnh với Qwen Image 2.1 trên Colab A100, dẫn dắt thay đổi bằng văn bản hoặc bản vẽ, và xuất các kết quả đã chọn thành GIF.
· 12 phút đọc

Khám phá cùng AI

Tạo GIF từ một ảnh khá đơn giản. Bạn yêu cầu mô hình ảnh tạo một tư thế mới, lặp lại quy trình, rồi ghép các đầu ra lại ở một tốc độ nào đó. Trên thực tế, cách nhập liệu quan trọng không kém gì prompt. Khi tôi đưa mỗi khung hình đã tạo vào yêu cầu tiếp theo, ảnh dần dần tích tụ hiện tượng tạo tác.

Trong hướng dẫn này, chúng ta sẽ dùng Qwen Image 2.1 để xây dựng một trình chỉnh sửa tương tác với cách tiếp cận đáng tin cậy hơn cho thử nghiệm này. Mọi yêu cầu đều bắt đầu từ ảnh gốc. Người dùng có thể mô tả thay đổi, tùy chọn đánh dấu vùng liên quan, và chấp nhận hoặc bỏ kết quả trước khi xuất GIF.

Chúng ta sẽ dùng Qwen Image 2.1 để chỉnh sửa, ComfyUI để suy luận, Gradio cho giao diện, và Pillow để xuất. Trọng tâm là các lựa chọn thiết kế ảnh hưởng đến kết quả của tôi, như chọn ảnh tham chiếu, độ phân giải, tham số lấy mẫu, giải mã VAE và hướng dẫn chính xác.

Kết thúc, bạn sẽ biết cách:

  • Chạy workflow Qwen Image 2.1 đã lượng tử hóa trên GPU A100 của Google Colab.
  • Cấu hình các thiết lập lấy mẫu và bộ nhớ dùng trong bản demo này.
  • Kết hợp hướng dẫn bằng văn bản với chú thích vùng tùy chọn.
  • Giữ cố định ảnh tham chiếu gốc trong khi lưu nhiều khung hình đã chỉnh sửa.
  • Đánh giá các thay đổi không mong muốn và xuất GIF.

Notebook

Qwen-Image-2.1 là gì?

Qwen Image 2.1 là một mô hình thống nhất cho tạo và chỉnh sửa hình ảnh.

Thành phần tạo hình ảnh chứa 7 tỷ tham số. Mô hình hỗ trợ tạo ảnh từ văn bản, độ trong suốt gốc, nhiều ảnh tham chiếu và chỉnh sửa cục bộ được dẫn dắt bởi chú thích hoặc mặt nạ. Hướng dẫn này tập trung vào chỉnh sửa RGB với một ảnh tham chiếu.

Mô hình đã cung cấp khả năng chỉnh sửa sẵn. Ứng dụng của chúng ta bổ sung quy trình xung quanh nó: chọn đầu vào, rà soát các phương án, quản lý các khung đã chấp nhận và xuất kết quả. Chúng ta không huấn luyện mô hình mới hay thêm module chuyển động.

GIF thu được phát các ảnh tĩnh được tạo độc lập. Nó có thể thể hiện thay đổi tư thế và biến thể hình ảnh, nhưng không tương đương với sinh video có tính nhất quán theo thời gian.

Qwen Image 2.1 hoạt động như thế nào?

Mô tả kiến trúc chính thức xác định bốn thành phần chính:

Thành phần

Thông số kỹ thuật

Vai trò

Bộ biến đổi thị giác

32 lớp, bộ biến đổi khuếch tán luồng đơn (DiT) 7B tham số

Xử lý token điều kiện và ảnh đích trong một luồng chung

Bộ mã hóa văn bản và hình ảnh

Qwen3-VL 8B

Mã hóa hướng dẫn và ảnh tham chiếu thành biểu diễn thống nhất

Bộ tự mã hóa ảnh (VAE)

64 kênh latent, hỗ trợ RGBA, nén không gian 16×

Chuyển đổi ảnh thành latent gọn nhẹ và giải mã latent sinh ra thành pixel

Quy trình sinh

Flow matching với lập lịch Euler rời rạc và dịch chuyển động

Cập nhật lặp lại latent của ảnh đích hướng tới ảnh được tạo

Bộ biến đổi thị giác chứa 7 tỷ tham số. Con số này không bao gồm bộ mã hóa văn bản-và-ảnh và VAE.

64 kênh của VAE đề cập tới biểu diễn latent của nó, không phải 64 kênh màu đầu ra.

Đầu ra RGBA gồm kênh đỏ, lục, lam và alpha. Ứng dụng làm phẳng tệp tải lên về RGB, nên không minh họa tính năng hỗ trợ độ trong suốt gốc của mô hình.

Đọc sơ đồ attention

Qwen Image 2.1 dùng mặt nạ attention hạt mịn hỗn hợp, trong đó các ô có màu cho phép attention, còn ô xám thì chặn.

Qwen-Image-2.1 mixed-granularity attention architecture

Hình 1: Kiến trúc attention hạt mịn hỗn hợp của Qwen Image 2.1 (bài blog Qwen)

Hãy đọc sơ đồ theo từng hàng: Q biểu diễn các token truy vấn, và K biểu diễn các token mà chúng có thể attend tới. Chuỗi gồm một tiền tố hệ thống, một ảnh đầu vào tùy chọn, một hướng dẫn chỉnh sửa và ảnh đích.

Văn bản dùng attention nhân quả vì một token văn bản có thể attend tới chính nó và các vị trí trước đó. Các token trong cùng một khối ảnh có thể attend lẫn nhau theo cả hai chiều.

Điều này tạo ra các vùng văn bản hình tam giác và các khối ảnh đặc như trong hình 1.

Quy tắc mặt nạ thể hiện sự kết hợp đó như sau:

allowed = (q_idx >= kv_idx) or same_image_block

Đây là quy tắc mang tính khái niệm cho một cặp vị trí token, không phải thiết lập bổ sung để dán vào notebook. Nó cho phép attention tới các vị trí trước đó và cho phép attention mọi-chỗ-trong-khối đối với mỗi khối ảnh.

Vì sao có thể cache tiền tố?

Tiền tố hệ thống, ảnh tham chiếu và hướng dẫn không thể attend tới khối ảnh đích phía sau.

Do đó, biểu diễn của chúng không cần thay đổi khi ảnh đích được cập nhật.

Qwen tính toán khóa và giá trị attention của chúng một lần ở bước khử nhiễu đầu tiên và tái sử dụng ở các bước sau. Các token ảnh đích vẫn cần tính toán ở mỗi bước, attend tới tiền tố đã cache và tới nhau.

Với 40 bước, tiền tố cố định có thể được tái sử dụng sau bước đầu tiên; điều này không có nghĩa tăng tốc 40× vì còn nhiều tính toán cho ảnh đích.

Việc tái sử dụng cache diễn ra giữa các bước khử nhiễu trong cùng một lần sinh. Nó không có nghĩa mô hình ghi nhớ yêu cầu người dùng trước đó, hay ứng dụng của chúng ta tự động tái sử dụng cùng cache giữa các lần chỉnh sửa gửi riêng rẽ.

Demo: Xây dựng Trình chỉnh sửa ảnh với Qwen Image 2.1 

Trước khi xây dựng ứng dụng, hãy tách cài đặt mô hình khỏi các quyết định của ứng dụng. Lưu ý rằng tăng số bước sẽ không sửa một pipeline cứ tiếp tục đưa ảnh hỏng trở lại mô hình.

Thiết lập

Giá trị dùng

Vì sao quan trọng

Ảnh tham chiếu

Ảnh gốc cho mọi lần chỉnh sửa trong ứng dụng cuối

Tránh truyền hiện tượng tạo tác từ khung hình sinh ra này sang khung tiếp theo

Độ phân giải

1024

Xấp xỉ mục tiêu chỉnh sửa một megapixel trong backend này

Bước suy luận

40

Ngân sách lấy mẫu được dùng xuyên suốt các thí nghiệm chính

Seed

42

Giữ cố định seed lấy mẫu khi thử nghiệm hướng dẫn

CFG

1.0

Khớp với workflow cung cấp; guidance nhánh âm chuẩn không đóng góp ở giá trị này

Sampler/scheduler

Euler / simple

Giữ nguyên cấu hình lấy mẫu được cung cấp

Denoise

1.0

Phù hợp với workflow chỉnh sửa theo hướng dẫn; không phải công thức img2img denoise thấp thông thường

Giải mã VAE

Không chia ô trong cấu hình cuối

Được chọn sau khi có cải thiện định tính trong quá trình phát triển

Trọng số

Mô hình ảnh và bộ mã hóa văn bản INT8 ConvRot; VAE BF16

Backend tiết kiệm bộ nhớ dùng cho demo

Offload bộ mã hóa/bộ nhớ đệm tham chiếu về CPU

Ban đầu tắt

Lần chạy A100 vừa vặn mà không cần bật các thiết lập offload bổ sung này

Đây là các thiết lập hoạt động cho dự án này, nhưng không phải cấu hình tối ưu toàn cục. Chúng tôi không quét có hệ thống các giá trị bước, CFG, sampler hay định dạng lượng tử hóa.

Các giá trị sampler đến từ workflow chỉnh sửa ảnh, cho phép tôi chạy mô hình này trên VRAM thấp.

Bước 1: Chuẩn bị môi trường Colab

Môi trường chạy đã ghi nhận dùng NVIDIA A100-SXM4-40GB, với 83,5 GiB RAM máy chủ.

Tôi dùng gói cài đặt alesha-pro để cài ComfyUI và tải trọng số đã lượng tử hóa.

Lưu ý bạn cần khoảng 45 GB bộ nhớ lưu trữ trống, gồm môi trường, mô hình, bộ đệm và đầu ra.

Runtime RAM cao tạo khoảng đệm trong quá trình nạp và offload.

Đầu tiên, thiết lập đường dẫn và kiểm tra GPU:

import sys, os, json, time, uuid, shutil, subprocess, copy, io, threading
from pathlib import Path
from PIL import Image, ImageDraw, ImageFilter, ImageOps
import numpy as np
import requests
import gradio as gr
from IPython.display import display, Image as DisplayImage

ROOT = Path('/content/qwen_gif_demo')
ROOT.mkdir(parents=True, exist_ok=True)
TOOLS = ROOT / 'tools'
COMFY = ROOT / 'ComfyUI'
RUNS = ROOT / 'runs'
RUNS.mkdir(exist_ok=True)
REPO_REV = 'dc0083c0d17581f04ebbca962771e36f82f31af8'
BASE = 'http://127.0.0.1:8188'

def run_cmd(args, **kwargs):
    print('Running:', ' '.join(map(str, args)), flush=True)
    subprocess.run(list(map(str, args)), check=True, **kwargs)

if not shutil.which('nvidia-smi'):
    raise RuntimeError('Select a GPU runtime before continuing.')
print(subprocess.check_output(['nvidia-smi'], text=True))

Bước kiểm tra GPU dừng thực thi nếu Colab vẫn dùng runtime CPU, và chúng ta cũng in thông tin về RAM máy chủ và dung lượng đĩa trống trước khi cài đặt.

Các import khá cơ bản, gồm thư viện chuẩn Python để xử lý đường dẫn tệp, workflow JSON, tiến trình backend, thời gian và giám sát nền.

Pillow và NumPy xử lý ảnh, Requests giao tiếp với ComfyUI, Gradio cung cấp giao diện, và IPython hiển thị ảnh trong notebook.

Cài backend tách biệt khỏi UI

ComfyUI chạy trong môi trường ảo riêng. Kernel của notebook xử lý tải lên, yêu cầu HTTP và Gradio.

if not TOOLS.exists():
    run_cmd(['git', 'init', TOOLS])
    run_cmd(['git', '-C', TOOLS, 'remote', 'add', 'origin', 'https://github.com/alesha-pro/tools.git'])
    run_cmd(['git', '-C', TOOLS, 'fetch', '--depth', '1', 'origin', REPO_REV])
    run_cmd(['git', '-C', TOOLS, 'checkout', '--detach', 'FETCH_HEAD'])
assert subprocess.check_output(['git', '-C', str(TOOLS), 'rev-parse', 'HEAD'], text=True).strip() == REPO_REV
PKG = TOOLS / 'qwen-image-2.1'
VERSIONS = json.loads((PKG / 'install/versions.json').read_text())
print('Pinned backend:', VERSIONS)
driver = subprocess.check_output(['nvidia-smi', '--query-gpu=driver_version', '--format=csv,noheader'], text=True).splitlines()[0]
# Conservative selector; the backend CUDA smoke test is authoritative.
TORCH_INDEX = 'https://download.pytorch.org/whl/cu130' if int(driver.split('.')[0]) >= 580 else 'https://download.pytorch.org/whl/cu128'
print('Driver:', driver, '| wheel index:', TORCH_INDEX)
run_cmd([sys.executable, PKG / 'install/setup.py', 'install', '--dir', COMFY, '--torch-index', TORCH_INDEX])
BACKEND_PY = COMFY / '.venv/bin/python'
run_cmd([BACKEND_PY, '-c', "import torch; print(torch.__version__, torch.version.cuda); print(torch.cuda.get_device_name(0)); x=torch.ones(16,device='cuda'); print(x.sum().item())"])
run_cmd([BACKEND_PY, PKG / 'install/download_models.py', '--models-dir', COMFY / 'models'])

Đoạn mã này lấy source được ghim, đọc cấu hình phiên bản, cài backend, kiểm thử thao tác tensor CUDA, và tải mô hình.

Việc chọn wheel CUDA dùng phiên bản driver như một tiêu chí ban đầu.

Bài kiểm tra nhanh CUDA là xác minh quan trọng vì bản thân A100 không đảm bảo tương thích với mọi bản dựng PyTorch. Phiên của tôi dùng driver 580.82.07.

Bước 2: Khởi động Backend và đặt tham số suy luận

Ô khởi động mở ComfyUI tại 127.0.0.1:8188, đợi sẵn sàng và truy xuất các định nghĩa node sẵn có.

Mã giao tiếp với nó qua một helper HTTP nhỏ:

def api(path, body=None):
    r = requests.get(BASE + path, timeout=30) if body is None else requests.post(BASE + path, json=body, timeout=30)
    if not r.ok:
        raise RuntimeError(f'{path}: HTTP {r.status_code}: {r.text[:3000]}')
    return r.json()

Helper này chuyển lỗi phía server thành ngoại lệ dễ đọc. Sau khi khởi động, schema node có sẵn qua:

INFO = api('/object_info')

Mã khởi động kiểm tra server hiện có trước khi mở tiến trình khác. Do đó không có đường hầm ComfyUI công khai riêng trong thiết lập này.

Giờ hãy đặt các tham số dùng cho chỉnh sửa:

CPU_ENCODER = False
CPU_REFERENCE_CACHE = False
TILED_VAE = False
STEPS = 40
SIZE = 1024
SEED = 42

Cách hiểu các thiết lập này:

  • STEPS: Nhiều vòng lặp lấy mẫu thường tốn thời gian hơn. Chúng tôi dùng 40.
  • SIZE: Trong đồ thị chỉnh sửa, độ phân giải 1024 nhắm tới khoảng một megapixel đồng thời thích ứng kích thước theo ảnh tham chiếu. Nó không ép đầu ra thành hình vuông.
  • SEED: Seed cố định giúp so sánh dễ hơn trong cùng thiết lập. Nó không đảm bảo giữ nguyên danh tính hay chuyển tiếp mượt giữa các prompt khác nhau.
  • TILED_VAE: Giải mã không chia ô xử lý ảnh mà không dùng đường giải mã ô nhỏ đã cấu hình. Có thể cần nhiều bộ nhớ hơn. Ưu tiên này xuất phát từ kiểm thử thị giác, không phải chứng minh có kiểm soát rằng việc chia ô gây ra mọi tạo tác.
  • Cờ offload CPU: Đây là các điều khiển quản lý bộ nhớ, không phải điều khiển chất lượng ảnh. Chỉ bật khi cần và đo độ trễ cùng mức dùng RAM sau đó.

Tương tự, negative prompt không phải điều khiển chính để tinh chỉnh ở CFG 1. Hãy để trống thay vì kỳ vọng một danh sách dài thuộc tính không mong muốn có thể sửa một lần chỉnh yếu.

Bước 3: Kết nối prompt và ảnh tham chiếu với mô hình

Trình tạo workflow tải một đồ thị API và thay thế các đầu vào theo yêu cầu. Đoạn sau hiển thị đường chỉnh sửa:

g = json.loads((PKG / 'workflows/api/03-image-edit.json').read_text())
g['4']['inputs'].update(prompt=prompt, resolution=SIZE)
g['6']['inputs'].update(seed=int(seed), steps=int(STEPS))
g['9']['inputs']['image'] = upload_image(image_path)

if CPU_REFERENCE_CACHE:
    g['11']['inputs']['device'] = 'cpu'
if CPU_ENCODER:
    g['2']['inputs']['device'] = 'cpu'

Ở đây, Node 4 nhận hướng dẫn chỉnh sửa và độ phân giải.

Node 6 điều khiển lấy mẫu, và node 9 nạp ảnh tham chiếu đã tải lên.

Hai ghi đè còn lại tùy chọn chuyển công việc của bộ mã hóa hoặc bộ nhớ đệm tham chiếu về RAM máy chủ.

Helper suy luận sau đó gửi đồ thị và chờ ID yêu cầu của chính nó:

response = api('/prompt', {
    'prompt': g,
    'client_id': uuid.uuid4().hex,
})
result = collect_result(response['prompt_id'], folder)

Ở đây, folder là thư mục đầu ra cho mỗi yêu cầu được tạo bên trong infer().

Trình thu thập thăm dò lịch sử và tải PNG đã sinh khi công việc khớp hoàn tất.

Chúng tôi cũng lưu đầu vào, đồ thị, yêu cầu gửi, lịch sử và chỉ số. Điều đó cho phép kiểm tra yêu cầu thực tế khi một đầu ra trông không ổn.

Timeout không tự động hủy job GPU, nên hãy giữ lại ID yêu cầu trước khi quyết định thử lại.

Bước 4: Chuẩn bị một ảnh gốc

Ứng dụng cuối luôn cần một tham chiếu không đổi để quay lại. Đường tải lên sau đây áp dụng chỉnh hướng, làm phẳng độ trong suốt, và thêm ảnh vào canvas vuông trước khi đưa vào mô hình:

python
from google.colab import files
uploaded = files.upload()
assert len(uploaded) == 1, 'Upload exactly one image.'
with Image.open(io.BytesIO(next(iter(uploaded.values())))) as image:
    rgba = ImageOps.exif_transpose(image).convert('RGBA')
    background = Image.new('RGBA', rgba.size, (250, 240, 230, 255))
    original = Image.alpha_composite(background, rgba).convert('RGB')
    original = ImageOps.pad(original, (SIZE, SIZE), color=(250, 240, 230))

BASE_FRAME = ROOT / f'original-{uuid.uuid4().hex[:8]}.png'
original.save(BASE_FRAME)

Việc chèn đệm giữ nguyên tỷ lệ khung hình thay vì kéo giãn chủ thể. Nhưng nó có thể tạo viền.

Tải lên trực tiếp trong trình chỉnh sửa Gradio theo handler tải lên riêng và có thể giữ nguyên kích thước đã tải. Đó là lý do ứng dụng cũng kiểm tra kích thước ứng viên trước khi xuất.

Đối với chỉnh sửa tư thế, hãy chọn ảnh có đủ khoảng trống cho chuyển động yêu cầu và thêm hướng dẫn phù hợp với ranh giới.

Bước 5: Dẫn dắt chỉnh sửa bằng văn bản và bản vẽ

Bản vẽ hữu ích khi mục tiêu có thể mơ hồ, như chọn một cánh tay hay một vật thể trong cảnh đông đúc.

Nó hoàn toàn tùy chọn trong ứng dụng của chúng ta.

Trình chỉnh sửa của Gradio cung cấp nền, các lớp vẽ và ảnh tổng hợp; quy tắc quan trọng cho thiết kế cuối là nạp ảnh gốc và chỉ thêm các lớp vẽ:

layers = editor_data.get('layers') or []
has_marks = any(
    np.any(np.asarray(layer.convert('RGBA'))[..., 3] > 0)
    for layer in layers if layer is not None
)
with Image.open(original_path) as image:
    source = image.convert('RGBA').copy()
if has_marks:
    for layer in layers:
        if layer is None:
            continue
        layer = layer.convert('RGBA')
        if layer.size != source.size:
            raise ValueError('Clear the drawing and redraw on the original.')
        source = Image.alpha_composite(source, layer)

Đây là logic lõi bên trong callback chỉnh sửa.

Kênh alpha cho biết liệu một lớp có chứa vết đánh dấu hiển thị hay không, như bạn vẽ vòng tròn, hình chữ nhật, hay nét phác thảo, tất cả đều có thể đóng vai trò hướng dẫn thị giác.

Các vết đánh dấu này không phải mặt nạ inpainting cứng. Chúng cho mô hình biết nơi cần tập trung, nhưng không đảm bảo pixel ở chỗ khác không đổi.

Chúng ta có thể thêm giải thích vùng chỉ khi có vết đánh dấu:

region_instruction = (
    'The red hand-drawn marks identify the target region. '
    'For an outline, edit the enclosed area; for painted strokes, '
    'edit the indicated area. Remove the annotation marks '
    'from the final result. '
) if has_marks else ''

prompt = (
    'Edit <image1>. '
    + region_instruction
    + f'Requested change: {instruction.strip()} '
    + "Preserve unrelated content and the image's framing. "
    + "Keep the subject's identity and visual style consistent "
    + 'unless the requested change explicitly alters them.'
)

Điều khoản bảo toàn cho mô hình biết điều gì quan trọng, nhưng vẫn chỉ là hướng dẫn chứ không phải đảm bảo.

Để thử nghiệm rõ ràng hơn, hãy chỉ định phía tương đối trong ảnh và tư thế hoàn thiện, như:

instruction = (
    'Lower the arm on the right side of the image so it extends '
    'diagonally downward. Keep the other arm, face, body position, '
    'camera framing, and background unchanged.'
)

Tránh “di chuyển thêm một chút” khi mỗi yêu cầu bắt đầu từ ảnh gốc.

Mô hình không nhận cuộc hội thoại trước đó hay tư thế vừa chấp nhận lần cuối.

Bước 6: Sinh mọi ứng viên từ ảnh gốc

Phiên bản đầu của dự án này tạo chuỗi bằng cách đưa mỗi đầu ra vào yêu cầu kế tiếp:

result = edit_frame(manifest['frames'][-1], POSES[pose_index])

image2.gif

Đó là hành vi tôi thay đổi cho ứng dụng cuối vì chỉnh sửa lặp lại có thể lan truyền tạo tác, do mỗi yêu cầu mới bắt đầu từ đầu ra mô hình trước đó.

Trong chuỗi cây trồng ban đầu của chúng tôi, các ảnh về sau nhiễu đáng kể hơn.

Đường sinh cuối dùng ảnh tham chiếu gốc, tùy chọn có chú thích, thay vì vậy:

input_path = ROOT / f'edit-input-{uuid.uuid4().hex[:8]}.png'
source.convert('RGB').save(input_path)
result_path = infer(
    'edit',
    prompt,
    seed=int(seed),
    image_path=input_path,
)

Cách này loại bỏ đường phản hồi qua các ảnh đã sinh trước đó.

Nó không loại bỏ tạo tác trong từng đầu ra riêng, và không ép các khung hình sinh độc lập khớp hoàn hảo.

Nếu một ảnh đã chấp nhận có bông hồng, yêu cầu tiếp theo không tự động kế thừa nó. Để giữ bông hồng khi đổi tư thế, chúng ta cần đưa cả hai yêu cầu:

instruction = (
    'Make the character hold a red rose in the hand on the right '
    'side of the image, with that arm extended downward. '
    'Preserve the other hand, face, background, and camera framing.'
)

Sự đánh đổi này hữu ích khi tạo biến thể từ một tham chiếu chung.

Với các tác vụ cần chỉnh sửa tích lũy, workflow tuần tự vẫn có thể phù hợp, nhưng cần kỳ vọng khác về thay đổi tích lũy.

Bước 7: Rà soát ứng viên trước khi lưu

Ứng dụng tách ảnh gốc, chuỗi đã chấp nhận và kết quả chờ bằng hàm State của Gradio:

original_state = gr.State(initial_path)
frames_state = gr.State(initial_frames)
pending_state = gr.State(None)

Chuỗi bắt đầu với ảnh gốc và chỉ tăng khi người dùng chấp nhận một ứng viên. Trạng thái chờ giữ một tệp đã sinh nhưng chưa được chấp nhận.

Thao tác chấp nhận trung tâm là:

updated_frames = list(frames) + [pending_path]

Sau cập nhật này, callback hoàn chỉnh xóa ứng viên chờ và prompt, đưa trình chỉnh sửa về ảnh gốc.

Discard xóa kết quả chờ mà không thay đổi các khung đã chấp nhận. Reset đưa chuỗi về một khung gốc và xóa hướng dẫn hiện tại cùng tệp tải xuống. Cả hai thao tác không yêu cầu nạp lại mô hình.

Bước 8: Xây dựng ứng dụng Gradio

Giao diện cuối tách chỉnh sửa, khung đã lưu và xuất thành ba tab.

Gradio app

Thành phần chủ chốt là trình chỉnh sửa ảnh:

editor = gr.ImageEditor(
    value=initial_editor,
    type='pil',
    image_mode='RGBA',
    label='Input',
    height=480,
    brush=gr.Brush(
        colors=['#ff0000'],
        color_mode='fixed',
        default_size=8,
    ),
    eraser=gr.Eraser(default_size=20),
    transforms=(),
)

Màu bút cố định khớp với hướng dẫn chú thích.

Cục tẩy cho phép người dùng tinh chỉnh vùng phác, trong khi tắt transform giúp loại bỏ crop và xoay khỏi tương tác này.

Sự kiện tạo truyền trạng thái ảnh gốc vào callback:

event_options = {
    'concurrency_id': 'edit_workflow',
    'concurrency_limit': 1,
}

generate_button.click(
    fn=generate_edit,
    inputs=[editor, instruction, seed, original_state],
    outputs=[candidate, pending_state, status],
    **event_options,
)

Các đoạn mã này thuộc bố cục Blocks hoàn chỉnh.

Nhóm đồng thời dùng chung tuần tự hóa việc tạo và thay đổi trạng thái trong demo này. Reset đợi tới lượt; nó không phải điều khiển hủy job GPU.

Khi đã định nghĩa handler và thành phần, khởi chạy ứng dụng bằng cách chạy:

demo.queue(default_concurrency_limit=1).launch(
    share=True,
    debug=True,
)

Liên kết chia sẻ của Gradio chỉ mở frontend, còn backend vẫn ở localhost. Thay đổi theme và CSS cải thiện trình bày, nhưng không làm thay đổi chất lượng ảnh.

Bước 9: Chuyển các khung đã chấp nhận thành GIF

Trình xuất chỉ dùng các khung đã chấp nhận vì nó tạo bảng màu chung và tùy chọn phát ngược chuỗi sau khung cuối:

def export_gif(paths, destination, duration_ms=300, ping_pong=True):
    frames = []
    for path in paths:
        with Image.open(path) as image:
            frames.append(image.convert('RGB').copy())
    if len(frames) < 2:
        raise ValueError('Accept at least one edit first.')
    if len({frame.size for frame in frames}) != 1:
        raise ValueError('Frame dimensions must match.')

    atlas = Image.new('RGB', (128 * len(frames), 128))
    for i, frame in enumerate(frames):
        atlas.paste(frame.resize((128, 128)), (128 * i, 0))
    palette = atlas.quantize(colors=256)
    converted = [
        frame.quantize(palette=palette, dither=Image.Dither.NONE)
        for frame in frames
    ]
    if ping_pong:
        converted += converted[-2:0:-1]
    converted[0].save(
        destination,
        save_all=True,
        append_images=converted[1:],
        duration=int(duration_ms),
        loop=0,
        disposal=2,
        optimize=False,
    )
    return str(destination)

Bảng màu chung giảm một nguồn có thể gây nhấp nháy do bảng màu.

Tắt dithering tránh thêm mẫu dither khi chuyển đổi, dù giảm màu vẫn có thể gây banding.

Thời lượng tính bằng mili giây, và đặt loop=0 yêu cầu phát lặp liên tục. Với bốn khung, phát ping-pong theo thứ tự 0, 1, 2, 3, 2, 1.

Phần lát ngược loại trừ các điểm cuối lặp lại. Điều này không nội suy chuyển động vì hoạt ảnh mượt mà cần các tư thế trung gian phù hợp, không chỉ tốc độ phát khác.

Kết luận

Chúng ta đã xây dựng một trình chỉnh sửa Qwen Image 2.1 chấp nhận hướng dẫn văn bản và bản vẽ tùy chọn, cho phép người dùng tuyển chọn kết quả riêng lẻ và xuất chúng thành GIF.

Quyết định chất lượng quan trọng là giữ cố định ảnh tham chiếu gốc thay vì liên tục chỉnh trên đầu ra đã sinh.

Bắt đầu với cấu hình lấy mẫu đang hoạt động, nêu rõ thay đổi yêu cầu và kiểm tra các ứng viên thô trước khi thay đổi thêm thiết lập.

Khi các phần đó ổn định, hãy thử nghiệm độ phân giải hoặc giải mã, mỗi lần một biến. Kết quả là một workflow chỉnh sửa ảnh hữu ích với mô tả rõ ràng cả khả năng lẫn hạn chế.

Qwen Image 2.1 FAQs

Tôi có thể chạy demo này trên Colab A100 không?

Có. Chúng tôi đã chạy workflow ComfyUI đã lượng tử hóa trên A100 với 40 GB VRAM. Các yêu cầu cuối sử dụng khoảng 19,6 GiB bộ nhớ GPU backend được lấy mẫu ở độ phân giải 1024 và 40 bước. Đây là phép đo từ cấu hình của chúng tôi, không phải yêu cầu phần cứng tối thiểu.

Tôi có cần vẽ vùng trước khi chỉnh sửa không?

Không. Bạn có thể chỉ cung cấp một ảnh và một hướng dẫn văn bản. Các vòng tròn hoặc nét phác thảo giúp xác định một đối tượng hay bộ phận cơ thể cụ thể. Chúng cung cấp hướng dẫn thị giác, nhưng không đảm bảo pixel ngoài vùng được đánh dấu vẫn không đổi.

Vì sao mỗi lần chỉnh sửa đều bắt đầu từ ảnh gốc?

Thử nghiệm ban đầu của chúng tôi tích lũy tạo tác khi mỗi ảnh sinh ra trở thành đầu vào kế tiếp. Quay lại ảnh gốc tránh mang các tạo tác đó về sau. Tuy nhiên, mỗi prompt phải mô tả đầy đủ kết quả mong muốn vì các chỉnh sửa trước đó không tự động được giữ lại.

Qwen Image 2.1 có tạo GIF trực tiếp không?

Không. Qwen tạo các ảnh đã chỉnh riêng lẻ, và Pillow kết hợp các khung đã chấp nhận thành GIF. Thiết lập phát chỉ điều khiển thời gian và hướng, chứ không tạo chuyển động trung gian.

Tôi nên thay đổi thiết lập nào để cải thiện đầu ra?

Hãy bắt đầu với hướng dẫn rõ ràng và tham chiếu sạch. Cấu hình của chúng tôi dùng 40 bước, seed 42, CFG 1, lấy mẫu Euler, scheduler simple và denoise 1. Đây là các thiết lập hoạt động, không phải giá trị tối ưu đã được chứng minh. Thay đổi một thiết lập mỗi lần và so sánh các PNG thô trước khi đánh giá GIF.

Aashi Dutt

Tác giả

Aashi Dutt

Tôi là Chuyên gia Google Developers trong lĩnh vực ML (Gen AI), Chuyên gia Kaggle 3x và Đại sứ Women Techmakers với hơn 3 năm kinh nghiệm trong ngành công nghệ. Tôi đồng sáng lập một startup công nghệ y tế vào năm 2020 và hiện đang theo học thạc sĩ khoa học máy tính tại Georgia Tech, chuyên sâu về học máy.

Chủ đề

Liên quan