Stable Diffusion Web UI (SDUI) là giao diện trình duyệt thân thiện cho người dùng để làm việc với mô hình AI sinh ảnh mạnh mẽ có tên Stable Diffusion. Đây là một mô hình AI tiên tiến, có thể tạo ảnh từ mô tả văn bản hoặc chỉnh sửa ảnh hiện có dựa trên prompt chữ. Web UI do AUTOMATIC1111 phát triển mang lại một nền tảng trực quan để tương tác với các mô hình Stable Diffusion mà không cần kỹ năng kỹ thuật hay lập trình nâng cao.
Bạn có thể dùng Web UI cục bộ trên laptop hoặc PC với hỗ trợ cả CPU và GPU. Ngoài ra, bạn có thể triển khai mô hình của riêng mình trên máy chủ để người khác khám phá và thử nghiệm. Công cụ này hỗ trợ hầu hết hệ điều hành và GPU, gồm Nvidia, AMD và Intel. Đây là một công cụ mang tính cách mạng, đã thay đổi cách nghệ sĩ tạo nên tác phẩm chất lượng cao trên máy tính cá nhân, giúp sáng tạo với AI trở nên riêng tư và dễ tiếp cận.
Trong bài hướng dẫn này, chúng ta sẽ học cách tải và thiết lập SDUI trên laptop chạy Windows 11 với GPU Nvidia. Sau khi hoàn tất cài đặt, chúng ta sẽ khám phá các tính năng trên Web UI, bao gồm tiện ích mở rộng và các mô hình stable diffusion tuỳ chỉnh. Hướng dẫn phù hợp với mọi đối tượng, kể cả người không chuyên kỹ thuật hoặc thanh thiếu niên.
Tải và cài đặt CUDA cho GPU Nvidia
Bạn có thể dùng Stable Diffusion Web UI mà không cần GPU hay cài CUDA. Web UI có thể chạy trên CPU và cho kết quả nhanh. Tuy nhiên, để có kết quả nhanh hơn, rất khuyến nghị bạn dùng tăng tốc GPU nếu có thể.
Hướng dẫn này chỉ tập trung vào người dùng GPU Nvidia với hệ điều hành Windows.
Trước tiên, tải và cài đặt phiên bản mới nhất của CUDA Toolkit 12.3. Bạn cần chọn đúng tuỳ chọn theo hệ điều hành và tải gói Base installer.
Tiếp theo, cài đặt cuDNN mới nhất. Bạn có thể tải file zip từ Nvidia cuDNN. Hãy đảm bảo phiên bản phù hợp với phiên bản CUDA Toolkit.
Giải nén tất cả thư mục trong file zip, mở ra và di chuyển nội dung vào thư mục của CUDA Toolkit. Ở đây, thư mục là C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.3; tuy nhiên, có thể khác trên máy bạn. Nếu gặp thông báo về tệp trùng lặp, hãy chọn "Replace All".
Lưu ý: luôn đảm bảo bạn đã cài đặt driver Nvidia mới nhất trên máy để có hiệu năng tối ưu.
Tải và cài đặt Stable Diffusion Web UI
Trong phần này, chúng ta sẽ học cách cài SDUI dễ nhất và tự động nhất. Chúng ta sẽ cài bằng bản phân phối nhị phân dành cho những ai không thể cài Python và Git.
- Tải file
sd.Web UI.ziptừ Release v1.0.0-pre. Dù là phiên bản cũ, nó sẽ tự động cập nhật lên bản mới nhất trong quá trình cài đặt. - Giải nén nội dung file zip đến vị trí bạn muốn. Ví dụ, bạn có thể giải nén vào
C:\Desktop\Web UI. - Để cập nhật Stable Diffusion Web UI, chỉ cần nhấp đúp vào file
update.bat. - Sau đó, nhấp đúp vào
run.batđể khởi chạy Web UI. Lần đầu sẽ mất khoảng một giờ để tải các tệp cần thiết và mô hình. - Khi đã tải và cài đặt xong mọi gói Python cần thiết và mô hình Stable Diffusion, bạn sẽ được chuyển hướng đến trình duyệt với URL nội bộ "http://127.0.0.1:7860". Nếu liên kết không tự mở, chỉ cần nhấp vào liên kết hiện trong terminal.
Lưu ý: Kho repository của Stable Diffusion Web UI cung cấp hướng dẫn cài đặt cho các hệ điều hành khác.
Hướng dẫn thẻ Txt2img
Trong trình duyệt mặc định, bạn sẽ thấy giao diện người dùng với nhiều tuỳ chọn. Hãy thử từng mục để tạo ảnh chất lượng cao.
Đầu tiên, chúng ta sẽ nhấp vào thẻ txt2img và nhập prompt dương và âm để tạo ảnh một cô gái trong khu rừng tối mặc đồ Giáng Sinh. Các từ khoá bổ sung được thêm để cải thiện chất lượng và phong cách ảnh.
Chúng ta sẽ bắt đầu với prompt âm ở mức tối thiểu và tiếp tục bổ sung từ khoá để loại bỏ các lỗi biến dạng lặp lại trong ảnh.
Prompt dương: “masterpiece, best quality, ultra high res, visually stunning, a beautiful, 1girl, dark forest, style illustration, sorceress, dark theme, wearing Christmas clothes, close up, looking at camera”
Prompt âm: “bad quality, bad anatomy, worst quality, low quality, low resolution, extra fingers, blur, blurry, ugly, wrong proportions, watermark, image artifacts, lowres, ugly, jpeg artifacts, deformed, noisy image, 2girls, double images,”
Tác phẩm tạo ra thể hiện một người phụ nữ trong bối cảnh Giáng Sinh u tối với chất lượng xuất sắc.
Hãy điều chỉnh cài đặt nâng cao. Chúng ta có thể thay đổi kích thước ảnh và tăng số bước lấy mẫu để thêm chi tiết.
Mọi ảnh được tạo đều kèm metadata gồm prompt dương và âm cùng cài đặt nâng cao. Bạn có thể dùng để tái tạo kết quả giống hệt.
Giờ chúng ta sẽ chuyển ảnh sang thẻ 'img2img' bằng cách nhấp nút emoji hình ảnh bên dưới ảnh như trên.
Nếu bạn muốn tự xây dựng mô hình AI sinh ảnh từ đầu, hãy làm theo hướng dẫn này: Xây dựng mô hình Diffuser từ đầu với PyTorch.
Hướng dẫn thẻ Img2img
Thẻ img2img cho phép bạn tải ảnh tham chiếu để tạo ảnh có vẻ ngoài tương tự bằng các prompt khác nhau cho nhiều phong cách. Chúng tôi đã thêm prompt dương mới và giữ nguyên prompt âm để tạo bốn ảnh với phong cách khác nhau. Nếu muốn tạo nhiều ảnh từ một prompt, bạn có thể điều chỉnh Batch count trong phần cài đặt sinh ảnh.
Prompt dương: “masterpiece, best quality, ultra high res, visually stunning, a beautiful, 1barbie, pink theme, wearing Christmas clothes, close up, looking at camera, 3d, “
Các ảnh kết quả trông ấn tượng, với nhiều phong cách và đạo cụ khác nhau. Một số không có vương miện, một số thì nhiều màu sắc.
Hãy chuyển sang thẻ 'Inpaint' và thử thay đổi chiếc vương miện gỗ trong ảnh. Ta có thể dùng công cụ inpainting để chọn phần đầu phía trên của cô gái và biến thành vương miện vàng. Inpainting cho phép chỉ chỉnh sửa phần đã chọn của ảnh.
Chiếc vương miện vàng mới hoà trộn mượt mà vào bức ảnh mà không cần Photoshop. Chỉ với công cụ tô chọn và một prompt đơn giản, chúng ta đã chỉnh sửa được một phần của ảnh.
Sử dụng Upscaler
Để phóng to ảnh đã tạo, chúng ta sẽ gửi ảnh sang thẻ Extras. Chúng ta sẽ phóng to gấp bốn lần và giữ nguyên các thiết lập khác.
Sau đó, nhấp nút Generate để chuyển từ “512X512” lên “2048X2048” chỉ trong vài giây mà không làm giảm chất lượng ảnh.
Bạn có thể kiểm tra kích thước ảnh bằng cách tải về máy và xem thuộc tính tệp ảnh.
PNG Info
Như đã biết, mỗi ảnh đều chứa metadata cho biết cách nó được tạo. Nếu muốn xem thông tin của ảnh đã tạo trước đó, bạn có thể tải ảnh lên thẻ "PNG Info". Tại đây, bạn có thể xem prompt dương và âm, cũng như các cài đặt nâng cao.
Cài đặt tiện ích mở rộng
Để cài tiện ích mở rộng vào Web UI, bạn cần chuyển sang thẻ Extensions và nhấp vào thẻ install from URL. Sau đó, thêm URL đến repository của tiện ích. Ở đây, chúng tôi cài tiện ích ControNet bằng https://github.com/Mikubill/sd-Web UI-controlnet. ControNet là một kiến trúc mạng nơ-ron có thể dùng để kiểm soát các mô hình khuếch tán bằng cách cung cấp các điều kiện bổ sung.
- Tiếp đến, chúng ta sẽ cài tiện ích OpenPose Editor bằng URL Github:
https://github.com/fkunn1326/openpose-editorvà nhấn Install. - Tải mô hình OpenPose từ kho Hugging Face:
hf.co/lllyasviel/ControlNet-v1-1/tree/main. Hãy đảm bảo tải file “control_v11p_sd15_openpose.pth”. - Di chuyển file mô hình vào thư mục của Stable Diffusion Web UI:
stable-diffusion-Web UI\extensions\sd-Web UI-controlnet\models - Sau khi cài đặt tiện ích thành công, bạn sẽ có quyền truy cập vào
OpenPose Editor. - Thay đổi tư thế hình que bằng chuột, và khi xong hãy nhấp “Send to txt2img”.
Cuộn xuống và mở bảng ControlNet. Chọn Enable, Pixel Perfect và tuỳ chọn OpenPose.
Sau đó, cuộn lên và viết prompt dương và âm để tạo bốn ảnh với tư thế tương tự.
Prompt dương: “a belle dancer, near beach, looking at camera, high quality, hires, 4k, detailed “
Prompt âm: “worst quality, low quality, lowres, monochrome, greyscale, multiple views, comic, sketch, bad anatomy, deformed, disfigured, watermark, multiple_views, mutation hands, watermark, bad facial,”
Chúng ta có bốn ảnh phụ nữ ở cùng một tư thế. Nhấp vào bất kỳ ảnh nào để xem chúng dưới dạng một ảnh đơn.
Sử dụng mô hình tuỳ chỉnh
Trong phần này, chúng ta sẽ tải và nạp mô hình tuỳ chỉnh đã được fine-tune trên ảnh chân dung chất lượng cao để tạo ảnh cực kỳ chân thực. CivitAI là nền tảng tập hợp nhiều mô hình sinh ảnh nguồn mở tuỳ chỉnh. Bạn có thể dễ dàng tìm kiếm mô hình cụ thể và tải về mà không cần tạo tài khoản.
Bạn có thể fine-tune mô hình Stable Diffusion theo hướng dẫn Fine-tuning Stable Diffusion XL với DreamBooth và LoRA. Hướng dẫn cung cấp các bước đơn giản để fine-tune mô hình trên Kaggle với GPU miễn phí.
Ở đây, chúng ta sẽ tải mô hình RealVisXL V2.0 bằng cách tìm trên trang và nhấn nút tải ở bảng bên phải.
Sau khi tải mô hình, hãy di chuyển nó vào thư mục mô hình của Stable Diffusion Web UI tại C:\Desktop\Web UI\Web UI\models\Stable-diffusion.
Nhấp nút làm mới ở góc trên bên trái, sau đó chọn mô hình RealVisXL mới hơn từ danh sách thả xuống để kích hoạt.
Lưu ý: Nếu bạn dùng máy chỉ tăng tốc bằng CPU, việc tạo một ảnh có thể mất tới 5 phút. Vì vậy, hãy đảm bảo bạn chạy Web UI trên máy có GPU.
Để truy cập prompt dương và âm đã tối ưu cho mô hình ReallVisXL, chỉ cần cuộn xuống trang mô hình và nhấp vào ảnh mong muốn. Các ảnh này có metadata có thể dùng để tạo ảnh chân thực. Ví dụ, nếu muốn tạo ảnh Spiderwoman ngước lên và nhìn vào máy ảnh, ta có thể dùng metadata phù hợp.
Prompt dương: “An image from a marvel spiderwoman, focused, decisive, surreal, dynamic pose, ultra highres, sharpness texture, High detail RAW Photo, detailed face, shallow depth of field, sharp eyes, (realistic skin texture:1.2), (freckles, moles:0.6), dslr, film grain”
Prompt âm: “(worst quality, low quality, illustration, 3d, 2d, painting, cartoons, sketch), open mouth”
Kết quả vượt ngoài mong đợi. Chúng ta đạt được ánh sáng, màu sắc, kết cấu da, tóc và đường nét khuôn mặt hoàn hảo.
Đây là hai bức ảnh đẹp nhất. Nếu bạn cho đồng nghiệp xem, họ còn khó tin đây là ảnh được tạo.
Hiện tại, mô hình hoạt động tốt nhất là DALLE-3; bạn có thể tìm hiểu qua bài viết Giới thiệu về cách dùng DALL-E 3: Mẹo, ví dụ và tính năng.
Kết luận
Stable Diffusion Web UI mang đến cách tiếp cận dễ dàng để bất kỳ ai cũng có thể khai thác sức mạnh tạo ảnh bằng AI. Giao diện thân thiện giúp việc tương tác với các mô hình khuếch tán tiên tiến như Stable Diffusion trở nên đơn giản, ngay cả với người không chuyên kỹ thuật.
Trong hướng dẫn này, chúng ta đã đi qua các bước tải, cài đặt và cập nhật Web UI trên Windows với GPU Nvidia. Với SDUI đã sẵn sàng, chúng ta khám phá các tính năng cốt lõi như tạo ảnh từ văn bản, chỉnh sửa ảnh thành ảnh, tăng độ phân giải và hơn thế nữa. Chúng ta cũng cài các tiện ích mở rộng để tăng khả năng công cụ, dùng ControNet để điều khiển ảnh tạo ra với mô hình OpenPose.
Cuối cùng, chúng ta dùng một mô hình đã fine-tune để tạo khuôn mặt người chân thực đáng kinh ngạc. Qua phần tổng quan ngắn này, có thể thấy Web UI mở khoá tiềm năng sáng tạo vốn trước đây khó tiếp cận nếu không có kỹ năng AI và lập trình nâng cao.
Cho dự án tiếp theo, hãy thử dùng diffusers trong Python để tạo ảnh như chụp thật bằng AI. Điều này sẽ giúp bạn tự tạo giao diện và tạo ảnh dễ dàng.
