Lộ trình
Cơ bản về Trí tuệ Nhân tạo
10 giờ
Stability AI đã công bố bản xem trước sớm của Stable Diffusion 3 vào tháng 2 năm 2024. Mô hình AI này vẫn đang ở giai đoạn preview, nhưng đến tháng 4 năm 2024, nhóm phát triển thông báo sẽ cung cấp Stable Diffusion 3 và Stable Diffusion 3 Turbo trên Developer Platform API của Stability AI sau khi hợp tác với Fireworks AI, nền tảng API nhanh và đáng tin cậy nhất trên thị trường.
Lưu ý rằng Stable Diffusion 3 đơn thuần là một chuỗi mô hình AI sinh ảnh từ văn bản. Theo đội ngũ tại Stability AI, mô hình này “tương đương hoặc vượt trội” so với các trình sinh ảnh từ văn bản khác như DALL-E 3 của OpenAI và Midjourney v6 về “khả năng tạo chữ trong ảnh và tuân thủ prompt.”
Trong hướng dẫn này, bạn sẽ học các bước thực tế để bắt đầu với API nhằm tự tạo ra hình ảnh của riêng mình.
Vì sao chọn Stable Diffusion 3?
Stable Diffusion 3 giới thiệu nhiều cải tiến và tính năng giúp nó khác biệt so với các phiên bản trước và rất cạnh tranh trong mảng sinh ảnh từ văn bản – đặc biệt ở khả năng tạo chữ trong ảnh và bám sát prompt.
Hãy cùng khám phá các cải tiến này:
Tăng cường khả năng bám sát prompt
- Hiểu ngữ cảnh: Stable Diffusion 3 tích hợp các kỹ thuật xử lý ngôn ngữ tự nhiên (NLP) tiên tiến, giúp hiểu và diễn giải prompt của người dùng tốt hơn. Nhờ đó phản hồi chính xác và phù hợp ngữ cảnh hơn.
- Liên tục theo prompt: Khác với các phiên bản trước, Stable Diffusion 3 duy trì tính liên tục tốt hơn khi theo prompt, đảm bảo văn bản sinh ra mạch lạc và phù hợp với đầu vào của người dùng trong suốt cuộc đối thoại.
Cải thiện chất lượng sinh văn bản
- Mô hình ngôn ngữ được tinh chỉnh: Stable Diffusion 3 sử dụng các mô hình ngôn ngữ tinh chỉnh được huấn luyện trên tập dữ liệu lớn, giúp nâng cao khả năng sinh văn bản. Các mô hình này hiểu tốt hơn về ngữ pháp, cú pháp và ngữ nghĩa, cho phản hồi tự nhiên và mạch lạc hơn.
- Giảm độ biến thiên phản hồi: Nhờ phương pháp huấn luyện và kiến trúc mô hình được cải tiến, Stable Diffusion 3 giảm sự biến thiên phản hồi, tạo ra đầu ra ổn định và chất lượng cao hơn trên nhiều prompt và ngữ cảnh khác nhau.
Mở rộng prompt nâng cao
- Hỗ trợ hội thoại nhiều lượt: Stable Diffusion 3 xử lý hội thoại nhiều lượt hiệu quả hơn, duy trì tính mạch lạc và ngữ cảnh qua nhiều lượt trao đổi giữa người dùng và mô hình AI.
- Kỹ thuật mở rộng prompt: Mô hình áp dụng các kỹ thuật mở rộng prompt tiên tiến để tạo phản hồi giàu thông tin và phù hợp ngữ cảnh, giúp cuộc đối thoại phong phú và trả lời toàn diện hơn.
Cơ chế điều khiển tinh chỉnh
- Tinh chỉnh tham số: Stable Diffusion 3 có cơ chế điều khiển tinh chỉnh cho phép người dùng điều chỉnh các tham số như độ dài phản hồi, mức độ sáng tạo và mức liên quan chủ đề, giúp trải nghiệm tương tác tùy biến hơn.
- Giảm thiểu thiên lệch: Mô hình tích hợp các biện pháp giảm thiên lệch trong sinh văn bản, thúc đẩy sự công bằng và bao trùm trong phản hồi đối với prompt của người dùng.
Bắt đầu với Stable Diffusion 3 API
Phần này sẽ hướng dẫn từng bước để bắt đầu với Stability API.
Bước 1: Tạo tài khoản. Bạn cần tạo tài khoản trước khi có thể dùng API của Stability AI. Bạn có thể đăng ký bằng tên người dùng và mật khẩu, nhưng người dùng mới sẽ nhận 25 tín dụng miễn phí nếu đăng ký bằng tài khoản Google.
Bước 2: Nhận khóa API. Sau khi tạo tài khoản, bạn sẽ cần một khóa API. Bạn có thể tìm thấy trên trang API Keys. Trong tài liệu, Stability AI nêu rằng “Tất cả API được ghi trong trang này dùng chung cơ chế xác thực: truyền API key qua header Authorization.”
Bước 3: Nạp thêm tín dụng. Bạn phải có tín dụng để gọi API. Tín dụng là đơn vị được tiêu thụ khi gọi API – lượng tiêu thụ thay đổi theo mô hình và phương thức. Sau khi dùng hết tín dụng, bạn có thể mua thêm qua bảng điều khiển Billing với giá 1 USD cho mỗi 100 tín dụng.
Trong hướng dẫn này, chúng tôi sẽ dùng Google Colab và ComfyUI để minh họa cách tạo ảnh bằng Stable Diffusion 3 API. Ở phần tiếp theo, chúng ta sẽ đi qua các bước bắt đầu với từng công cụ.
Sử dụng Stable Diffusion 3 API với Google Colab
Để bắt đầu với Google Colab, bạn cần tạo một tài khoản Google – hãy nhấp vào liên kết và làm theo hướng dẫn.
Nếu bạn đã có tài khoản Google, hãy mở một notebook mới và làm theo các bước dưới đây.
Lưu ý: Mã dùng trong ví dụ này được lấy từ hướng dẫn SD3_API của Stability AI.
Bước 1: Cài đặt các yêu cầu.
from io import BytesIO
import IPython
import json
import os
from PIL import Image
import requests
import time
from google.colab import outputBước 2: Kết nối với Stability API.
import getpass
# To get your API key, visit https://platform.stability.ai/account/keys
STABILITY_KEY = getpass.getpass('Enter your API Key')Bước 3. Định nghĩa hàm
def send_generation_request(
host,
params,
):
headers = {
"Accept": "image/*",
"Authorization": f"Bearer {STABILITY_KEY}"
}
# Encode parameters
files = {}
image = params.pop("image", None)
mask = params.pop("mask", None)
if image is not None and image != '':
files["image"] = open(image, 'rb')
if mask is not None and mask != '':
files["mask"] = open(mask, 'rb')
if len(files)==0:
files["none"] = ''
# Send request
print(f"Sending REST request to {host}...")
response = requests.post(
host,
headers=headers,
files=files,
data=params
)
if not response.ok:
raise Exception(f"HTTP {response.status_code}: {response.text}")
return responseBước 4. Tạo ảnh.
Theo tài liệu, dịch vụ Stable Image hiện chỉ có một gói đang chạy sản xuất:
- SD3: dùng 6.5 tín dụng
- SD3 Turbo: dùng 4 tín dụng
Hãy thử chúng.
Trong ví dụ này, chúng ta sẽ tạo một bức ảnh chim Toucan ở vùng nhiệt đới đồng bằng.
# SD3
prompt = "This dreamlike digital art captures a vibrant, Toucan bird in a lowland tropic area" #@param {type:"string"}
negative_prompt = "" #@param {type:"string"}
aspect_ratio = "1:1" #@param ["21:9", "16:9", "3:2", "5:4", "1:1", "4:5", "2:3", "9:16", "9:21"]
seed = 0 #@param {type:"integer"}
output_format = "jpeg" #@param ["jpeg", "png"]
host = f"https://api.stability.ai/v2beta/stable-image/generate/sd3"
params = {
"prompt" : prompt,
"negative_prompt" : negative_prompt,
"aspect_ratio" : aspect_ratio,
"seed" : seed,
"output_format" : output_format,
"model" : "sd3",
"mode" : "text-to-image"
}
response = send_generation_request(
host,
params
)
# Decode response
output_image = response.content
finish_reason = response.headers.get("finish-reason")
seed = response.headers.get("seed")
# Check for NSFW classification
if finish_reason == 'CONTENT_FILTERED':
raise Warning("Generation failed NSFW classifier")
# Save and display result
generated = f"generated_{seed}.{output_format}"
with open(generated, "wb") as f:
f.write(output_image)
print(f"Saved image {generated}")
output.no_vertical_scroll()
print("Result image:")
IPython.display.display(Image.open(generated))Đây là kết quả tạo được:
Ảnh do tác giả tạo bằng Stable Diffusion 3
Giờ hãy tạo một bức ảnh chiếc xe làm từ trái cây bằng SD3 Turbo:
#SD3 Turbo
prompt = "A car made out of fruits." #@param {type:"string"}
aspect_ratio = "1:1" #@param ["21:9", "16:9", "3:2", "5:4", "1:1", "4:5", "2:3", "9:16", "9:21"]
seed = 0 #@param {type:"integer"}
output_format = "jpeg" #@param ["jpeg", "png"]
host = f"https://api.stability.ai/v2beta/stable-image/generate/sd3"
params = {
"prompt" : prompt,
"aspect_ratio" : aspect_ratio,
"seed" : seed,
"output_format" : output_format,
"model" : "sd3-turbo"
}
response = send_generation_request(
host,
params
)
# Decode response
output_image = response.content
finish_reason = response.headers.get("finish-reason")
seed = response.headers.get("seed")
# Check for NSFW classification
if finish_reason == 'CONTENT_FILTERED':
raise Warning("Generation failed NSFW classifier")
# Save and display result
generated = f"generated_{seed}.{output_format}"
with open(generated, "wb") as f:
f.write(output_image)
print(f"Saved image {generated}")
output.no_vertical_scroll()
print("Result image:")
IPython.display.display(Image.open(generated))Chạy đoạn mã này tạo ra hình ảnh sau:
Ảnh do tác giả tạo bằng Stable Diffusion 3 Turbo
Sử dụng API với ComfyUI
ComfyUI là một giao diện đồ họa (GUI) mạnh mẽ và linh hoạt cho stable diffusion. Nó có giao diện dạng đồ thị và thiết kế theo sơ đồ luồng, cho phép người dùng tạo và chạy các quy trình stable diffusion phức tạp.
Yêu cầu hệ thống:
- Card đồ họa (GPU): Một GPU NVIDIA đủ mạnh với tối thiểu 8GB VRAM, như RTX 3060 Ti hoặc tốt hơn.
- Bộ xử lý trung tâm (CPU): Vi xử lý hiện đại như Intel Xeon E5, i5, Ryzen 5 hoặc cao hơn.
- Bộ nhớ truy cập ngẫu nhiên (RAM): 16GB trở lên.
- Hệ điều hành: Windows 10/11 hoặc Linux.
- Không gian lưu trữ đủ trên máy tính cho mô hình và ảnh tạo ra.
Bước 1: Cài đặt ComfyUI
Cách đơn giản nhất để cài đặt ComfyUI trên Windows là dùng trình cài đặt độc lập có trên trang phát hành. Bộ cài này bao gồm các phụ thuộc thiết yếu như PyTorch và Hugging Face Transformers, loại bỏ nhu cầu cài đặt riêng lẻ.
Nó cung cấp gói trọn vẹn, giúp thiết lập ComfyUI nhanh chóng trên Windows mà không cần cấu hình phức tạp.
Chỉ cần tải về, giải nén, thêm mô hình và khởi chạy!
Bước 1.1: Tải phiên bản độc lập của ComfyUI từ kho GitHub này – nhấp vào liên kết sẽ bắt đầu tải xuống.
Bước 1.2: Sau khi tải file comfyui-windows.zip mới nhất, hãy giải nén bằng công cụ như 7-Zip hoặc WinRAR.
Bước 1.3: Bạn cần một mô hình checkpoint để bắt đầu dùng ComfyUI. Có thể tải mô hình checkpoint từ Stable Diffusion hoặc Hugging Face. Đặt mô hình vào thư mục:
ComfyUI_windows_portable\ComfyUI\models\checkpointsBước 1.4: Giờ chỉ cần chạy run_nvidia_gpu.bat (khuyến nghị) hoặc run_cpu.bat. ComfyUI sẽ tự động khởi chạy trên trình duyệt của bạn.
Dòng lệnh sẽ chạy và tạo ra một URL http://127.0.0.1:8188/ mà bạn có thể mở trong trình duyệt.
Bước 2: Cài đặt ComfyUI Manager
Trong ứng dụng File Explorer, tìm thư mục bạn vừa cài. Vì bạn dùng Windows, thư mục có thể tên là “ComfyUI_windows_portable.” Từ đây, điều hướng đến ComfyUI, rồi custom_nodes. Tại vị trí này, gõ cmd vào thanh địa chỉ và nhấn Enter.
Một cửa sổ dòng lệnh sẽ mở ra, bạn cần nhập lệnh sau:
git clone https://github.com/ltdrdata/ComfyUI-ManagerKhi hoàn tất, hãy khởi động lại ComfyUI. Nút “Manager” mới sẽ xuất hiện trên bảng nổi.
Bước 3: Cài đặt node Stability AI API
Chọn nút Manage và đi đến “Install Custom Nodes.” Tại đây, tìm “stability API.”
Tìm node "Stability API nodes for ComfyUI", sau đó nhấp nút Install ở bên phải để bắt đầu cài đặt. Tiếp theo, nút “Restart” sẽ hiện ra. Nhấp “Restart” để khởi động lại ComfyUI.
Bước 4: Thiết lập khóa API ở cấp hệ thống
Bước này là tùy chọn nhưng được khuyến nghị. Cụ thể, bạn có thể đặt khóa Stability AI API cho mỗi node trong custom node của Stability AI. Việc này giúp bạn không phải nhập lại khóa API ở mọi workflow và giảm rủi ro vô tình chia sẻ khóa khi chia sẻ file JSON workflow.
Để thực hiện, điều hướng đến thư mục custom node:
ComfyUI_windows_portable > ComfyUI > custom_nodes > ComfyUI-SAI_API. Tạo một file mới tên sai_platform_key.txt. Dán API Key của bạn vào file, lưu lại rồi khởi động lại ComfyUI.
Bước 5: Tải và chạy workflow
Cài đặt workflow text-to-image của Stable Diffusion 3 và thả vào ComfyUI.
Giờ thì bạn đã sẵn sàng!
Khắc phục sự cố và Mẹo
Cũng như bất kỳ công cụ nào, bạn có thể gặp một vài trục trặc. Dưới đây là những thách thức phổ biến và các bước khắc phục dành cho người dùng gặp vấn đề với API hoặc quá trình thiết lập.
Vấn đề về khóa API và xác thực
Thách thức: Người dùng có thể gặp lỗi xác thực khi truy cập API do khóa API không chính xác hoặc thông tin xác thực sai.
Khắc phục: Kiểm tra kỹ khóa API và đảm bảo sao chép dán chính xác. Xác minh không có khoảng trắng hoặc ký tự thừa. Đảm bảo khóa API được máy chủ Stable Diffusion 3 xác thực đúng cách.
Sự cố quản lý tín dụng
Thách thức: Người dùng có thể gặp các vấn đề liên quan đến quản lý tín dụng, như không đủ tín dụng hoặc lỗi thanh toán.
Khắc phục: Kiểm tra số dư tín dụng trong bảng điều khiển Stable Diffusion 3 để đảm bảo bạn còn đủ tín dụng. Xác minh thông tin thanh toán và xử lý mọi lỗi hoặc sai lệch về thanh toán với đội ngũ hỗ trợ.
Sự cố kết nối và mạng
Thách thức: Người dùng có thể gặp sự cố kết nối hoặc gián đoạn mạng khiến không thể truy cập API.
Khắc phục: Đảm bảo kết nối internet ổn định và không có gián đoạn mạng. Hãy thử truy cập API từ mạng hoặc thiết bị khác để cô lập vấn đề. Liên hệ nhà cung cấp dịch vụ internet nếu tình trạng kết nối kém vẫn tiếp diễn.
Lỗi tương thích và phụ thuộc
Thách thức: Người dùng có thể gặp vấn đề tương thích hoặc lỗi phụ thuộc khi cài đặt hay sử dụng các công cụ và thư viện cần thiết.
Khắc phục: Kiểm tra yêu cầu tương thích của Stable Diffusion 3 API và đảm bảo bạn dùng phiên bản công cụ, thư viện phù hợp. Cập nhật hoặc cài lại các phụ thuộc gây lỗi. Tham khảo tài liệu và diễn đàn cộng đồng để được hướng dẫn khắc phục.
Hiệu năng và thời gian phản hồi
Thách thức: Người dùng có thể gặp thời gian phản hồi chậm hoặc vấn đề hiệu năng khi tương tác với API, đặc biệt vào giờ cao điểm.
Khắc phục: Theo dõi hiệu năng API và ghi nhận thời gian phản hồi để nhận diện mẫu hình. Cân nhắc nâng cấp lên gói thuê bao cao hơn để có hiệu năng tốt và quyền truy cập ưu tiên. Liên hệ đội ngũ hỗ trợ nếu bạn thường xuyên gặp tình trạng phản hồi chậm.
Tài liệu và hỗ trợ
Thách thức: Người dùng có thể gặp khó khăn khi hiểu tài liệu API hoặc cần trợ giúp khắc phục sự cố cụ thể.
Khắc phục: Để được hướng dẫn về cách dùng API, khắc phục sự cố và thực hành tốt, hãy tham khảo tài liệu của Stable Diffusion 3. Nếu vẫn còn vấn đề hoặc câu hỏi, hãy liên hệ đội ngũ hỗ trợ hoặc diễn đàn cộng đồng.
Kết luận
Stable Diffusion 3 là một chuỗi mô hình AI sinh ảnh từ văn bản. Bài viết đã trình bày các bước thực tế để bắt đầu dùng API với Google Colab và ComfyUI. Giờ đây bạn đã có kỹ năng để tạo ảnh của riêng mình; hãy áp dụng những gì học được càng sớm càng tốt để không quên.
Cảm ơn bạn đã đọc!
Học thêm
Những thực hành tốt để sử dụng Stable Diffusion 3 API hiệu quả là gì?
Stable Diffusion 3 là gì?
Stable Diffusion hoạt động như thế nào?
Chủ đề
