Khóa học
Fine-Tuning với Llama 3
2 giờ
4.1K
Trong hướng dẫn này, chúng ta sẽ tinh chỉnh mô hình DeepSeek-R1-Distill-Llama-8B trên bộ dữ liệu Medical Chain-of-Thought từ Hugging Face. Mô hình DeepSeek-R1 chưng cất này được tạo ra bằng cách tinh chỉnh mô hình Llama 3.1 8B trên dữ liệu được tạo từ DeepSeek-R1. Nó thể hiện năng lực lý luận tương tự mô hình gốc.
Nếu bạn mới làm quen với LLM và tinh chỉnh, tôi rất khuyến nghị bạn học khóa Giới thiệu về LLM trong Python. Bạn cũng có thể xem hướng dẫn của chúng tôi về Tinh chỉnh DeepSeek R1-0528 trên RTX 4090.
Hình: Tác giả
Giới thiệu DeepSeek R1
Công ty AI Trung Quốc DeepSeek AI đã mở mã nguồn các mô hình lý luận thế hệ đầu tiên, DeepSeek-R1 và DeepSeek-R1-Zero, có hiệu năng sánh ngang OpenAI o1 trên các tác vụ lý luận như toán, lập trình và logic. Bạn có thể đọc hướng dẫn đầy đủ về DeepSeek R1 để tìm hiểu thêm.
DeepSeek-R1-Zero
DeepSeek-R1-Zero là mô hình mã nguồn mở đầu tiên được huấn luyện hoàn toàn bằng học tăng cường (RL) quy mô lớn thay vì tinh chỉnh có giám sát (SFT) như một bước khởi đầu. Cách tiếp cận này cho phép mô hình tự khám phá lập luận theo chuỗi suy nghĩ (CoT), giải quyết bài toán phức tạp và cải thiện kết quả đầu ra qua từng vòng lặp. Tuy nhiên, nó gặp thách thức như bước lập luận lặp lại, khó đọc và lẫn ngôn ngữ, ảnh hưởng đến độ rõ ràng và khả năng sử dụng.
DeepSeek-R1
DeepSeek-R1 được giới thiệu để khắc phục các hạn chế của DeepSeek-R1-Zero bằng cách đưa dữ liệu khởi động lạnh vào trước bước học tăng cường, cung cấp nền tảng vững chắc cho cả tác vụ có và không có lý luận.
Quy trình huấn luyện nhiều giai đoạn này giúp mô hình đạt hiệu năng dẫn đầu, tương đương OpenAI-o1, trên các chuẩn đánh giá toán, mã và lý luận, đồng thời cải thiện độ dễ đọc và mạch lạc của đầu ra.
Chưng cất DeepSeek
Bên cạnh các mô hình ngôn ngữ lớn đòi hỏi nhiều tài nguyên tính toán và bộ nhớ, DeepSeek cũng giới thiệu các mô hình chưng cất. Những mô hình nhỏ hơn, hiệu quả hơn này đã cho thấy vẫn có thể đạt năng lực lý luận ấn tượng.
Với quy mô từ 1.5B đến 70B tham số, các mô hình này giữ vững năng lực lý luận, trong đó DeepSeek-R1-Distill-Qwen-32B vượt OpenAI-o1-mini trên nhiều thang đo.
Các mô hình nhỏ kế thừa mẫu lập luận của mô hình lớn, thể hiện hiệu quả của quy trình chưng cất.
Nguồn: deepseek-ai/DeepSeek-R1
Đọc bài blog DeepSeek-R1: Tính năng, So sánh với o1, Mô hình Chưng cất & hơn thế nữa để tìm hiểu về các tính năng chính, quy trình phát triển, mô hình chưng cất, quyền truy cập, giá và so sánh với OpenAI o1.
Tinh chỉnh DeepSeek R1: Hướng dẫn từng bước
Để tinh chỉnh mô hình DeepSeek R1, bạn có thể làm theo các bước dưới đây:
1. Thiết lập môi trường
Trong dự án này, chúng tôi dùng Kaggle làm Cloud IDE vì cung cấp GPU miễn phí, thường mạnh hơn so với Google Colab. Để bắt đầu, hãy mở một notebook Kaggle mới và thêm token Hugging Face cùng token Weights & Biases của bạn dưới dạng secrets.
Bạn có thể thêm secrets bằng cách vào thẻ Add-ons trong giao diện notebook Kaggle và chọn mục Secrets.
Sau khi thiết lập secrets, hãy cài gói Python unsloth. Unsloth là một framework mã nguồn mở giúp tinh chỉnh các mô hình ngôn ngữ lớn (LLM) nhanh gấp 2 lần và tiết kiệm bộ nhớ hơn.
Đọc Hướng dẫn Unsloth: Tối ưu và tăng tốc tinh chỉnh LLM để tìm hiểu về các tính năng chính, các hàm và cách tối ưu quy trình tinh chỉnh với Unsloth.
%%capture
!pip install unsloth
!pip install --force-reinstall --no-cache-dir --no-deps git+https://github.com/unslothai/unsloth.gitĐăng nhập Hugging Face CLI bằng API Hugging Face mà chúng ta đã lấy an toàn từ Kaggle Secrets.
from huggingface_hub import login
from kaggle_secrets import UserSecretsClient
user_secrets = UserSecretsClient()
hf_token = user_secrets.get_secret("HUGGINGFACE_TOKEN")
login(hf_token)Đăng nhập Weights & Biases (wandb) bằng API key của bạn và tạo một dự án mới để theo dõi thí nghiệm và tiến trình tinh chỉnh.
import wandb
wb_token = user_secrets.get_secret("wandb")
wandb.login(key=wb_token)
run = wandb.init(
project='Fine-tune-DeepSeek-R1-Distill-Llama-8B on Medical COT Dataset',
job_type="training",
anonymous="allow"
)2. Tải mô hình và tokenizer
Trong dự án này, chúng tôi sẽ tải phiên bản Unsloth của DeepSeek-R1-Distill-Llama-8B. Ngoài ra, chúng ta sẽ tải mô hình ở định lượng 4-bit để tối ưu bộ nhớ và hiệu năng.
from unsloth import FastLanguageModel
max_seq_length = 2048
dtype = None
load_in_4bit = True
model, tokenizer = FastLanguageModel.from_pretrained(
model_name = "unsloth/DeepSeek-R1-Distill-Llama-8B",
max_seq_length = max_seq_length,
dtype = dtype,
load_in_4bit = load_in_4bit,
token = hf_token,
)3. Suy luận mô hình trước khi tinh chỉnh
Để tạo phong cách prompt cho mô hình, chúng ta sẽ định nghĩa một system prompt và chèn các placeholder cho câu hỏi và phần sinh phản hồi. Prompt sẽ dẫn dắt mô hình suy nghĩ từng bước và đưa ra câu trả lời logic, chính xác.
prompt_style = """Below is an instruction that describes a task, paired with an input that provides further context.
Write a response that appropriately completes the request.
Before answering, think carefully about the question and create a step-by-step chain of thoughts to ensure a logical and accurate response.
### Instruction:
You are a medical expert with advanced knowledge in clinical reasoning, diagnostics, and treatment planning.
Please answer the following medical question.
### Question:
{}
### Response:
<think>{}"""Trong ví dụ này, chúng ta sẽ cung cấp một câu hỏi y khoa cho prompt_style, chuyển đổi thành tokens, rồi truyền tokens vào mô hình để sinh phản hồi.
question = "A 61-year-old woman with a long history of involuntary urine loss during activities like coughing or sneezing but no leakage at night undergoes a gynecological exam and Q-tip test. Based on these findings, what would cystometry most likely reveal about her residual volume and detrusor contractions?"
FastLanguageModel.for_inference(model)
inputs = tokenizer([prompt_style.format(question, "")], return_tensors="pt").to("cuda")
outputs = model.generate(
input_ids=inputs.input_ids,
attention_mask=inputs.attention_mask,
max_new_tokens=1200,
use_cache=True,
)
response = tokenizer.batch_decode(outputs)
print(response[0].split("### Response:")[1])Ngay cả khi chưa tinh chỉnh, mô hình của chúng ta đã sinh được chuỗi suy nghĩ và đưa ra lập luận trước khi trả lời cuối cùng. Quá trình lập luận được bao trong thẻ <think></think>.
Vậy tại sao vẫn cần tinh chỉnh? Quá trình lý luận tuy chi tiết nhưng dài dòng và chưa súc tích. Ngoài ra, câu trả lời cuối cùng được trình bày dạng gạch đầu dòng, khác với cấu trúc và phong cách của bộ dữ liệu mà chúng ta muốn tinh chỉnh.
<think>
Okay, so I have this medical question to answer. Let me try to break it down. The patient is a 61-year-old woman with a history of involuntary urine loss during activities like coughing or sneezing, but she doesn't leak at night. She's had a gynecological exam and a Q-tip test. I need to figure out what cystometry would show regarding her residual volume and detrusor contractions.
First, I should recall what I know about urinary incontinence. Involuntary urine loss during activities like coughing or sneezing makes me think of stress urinary incontinence. Stress incontinence typically happens when the urethral sphincter isn't strong enough to resist increased abdominal pressure from activities like coughing, laughing, or sneezing. This usually affects women, especially after childbirth when the pelvic muscles and ligaments are weakened.
The Q-tip test is a common diagnostic tool for stress urinary incontinence. The test involves inserting a Q-tip catheter, which is a small balloon catheter, into the urethra. The catheter is connected to a pressure gauge. The patient is asked to cough, and the pressure reading is taken. If the pressure is above normal (like above 100 mmHg), it suggests that the urethral sphincter isn't closing properly, which is a sign of stress incontinence.
So, based on the history and the Q-tip test, the diagnosis is likely stress urinary incontinence. Now, moving on to what cystometry would show. Cystometry, also known as a filling cystometry, is a diagnostic procedure where a catheter is inserted into the bladder, and the bladder is filled with a liquid to measure how much it can hold (residual volume) and how it responds to being filled (like during a cough or sneeze). This helps in assessing the capacity and compliance of the bladder.
In a patient with stress incontinence, the bladder's capacity might be normal, but the sphincter's function is impaired. So, during the cystometry, the residual volume might be within normal limits because the bladder isn't overfilled. However, when the patient is asked to cough or perform a Valsalva maneuver, the detrusor muscle (the smooth muscle layer of the bladder) might not contract effectively, leading to an increase in intra-abdominal pressure, which might cause leakage.
Wait, but detrusor contractions are usually associated with voiding. In stress incontinence, the issue isn't with the detrusor contractions but with the sphincter's inability to prevent leakage. So, during cystometry, the detrusor contractions would be normal because they are part of the normal voiding process. However, the problem is that the sphincter doesn't close properly, leading to leakage.
So, putting it all together, the residual volume might be normal, but the detrusor contractions would be normal as well. The key finding would be the impaired sphincter function leading to incontinence, which is typically demonstrated during the Q-tip test and clinical history. Therefore, the cystometry would likely show normal residual volume and normal detrusor contractions, but the underlying issue is the sphincter's inability to prevent leakage.
</think>
Based on the provided information, the cystometry findings in this 61-year-old woman with stress urinary incontinence would likely demonstrate the following:
1. **Residual Volume**: The residual volume would be within normal limits. This is because the bladder's capacity is typically normal in cases of stress incontinence, where the primary issue lies with the sphincter function rather than the bladder's capacity.
2. **Detrusor Contractions**: The detrusor contractions would also be normal. These contractions are part of the normal voiding process and are not impaired in stress urinary incontinence. The issue is not with the detrusor muscle but with the sphincter's inability to prevent leakage.
In summary, the key findings of the cystometry would be normal residual volume and normal detrusor contractions, highlighting the sphincteric defect as the underlying cause of the incontinence.<｜end▁of▁sentence｜>4. Tải và xử lý bộ dữ liệu
Chúng ta sẽ thay đổi nhẹ phong cách prompt khi xử lý bộ dữ liệu bằng cách thêm placeholder thứ ba cho cột chuỗi suy nghĩ phức tạp.
train_prompt_style = """Below is an instruction that describes a task, paired with an input that provides further context.
Write a response that appropriately completes the request.
Before answering, think carefully about the question and create a step-by-step chain of thoughts to ensure a logical and accurate response.
### Instruction:
You are a medical expert with advanced knowledge in clinical reasoning, diagnostics, and treatment planning.
Please answer the following medical question.
### Question:
{}
### Response:
<think>
{}
</think>
{}"""Viết hàm Python để tạo cột "text" trong bộ dữ liệu, bao gồm phong cách prompt huấn luyện. Điền các placeholder bằng câu hỏi, chuỗi suy nghĩ và câu trả lời.
EOS_TOKEN = tokenizer.eos_token # Must add EOS_TOKEN
def formatting_prompts_func(examples):
inputs = examples["Question"]
cots = examples["Complex_CoT"]
outputs = examples["Response"]
texts = []
for input, cot, output in zip(inputs, cots, outputs):
text = train_prompt_style.format(input, cot, output) + EOS_TOKEN
texts.append(text)
return {
"text": texts,
}Chúng ta sẽ tải 500 mẫu đầu tiên từ bộ dữ liệu FreedomIntelligence/medical-o1-reasoning-SFT có trên Hugging Face hub. Sau đó, chúng ta sẽ ánh xạ cột text bằng hàm formatting_prompts_func.
from datasets import load_dataset
dataset = load_dataset("FreedomIntelligence/medical-o1-reasoning-SFT","en", split = "train[0:500]",trust_remote_code=True)
dataset = dataset.map(formatting_prompts_func, batched = True,)
dataset["text"][0]Như ta thấy, cột text có system prompt, hướng dẫn, chuỗi suy nghĩ và câu trả lời.
"Below is an instruction that describes a task, paired with an input that provides further context. \nWrite a response that appropriately completes the request. \nBefore answering, think carefully about the question and create a step-by-step chain of thoughts to ensure a logical and accurate response.\n\n### Instruction:\nYou are a medical expert with advanced knowledge in clinical reasoning, diagnostics, and treatment planning. \nPlease answer the following medical question. \n\n### Question:\nA 61-year-old woman with a long history of involuntary urine loss during activities like coughing or sneezing but no leakage at night undergoes a gynecological exam and Q-tip test. Based on these findings, what would cystometry most likely reveal about her residual volume and detrusor contractions?\n\n### Response:\n<think>\nOkay, let's think about this step by step. There's a 61-year-old woman here who's been dealing with involuntary urine leakages whenever she's doing something that ups her abdominal pressure like coughing or sneezing. This sounds a lot like stress urinary incontinence to me. Now, it's interesting that she doesn't have any issues at night; she isn't experiencing leakage while sleeping. This likely means her bladder's ability to hold urine is fine when she isn't under physical stress. Hmm, that's a clue that we're dealing with something related to pressure rather than a bladder muscle problem. \n\nThe fact that she underwent a Q-tip test is intriguing too. This test is usually done to assess urethral mobility. In stress incontinence, a Q-tip might move significantly, showing urethral hypermobility. This kind of movement often means there's a weakness in the support structures that should help keep the urethra closed during increases in abdominal pressure. So, that's aligning well with stress incontinence.\n\nNow, let's think about what would happen during cystometry. Since stress incontinence isn't usually about sudden bladder contractions, I wouldn't expect to see involuntary detrusor contractions during this test. Her bladder isn't spasming or anything; it's more about the support structure failing under stress. Plus, she likely empties her bladder completely because stress incontinence doesn't typically involve incomplete emptying. So, her residual volume should be pretty normal. \n\nAll in all, it seems like if they do a cystometry on her, it will likely show a normal residual volume and no involuntary contractions. Yup, I think that makes sense given her symptoms and the typical presentations of stress urinary incontinence.\n</think>\nCystometry in this case of stress urinary incontinence would most likely reveal a normal post-void residual volume, as stress incontinence typically does not involve issues with bladder emptying. Additionally, since stress urinary incontinence is primarily related to physical exertion and not an overactive bladder, you would not expect to see any involuntary detrusor contractions during the test.<｜end▁of▁sentence｜>"5. Thiết lập mô hình
Sử dụng các mô-đun mục tiêu, chúng ta sẽ thiết lập mô hình bằng cách thêm bộ thích ứng hạng thấp (low-rank adapter) vào mô hình.
model = FastLanguageModel.get_peft_model(
model,
r=16,
target_modules=[
"q_proj",
"k_proj",
"v_proj",
"o_proj",
"gate_proj",
"up_proj",
"down_proj",
],
lora_alpha=16,
lora_dropout=0,
bias="none",
use_gradient_checkpointing="unsloth", # True or "unsloth" for very long context
random_state=3407,
use_rslora=False,
loftq_config=None,
)Tiếp theo, chúng ta sẽ thiết lập tham số huấn luyện và trainer bằng cách cung cấp mô hình, tokenizer, bộ dữ liệu và các tham số quan trọng khác để tối ưu quá trình tinh chỉnh.
from trl import SFTTrainer
from transformers import TrainingArguments
from unsloth import is_bfloat16_supported
trainer = SFTTrainer(
model=model,
tokenizer=tokenizer,
train_dataset=dataset,
dataset_text_field="text",
max_seq_length=max_seq_length,
dataset_num_proc=2,
args=TrainingArguments(
per_device_train_batch_size=2,
gradient_accumulation_steps=4,
# Use num_train_epochs = 1, warmup_ratio for full training runs!
warmup_steps=5,
max_steps=60,
learning_rate=2e-4,
fp16=not is_bfloat16_supported(),
bf16=is_bfloat16_supported(),
logging_steps=10,
optim="adamw_8bit",
weight_decay=0.01,
lr_scheduler_type="linear",
seed=3407,
output_dir="outputs",
),
)6. Huấn luyện mô hình
Chạy lệnh sau để bắt đầu huấn luyện.
trainer_stats = trainer.train()Quá trình huấn luyện mất 44 phút. Training loss giảm dần, là tín hiệu tốt cho hiệu năng mô hình.
Bạn có thể xem đầy đủ báo cáo đánh giá mô hình trên bảng điều khiển Weights & Biases bằng cách đăng nhập trang web và xem dự án.
Nếu bạn gặp sự cố khi chạy mã trên, vui lòng tham khảo notebook Kaggle Tinh chỉnh DeepSeek R1 (Mô hình Lý luận).
7. Suy luận mô hình sau khi tinh chỉnh
Để so sánh kết quả, chúng ta sẽ hỏi mô hình đã tinh chỉnh cùng câu hỏi như trước để xem có gì thay đổi.
question = "A 61-year-old woman with a long history of involuntary urine loss during activities like coughing or sneezing but no leakage at night undergoes a gynecological exam and Q-tip test. Based on these findings, what would cystometry most likely reveal about her residual volume and detrusor contractions?"
FastLanguageModel.for_inference(model) # Unsloth has 2x faster inference!
inputs = tokenizer([prompt_style.format(question, "")], return_tensors="pt").to("cuda")
outputs = model.generate(
input_ids=inputs.input_ids,
attention_mask=inputs.attention_mask,
max_new_tokens=1200,
use_cache=True,
)
response = tokenizer.batch_decode(outputs)
print(response[0].split("### Response:")[1])
Kết quả tốt hơn và chính xác hơn. Chuỗi suy nghĩ đi thẳng vấn đề, câu trả lời rõ ràng trong một đoạn. Tinh chỉnh đã thành công.
<think>
Okay, so let's think about this. We have a 61-year-old woman who's been dealing with involuntary urine loss during things like coughing or sneezing, but she's not leaking at night. That suggests she might have some kind of problem with her pelvic floor muscles or maybe her bladder.
Now, she's got a gynecological exam and a Q-tip test. Let's break that down. The Q-tip test is usually used to check for urethral obstruction. If it's positive, that means there's something blocking the urethra, like a urethral stricture or something else.
Given that she's had a positive Q-tip test, it's likely there's a urethral obstruction. That would mean her urethra is narrow, maybe due to a stricture or some kind of narrowing. So, her bladder can't empty properly during activities like coughing because the urethral obstruction is making it hard.
Now, let's think about what happens when her bladder can't empty. If there's a urethral obstruction, the bladder is forced to hold more urine, increasing the residual volume. That's because her bladder doesn't empty completely. So, her residual volume is probably increased.
Also, if her bladder can't empty properly, she might have increased detrusor contractions. These contractions are usually stronger to push the urine out. So, we expect her detrusor contractions to be increased.
Putting it all together, if she has a urethral obstruction and a positive Q-tip test, we'd expect her cystometry results to show increased residual volume and increased detrusor contractions. That makes sense because of the obstruction and how her bladder is trying to compensate by contracting more.
</think>
Based on the findings of the gynecological exam and the positive Q-tip test, it is most likely that the cystometry would reveal increased residual volume and increased detrusor contractions. The positive Q-tip test indicates urethral obstruction, which would force the bladder to retain more urine, thereby increasing the residual volume. Additionally, the obstruction can lead to increased detrusor contractions as the bladder tries to compensate by contracting more to expel the urine.<｜end▁of▁sentence｜>
8. Lưu mô hình cục bộ
Bây giờ, hãy lưu adapter, mô hình đầy đủ và tokenizer về máy để chúng ta có thể dùng trong các dự án khác.
new_model_local = "DeepSeek-R1-Medical-COT"
model.save_pretrained(new_model_local)
tokenizer.save_pretrained(new_model_local)
model.save_pretrained_merged(new_model_local, tokenizer, save_method = "merged_16bit",)
9. Đẩy mô hình lên Hugging Face Hub
Chúng ta cũng sẽ đẩy adapter, tokenizer và mô hình lên Hugging Face Hub để cộng đồng AI có thể tận dụng mô hình này và tích hợp vào hệ thống của họ.
new_model_online = "kingabzpro/DeepSeek-R1-Medical-COT"
model.push_to_hub(new_model_online)
tokenizer.push_to_hub(new_model_online)
model.push_to_hub_merged(new_model_online, tokenizer, save_method = "merged_16bit")
Nguồn: kingabzpro/DeepSeek-R1-Medical-COT · Hugging Face
Bước tiếp theo trong lộ trình học của bạn là phục vụ và triển khai mô hình lên đám mây. Bạn có thể làm theo hướng dẫn Cách triển khai LLM với BentoML, cung cấp quy trình từng bước để triển khai các mô hình ngôn ngữ lớn hiệu quả và tiết kiệm chi phí bằng BentoML và các công cụ như vLLM.
Ngoài ra, nếu bạn muốn dùng mô hình cục bộ, bạn có thể chuyển sang định dạng GGUF và chạy trên máy của mình. Để thực hiện, hãy xem hướng dẫn Tinh chỉnh Llama 3.2 và sử dụng cục bộ, trong đó có hướng dẫn chi tiết cho việc sử dụng tại chỗ.
Kết luận
Lĩnh vực AI đang thay đổi nhanh chóng. Cộng đồng mã nguồn mở đang vươn lên, thách thức sự thống trị của các mô hình độc quyền vốn chi phối bức tranh AI suốt ba năm qua.
Các mô hình ngôn ngữ lớn (LLM) mã nguồn mở ngày càng tốt hơn, nhanh hơn và hiệu quả hơn, giúp việc tinh chỉnh trên tài nguyên tính toán và bộ nhớ hạn chế trở nên dễ dàng hơn bao giờ hết.
Trong hướng dẫn này, chúng ta đã khám phá mô hình lý luận DeepSeek R1 và học cách tinh chỉnh phiên bản chưng cất của nó cho tác vụ H&Đ y khoa. Một mô hình lý luận đã tinh chỉnh không chỉ nâng cao hiệu năng mà còn mở ra ứng dụng trong các lĩnh vực trọng yếu như y học, dịch vụ khẩn cấp và chăm sóc sức khỏe.
Để đối trọng với DeepSeek R1, OpenAI đã giới thiệu hai công cụ mạnh: o3 của OpenAI, một mô hình lý luận tiên tiến hơn, và tác nhân Operator của OpenAI, được vận hành bởi mô hình Computer-Using Agent (CUA) mới, có thể tự động điều hướng website và thực hiện tác vụ.
