Triển khai DeepSeek R1 trên Databricks: Hướng dẫn từng bước

Đăng ký mô hình DeepSeek R1 trên Databricks

Bước tiếp theo là đăng ký mô hình. 

• Khi workspace đã được tạo, nhấp nút “+ New” và chọn notebook để mở.

• Tạo một ô Jupyter và chạy đoạn mã sau:

1. Cài đặt các gói Python cần thiết:

%%capture
!pip install torch transformers mlflow accelerate torchvision
%restart_pythonĐược hỗ trợ bởi

2. Tải tokenizer, cấu hình và mô hình từ kho Hugging Face:

import pandas as pd
import mlflow
import mlflow.transformers
import torch
from mlflow.models.signature import infer_signature
from transformers import AutoModelForCausalLM, AutoTokenizer, AutoConfig, pipeline


# Specify the model from HuggingFace transformers
model_name = "deepseek-ai/DeepSeek-R1-Distill-Llama-8B"


# Load tokenizer and model
tokenizer = AutoTokenizer.from_pretrained(model_name)
config = AutoConfig.from_pretrained(model_name)


model = AutoModelForCausalLM.from_pretrained(
    model_name,
    config=config,
    torch_dtype=torch.float16  
)Được hỗ trợ bởi

3. Kiểm tra mô hình đã tải bằng một prompt mẫu. 

Chúng ta cũng sẽ tạo một chữ ký (signature) để thêm vào khi đăng ký mô hình:

text_generator = pipeline("text-generation", model=model, tokenizer=tokenizer)
example_prompt = "How does a computer work?"
example_inputs = pd.DataFrame({"inputs": [example_prompt]})
example_outputs = text_generator(example_prompt, max_length=200)
signature = infer_signature(example_inputs, example_outputs)


print(example_outputs)Được hỗ trợ bởi

Mô hình phải hoạt động hoàn hảo!

Kết quả mà tôi thấy là:

[{'generated_text': "How does a computer work? What is the computer? What is the computer used for? What is the computer used for in real life?\n\nI need to answer this question, but I need to do it step by step. I need to start with the very basic level and build up from there. I need to make sure I understand each concept before moving on. I need to use a lot of examples to explain each idea. I need to write my thoughts as if I'm explaining them to someone else, but I need to make sure I understand how to structure the answer properly.\n\nOkay, let's start with the basic level. What is a computer? It's an electronic device, right? And it has a central processing unit (CPU) that does the processing. But I think the central processing unit is more efficient, so maybe it's the CPU. Then, it has memory and storage. I remember that memory is like RAM and storage is like ROM. But wait, I think"}]Được hỗ trợ bởi

4. Thiết lập môi trường conda với phiên bản Python phù hợp và các gói cần thiết. 

Điều này sẽ giúp chúng ta tạo container có đầy đủ công cụ cần thiết để chạy mô hình:

conda_env = {
    "name": "mlflow-env",
    "channels": ["defaults", "conda-forge"],
    "dependencies": [
        "python=3.11",
        "pip",
        {
            "pip": [
                "mlflow",
                "transformers",
                "accelerate",
                "torch",
                "torchvision"
            ]
        }
    ]
}Được hỗ trợ bởi

5. Đăng ký mô hình 

Cung cấp cho hàm mlflow.transformers.log_model pipeline sinh văn bản, đường dẫn artifact, chữ ký, ví dụ đầu vào, tên mô hình và môi trường conda:

with mlflow.start_run() as run:
    mlflow.transformers.log_model(
        transformers_model=text_generator,
        artifact_path="deepseek_model",
        signature=signature,
        input_example=example_inputs,
        registered_model_name="deepseek_r1_llama_8b",
        conda_env=conda_env
    )Được hỗ trợ bởi

Việc đăng ký mô hình sẽ mất vài phút.

Tìm hiểu sức mạnh của Databricks Lakehouse và nâng cao kỹ năng kỹ thuật dữ liệu, học máy bằng cách học khóa Quản lý Dữ liệu trong Databricks.

Triển khai Deepseek trên Databricks

Đến lúc triển khai mô hình!

• Khi mô hình đã được đăng ký, nhấp vào thẻ “Models” ở góc dưới bên trái bảng điều khiển Databricks. 
• Chọn mô hình của bạn và bấm nút “Serve this model”.

• Nhập tên endpoint phục vụ, chọn tùy chọn tính toán và đặt mức đồng thời trước khi nhấp “Create”.

Việc thiết lập serving endpoint sẽ mất vài phút. Trạng thái sẽ chuyển sang màu xanh và hiển thị “Ready” khi hoàn tất.

Ngoài ra, bạn có thể fine-tune DeepSeek R1 trên bộ dữ liệu tùy chỉnh trước khi đăng ký mô hình. Hãy theo dõi hướng dẫn Fine-Tuning DeepSeek R1 để học mọi thứ bạn cần về quy trình này.

Truy cập mô hình đã triển khai

Có nhiều cách để truy cập hoặc sử dụng mô hình này. 

1. Bạn có thể viết câu hỏi trong playground của Databricks, hệ thống sẽ tạo phản hồi ngay trên trình duyệt. 
2. Ngoài ra, bạn có thể truy cập mô hình bằng CURL, gói Python requests hoặc lệnh SQL.

Để bắt đầu, chúng ta sẽ viết câu hỏi trên trình duyệt và tạo phản hồi.

Để truy cập mô hình cục bộ hoặc tích hợp vào ứng dụng của bạn, trước hết bạn cần tạo khóa API Databricks. 

• Vào phần cài đặt.
• Nhấp vào "Developer" rồi tạo token mới. 
• Sao chép token này và tạo biến môi trường cục bộ.

• Dùng lệnh CURL và cung cấp token API, đảm bảo prompt và URL endpoint máy chủ ở đúng định dạng JSON. Ví dụ:

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '{"dataframe_split": {"columns": ["inputs"], "data": [["How does a computer work?"]]}}' \
  https://dbc-85e34089.cloud.databricks.com/serving-endpoints/deepseek_r1/invocationsĐược hỗ trợ bởi

Khi bạn chạy lệnh, việc tạo phản hồi sẽ mất vài giây. Đơn giản vậy thôi!

Xem bài blog DeepSeek R1 vs V3 để tìm hiểu về các mô hình ngôn ngữ lớn tốt nhất từ DeepSeek.

Kết luận

Việc đăng ký và triển khai mô hình DeepSeek R1 trên Databricks khá đơn giản. Bạn thậm chí có thể đăng ký và triển khai mô hình lớn bằng cụm CPU hoặc máy CPU cục bộ mà không phát sinh chi phí. Tuy nhiên, chạy mô hình trên CPU có thể chậm và cần kiên nhẫn, đặc biệt khi dựng ảnh docker.

Trong hướng dẫn này, chúng ta đã đi qua toàn bộ quy trình triển khai mô hình theo từng bước. Bắt đầu bằng việc thiết lập Databricks và đăng ký mô hình DeepSeek Distilled R1 đã được huấn luyện sẵn trong Databricks Model Registry. Sau đó, chúng ta dùng bảng điều khiển Databricks để triển khai mô hình. Cuối cùng, chúng ta kiểm thử mô hình đã triển khai và minh họa cách dùng cục bộ với lệnh CURL đơn giản.

Nếu bạn mới làm quen với AI và các mô hình ngôn ngữ lớn, tôi khuyến nghị học khóa Giới thiệu về LLMs trong Python. Khóa học sẽ giúp bạn xây nền tảng vững chắc, hiểu thuật ngữ chính và bắt đầu làm việc với các mô hình nâng cao như DeepSeek R1!