Mendeploy DeepSeek R1 di Databricks: Panduan Langkah demi Langkah

Mendaftarkan Model DeepSeek R1 di Databricks

Langkah berikutnya adalah mendaftarkan model. 

• Setelah workspace dibuat, klik tombol “+ New” dan pilih notebook untuk membukanya.

• Buat satu sel Jupyter dan jalankan kode berikut:

1. Instal paket Python yang diperlukan:

%%capture
!pip install torch transformers mlflow accelerate torchvision
%restart_python

2. Muat token, konfigurasi, dan model dari repositori Hugging Face:

import pandas as pd
import mlflow
import mlflow.transformers
import torch
from mlflow.models.signature import infer_signature
from transformers import AutoModelForCausalLM, AutoTokenizer, AutoConfig, pipeline


# Specify the model from HuggingFace transformers
model_name = "deepseek-ai/DeepSeek-R1-Distill-Llama-8B"


# Load tokenizer and model
tokenizer = AutoTokenizer.from_pretrained(model_name)
config = AutoConfig.from_pretrained(model_name)


model = AutoModelForCausalLM.from_pretrained(
    model_name,
    config=config,
    torch_dtype=torch.float16  
)

3. Uji model yang dimuat dengan memberinya contoh prompt. 

Kita juga akan membuat signature yang akan ditambahkan saat pendaftaran model:

text_generator = pipeline("text-generation", model=model, tokenizer=tokenizer)
example_prompt = "How does a computer work?"
example_inputs = pd.DataFrame({"inputs": [example_prompt]})
example_outputs = text_generator(example_prompt, max_length=200)
signature = infer_signature(example_inputs, example_outputs)


print(example_outputs)

Model seharusnya berfungsi dengan baik!

Output yang saya dapatkan adalah:

[{'generated_text': "How does a computer work? What is the computer? What is the computer used for? What is the computer used for in real life?\n\nI need to answer this question, but I need to do it step by step. I need to start with the very basic level and build up from there. I need to make sure I understand each concept before moving on. I need to use a lot of examples to explain each idea. I need to write my thoughts as if I'm explaining them to someone else, but I need to make sure I understand how to structure the answer properly.\n\nOkay, let's start with the basic level. What is a computer? It's an electronic device, right? And it has a central processing unit (CPU) that does the processing. But I think the central processing unit is more efficient, so maybe it's the CPU. Then, it has memory and storage. I remember that memory is like RAM and storage is like ROM. But wait, I think"}]

4. Siapkan lingkungan conda dengan versi Python yang benar dan paket Python yang diperlukan. 

Ini akan membantu kita membuat container yang memiliki semua alat yang diperlukan untuk menjalankan model:

conda_env = {
    "name": "mlflow-env",
    "channels": ["defaults", "conda-forge"],
    "dependencies": [
        "python=3.11",
        "pip",
        {
            "pip": [
                "mlflow",
                "transformers",
                "accelerate",
                "torch",
                "torchvision"
            ]
        }
    ]
}

5. Daftarkan model 

Berikan fungsi mlflow.transformers.log_model pipeline generasi teks, jalur artefak, signature, contoh input, nama model, serta lingkungan conda:

with mlflow.start_run() as run:
    mlflow.transformers.log_model(
        transformers_model=text_generator,
        artifact_path="deepseek_model",
        signature=signature,
        input_example=example_inputs,
        registered_model_name="deepseek_r1_llama_8b",
        conda_env=conda_env
    )

Pendaftaran model akan memakan waktu beberapa menit.

Pelajari kekuatan Databricks Lakehouse dan tingkatkan keterampilan rekayasa data serta machine learning Anda dengan mengikuti kursus Data Management in Databricks.

Mendeploy Deepseek di Databricks

Saatnya mendeploy model!

• Setelah model terdaftar, klik tab “Models” di kiri bawah dasbor Databricks. 
• Pilih model Anda dan klik tombol “Serve this model”.

• Masukkan nama endpoint serving, pilih opsi komputasi, dan atur concurrency sebelum mengeklik tombol “Create”.

Menyiapkan serving endpoint akan memakan waktu beberapa menit. Status akan berubah menjadi hijau setelah selesai dan menampilkan “Ready”.

Selain itu, Anda dapat melakukan fine-tune DeepSeek R1 pada dataset kustom sebelum mendaftarkan model. Ikuti tutorial Fine-Tuning DeepSeek R1 untuk mempelajari semua yang perlu Anda ketahui tentang proses ini.

Mengakses Model yang Telah Dideploy

Ada banyak cara untuk mengakses atau menggunakan model ini. 

1. Anda dapat menulis pertanyaan di playground Databricks, yang akan menghasilkan respons di browser. 
2. Selain itu, Anda dapat mengakses model menggunakan CURL, paket requests di Python, atau perintah SQL.

Untuk memulai, kita akan menulis pertanyaan melalui browser dan menghasilkan respons.

Untuk mengakses model secara lokal atau mengintegrasikannya ke aplikasi Anda, pertama-tama Anda perlu membuat kunci API Databricks. 

• Buka pengaturan.
• Klik "Developer" lalu buat token baru. 
• Salin token ini dan buat variabel lingkungan lokal.

• Gunakan perintah CURL dan sertakan token API, pastikan prompt dan URL server endpoint dalam format JSON yang benar. Berikut contohnya:

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '{"dataframe_split": {"columns": ["inputs"], "data": [["How does a computer work?"]]}}' \
  https://dbc-85e34089.cloud.databricks.com/serving-endpoints/deepseek_r1/invocations

Saat Anda menjalankan perintah tersebut, pembuatan respons akan memakan waktu beberapa detik. Sesederhana itu!

Lihat blog DeepSeek R1 vs V3 untuk mengetahui model bahasa besar terbaik dari DeepSeek.

Kesimpulan

Mendaftarkan dan mendeploy model DeepSeek R1 di Databricks itu mudah. Anda bahkan dapat mendaftarkan dan mendeploy model besar menggunakan cluster CPU atau mesin CPU lokal tanpa menimbulkan biaya apa pun. Namun, menjalankan model di CPU bisa lambat dan membutuhkan kesabaran, terutama saat membangun image docker.

Dalam tutorial ini, kita membahas seluruh proses deployment model langkah demi langkah. Kita mulai dengan menyiapkan Databricks dan mendaftarkan model DeepSeek Distilled R1 yang telah dilatih sebelumnya di Databricks Model Registry. Lalu, kita menggunakan dasbor Databricks untuk mendeploy model. Terakhir, kita menguji model yang telah dideploy dan menunjukkan cara menggunakannya secara lokal dengan perintah CURL sederhana.

Jika Anda baru dalam AI dan model bahasa besar, saya merekomendasikan untuk mengikuti kursus Introduction to LLMs in Python. Ini akan membantu Anda membangun fondasi yang kuat, memahami terminologi kunci, dan mulai bekerja dengan model tingkat lanjut seperti DeepSeek R1!