Distribuire DeepSeek R1 su Databricks: guida passo passo

Registrare il modello DeepSeek R1 su Databricks

Il passo successivo è registrare il modello. 

• Una volta creato il workspace, clicca sul pulsante “+ New” e seleziona il notebook per avviarlo.

• Crea una cella Jupyter ed esegui il seguente codice:

1. Installa i pacchetti Python necessari:

%%capture
!pip install torch transformers mlflow accelerate torchvision
%restart_python

2. Carica token, configurazioni e modello dal repository Hugging Face:

import pandas as pd
import mlflow
import mlflow.transformers
import torch
from mlflow.models.signature import infer_signature
from transformers import AutoModelForCausalLM, AutoTokenizer, AutoConfig, pipeline


# Specify the model from HuggingFace transformers
model_name = "deepseek-ai/DeepSeek-R1-Distill-Llama-8B"


# Load tokenizer and model
tokenizer = AutoTokenizer.from_pretrained(model_name)
config = AutoConfig.from_pretrained(model_name)


model = AutoModelForCausalLM.from_pretrained(
    model_name,
    config=config,
    torch_dtype=torch.float16  
)

3. Metti alla prova il modello caricato fornendogli un prompt di esempio. 

Creeremo anche una signature che aggiungeremo durante la registrazione del modello:

text_generator = pipeline("text-generation", model=model, tokenizer=tokenizer)
example_prompt = "How does a computer work?"
example_inputs = pd.DataFrame({"inputs": [example_prompt]})
example_outputs = text_generator(example_prompt, max_length=200)
signature = infer_signature(example_inputs, example_outputs)


print(example_outputs)

Il modello dovrebbe funzionare perfettamente!

L’output che ho ottenuto è:

[{'generated_text': "How does a computer work? What is the computer? What is the computer used for? What is the computer used for in real life?\n\nI need to answer this question, but I need to do it step by step. I need to start with the very basic level and build up from there. I need to make sure I understand each concept before moving on. I need to use a lot of examples to explain each idea. I need to write my thoughts as if I'm explaining them to someone else, but I need to make sure I understand how to structure the answer properly.\n\nOkay, let's start with the basic level. What is a computer? It's an electronic device, right? And it has a central processing unit (CPU) that does the processing. But I think the central processing unit is more efficient, so maybe it's the CPU. Then, it has memory and storage. I remember that memory is like RAM and storage is like ROM. But wait, I think"}]

4. Configura l’ambiente conda con la versione corretta di Python e i pacchetti richiesti. 

Questo ci aiuterà a creare il container con tutti gli strumenti necessari per eseguire il modello:

conda_env = {
    "name": "mlflow-env",
    "channels": ["defaults", "conda-forge"],
    "dependencies": [
        "python=3.11",
        "pip",
        {
            "pip": [
                "mlflow",
                "transformers",
                "accelerate",
                "torch",
                "torchvision"
            ]
        }
    ]
}

5. Registra il modello 

Fornisci alla funzione mlflow.transformers.log_model la pipeline di generazione del testo, il percorso degli artifact, la signature, l’input di esempio, il nome del modello e l’ambiente conda:

with mlflow.start_run() as run:
    mlflow.transformers.log_model(
        transformers_model=text_generator,
        artifact_path="deepseek_model",
        signature=signature,
        input_example=example_inputs,
        registered_model_name="deepseek_r1_llama_8b",
        conda_env=conda_env
    )

La registrazione del modello richiederà alcuni minuti.

Scopri la potenza di Databricks Lakehouse e migliora le tue competenze di data engineering e machine learning seguendo il corso Data Management in Databricks.

Distribuire Deepseek su Databricks

È il momento di distribuire il modello!

• Una volta registrato il modello, clicca sulla scheda “Models” in basso a sinistra nella dashboard di Databricks. 
• Seleziona il tuo modello e clicca sul pulsante “Serve this model”.

• Inserisci il nome dell’endpoint di serving, seleziona le opzioni di calcolo e imposta la concorrenza prima di cliccare su “Create”.

L’impostazione dell’endpoint di serving richiederà alcuni minuti. Lo stato diventerà verde una volta completata la configurazione e mostrerà “Ready”.

Inoltre, puoi eseguire il fine-tuning di DeepSeek R1 su un dataset personalizzato prima di registrare il modello. Segui il tutorial Fine-Tuning DeepSeek R1 per imparare tutto ciò che ti serve su questo processo.

Accedere al modello distribuito

Ci sono molti modi per accedere o usare questo modello. 

1. Puoi scrivere la tua domanda nel playground di Databricks, che genererà una risposta nel browser. 
2. Inoltre, puoi accedere al modello usando CURL, il pacchetto Python requests o comandi SQL.

Per iniziare, scriveremo la domanda dal browser e genereremo la risposta.

Per accedere al modello in locale o integrarlo nella tua applicazione, devi prima generare una chiave API di Databricks. 

• Vai alle impostazioni.
• Clicca su "Developer" e poi genera un nuovo token. 
• Copia questo token e crea una variabile d’ambiente locale.

• Usa il comando CURL e fornisci il token API, assicurandoti che il prompt e l’URL dell’endpoint del server siano nel formato JSON corretto. Ecco un esempio:

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '{"dataframe_split": {"columns": ["inputs"], "data": [["How does a computer work?"]]}}' \
  https://dbc-85e34089.cloud.databricks.com/serving-endpoints/deepseek_r1/invocations

Quando esegui il comando, la generazione della risposta richiederà qualche secondo. Tutto qui, semplice!

Dai un’occhiata al blog DeepSeek R1 vs V3 per scoprire i migliori large language model disponibili da DeepSeek.

Conclusione

Registrare e distribuire il modello DeepSeek R1 su Databricks è semplice. Puoi persino registrare e distribuire il modello grande usando un cluster CPU o una macchina CPU locale, il tutto senza sostenere costi. Tuttavia, eseguire il modello su CPU può essere lento e richiede pazienza, soprattutto durante la creazione dell’immagine Docker.

In questo tutorial, abbiamo coperto l’intero processo di distribuzione del modello passo dopo passo. Siamo partiti dalla configurazione di Databricks e dalla registrazione del modello DeepSeek Distilled R1 pre-addestrato nel Model Registry di Databricks. Poi abbiamo usato la dashboard di Databricks per distribuire il modello. Infine, abbiamo testato il modello distribuito e mostrato come usarlo in locale con un semplice comando CURL.

Se sei nuovo all’AI e ai large language model, ti consiglio di seguire il corso Introduction to LLMs in Python. Ti aiuterà a costruire solide basi, comprendere i termini chiave e iniziare a lavorare con modelli avanzati come DeepSeek R1!