Despliegue de DeepSeek R1 en Databricks: Guía paso a paso

Registro del modelo DeepSeek R1 en Databricks

El siguiente paso es registrar el modelo. 

• Una vez creado el espacio de trabajo, haz clic en el botón "+ Nuevo" y selecciona el bloc de notas para iniciarlo.

• Crea una celda Jupyter y ejecuta el código siguiente:

1. Instala los paquetes de Python necesarios:

%%capture
!pip install torch transformers mlflow accelerate torchvision
%restart_python

2. Carga los tokens, las configuraciones y el modelo del repositorio Cara Abrazada:

import pandas as pd
import mlflow
import mlflow.transformers
import torch
from mlflow.models.signature import infer_signature
from transformers import AutoModelForCausalLM, AutoTokenizer, AutoConfig, pipeline


# Specify the model from HuggingFace transformers
model_name = "deepseek-ai/DeepSeek-R1-Distill-Llama-8B"


# Load tokenizer and model
tokenizer = AutoTokenizer.from_pretrained(model_name)
config = AutoConfig.from_pretrained(model_name)


model = AutoModelForCausalLM.from_pretrained(
    model_name,
    config=config,
    torch_dtype=torch.float16  
)

3. Prueba el modelo cargado proporcionándole un ejemplo de consulta. 

También crearemos una firma que añadiremos durante el registro del modelo:

text_generator = pipeline("text-generation", model=model, tokenizer=tokenizer)
example_prompt = "How does a computer work?"
example_inputs = pd.DataFrame({"inputs": [example_prompt]})
example_outputs = text_generator(example_prompt, max_length=200)
signature = infer_signature(example_inputs, example_outputs)


print(example_outputs)

¡El modelo debería funcionar perfectamente!

El resultado que me ha mostrado es:

[{'generated_text': "How does a computer work? What is the computer? What is the computer used for? What is the computer used for in real life?\n\nI need to answer this question, but I need to do it step by step. I need to start with the very basic level and build up from there. I need to make sure I understand each concept before moving on. I need to use a lot of examples to explain each idea. I need to write my thoughts as if I'm explaining them to someone else, but I need to make sure I understand how to structure the answer properly.\n\nOkay, let's start with the basic level. What is a computer? It's an electronic device, right? And it has a central processing unit (CPU) that does the processing. But I think the central processing unit is more efficient, so maybe it's the CPU. Then, it has memory and storage. I remember that memory is like RAM and storage is like ROM. But wait, I think"}]

4. Configura el entorno conda con la versión correcta de Python y los paquetes de Python necesarios. 

Esto nos ayudará a crear el contenedor que tiene todas las herramientas necesarias para ejecutar el modelo:

conda_env = {
    "name": "mlflow-env",
    "channels": ["defaults", "conda-forge"],
    "dependencies": [
        "python=3.11",
        "pip",
        {
            "pip": [
                "mlflow",
                "transformers",
                "accelerate",
                "torch",
                "torchvision"
            ]
        }
    ]
}

5. Registra el modelo 

Proporciona a la función mlflow.transformers.log_model el canal de generación de texto, la ruta del artefacto, la firma, la entrada de ejemplo, el nombre del modelo y el entorno conda:

with mlflow.start_run() as run:
    mlflow.transformers.log_model(
        transformers_model=text_generator,
        artifact_path="deepseek_model",
        signature=signature,
        input_example=example_inputs,
        registered_model_name="deepseek_r1_llama_8b",
        conda_env=conda_env
    )

El registro del modelo tardará unos minutos.

Conoce la potencia de Databricks Lakehouse y mejora tus conocimientos de ingeniería de datos y aprendizaje automático realizando el curso Gestión de datos en Databricks.

Despliegue de Deepseek en Databricks

¡Es hora de desplegar el modelo!

• Una vez registrado el modelo, haz clic en la pestaña "Modelos" de la parte inferior izquierda del panel de control de Databricks. 
• Selecciona tu modelo y haz clic en el botón "Servir este modelo".

• Introduce el nombre de servidor del punto final, selecciona las opciones de cálculo y establece la concurrencia antes de pulsar el botón "Crear".

Tardarás unos minutos en configurar el punto final de servicio. El estado se volverá verde una vez completada la configuración y mostrará "Listo".

Además, puedes afinar el DeepSeek R1 en un conjunto de datos personalizado antes de registrar el modelo. Sigue el tutorial Ajuste fino de DeepSeek R1 para aprender todo lo que necesitas saber sobre este proceso.

Acceder al modelo desplegado

Hay muchas formas de acceder o utilizar este modelo. 

1. Puedes escribir tu pregunta en la zona de juegos de Databricks, que generará una respuesta en el navegador. 
2. Además, puedes acceder al modelo utilizando CURL, el paquete de peticiones de Python o comandos SQL.

Para empezar, escribiremos la pregunta utilizando el navegador y generaremos la respuesta.

Para acceder al modelo localmente o integrarlo en tu aplicación, primero tienes que generar una clave API Databricks. 

• Ve a los ajustes.
• Haz clic en "Desarrollador" y genera un nuevo token. 
• Copia este token y crea una variable de entorno local.

• Utiliza el comando CURL y proporciónale el token de la API, asegurándote de que el prompt y la URL del punto final del servidor están en el formato JSON adecuado. He aquí un ejemplo:

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '{"dataframe_split": {"columns": ["inputs"], "data": [["How does a computer work?"]]}}' \
  https://dbc-85e34089.cloud.databricks.com/serving-endpoints/deepseek_r1/invocations

Cuando ejecutes el comando, la generación de la respuesta tardará unos segundos. ¡Así de sencillo!

Consulta el blog DeepSeek R1 vs V3 para conocer los mejores modelos lingüísticos de gran tamaño disponibles en DeepSeek.

Conclusión

Registrar e implantar el modelo DeepSeek R1 en Databricks es muy sencillo. Incluso puedes registrar y desplegar el modelo grande utilizando un clúster de CPU o una máquina CPU local, todo ello sin incurrir en ningún coste. Sin embargo, ejecutar el modelo en una CPU puede ser lento y requiere paciencia, especialmente cuando se construye la imagen docker.

En este tutorial, cubrimos paso a paso todo el proceso de despliegue del modelo. Empezamos configurando Databricks y registrando el modelo preentrenado DeepSeek Distilled R1 en el Registro de Modelos de Databricks. A continuación, utilizamos el panel de control de Databricks para desplegar el modelo. Por último, probamos el modelo desplegado y demostramos cómo utilizarlo localmente con un simple comando CURL.

Si eres nuevo en la IA y los grandes modelos lingüísticos, te recomiendo que sigas el curso Introducción a los LLM en Python. Esto te ayudará a construir una base sólida, comprender terminologías clave y empezar a trabajar con modelos avanzados como DeepSeek R1.