Curso
Comprender la ingeniería de datos
2 h
291.3K
Databricks es una plataforma analítica abierta para construir, desplegar y mantener soluciones de datos, análisis e IA a escala. Está basado en Apache Spark y se integra con cualquiera de los tres principales proveedores de la nube (AWS, Azure o GCP), lo que nos permite gestionar y desplegar la infraestructura de la nube en nuestro nombre, a la vez que ofrecemos cualquier aplicación de ciencia de datos que puedas imaginar.
Hoy quiero guiarte a través de una completa introducción a Databricks, cubriendo sus características principales, aplicaciones prácticas y rutas de aprendizaje estructuradas para que puedas empezar. Desde la configuración de tu entorno hasta el dominio del procesamiento de datos, la orquestación y la visualización, encontrarás todo lo que necesitas para empezar con Databricks.
¿Por qué aprender Databricks?
Aprender Databricks y tener unas bases sólidas en él puede tener varias ventajas positivas principales para ti:
Características principales de Databricks
Databricks es una plataforma integral para la ingeniería de datos, la analítica y el aprendizaje automático, que combina cinco características principales que mejoran la escalabilidad, la colaboración y la eficacia del flujo de trabajo.
Características principales de Databricks. Imagen del autor.
Plataforma de datos unificada
Databricks combina los tres flujos de trabajo de ingeniería de datos, ciencia de datos y aprendizaje automático en una única plataforma. Esto simplifica aún más el procesamiento de datos, la formación de modelos y la implantación. Al unificar estos dominios, Databricks acelera las iniciativas de IA, ayudando a las empresas a transformar los datos aislados en información práctica, al tiempo que fomenta la colaboración.
Integración con Apache Spark
Apache Spark, el principal marco de computación distribuida, está profundamente integrado con Databricks. Esto permite a Databricks gestionar la configuración de Spark automáticamente. Por tanto, los usuarios pueden centrarse en crear soluciones de datos sin preocuparse de la configuración.
Además, la potencia de procesamiento distribuido de Spark es ideal para tareas de big data, y Databricks la mejora con seguridad, escalabilidad y optimización de nivel empresarial.
Delta Lake
Delta Lake es la columna vertebral de la arquitectura Lakehouse de Databricks, que añade funciones como transacciones ACID, aplicación de esquemas y coherencia de datos en tiempo real. Esto garantiza la fiabilidad y precisión de los datos, lo que convierte a Delta Lake en una herramienta fundamental para gestionar tanto datos por lotes como datos en flujo.
MLflow
MLflow es una plataforma de código abierto para gestionar todo el ciclo de vida del aprendizaje automático. Desde el seguimiento de experimentos hasta la gestión del despliegue de modelos, MLflow simplifica el proceso de creación y puesta en funcionamiento de modelos de ML.
Además, con las últimas integraciones para herramientas de IA generativa como OpenAI y Hugging Face, MLflow amplía sus capacidades para incluir aplicaciones de vanguardia como chatbots, resumen de documentos y análisis de sentimientos.
Herramientas de colaboración
Databricks fomenta la colaboración mediante:
- Cuadernos interactivos: Combina código, markdown y elementos visuales para documentar flujos de trabajo y compartir información sin problemas.
- Compartir en tiempo real: Colabora en directo en cuadernos para obtener comentarios instantáneos y agilizar el trabajo en equipo.
- Funciones de control de versiones: Realiza un seguimiento de los cambios e intégralo con Git para una gestión de proyectos segura y eficaz.
Cómo empezar a aprender Databricks
Empezar a utilizar Databricks puede ser tan emocionante como abrumador. Por eso, el primer paso en el aprendizaje de cualquier tecnología nueva es tener claros tus objetivos: por qué quieres aprenderla y cómo piensas utilizarla.
Establece objetivos claros
Antes de sumergirte, define lo que quieres conseguir con Databricks.
¿Buscas agilizar el procesamiento de big data como ingeniero de datos? ¿O estás centrado en aprovechar sus capacidades ML para construir y desplegar modelos predictivos?
Al definir tus objetivos principales, puedes crear un plan de aprendizaje enfocado en consecuencia. Aquí tienes algunos consejos en función de tu principal aspiración:
- Si tu enfoque es la ingeniería de datos prioriza conocer las herramientas de Databricks para la ingestión, transformación y gestión de datos, así como su perfecta integración con Apache Spark y Delta Lake.
- Si tu enfoque es el aprendizaje automático céntrate en comprender MLflow para el seguimiento de experimentos, la gestión de modelos y el despliegue, así como en aprovechar la compatibilidad integrada de la plataforma con bibliotecas como TensorFlow y PyTorch.
Empieza por lo básico:
Empezar a utilizar Databricks puede ser más fácil de lo que crees. Para ello, te guiaré paso a paso, para que puedas familiarizarte fácilmente con lo esencial de la plataforma.
Regístrate gratis
Empieza por crear una cuenta gratuita en Databricks Edición Comunidadque proporciona acceso a las funciones básicas de la plataforma sin coste alguno. Esta edición es perfecta para la exploración práctica, ya que te permite experimentar con Espacios de trabajo, Clusters y Cuadernos sin necesidad de una suscripción de pago.
Captura de pantalla de la vista principal del registro en Databricks. Imagen del autor
Una vez que des tus datos, aparecerá la siguiente vista.
Captura de pantalla de la vista principal del registro en Databricks. Imagen del autor
En este caso, se te pedirá que configures un proveedor de la nube o que continúes con la Edición Comunidad. Para mantener las cosas accesibles, utilizaremos la Edición Comunidad. Aunque ofrece menos funciones que la versión Enterprise, es ideal para casos de uso más reducidos, como los tutoriales, y no requiere la configuración de un proveedor en la nube.
Tras seleccionar la Edición Comunidad, verifica tu dirección de correo electrónico. Una vez verificado, te aparecerá un panel principal con el siguiente aspecto:
Captura de pantalla de la página principal de Databricks. Imagen del autor
Empieza por la interfaz
Una vez conectado, tómate tu tiempo para entender el diseño. A primera vista, la interfaz puede parecer básica, pero una vez que explores más a fondo o actualices tu cuenta, descubrirás un montón de funciones estupendas:
- Espacios de trabajo: Aquí es donde organizas tus proyectos, cuadernos y archivos. Piensa que es el centro de todo tu trabajo.
- Cuadernos: Escribe y ejecuta código en varios lenguajes de programación dentro del mismo cuaderno.
- Gestión del clúster: Son grupos de máquinas virtuales que se encargan del procesamiento de datos. Proporcionan la potencia de cálculo que necesitarás para tareas como las transformaciones de datos y el aprendizaje automático.
- Gestión de la mesa: Organiza y analiza datos estructurados con eficacia.
- Creación de cuadros de mando: Construye cuadros de mando interactivos directamente en el espacio de trabajo para visualizar la información.
- Edición colaborativa: Trabaja en cuadernos en tiempo real con compañeros de equipo para una colaboración fluida.
- Control de versiones: Haz un seguimiento de los cambios en los cuadernos y gestiona las versiones sin esfuerzo.
- Programación de trabajos: Automatiza la ejecución de cuadernos y scripts a intervalos especificados para agilizar los flujos de trabajo.
Aprender conceptos básicos
Databricks tiene tres conceptos básicos que seguirán siendo básicos para cualquier profesional dispuesto a dominarlo:
- Agrupaciones: La columna vertebral de Databricks, los clusters son entornos informáticos que ejecutan tu código. Aprende a crearlos, configurarlos y gestionarlos para adaptarlos a tus necesidades de procesamiento.
- Empleos: Automatiza las tareas repetitivas creando trabajos que ejecuten tus cuadernos o guiones según un calendario, agilizando los flujos de trabajo.
- Cuadernos: Se trata de documentos interactivos en los que escribes y ejecutas código, visualizas los resultados y documentas las conclusiones. Los cuadernos admiten múltiples lenguajes como Python, SQL y Scala, lo que los hace versátiles para diversas tareas.
Suscríbete a DataFramed
Suscríbete a DataFramed dondequiera que recibas tus podcasts.
