Saltar al contenido principal

Curso

Limpiar datos con PySpark

AvanzadoNivel de habilidad

Actualizado 3/2025

Aprende a limpiar datos con Apache Spark en Python.

Comienza El Curso Gratis

Incluido conPremium or Teams

SparkData Preparation4 h16 vídeos53 Ejercicios4,150 XP29,872Certificado de logros

Crea Tu Cuenta Gratuita

o

Al continuar, aceptas nuestros Términos de uso, nuestra Política de privacidad y que tus datos se almacenan en los EE. UU.

¿Entrenar a 2 o más personas?

Probar DataCamp for Business

Preferido por estudiantes en miles de empresas

Descripción del curso

Trabajar con datos es complicado; trabajar con millones o incluso miles de millones de filas es peor. ¿Recibiste algún código de procesamiento de datos escrito en un ordenador portátil con datos bastante prístinos? Es probable que te hayan encargado pasar un proceso de datos básico del prototipo a la producción. Puede que hayas trabajado con conjuntos de datos del mundo real, con campos que faltan, formatos extraños y órdenes de magnitud de más datos. Aunque todo esto sea nuevo para ti, este curso te ayuda a aprender lo necesario para preparar procesos de datos utilizando Python con Apache Spark. Aprenderás terminología, métodos y algunas buenas prácticas para crear una plataforma de procesamiento de datos eficaz, mantenible y comprensible.

Prerrequisitos

Intermediate Python Introduction to PySpark

1

Detalles del marco de datos

Iniciar Capítulo

Introducción a la limpieza de datos con Apache Spark

Revisión de la limpieza de datos

Definir un esquema

Inmutabilidad y procesamiento perezoso

Revisión de la inmutabilidad

Utilizar el procesamiento perezoso

Entender el parquet

Guardar un DataFrame en formato Parquet

SQL y Parquet

2

Manipular DataFrames en el mundo real

Iniciar Capítulo

Operaciones con columnas de DataFrame

Filtrar el contenido de las columnas con Python

Filtrado Pregunta nº 1

Filtrado Pregunta nº 2

Modificar columnas del Marco de datos

Operaciones condicionales con columnas de DataFrame

ejemplo de when()

Cuándo / Si no

Funciones definidas por el usuario

Comprender las funciones definidas por el usuario

Uso de funciones definidas por el usuario en Spark

Particionamiento y procesamiento perezoso

Añadir un campo ID

IDs con diferentes particiones

Más trucos de ID

3

Mejorar el rendimiento

Iniciar Capítulo

Almacenamiento en caché

Guardar en caché un DataFrame

Eliminar un DataFrame de la caché

Mejorar el rendimiento de la importación

Optimización del tamaño de los archivos

Rendimiento de la importación de archivos

Configuraciones de clúster

Lectura de las configuraciones de Spark

Escribir configuraciones Spark

Mejoras de rendimiento

Uniones normales

Utilizar la difusión en las uniones Spark

Comparar las uniones de difusión con las normales

4

Procesamiento complejo y canalización de datos

Iniciar Capítulo

Introducción a las canalizaciones de datos

Tubería rápida

Problema con los datos de la tubería

Técnicas de tratamiento de datos

Eliminar líneas comentadas

Eliminar filas no válidas

Dividir en columnas

Análisis posterior

Validación de datos

Validar filas mediante join

Examinar filas no válidas

Análisis final y entrega

Análisis de perros

Por número de imágenes

Porcentaje de píxeles de perro

Enhorabuena y próximos pasos

Limpiar datos con PySpark

Curso
Completo

Obtener certificado de logros

Añade esta credencial a tu perfil, currículum vitae o CV de LinkedIn
Compártelo en las redes sociales y en tu evaluación de desempeño

Incluido conPremium or Teams

Inscríbete Ahora

Únete a más 17 millones de estudiantes y empezar Limpiar datos con PySpark hoy

Crea Tu Cuenta Gratuita

o

Al continuar, aceptas nuestros Términos de uso, nuestra Política de privacidad y que tus datos se almacenan en los EE. UU.