Ir al contenido principal

Curso

Limpiar datos con PySpark

AvanzadoNivel de habilidad

Actualizado 2/2026

Aprende a limpiar datos con Apache Spark en Python.

Comienza el curso gratis

SparkData Preparation

4 h

16 vídeos

53 Ejercicios

4,150 XP

33,198

Certificado de logros

Preferido por estudiantes en miles de empresas

¿Formando un equipo?

Prueba para empresas

Descripción del curso

Trabajar con datos es complicado; trabajar con millones o incluso miles de millones de filas es peor. ¿Recibiste algún código de procesamiento de datos escrito en un ordenador portátil con datos bastante prístinos? Es probable que te hayan encargado pasar un proceso de datos básico del prototipo a la producción. Puede que hayas trabajado con conjuntos de datos del mundo real, con campos que faltan, formatos extraños y órdenes de magnitud de más datos. Aunque todo esto sea nuevo para ti, este curso te ayuda a aprender lo necesario para preparar procesos de datos utilizando Python con Apache Spark. Aprenderás terminología, métodos y algunas buenas prácticas para crear una plataforma de procesamiento de datos eficaz, mantenible y comprensible.

Requisitos previos

Intermediate Python Introduction to PySpark

1

Detalles del marco de datos

Un repaso a los fundamentos del DataFrame y a la importancia de la limpieza de datos.

Introducción a la limpieza de datos con Apache Spark

Revisión de la limpieza de datos

Definir un esquema

Inmutabilidad y procesamiento perezoso

Revisión de la inmutabilidad

Utilizar el procesamiento perezoso

Entender el parquet

Guardar un DataFrame en formato Parquet

SQL y Parquet

Iniciar capítulo

2

Manipular DataFrames en el mundo real

Un vistazo a varias técnicas para modificar el contenido de los DataFrames en Spark.

Operaciones con columnas de DataFrame

Filtrar el contenido de las columnas con Python

Filtrado Pregunta nº 1

Filtrado Pregunta nº 2

Modificar columnas del Marco de datos

Operaciones condicionales con columnas de DataFrame

ejemplo de when()

Cuándo / Si no

Funciones definidas por el usuario

Comprender las funciones definidas por el usuario

Uso de funciones definidas por el usuario en Spark

Particionamiento y procesamiento perezoso

Añadir un campo ID

IDs con diferentes particiones

Más trucos de ID

Iniciar capítulo

3

Mejorar el rendimiento

Mejora las tareas de limpieza de datos aumentando el rendimiento o reduciendo los recursos necesarios.

Almacenamiento en caché

Guardar en caché un DataFrame

Eliminar un DataFrame de la caché

Mejorar el rendimiento de la importación

Optimización del tamaño de los archivos

Rendimiento de la importación de archivos

Configuraciones de clúster

Lectura de las configuraciones de Spark

Escribir configuraciones Spark

Mejoras de rendimiento

Uniones normales

Utilizar la difusión en las uniones Spark

Comparar las uniones de difusión con las normales

Iniciar capítulo

4

Procesamiento complejo y canalización de datos

Aprende a procesar datos complejos del mundo real utilizando Spark y los fundamentos de las canalizaciones.

Introducción a las canalizaciones de datos

Tubería rápida

Problema con los datos de la tubería

Técnicas de tratamiento de datos

Eliminar líneas comentadas

Eliminar filas no válidas

Dividir en columnas

Análisis posterior

Validación de datos

Validar filas mediante join

Examinar filas no válidas

Análisis final y entrega

Análisis de perros

Por número de imágenes

Porcentaje de píxeles de perro

Enhorabuena y próximos pasos

Iniciar capítulo

Limpiar datos con PySpark

Curso
completo

Obtener certificado de logros

Añade esta certificación a tu perfil de LinkedIn o a tu currículum.
Compártelo en redes sociales y en tu evaluación de desempeño.Inscríbete ahora

¡Únete a 19 millones de estudiantes y empieza Limpiar datos con PySpark hoy mismo!

Desarrolla tus habilidades de datos con la aplicación móvil de DataCamp

Progresa desde cualquier dispositivo móvil con nuestros cursos y desafíos de programación diarios de 5 minutos.