ข้ามไปยังเนื้อหาหลัก

บ้าน Google Cloud

Courses

Build Batch Data Pipelines on Google Cloud

ระดับกลางระดับทักษะ

อัปเดตแล้ว 05/2569

Explore streaming data architectures on Google Cloud with Pub/Sub, Managed Kafka, Dataflow, and BigQuery for real-time data processing.

เริ่มเรียนหลักสูตรฟรี

Google CloudCloud

2 6

50 Exercises

2,700 เอ็กซ์พี

คำแถลงแสดงความสำเร็จ

สร้างบัญชีฟรีของคุณ

ดำเนินการต่อด้วย Google แสดงตัวเลือกเพิ่มเติม

หรือ

เมื่อดำเนินการต่อ คุณยอมรับข้อกำหนดการใช้งานของเรา นโยบายความเป็นส่วนตัวของเรา และยอมรับว่าข้อมูลของคุณจะถูกจัดเก็บไว้ในสหรัฐอเมริกา

เป็นที่ชื่นชอบของผู้เรียนในบริษัทหลายพันแห่ง

Training a Team?

Try for Business

คำอธิบายรายวิชา

This course teaches you to design, build, and operate batch data pipelines on Google Cloud. Topics include large-scale data transformations with Dataflow and Serverless Spark, batch data validation and cleansing, schema evolution, error handling, and pipeline orchestration with Cloud Composer.

ข้อกำหนดเบื้องต้น

หลักสูตรนี้ไม่มีข้อกำหนดเบื้องต้นใดๆ

1

When to choose batch data pipelines

You will learn the critical role of a data engineer in developing and maintaining batch data pipelines, understand their core components and lifecycle, and analyze common challenges in batch data processing. You'll also identify key Google Cloud services that address these challenges.

Batch data pipelines and their use cases

50 เอ็กซ์พี

Processing and common challenges

50 เอ็กซ์พี

Quiz Question 1

50 เอ็กซ์พี

Quiz Question 2

50 เอ็กซ์พี

Quiz Question 3

50 เอ็กซ์พี

Quiz Question 4

50 เอ็กซ์พี

Quiz Question 5

50 เอ็กซ์พี

Quiz Question 6

50 เอ็กซ์พี

Quiz Question 7

50 เอ็กซ์พี

Quiz Question 8

50 เอ็กซ์พี

Quiz Question 9

50 เอ็กซ์พี

Quiz Question 10

50 เอ็กซ์พี

เริ่มบท

2

Design and build batch data pipelines

You will design scalable batch data pipelines for high-volume data ingestion and transformation. You'll also optimize batch jobs for high throughput and cost-efficiency using various resource management and performance tuning techniques.

Design batch pipelines

50 เอ็กซ์พี

Large scale data transformations

50 เอ็กซ์พี

Dataflow and Serverless for Apache Spark

50 เอ็กซ์พี

Quiz Question 1

50 เอ็กซ์พี

Quiz Question 2

50 เอ็กซ์พี

Quiz Question 3

50 เอ็กซ์พี

Quiz Question 4

50 เอ็กซ์พี

Data connections and orchestration

50 เอ็กซ์พี

Execute an Apache Spark pipeline

50 เอ็กซ์พี

Optimize batch pipeline performance

50 เอ็กซ์พี

Use Serverless for Apache Spark to Load BigQuery

100 เอ็กซ์พี

Build a Simple Batch Pipeline with Dataflow Job Builder UI

100 เอ็กซ์พี

เริ่มบท

3

Control data quality in batch data pipelines

You will develop data validation rules and cleansing logic to ensure data quality within batch pipelines. You'll also implement strategies for managing schema evolution and performing data deduplication in large datasets.

Batch data validation and cleansing

50 เอ็กซ์พี

Log and analyze errors

50 เอ็กซ์พี

Schema evolution for batch pipelines

50 เอ็กซ์พี

Quiz Question 1

50 เอ็กซ์พี

Quiz Question 2

50 เอ็กซ์พี

Quiz Question 3

50 เอ็กซ์พี

Quiz Question 4

50 เอ็กซ์พี

Data integrity and duplication

50 เอ็กซ์พี

Deduplication with Serverless for Apache Spark

50 เอ็กซ์พี

Deduplication with Dataflow

50 เอ็กซ์พี

Validate Data Quality for a Batch Data Pipeline using Serverless for Apache Spark

100 เอ็กซ์พี

เริ่มบท

4

Orchestrate and monitor batch data pipelines

You will orchestrate complex batch data pipeline workflows for efficient scheduling and lineage tracking. You'll also implement robust error handling, monitoring, and observability for batch data pipelines.

Orchestration for batch processing

50 เอ็กซ์พี

Cloud Composer

50 เอ็กซ์พี

Quiz 1 Question 1

50 เอ็กซ์พี

Quiz 1 Question 2

50 เอ็กซ์พี

Quiz 1 Question 3

50 เอ็กซ์พี

Quiz 1 Question 4

50 เอ็กซ์พี

Unified observability

50 เอ็กซ์พี

Alerts and troubleshooting

50 เอ็กซ์พี

Quiz 2 Question 1

50 เอ็กซ์พี

Quiz 2 Question 2

50 เอ็กซ์พี

Quiz 2 Question 3

50 เอ็กซ์พี

Quiz 2 Question 4

50 เอ็กซ์พี

Visual pipeline management

50 เอ็กซ์พี

Building Batch Pipelines in Cloud Data Fusion

100 เอ็กซ์พี

Congratulations: Course summary

50 เอ็กซ์พี

เริ่มบท

Build Batch Data Pipelines on Google Cloud

หลักสูตรเสร็จสมบูรณ์

ได้รับใบรับรองความสำเร็จ

เพิ่มข้อมูลรับรองนี้ลงในโปรไฟล์ LinkedIn, ประวัติย่อ หรือเรซูเม่ของคุณ
แชร์ลงในโซเชียลมีเดียและในรายงานประเมินผลการปฏิบัติงานของคุณลงทะเบียนเลย

เข้าร่วมกับ... 19 ล้านผู้เรียน และเริ่ม Build Batch Data Pipelines on Google Cloud วันนี้เลย!

สร้างบัญชีฟรีของคุณ

ดำเนินการต่อด้วย Google แสดงตัวเลือกเพิ่มเติม

หรือ

เมื่อดำเนินการต่อ คุณยอมรับข้อกำหนดการใช้งานของเรา นโยบายความเป็นส่วนตัวของเรา และยอมรับว่าข้อมูลของคุณจะถูกจัดเก็บไว้ในสหรัฐอเมริกา

พัฒนาทักษะด้านข้อมูลของคุณด้วย DataCamp for Mobile

พัฒนาทักษะได้ทุกที่ทุกเวลาด้วยคอร์สเรียนบนมือถือและแบบฝึกหัดเขียนโค้ดประจำวัน 5 นาทีของเรา