Tìm hiểu Data Engineering

Đã đến lúc nói về lưu trữ dữ liệu—một trong những trách nhiệm chính của một kỹ sư dữ liệu. Trong chương này, bạn sẽ tìm hiểu cách các kỹ sư dữ liệu quản lý các cấu trúc dữ liệu khác nhau, làm việc với SQL—ngôn ngữ lập trình được lựa chọn để truy vấn và lưu trữ dữ liệu, và triển khai các giải pháp lưu trữ dữ liệu phù hợp với data lake và data warehouse.

Các kỹ sư dữ liệu giúp cuộc sống của các Nhà khoa học dữ liệu trở nên dễ dàng hơn bằng cách chuẩn bị dữ liệu thô cho việc phân tích, sử dụng các kỹ thuật xử lý khác nhau ở các bước khác nhau. Những bước này cần được kết hợp để tạo thành các pipeline, đó là lúc tự động hóa phát huy tác dụng. Cuối cùng, các kỹ sư dữ liệu sử dụng điện toán song song và điện toán đám mây để đảm bảo các pipeline vận hành trơn tru.