Kỹ thuật dữ liệu là gì?

Giới thiệu

Dữ liệu có ở khắp mọi nơi. Những năm gần đây, với số lượng thiết bị kết nối ngày càng tăng và phạm vi sử dụng mở rộng, thế giới đang tạo ra một lượng dữ liệu khổng lồ mà các phương pháp truyền thống không còn xử lý nổi.

Theo Statista, tính đến năm 2021 có 23,8 tỷ thiết bị kết nối internet và 58% trong số đó là thiết bị IoT (thiết bị nhà thông minh, ô tô tự hành kết nối, thiết bị công nghiệp, v.v.), 42% còn lại là thiết bị không phải IoT (laptop, smartphone, v.v.). Điều này có nghĩa ngày nay dữ liệu có thể đến từ nhiều nguồn khác nhau. Một số trong số đó gồm:

1. Hoạt động của người dùng: Mọi thao tác của người dùng đều tạo ra dữ liệu, và ngay cả dữ liệu phản ánh nơi và tần suất chúng ta chạm vào các ứng dụng di động cũng có giá trị. Mọi mẩu dữ liệu chứa kiểu thông tin này đều cần được lưu giữ và phân phối đến các trung tâm dữ liệu của ứng dụng.
2. Thiết bị “Internet vạn vật”: Những thiết bị này tạo ra lượng thông tin khổng lồ, như dữ liệu cảm biến được tạo ở nhiều vị trí khác nhau. Tất cả dữ liệu này cần được thu thập và gửi vào một kho dữ liệu để phân tích tiếp theo.
3. Nhật ký chương trình: Ứng dụng máy tính ngày nay gồm nhiều thành phần và tất cả các thành phần đó tạo ra nhật ký chương trình. Các nhật ký này được gửi vào một đường ống kỹ thuật dữ liệu để phân tích sâu hơn.

Tất cả dữ liệu có cấu trúc khác nhau mà thế giới tạo ra cần được chuyển đến các thành phần khác trong cấu trúc phần mềm, hoặc được trực quan hóa và diễn giải bởi nhà phân tích nghiệp vụ và nhà khoa học dữ liệu. Tuy nhiên, việc chuyển giao này không hề đơn giản. Có một số yêu cầu then chốt về cách thức chuyển giao dữ liệu:

1. Dữ liệu cần được chuyển giao theo một cấu trúc tiêu chuẩn
2. Dữ liệu không được phát sinh xung đột
3. Có thể cần loại bỏ dữ liệu trùng lặp
4. Dữ liệu phải đáng tin cậy
5. Việc chuyển giao dữ liệu phải được thực hiện với độ trễ tối thiểu

Vì vậy, việc chuyển giao thông tin này là một quy trình phức tạp và nếu không thực hiện đúng cách, nó có thể gây ra nhiều vấn đề, đặc biệt với các công ty quy mô vừa và lớn. Đây chính là lúc kỹ sư dữ liệu phát huy vai trò.

Trong bài viết này, bạn sẽ học những điều cơ bản về kỹ thuật dữ liệu, bao gồm:

1. Kỹ thuật dữ liệu là gì và vì sao cần đảm bảo đường ống dữ liệu vững chắc
2. Sự khác nhau giữa khoa học dữ liệu và kỹ thuật dữ liệu
3. Lý do đằng sau mức độ phổ biến ngày càng tăng của kỹ thuật dữ liệu
4. Các kỹ năng của một kỹ sư dữ liệu giỏi
5. DataCamp có thể giúp bạn trở thành kỹ sư dữ liệu như thế nào

Trách nhiệm của kỹ sư dữ liệu là gì?

Nói một cách đơn giản, kỹ sư dữ liệu:

1. Nhằm mục tiêu giúp dữ liệu dễ tiếp cận và sẵn sàng cho nhà khoa học dữ liệu và kỹ sư BI (hoặc bất kỳ ai làm việc với dữ liệu)
2. Tối ưu hóa kiến trúc hệ thống dữ liệu lớn của doanh nghiệp
3. Thiết kế và cấu hình cơ sở dữ liệu
4. Phối hợp với các nhóm kỹ sư BI, nhà khoa học dữ liệu và nhà phân tích dữ liệu
5. Khám phá và chuyển đổi dữ liệu. Để thực hiện tất cả các nhiệm vụ này, trước tiên kỹ sư dữ liệu cần thiết lập các đường ống ETL.

Bạn có thể tìm hiểu thêm về kỹ sư dữ liệu làm gì trong bài viết đầy đủ của chúng tôi. 

Đường ống ETL

Các đường ống ETL nhận dữ liệu phức tạp theo những khoảng thời gian đều đặn và xử lý để lưu trữ dữ liệu dưới dạng có thể sử dụng. Việc thiết lập và duy trì các đường ống này là trách nhiệm của kỹ sư dữ liệu.

Có 3 giai đoạn trong đường ống ETL:

1. Extract Một lượng lớn dữ liệu do các nguồn dữ liệu tạo ra được thu thập ở nhiều định dạng khác nhau.
2. Transform Do dữ liệu đến từ nhiều định dạng và nguồn không đồng nhất, dữ liệu được xử lý để trở nên chuẩn hóa tối đa. Điều này giúp tăng khả năng khám phá và sử dụng dữ liệu cho các bước tiếp theo.
3. Load Khi dữ liệu đã ở định dạng có thể khám phá và sử dụng, nó thường được lưu trong kho dữ liệu. Nhờ đó dữ liệu luôn sẵn sàng cho phân tích tiếp theo.

Kho dữ liệu

Kho dữ liệu là nơi lưu trữ dữ liệu đã được chuẩn hóa. Chúng được tối ưu để lọc và đọc khối lượng dữ liệu lớn. Trong các kho dữ liệu hiện đại, cả dữ liệu có cấu trúc và phi cấu trúc đều có thể được lưu trữ, bởi cũng quan trọng không kém khi lưu giữ dữ liệu khó phân loại như ảnh và video.

Kỹ thuật dữ liệu so với khoa học dữ liệu

Sự khác biệt giữa vai trò của kỹ sư dữ liệu và nhà khoa học dữ liệu là quan trọng. Một mặt, nhà khoa học dữ liệu đóng vai trò quan trọng trong doanh nghiệp vì họ góp phần đưa ra quyết định dựa trên dữ liệu. Tuy nhiên, thành công của họ chỉ tốt tương xứng với chất lượng dữ liệu sẵn có.

Mặt khác, kỹ sư dữ liệu là người thiết kế các hệ thống cung cấp dữ liệu cho nhà khoa học dữ liệu theo cách có tổ chức và nhất quán. Khi kỹ sư dữ liệu cung cấp thông tin, nhà khoa học dữ liệu sẽ tìm kiếm các mẫu trong dữ liệu để rút ra kết luận, dựa trên định dạng do kỹ sư dữ liệu cung cấp.

Rõ ràng kỹ sư dữ liệu và nhà khoa học dữ liệu làm việc chặt chẽ với nhau. Ta có thể hình dung như một trận bóng đá. Trong bóng đá, huấn luyện viên là người xây dựng chiến thuật để tạo cơ hội ghi bàn và sắp xếp cầu thủ ở những vị trí nhất định. Trong ngữ cảnh này, huấn luyện viên là kỹ sư dữ liệu, quả bóng là dữ liệu và cầu thủ ghi bàn là nhà khoa học dữ liệu. Phần còn lại của đội là hạ tầng.

Vì sao kỹ thuật dữ liệu ngày càng phổ biến?

Theo nghiên cứu trên nền tảng Burning Glass Nova, số tin tuyển dụng "kỹ sư dữ liệu" đã tăng 88,3% trong năm 2019. Theo nghiên cứu này, nhu cầu về kỹ sư dữ liệu đã gia tăng từ năm 2016. Một thông tin thú vị khác là số lượng vị trí tuyển kỹ sư dữ liệu gần gấp 5 lần vị trí dành cho nhà khoa học dữ liệu. Mức lương của kỹ sư dữ liệu cũng cao hơn 20–30% so với nhà khoa học dữ liệu.

Như đã đề cập, nhà khoa học dữ liệu là mắt xích cuối trong chuỗi xử lý dữ liệu. Họ cần dữ liệu được kỹ sư dữ liệu xử lý để thực hiện công việc. Khi số lượng nguồn và loại dữ liệu nhân lên, nhu cầu về kỹ sư dữ liệu cũng tăng. Vì lý do đó, các công ty gần đây bắt đầu đầu tư nhiều hơn vào việc trích xuất và phân phối dữ liệu.

Trong Hình 4.1, một biểu đồ kim tự tháp thể hiện hệ phân cấp nhu cầu của khoa học dữ liệu. Ở hệ phân cấp này, các nhiệm vụ giao cho kỹ sư dữ liệu nằm ở đáy kim tự tháp, cho thấy họ quan trọng với doanh nghiệp như thế nào.

Hình 4.1: Hệ phân cấp nhu cầu của khoa học dữ liệu.

Kỹ năng của kỹ sư dữ liệu là gì?

Các kỹ năng của kỹ sư dữ liệu thường đan xen với kỹ năng của kỹ sư phần mềm và nhà khoa học dữ liệu, như thể hiện ở Hình 5.1.

Hình 5.1: Các vai trò dữ liệu và nhóm kỹ năng

Vai trò của kỹ sư dữ liệu gần với kỹ sư phần mềm hay nhà khoa học dữ liệu hơn?

Nghề nghiệp trước đây của một nhóm kỹ sư dữ liệu được thể hiện ở Hình 5.2. Theo đó, hơn 40% có nền tảng kỹ sư phần mềm. Điều này không chỉ cho thấy kỹ thuật dữ liệu và kỹ thuật phần mềm gần nhau hơn chúng ta tưởng, mà còn cho thấy kỹ sư phần mềm ngày nay có xu hướng chuyển sang kỹ thuật dữ liệu nhiều hơn bất kỳ lĩnh vực nào khác.

Hình 5.2: Kỹ sư dữ liệu theo vai trò trước đó (top 10).

Tại DataCamp, chúng tôi cho rằng các kỹ năng của một kỹ sư dữ liệu giỏi bao gồm:

1. Nền tảng kỹ thuật phần mềm Kỹ sư dữ liệu cần có nền tảng kỹ thuật phần mềm, vì họ phải tiếp cận các thách thức kỹ thuật dữ liệu bằng kiến thức lập trình hướng đối tượng, cấu trúc dữ liệu và thuật toán. Kỹ sư dữ liệu phải có kinh nghiệm với Python, Scala hoặc Java.
2. Công cụ Kỹ sư dữ liệu cần thành thạo các công cụ kỹ thuật dữ liệu như Airflow, Apache hoặc Kafka.
3. Công nghệ cơ sở dữ liệu Kỹ sư dữ liệu nên có kiến thức về nhiều loại cơ sở dữ liệu.
4. Công nghệ đám mây Kỹ sư dữ liệu nên thoải mái sử dụng nhiều nền tảng đám mây như Amazon Web Services, Google Cloud Platform và Microsoft Azure. Họ cũng cần có kinh nghiệm về kiến trúc đám mây và các công cụ DevOps, vì họ chịu trách nhiệm tự động hóa phần luồng dữ liệu của hệ thống.

Cách học kỹ thuật dữ liệu

Nếu bạn muốn nâng cao trong lĩnh vực kỹ thuật dữ liệu, bạn có thể bắt đầu bằng cách hoàn thành các khóa học DataCamp được khuyến nghị sau. Khi hoàn thành các khóa học và dự án này, bạn sẽ có khả năng trở thành ứng viên phù hợp hơn cho thực tập hoặc vị trí công việc trong lĩnh vực kỹ thuật dữ liệu.

1. Nhập môn Python
2. Python trung cấp
3. Nhập môn Cơ sở dữ liệu quan hệ trong SQL
4. Nhập môn Scala
5. Nhập môn Kỹ thuật dữ liệu
6. Nhập môn Airflow bằng Python
7. Các khái niệm đám mây AWS
8. Khám phá mạng lưới giao thông London (Snowflake, Redshift, BigQuery) - Dự án
9. Xây dựng đường ống kỹ thuật dữ liệu bằng Python
10. Các khái niệm NoSQL
11. ETL bằng Python
12. Các khái niệm về streaming
13. Streaming dữ liệu với AWS Kinesis và Lambda

Ngoài ra, Chứng chỉ Kỹ sư Dữ liệu của chúng tôi được công nhận trong ngành và giúp bạn chứng minh kỹ năng với nhà tuyển dụng.

Nếu bạn quan tâm đến lộ trình nghề nghiệp này, bạn có thể tìm hiểu cách trở thành kỹ sư dữ liệu trong bài viết riêng của chúng tôi.