Nhà khoa học dữ liệu vs Kỹ sư dữ liệu

Khoa học dữ liệu vs Kỹ thuật dữ liệu: Trách nhiệm

Trách nhiệm của kỹ sư dữ liệu

Kỹ sư dữ liệu phát triển, xây dựng, kiểm thử và duy trì các kiến trúc như cơ sở dữ liệu và hệ thống xử lý quy mô lớn. Trong khi đó, nhà khoa học dữ liệu làm sạch, xử lý và tổ chức dữ liệu (lớn).

Bạn có thể thấy cách dùng động từ "massage" khá lạ tai, nhưng nó càng phản ánh rõ sự khác biệt giữa kỹ sư dữ liệu và nhà khoa học dữ liệu.

Nói chung, nỗ lực mà cả hai bên cần bỏ ra để đưa dữ liệu về định dạng có thể sử dụng là rất khác nhau.

Kỹ sư dữ liệu làm việc với dữ liệu thô có thể chứa lỗi do con người, máy móc hoặc thiết bị. Dữ liệu có thể chưa được kiểm chứng và chứa bản ghi đáng ngờ. Dữ liệu thường chưa được định dạng và có thể bao gồm mã đặc thù hệ thống.

Kỹ sư dữ liệu cần đề xuất và đôi khi triển khai các cách để cải thiện độ tin cậy, hiệu quả và chất lượng dữ liệu. Để làm vậy, họ phải sử dụng nhiều ngôn ngữ và công cụ để kết nối các hệ thống với nhau hoặc tìm kiếm cơ hội thu thập dữ liệu mới từ các hệ thống khác, nhờ đó, chẳng hạn, các mã đặc thù hệ thống có thể trở thành thông tin phục vụ xử lý tiếp theo của nhà khoa học dữ liệu.

Gắn liền với đó, kỹ sư dữ liệu phải đảm bảo kiến trúc hiện có đáp ứng yêu cầu của nhà khoa học dữ liệu, các bên liên quan và doanh nghiệp.

Cuối cùng, nhóm kỹ thuật dữ liệu cần phát triển các quy trình bộ dữ liệu phục vụ mô hình hóa, khai thác và sản xuất để chuyển dữ liệu đến nhóm khoa học dữ liệu.

Tìm hiểu thêm về công việc của kỹ sư dữ liệu trong bài viết đầy đủ của chúng tôi. 

Trách nhiệm của nhà khoa học dữ liệu

Nhà khoa học dữ liệu thường nhận dữ liệu đã qua vòng làm sạch và xử lý ban đầu, có thể dùng để đưa vào các chương trình phân tích nâng cao cùng các phương pháp học máy và thống kê nhằm chuẩn bị dữ liệu cho các mô hình dự đoán và khuyến nghị. Tất nhiên, để xây dựng mô hình, họ cần nghiên cứu các câu hỏi ngành và kinh doanh, đồng thời khai thác lượng dữ liệu lớn từ cả nguồn nội bộ lẫn bên ngoài để đáp ứng nhu cầu kinh doanh. Đôi khi điều này cũng bao gồm việc khám phá và khảo sát dữ liệu để tìm các mẫu ẩn.

Sau khi hoàn tất phân tích, nhà khoa học dữ liệu cần trình bày câu chuyện rõ ràng cho các bên liên quan chính. Khi kết quả được chấp nhận, họ phải đảm bảo tự động hóa công việc để các insight có thể được chuyển đến các bên liên quan theo ngày, tháng hoặc năm.

Rõ ràng cả hai bên cần phối hợp để xử lý dữ liệu và cung cấp insight phục vụ các quyết định then chốt. Có sự giao thoa kỹ năng, nhưng hai vai trò ngày càng tách biệt trong ngành: kỹ sư dữ liệu làm việc với hệ quản trị cơ sở dữ liệu, API dữ liệu và công cụ phục vụ ETL, đồng thời tham gia mô hình hóa dữ liệu và thiết lập giải pháp kho dữ liệu; trong khi đó nhà khoa học dữ liệu cần am hiểu thống kê, toán học và học máy để xây dựng mô hình dự đoán.

Nhà khoa học dữ liệu cần hiểu về điện toán phân tán, vì họ phải truy cập dữ liệu do nhóm kỹ thuật dữ liệu xử lý. Họ cũng cần có khả năng báo cáo cho các bên liên quan trong doanh nghiệp, do đó kỹ năng kể chuyện bằng dữ liệu và trực quan hóa là thiết yếu.

Điều này có ý nghĩa thế nào với các bước trong quy trình khoa học dữ liệu, bạn có thể thấy trong hình dưới đây:

Khoa học dữ liệu vs Kỹ thuật dữ liệu: Ngôn ngữ, Công cụ & Phần mềm

Đương nhiên, khác biệt về bộ kỹ năng sẽ dẫn đến khác biệt về ngôn ngữ, công cụ và phần mềm mà mỗi bên sử dụng. Tổng quan sau bao gồm cả lựa chọn thương mại và mã nguồn mở.

Dù công cụ sử dụng phụ thuộc nhiều vào cách định nghĩa vai trò trong bối cảnh doanh nghiệp, kỹ sư dữ liệu thường làm việc với các công cụ như SAP, Oracle, Cassandra, MySQL, Redis, Riak, PostgreSQL, MongoDB, Neo4j, Hive và Sqoop.

Nhà khoa học dữ liệu sẽ dùng các ngôn ngữ như SPSS, R, Python, SAS, Stata và Julia để xây dựng mô hình. Công cụ phổ biến nhất ở đây chắc chắn là Python và R. Khi làm việc với Python và R cho khoa học dữ liệu, bạn thường dùng các gói như ggplot2 để tạo trực quan hóa ấn tượng trong R hoặc thư viện thao tác dữ liệu Pandas của Python. Tất nhiên còn rất nhiều gói hữu ích khác cho các dự án khoa học dữ liệu, như scikit-learn, NumPy, Matplotlib, Statsmodels, v.v.

Trong ngành, bạn cũng sẽ thấy SAS và SPSS thương mại hoạt động tốt, nhưng các công cụ khác như Tableau, Rapidminer, Matlab, Excel và Gephi cũng góp mặt trong hộp công cụ của nhà khoa học dữ liệu.

Một lần nữa bạn sẽ thấy sự khác biệt chính giữa kỹ sư dữ liệu và nhà khoa học dữ liệu — nhấn mạnh vào trực quan hóa dữ liệu và kể chuyện — được phản ánh trong các công cụ nêu trên.

Như bạn có thể đoán, Scala, Java và C# là những công cụ, ngôn ngữ và phần mềm cả hai bên đều dùng chung.

Những ngôn ngữ này không nhất thiết phổ biến với nhà khoa học dữ liệu và kỹ sư dữ liệu. Có thể lập luận rằng Scala phổ biến hơn với kỹ sư dữ liệu vì tích hợp với Spark đặc biệt hữu ích để thiết lập các luồng ETL lớn.

Tương tự với Java: hiện tại mức độ phổ biến đang tăng trong giới nhà khoa học dữ liệu, nhưng nhìn chung, nó không được sử dụng hàng ngày một cách rộng rãi. Dẫu vậy, bạn vẫn sẽ thấy các ngôn ngữ này xuất hiện trong tin tuyển dụng cho cả hai vai trò. Điều tương tự cũng đúng với các công cụ dùng chung như Hadoop, Storm và Spark.

Tất nhiên, so sánh về công cụ, ngôn ngữ và phần mềm cần đặt trong bối cảnh cụ thể nơi bạn làm việc và cách bạn diễn giải các vai trò liên quan; trong một số trường hợp, khoa học dữ liệu và kỹ thuật dữ liệu có thể gần nhau đến mức ranh giới giữa hai nhóm nhỏ đến nỗi đôi khi được gộp lại.

Việc này có phải là ý tưởng hay hay không là chủ đề cho một cuộc thảo luận khác, nằm ngoài phạm vi của bài viết hôm nay.

Khoa học dữ liệu vs Kỹ thuật dữ liệu: Nền tảng học vấn

Ngoài ra, nhà khoa học dữ liệu và kỹ sư dữ liệu còn có thể có điểm chung: nền tảng khoa học máy tính. Đây là lĩnh vực học tập rất phổ biến cho cả hai nghề. Tất nhiên, bạn cũng sẽ thấy nhà khoa học dữ liệu thường học kinh tế lượng, toán, thống kê và nghiên cứu vận hành. Họ thường hiểu biết kinh doanh nhỉnh hơn kỹ sư dữ liệu. Bạn cũng thường thấy kỹ sư dữ liệu xuất thân từ khối kỹ thuật; phần lớn đã được đào tạo về kỹ thuật máy tính.

Tuy nhiên, điều đó không có nghĩa bạn sẽ không bắt gặp kỹ sư dữ liệu đã tích lũy kiến thức về vận hành và tư duy kinh doanh từ các chương trình học trước đó.

Bạn cần nhận ra rằng, nhìn chung, ngành khoa học dữ liệu gồm các chuyên gia đến từ nhiều nền tảng khác nhau: không hiếm khi các nhà vật lý, sinh học hay khí tượng học chuyển sang khoa học dữ liệu. Những người khác chuyển nghề từ phát triển web, quản trị cơ sở dữ liệu, v.v.

Khoa học dữ liệu vs Kỹ thuật dữ liệu: Lương & Tuyển dụng

Tại Mỹ, mức lương trung bình hàng năm của nhà khoa học dữ liệu là 123.069 USD, trong khoảng từ 78 nghìn đến 194 nghìn. Ở các quốc gia khác, xu hướng cũng tương tự, với mức lương trung bình của nhà khoa học dữ liệu cao hơn ít nhất 30% so với mức trung bình quốc gia (và tại Ấn Độ, con số này còn cao hơn đáng kể!).

Mức lương trung bình hàng năm cho kỹ sư dữ liệu tại Mỹ là 125.686 USD; tại các quốc gia khác, mức lương trung bình rất tương đồng với nhà khoa học dữ liệu.

Cả hai vai trò đều có nhu cầu cực cao. Tại thời điểm viết bài, Indeed liệt kê hơn 10.000 vị trí nhà khoa học dữ liệu và hơn 5.000 vị trí kỹ sư dữ liệu ở Mỹ. Các công ty hàng đầu như Spotify, Meta, Amazon, Google và Microsoft gần như luôn tuyển cho cả hai vai trò.

Khoa học dữ liệu vs Kỹ thuật dữ liệu: Triển vọng việc làm

Như đã đề cập, việc tạo ra các vai trò và chức danh là cần thiết để phản ánh nhu cầu thay đổi, nhưng đôi khi cũng là cách để khác biệt so với các công ty tuyển dụng khác.

Bên cạnh sự gia tăng quan tâm tới các vấn đề quản lý dữ liệu, doanh nghiệp đang tìm kiếm giải pháp lưu trữ và quản trị dữ liệu rẻ hơn, linh hoạt và có khả năng mở rộng. Họ muốn chuyển dữ liệu lên Cloud và để làm điều đó, họ cần xây dựng "hồ dữ liệu" để bổ sung cho các kho dữ liệu hiện có hoặc thay thế Kho dữ liệu vận hành (ODS).

Các luồng dữ liệu sẽ cần được điều hướng lại và thay thế trong những năm tới, do đó trọng tâm và số lượng tin tuyển dụng kỹ sư dữ liệu đã dần tăng qua các năm.

Vai trò nhà khoa học dữ liệu đã có nhu cầu từ khi cơn sốt bắt đầu, nhưng ngày nay, các công ty hướng tới xây dựng đội ngũ khoa học dữ liệu thay vì tuyển những "kỳ lân" sở hữu đầy đủ kỹ năng giao tiếp, sáng tạo, thông minh, tò mò, chuyên môn kỹ thuật, v.v. Với nhà tuyển dụng, rất khó tìm người hội tụ mọi phẩm chất mà doanh nghiệp mong muốn, và nhu cầu rõ ràng vượt xa nguồn cung.

Bạn có thể cho rằng "bong bóng nhà khoa học dữ liệu" đã vỡ. Hoặc có lẽ sắp vỡ cho đến khi những tiến bộ AI như GPT-3 và GPT-4 bùng nổ.

Có một điều sẽ luôn bất biến xuyên suốt: nhu cầu dành cho các chuyên gia đam mê chủ đề khoa học dữ liệu sẽ luôn tồn tại. Triển vọng việc làm cho các chuyên gia này là rất tích cực. Chẳng hạn, Cục Thống kê Lao động Hoa Kỳ dự báo 20.800 cơ hội việc làm cho nhà khoa học dữ liệu mỗi năm trong thập kỷ tới, tăng 36% từ 2023 đến 2033, nhanh hơn nhiều so với mức trung bình của tất cả ngành nghề. Triển vọng cho vị trí kỹ sư dữ liệu cũng tích cực tương tự.

Khoa học dữ liệu vs Kỹ thuật dữ liệu: Tóm tắt

Bắt đầu với Kỹ thuật dữ liệu và Khoa học dữ liệu

Nếu bạn muốn vạch lộ trình bắt đầu sự nghiệp ở một trong hai vai trò, các hướng dẫn của chúng tôi là điểm khởi đầu tuyệt vời:

• Cách trở thành nhà khoa học dữ liệu
• Cách trở thành kỹ sư dữ liệu

Nếu bạn muốn bắt tay ngay vào hành trình học tập, DataCamp có đầy đủ tài nguyên cho bạn. Chúng tôi có nhiều khóa học lý tưởng nếu bạn muốn bắt đầu học kỹ thuật dữ liệu. Ví dụ, các khóa Nhập dữ liệu trong Python và Nhập dữ liệu trong R của DataCamp. Chứng chỉ Kỹ sư Dữ liệu của chúng tôi là lựa chọn tuyệt vời khác để chứng minh với nhà tuyển dụng rằng bạn có các kỹ năng cần thiết cho vị trí cấp đầu vào.

Với những ai muốn bắt đầu với khoa học dữ liệu, có các khóa Phân tích dữ liệu khám phá, Nhập môn R cho Khoa học dữ liệu, Hộp công cụ Học máy và Nhập môn Python cho Khoa học dữ liệu. Tương tự, Chứng chỉ Nhà khoa học Dữ liệu của chúng tôi được đánh giá cao và sẽ giúp bạn mở cánh cửa vào các công ty hàng đầu.