Khóa học
Nhập môn Python
4 giờ
7.1M
Khoa học dữ liệu liên tục phát triển, và các chức danh cũng như vai trò trong bất kỳ đội ngũ dữ liệu hiện đại nào cũng vậy. Những ngày đầu của khoa học dữ liệu, nhiều chức danh công việc có chứa cụm từ “big data”.
Trong hai năm qua, khi học máy ngày càng được vận hành hoá, MLOps bắt đầu xuất hiện trong nhiều chức danh công việc khác nhau. Và ngày nay, khi các tổ chức phát triển về năng lực dữ liệu và mức độ trưởng thành phân tích, chúng ta đang chứng kiến sự trỗi dậy của vai trò analytics engineer.
Tóm lại, analytics engineer đóng vai trò là cầu nối giữa chức năng kỹ thuật và phân tích. Nhiệm vụ của họ là áp dụng các thực hành tốt nhất của kỹ thuật để cung cấp các bộ dữ liệu sạch, đã được chuyển đổi, sẵn sàng cho phân tích.
Bài viết này nhằm làm rõ analytics engineer là gì và họ làm gì, đồng thời so sánh vai trò này với các vai trò dữ liệu phổ biến khác, và cung cấp tài nguyên để bạn bước chân vào lĩnh vực analytics engineering.
Analytics Engineer là gì?
Dataform đưa ra một phép so sánh tuyệt vời về cách analytics engineer hòa nhập vào đội ngũ dữ liệu rộng hơn, bằng một ví dụ quen thuộc—tủ chén. Hãy ghi nhớ phép ẩn dụ này khi chúng ta xem xét vì sao analytics engineer đang lên ngôi.
“Data engineer xây chiếc tủ, họ gom gỗ và dụng cụ rồi lắp ráp. Analytics engineer mở tủ và bắt đầu xếp đĩa, cốc và bát, sắp xếp chúng theo một trật tự nhất định. Có thể là sắp theo màu sắc, hình dạng hoặc kích thước. Data analyst sau đó vào tủ và biết mọi thứ ở đâu vì đã được sắp xếp gọn gàng. Họ có thể lấy chiếc cốc xanh nhỏ mà họ đang tìm và đi pha một tách trà!”
Josie Hall, Program Manager at Google
Trước khi analytics engineering xuất hiện, data analyst sẽ dùng các công cụ trực quan hóa như Tableau hoặc Power BI để cung cấp thông tin chi tiết cho các bên liên quan. Đây là những công cụ tuyệt vời để trình bày dữ liệu nhưng không phải là cách tốt nhất để chuyển đổi và lưu trữ dữ liệu.
Hãy hình dung một tình huống khi một data engineer triển khai một pipeline nạp dữ liệu marketing, nhưng chất lượng dữ liệu còn kém. Chỉ các data analyst trong đội marketing mới có kiến thức miền để chuyển đổi và cải thiện chất lượng dữ liệu. Tuy nhiên, họ sẽ không sử dụng cùng một ngăn xếp công nghệ như data engineer.
Trong khi đó, data engineer lại không có kiến thức miền để nhanh chóng hiểu cần những chuyển đổi gì và rất có thể đang bị ngập trong các tác vụ ưu tiên cao hơn đến từ khắp doanh nghiệp. Do đó, các analyst có thể phải chuyển đổi dữ liệu ngay trong Tableau hoặc Power BI bằng cách tự xây bảng tạm trong cơ sở dữ liệu quan hệ. Điều này dẫn đến kém hiệu quả và thời gian khai thác insight chậm hơn.
Đó là lúc analytics engineer xuất hiện. Analytics engineer ngồi giữa data analyst và data engineer. Trong kịch bản trên, họ sẽ có kỹ năng kỹ thuật để tối ưu các chuyển đổi dữ liệu, đồng thời có kiến thức miền.
Bằng cách làm việc chặt chẽ với data analyst, analytics engineer có thể cung cấp dữ liệu sạch để analyst sử dụng bằng cách chuyển đổi dữ liệu với công cụ và công nghệ phù hợp.
Analytics Engineer khác gì so với các vai trò dữ liệu khác?
Ranh giới giữa các vai trò khác nhau khá mờ, vậy analytics engineer khác gì so với các vai trò dữ liệu khác, và họ phối hợp với nhau ra sao?
Analytics Engineer so với Data Analyst
Data analyst chịu trách nhiệm phân tích dữ liệu và báo cáo insight từ phân tích của họ. Họ hiểu sâu quy trình phân tích dữ liệu và báo cáo insight thông qua kết hợp giữa công cụ có mã và không mã. Data analyst thường thành thạo SQL và các công cụ BI như Power BI hoặc Tableau, và ít dùng các công cụ như R hoặc Python.
Analytics engineer làm việc với data analyst để tối ưu các mô hình dữ liệu sẵn sàng cho tiêu thụ. Họ cũng chịu trách nhiệm duy trì tài liệu liên quan đến dữ liệu, giúp data analyst tìm insight nhanh hơn.
Analytics Engineer so với Data Engineer
Data engineer chịu trách nhiệm đưa đúng dữ liệu đến tay đúng người. Họ tạo và duy trì hạ tầng và các pipeline dữ liệu, đưa hàng terabyte dữ liệu thô từ nhiều nguồn khác nhau vào một nơi tập trung với dữ liệu sạch, phù hợp cho tổ chức.
Thừa nhận rằng, định nghĩa này có mức độ chồng lấn lớn với vai trò analytics engineering. Tuy nhiên, nếu quay lại ví dụ chiếc tủ, data engineer chịu trách nhiệm đảm bảo analytics engineer có đúng nguồn dữ liệu để sắp xếp và mô hình hoá cho data analyst của đội dữ liệu tiêu thụ.
Hơn nữa, data engineer chịu trách nhiệm thiết lập API tùy chỉnh và các pipeline ETL từ nguồn sở hữu riêng — trong khi analytics engineer dành nhiều thời gian hơn để cải thiện pipeline từ các API của nhà cung cấp như Google Analytics.
Analytics Engineer so với Data Scientist
Data scientist khảo sát, trích xuất và báo cáo những insight có ý nghĩa từ dữ liệu của tổ chức. Họ truyền tải các insight này tới các bên liên quan không kỹ thuật và có hiểu biết tốt về quy trình học máy cũng như cách gắn chúng với ứng dụng kinh doanh. Họ làm việc gần như hoàn toàn với các công cụ lập trình như SQL, Python và R, thực hiện phân tích và thường làm việc với công cụ big data.
Mối quan hệ giữa data scientist và analytics engineer tương tự như giữa data analyst và analytics engineer. Analytics engineer giúp data scientist tập trung nhiều hơn vào insight và ít hơn vào làm sạch và tối ưu tập dữ liệu.
Analytics Engineer so với Machine Learning Engineer
Machine learning engineer thiết kế và triển khai các hệ thống học máy tạo ra dự đoán từ dữ liệu của tổ chức. Họ giải quyết các bài toán như dự đoán rời bỏ khách hàng và giá trị vòng đời, và chịu trách nhiệm triển khai mô hình để tổ chức sử dụng. Họ làm việc hoàn toàn với công cụ dựa trên mã và tập trung vào công nghệ nhiều hơn so với các vai trò tương ứng.
Analytics engineer tập trung nhiều hơn vào việc hỗ trợ data analyst và data scientist, những người chịu trách nhiệm mang lại insight cho các bên liên quan trong kinh doanh.
So sánh công việc của Analytics Engineer
|
Data Analyst |
Data Engineer |
Data Scientist |
Machine Learning Engineer |
Analytics Engineer |
|
Phân tích dữ liệu và báo cáo insight cho các bên liên quan Xây dựng dashboard được cả tổ chức sử dụng Tận dụng chuyên môn và kiến thức miền để đưa ra khuyến nghị |
Xây dựng và duy trì các pipeline dữ liệu ETL bằng API của nhà cung cấp và API sở hữu riêng Tối ưu và tập trung dữ liệu trong data lake hoặc data warehouse Cung cấp dữ liệu vào các pipeline học máy Xử lý dữ liệu trên đám mây |
Phân tích dữ liệu và báo cáo insight cho các bên liên quan Thiết kế thí nghiệm như A/B test Triển khai dashboard được cả tổ chức sử dụng Phát triển quy trình học có giám sát và không giám sát Phân tích các kiểu dữ liệu không chuẩn như chuỗi thời gian, văn bản, không gian địa lý hoặc dữ liệu hình ảnh |
Huấn luyện và triển khai mô hình học máy Giám sát và cải thiện hiệu năng mô hình học máy trong môi trường sản xuất Áp dụng thực hành tốt của kỹ thuật phần mềm vào quy trình học máy (CI/CD) |
Tối ưu các pipeline do data engineer xây dựng để sẵn sàng cho tiêu thụ Áp dụng thực hành kỹ thuật tốt nhất cho các mô hình dữ liệu dùng bởi data analyst và data scientist Phát triển, tiêu chuẩn hóa và cải thiện tài liệu về dữ liệu |
|
R hoặc Python SQL, Power BI, Tableau |
R hoặc Python SQL Git, Shell và công cụ dòng lệnh Các công cụ big data như Airflow hoặc Spark Các công cụ đám mây như AWS, Azure, GCP hoặc Snowflake |
R hoặc Python SQL Git, Shell và công cụ dòng lệnh Các công cụ big data như Airflow hoặc Spark |
R hoặc Python SQL Git, Shell và công cụ dòng lệnh Các công cụ big data như Airflow hoặc Spark |
R hoặc Python SQL Git, Shell và công cụ dòng lệnh Các công cụ đám mây như AWS, Azure, GCP, Snowflake hoặc dbt |
Mức lương của Analytics Engineer
Vai trò analytics engineer còn rất mới, nghĩa là có ít người trên thị trường sở hữu đúng sự kết hợp giữa kỹ năng kỹ thuật và kỹ năng phân tích cần thiết để thành công trong vai trò này. Điều đó khiến vai trò analytics engineer trở nên rất hấp dẫn về đãi ngộ. Dưới đây là một số mức bạn có thể kỳ vọng về khoảng lương cho các vị trí analytics engineering tại Hoa Kỳ.
- Glassdoor: Theo Glassdoor, Analytics Engineer có thu nhập trung bình 91.080 đô la/năm. Ngoài ra, tùy theo địa điểm và công ty, mức lương có thể lên tới 208.000 đô la/năm.
- Comparably: Theo Comparably, Analytics Engineer có thu nhập trung bình 100.305 đô la/năm. Ngoài ra, tùy theo địa điểm và công ty, mức lương có thể lên tới 185.000 đô la/năm.
Mặc dù các con số trên đại diện cho khoảng tương đối của các vai trò analytics engineering trên phổ thị trường, cũng đáng lưu ý rằng các công ty dữ liệu trưởng thành cao như Netflix trả ở mức đỉnh của thị trường đãi ngộ cho các vai trò dữ liệu. Ví dụ, theo levels.FYI, Analytics Engineer tại Netflix có thể kiếm tới 375.000 đô la/năm.
Làm thế nào để trở thành Analytics Engineer?
Khi các vai trò dữ liệu trở nên chuyên biệt hơn, lộ trình nâng cao kỹ năng cũng hẹp dần. Không giống nhiều vai trò dữ liệu đã bàn ở trên, analytics engineer đòi hỏi bộ kỹ năng rộng, yêu cầu họ học các công cụ và khái niệm như sau
SQL
SQL có lẽ là một trong những công cụ được dùng rộng rãi nhất trong toàn bộ lĩnh vực phân tích ở mọi vai trò dữ liệu. May mắn thay, đây cũng là một trong những công cụ dễ học và dễ làm chủ. Xem bài viết này để biết cách học SQL, kèm theo các tài nguyên học tập bổ sung tại đây.
- Lộ trình nghề nghiệp: Data Analyst in SQL
- Lộ trình kỹ năng: SQL Fundamentals
Python
Python là ngôn ngữ lập trình phổ dụng đang là lựa chọn phổ biến nhất hiện nay. Dù bạn bước vào vai trò analytics engineering hay bất kỳ vai trò dữ liệu nào nêu trên, Python chắc chắn sẽ hữu ích. Tìm tất cả tài nguyên bạn cần để học Python tại đây và bắt đầu với các khóa học sau.
- Lộ trình nghề nghiệp: Python Programmer
- Lộ trình nghề nghiệp: Data Analyst with Python
Công cụ ETL
ETL là viết tắt của “Extract, Transform, and Load”. Đây là các công cụ cho phép kỹ sư thiết lập các pipeline dữ liệu để trích xuất dữ liệu từ nhiều nguồn, chuyển đổi thành dữ liệu có thể sử dụng và nạp chúng vào cơ sở dữ liệu. Một trong những công cụ ETL mã nguồn mở phổ biến nhất là Airflow. Xem Airflow hoạt động trong khóa học này.
Công cụ điện toán đám mây
Mặc dù “công cụ điện toán đám mây” chắc chắn là một thuật ngữ bao trùm, analytics engineer và các vai trò dữ liệu khác thường xuyên tận dụng dịch vụ đám mây như AWS, Azure, Google Cloud hoặc Snowflake. Những công cụ này cho phép đội dữ liệu lưu trữ, xử lý và triển khai dữ liệu & giải pháp dữ liệu trên đám mây. Công cụ điện toán đám mây phổ biến nhất là AWS. Bạn có thể tìm hiểu thêm về AWS qua các khóa học AWS của DataCamp dưới đây.
- Khóa học: AWS Cloud Concepts
- Khóa học: Introduction to AWS Boto in Python
Quản lý phiên bản
Quản lý phiên bản có lẽ là xương sống của các thực hành tốt trong kỹ thuật phần mềm. Nói ngắn gọn, nó cho phép người làm theo dõi họ đã làm gì vào lúc nào, hoàn tác bất kỳ thay đổi nào họ không muốn, và cộng tác ở quy mô lớn với người khác.
Các công cụ dòng lệnh như Git giúp bạn áp dụng thực hành quản lý phiên bản. Tìm hiểu thêm về Git qua cheat sheet này!
Kỹ năng giao tiếp
Mặc dù mọi vai trò dữ liệu đều yêu cầu kỹ năng giao tiếp ở mức độ nào đó, analytics engineering đòi hỏi mức kỹ năng giao tiếp tương tự như vai trò data analyst, đồng thời có năng lực kỹ thuật của data engineer. Trở thành người giao tiếp tốt hơn là một kỹ năng, không phải năng khiếu. Xem Data Communication Concepts để cải thiện kỹ năng giao tiếp kỹ thuật của bạn.
Trở thành Analytics Engineer
Analytics engineering, cũng như MLOps, vẫn còn rất non trẻ. Để đón đầu xu hướng, hãy xem các tài nguyên dưới đây.
