Cách vượt qua thách thức khi mở rộng quy mô các dự án khoa học dữ liệu

Chúng ta đang ở chặng cuối của Kỷ nguyên Thông tin.

Nhưng nông nghiệp và công nghiệp đâu có biến mất vào giữa thế kỷ 20 khi Kỷ nguyên Thông tin lấn át Kỷ nguyên Công nghiệp. Tương tự, Kỷ nguyên Thông tin sẽ—hay đúng hơn, đã—được hấp thụ vào kỷ nguyên mới đầy phấn khích mà chúng ta đang sống: Kỷ nguyên Trải nghiệm.

Nếu Kỷ nguyên Thông tin xoay quanh việc thu thập lượng dữ liệu khổng lồ, thì Kỷ nguyên Trải nghiệm là về việc phân tích chúng và khám phá dữ liệu có thể làm gì cho chúng ta - khiến dữ liệu phục vụ chúng ta.

Và đó là lúc các nhà khoa học dữ liệu như bạn xuất hiện. Ngày càng nhiều tổ chức thành lập đội ngũ khoa học dữ liệu để khai thác insight từ các dòng dữ liệu liên tục. Cục Thống kê Lao động Hoa Kỳ ước tính việc làm trong lĩnh vực khoa học dữ liệu sẽ tăng 35% trước năm 2033.

Hãy so sánh con số này với tốc độ tăng trưởng việc làm trung bình toàn quốc là 3% trên mọi ngành.

Thống kê đó thật đáng phấn khích, nhưng nhu cầu cao đối với vị trí nhà khoa học dữ liệu cũng có nghĩa là nhu cầu về insight dựa trên dữ liệu là rất lớn, và mọi tổ chức đều muốn có một phần lớn miếng bánh này.

Áp lực có thể trở nên nặng nề. Làm thế nào đội của bạn theo kịp nhu cầu insight dựa trên dữ liệu của tổ chức? Làm sao bạn mở rộng số lượng dự án khoa học dữ liệu mà đội có thể thực hiện mà không tiêu tốn quá nhiều nguồn lực?

Tất cả nằm ở khâu tổ chức. Với hệ thống quản trị dữ liệu và lập kế hoạch sprint vận hành trơn tru, bạn có thể làm được nhiều hơn những gì từng nghĩ.

Quản trị dữ liệu là gì và vì sao quan trọng?

Quản trị dữ liệu là hệ thống mà một đội dùng để quản lý vòng đời của dữ liệu mà họ thu thập. Với một kế hoạch quản trị dữ liệu hiệu quả, đội của bạn sẽ làm việc có tổ chức và tuân thủ các quy định quan trọng ở cấp bang, liên bang và toàn cầu.

Bạn có thể tự hỏi: “Sự khác nhau giữa quản trị dữ liệu và quản lý dữ liệu là gì?” Hãy nghĩ như sau:

• Quản trị dữ liệu đặt ra các chính sách và quy trình chi phối cách bạn thu thập, sử dụng và bảo mật dữ liệu.
• Quản lý dữ liệu là cách bạn thu thập, xử lý, lưu trữ, phân tích và diễn giải dữ liệu đó.

Nói cách khác, quản trị dữ liệu thiết lập khung cho quản lý dữ liệu và giám sát các quy trình đó. Bạn có thể tìm hiểu thêm về các khái niệm quản trị dữ liệu với DataCamp.

Hầu hết các tổ chức đều có các kế hoạch quản trị mặc định ở cấp vi mô—một kế hoạch cho một công cụ kinh doanh nhất định và một kế hoạch khác cho chức năng riêng biệt. Với tư cách nhà khoa học dữ liệu, công việc của bạn là hợp lý hóa quản trị dữ liệu thành một cỗ máy cực kỳ có tổ chức và được kiểm soát chặt chẽ.

Có tốn nhiều công sức ban đầu không? Có. Nhưng khi đã thiết lập xong, bạn sẽ sẵn sàng quản lý các bộ dữ liệu lớn hơn và đảm nhận thêm nhiều dự án. Để nắm nhanh các khái niệm này, hãy xem Cheat Sheet về Nền tảng Quản trị Dữ liệu của DataCamp, một tài liệu tiện dụng để tham chiếu các khái niệm và thực tiễn tốt nhất.

Thiết lập khung quản trị dữ liệu

Quy trình quản trị dữ liệu bắt đầu bằng việc xây dựng đội ngũ.

Bạn và các nhà khoa học dữ liệu khác trong tổ chức sẽ cần hợp tác để triển khai chương trình quản trị dữ liệu. Chức danh và trách nhiệm cụ thể sẽ khác nhau tùy tổ chức, nhưng nhìn chung, tổ chức của bạn sẽ cần bổ nhiệm bốn vai trò:

• Data steward (Quản trị viên dữ liệu): Quản lý chương trình quản trị, đảm bảo an ninh và làm cầu nối giữa bộ phận kinh doanh và đội CNTT
• Data architect (Kiến trúc sư dữ liệu): Thiết kế hệ thống xử lý và lưu trữ dữ liệu, hỗ trợ quản trị viên dữ liệu tuân thủ chính sách quản trị
• Data custodian (Người giám hộ dữ liệu): Di chuyển, lưu trữ, bảo mật và giám sát việc sử dụng dữ liệu
• Data analyst (Nhà phân tích dữ liệu): Diễn giải dữ liệu và chuyển thành insight có thể hành động cho doanh nghiệp

Tùy quy mô công ty, bạn có thể cần nhiều người cho mỗi vai trò. Một số tổ chức cũng có quản trị viên dữ liệu hoặc hội đồng giám sát việc xây dựng chính sách quản trị dữ liệu.

Xây dựng một chiến lược toàn diện là tối quan trọng, và mô-đun của DataCamp về Xây dựng Chiến lược Quản trị Dữ liệu có thể cung cấp cho bạn một cách tiếp cận có cấu trúc cho quy trình này.

Phác thảo chính sách quản trị dữ liệu

Khi đã xây dựng đội ngũ, bạn có thể hợp tác để xác định các chính sách quản trị dữ liệu mà mọi người sẽ tuân theo.

Hãy nghĩ về những câu hỏi sau:

• Công ty sẽ sử dụng và quản lý dữ liệu theo các thực tiễn tốt nhất về quản trị dữ liệu như thế nào?
• Ai sẽ đưa ra quyết định về cách sử dụng dữ liệu khi công nghệ phát triển nhanh chóng?
• Tổ chức kỳ vọng người dùng cuối hưởng lợi từ dữ liệu như thế nào?

Khám phá câu trả lời và dùng chúng để tạo nên chính sách quản trị dữ liệu tổng thể của bạn. Hãy coi đó như chiếc ô bảo vệ các chính sách con bạn xây dựng xung quanh tiêu chuẩn, văn hóa dữ liệu và bảo mật.

Xác định nhu cầu về tiêu chuẩn, biện pháp bảo mật và văn hóa dữ liệu

Giờ đến lúc bạn nghĩ về tiêu chuẩn dữ liệu. Dữ liệu sẽ chẳng giúp ích nhiều nếu chất lượng không hảo hạng. Dữ liệu nên đáp ứng những tiêu chuẩn nào? Đội của bạn sẽ lọc bỏ dữ liệu không đạt tiêu chuẩn ra sao? Hiểu và đảm bảo chất lượng dữ liệu là tối quan trọng. Đào sâu chủ đề này với khóa Học Nhập môn Chất lượng Dữ liệu của DataCamp.

Tiếp theo là an ninh. Hãy xác định:

• Bạn sẽ phân loại dữ liệu như thế nào—công khai, riêng tư, mật, hạn chế, v.v.
• Ai sẽ có quyền truy cập vào từng phân loại
• Bạn sẽ mã hóa dữ liệu ra sao để đảm bảo an toàn từ lưu trữ đến truyền tải và ngược lại
• Một hệ thống cảnh báo để thông báo cho đội của bạn khi có vi phạm an ninh
• Một chính sách xử lý mọi vi phạm
• Lịch kiểm thử và kiểm toán để đảm bảo chương trình vận hành như dự định

Cuối cùng, một trong những việc quan trọng nhất đội quản trị dữ liệu có thể làm là giúp toàn bộ tổ chức hiểu dữ liệu có thể hỗ trợ họ như thế nào. Việc thông tin kịp thời giúp tạo nên văn hóa coi trọng và chăm sóc dữ liệu, đúng với giá trị của nó.

Vậy làm thế nào để khiến một thứ tưởng như khô khan như dữ liệu trở nên hấp dẫn với cả tổ chức?

Hãy thổi hồn vào nó, chính là như vậy.

Cho tổ chức thấy chính xác dữ liệu giúp công việc của họ dễ dàng hơn ra sao. Tổ chức các buổi thuyết trình hàng quý với biểu đồ và trực quan hóa cho thấy dữ liệu tác động đến quyết định của công ty như thế nào. Gửi các bản tin tóm lược thông tin hoặc bản tin hàng tháng theo cùng một tinh thần. Cung cấp các khóa học toàn công ty giúp nhân viên nâng cao hiểu biết dữ liệu.

Một tổ chức coi trọng dữ liệu sẽ góp phần duy trì các chính sách, quy trình và tiêu chuẩn mà bạn thiết lập. Chuẩn mực và cấu trúc này sẽ giúp đội khoa học dữ liệu của bạn dễ dàng nhận thêm dự án mà không phải hy sinh chất lượng hoặc an ninh dữ liệu.

Và giờ bạn đã sẵn sàng để “sprint”.

Lập kế hoạch sprint cho các đội khoa học dữ liệu

Bạn đã xây dựng khung để dữ liệu di chuyển an toàn và hiệu quả trong tổ chức. Giờ là lúc xem cách lập kế hoạch theo kiểu sprint có thể giúp bạn. Đúng là lập kế hoạch sprint là một phần của hệ thống quản lý dự án scrum được dùng trong phát triển phần mềm. Nhưng nó cũng rất hiệu quả cho quản trị và quản lý dữ liệu.

Bởi vì, giống như phát triển phần mềm, quản lý dữ liệu liên quan đến vô vàn thành phần chuyển động. Theo đúng nghĩa đen.

Trước tiên, hãy nói về sprint là gì.

Sprint là một khung thời gian được xác định trước, trong đó đội của bạn sẽ thực hiện các nhiệm vụ để đạt một mục tiêu chủ chốt. Dù sprint có thể dài tùy bạn, nhưng thường kéo dài từ một đến bốn tuần. Thường thì đây là đủ thời gian để đội khoa học dữ liệu của bạn hoàn thành các dự án nhỏ hoặc trung bình.

Những lúc khác, đội của bạn sẽ cần chạy nhiều sprint để hoàn thành một dự án khổng lồ. Bạn biết đấy, những dự án mà bạn phải tạo ra một bộ dữ liệu lớn và đưa nó đi qua toàn bộ vòng đời từ thu thập đến diễn giải.

Trước khi sprint bắt đầu, đội của bạn sẽ họp để lập bản đồ.

Như vậy, khi sprint chính thức bắt đầu, mọi người đều biết chính xác phải làm gì trong ngày làm việc. Theo phương pháp Scrum, các cuộc họp lập kế hoạch sprint không nên kéo dài quá hai giờ cho mỗi tuần của sprint.

Giả sử tổ chức chăm sóc sức khỏe của bạn giao cho bạn một dự án nhỏ hơn. Đội của bạn cần tìm hiểu vì sao nút kêu gọi hành động (CTA) trên trang chủ của công ty hoạt động kém. Nút CTA đang kêu gọi bệnh nhân đặt lịch tầm soát ung thư quan trọng.

Để giải quyết vấn đề này, bạn sẽ cần:

• Phân tích dữ liệu lịch sử cho biết về nhóm đối tượng mục tiêu của nút CTA
• Đề xuất một đến hai biến thể mới của nút CTA
• Chạy A/B test giữa các biến thể với nhau và với bản gốc
• Thu thập, xử lý và phân tích dữ liệu trong một khoảng thời gian xác định
• Cung cấp insight có thể hành động để giúp đội marketing chọn nút CTA phù hợp

Đội marketing muốn có kết quả trong vòng ba tuần.

Đây là thời hạn gấp cho một thử nghiệm A/B, nhưng đội của bạn sẵn sàng. Bạn sẽ tổ chức một phiên lập kế hoạch sprint kéo dài ba giờ cho sprint ba tuần.

Chúng ta sẽ dùng kịch bản này để minh họa lập kế hoạch sprint cho một đội khoa học dữ liệu có thể trông như thế nào.

1. Xác định mục tiêu và khung thời gian của sprint

Hai câu hỏi đầu tiên đội của bạn nên đặt ra khi lập kế hoạch sprint là:

• Kết quả nào chúng ta muốn sprint này mang lại?
• Khung thời gian nào là thực tế để đạt được kết quả này?

Đội marketing đã đưa cho bạn kết quả lý tưởng, đó là một nút CTA có số lượt nhấp gấp đôi hiện tại.

Và bạn đã biết bạn có ba tuần để hoàn thành sprint.

Bạn đã sẵn sàng chuyển sang bước tiếp theo.

2. Viết user story

Trong phát triển phần mềm, user story là mô tả sản phẩm cuối cùng từ góc nhìn người dùng. Đây là một nhiệm vụ sáng tạo viết bằng ngôn ngữ tự nhiên, dễ hiểu. Mục tiêu là đặt đội phát triển vào vị trí người dùng cuối và liên hệ các điểm của câu chuyện với các nhiệm vụ cụ thể trong một sprint.

Bạn cũng có thể làm điều tương tự cho dự án khoa học dữ liệu của mình.

Quay lại dự án nút CTA giả định của chúng ta. Bộ phận marketing muốn người dùng mong muốn bấm vào nút CTA để được tầm soát ung thư miễn phí. Điều đó có nghĩa là bạn cần đặt mình vào vị trí của người đang nhìn thấy nút trên trang web của tổ chức chăm sóc sức khỏe.

Hãy trả lời những câu hỏi như sau khi viết user story của bạn:

• Ai là người sẽ bấm vào nút CTA mới?
• Những lo lắng liên quan đến sức khỏe nào khiến họ trăn trở về đêm?
• Vì sao họ sẽ được lợi từ việc tầm soát ung thư?
• Nút thể hiện các lợi ích đó rõ ràng và ngắn gọn như thế nào?
• Văn bản và đồ họa xung quanh nút khiến họ cảm thấy thế nào?
• Điều gì ở màu sắc, phông chữ và nội dung trên nút khiến họ muốn nhấp?
• Tại sao người này sẽ bấm vào nút CTA?

Bạn có thể điều chỉnh các câu hỏi này cho dự án của mình. Tập trung vào kết quả và lần ngược lại cho đến khi bạn hiểu cách nó tương tác và mang lại lợi ích cho người dùng.

Nếu bạn có thể ghép các điểm cụ thể trong câu chuyện với các nhiệm vụ trong sprint, thì càng tốt. Điều đó sẽ giúp bạn ở bước thứ ba của hành trình lập kế hoạch kiểu sprint.

3. Giao nhiệm vụ sprint cho từng thành viên

Đến lúc này, bạn nên biết các nhiệm vụ cần làm và lý do phải làm chúng.

Đã đến lúc giao cho mỗi thành viên trong đội khoa học dữ liệu một nhiệm vụ để hoàn thành trong khung thời gian của sprint. Bạn có thể cần chia nhỏ một số nhiệm vụ. Bạn cũng cần xác định các phụ thuộc. Ví dụ, đội khoa học dữ liệu của bạn sẽ không thể thử nghiệm các biến thể nút CTA mới cho đến khi chúng được xây dựng.

Hãy cân nhắc sử dụng phần mềm quản lý nhiệm vụ để theo dõi ai chịu trách nhiệm cho từng nhiệm vụ và đảm bảo rằng các phụ thuộc được nhận diện và quản lý rõ ràng.

Phác thảo thời lượng cho từng nhiệm vụ con và nhiệm vụ. Phân bổ số giờ sprint cho mỗi phần. Trao đổi với đội để đảm bảo số giờ là hợp lý và khả thi.

Hãy nhớ rằng các con số giờ này chỉ là ước tính và mọi thứ có thể, và sẽ, thay đổi. Nếu bạn lo ngại về tiến độ, hãy trao đổi với bộ phận yêu cầu dự án. Thương lượng để có thời gian dài hơn nếu cần. Luôn là ý hay khi “đệm” thêm thời gian cho dự án. Đội của bạn có thể dùng khoảng này để đánh giá tiến độ và điều chỉnh khi có vấn đề.

Vội vã chạy dự án có thể khiến tốn nhiều thời gian và tiền bạc hơn về sau—và đó chính là vấn đề mà lập kế hoạch sprint nhằm giúp bạn tránh.

Quản trị dữ liệu và lập kế hoạch sprint: Cặp đôi hoàn hảo

Khi khoa học dữ liệu ngày càng phổ biến trong Kỷ nguyên Trải nghiệm đầy hứng khởi này, đội của bạn sẽ đồng thời làm hàng chục dự án.

Giữ bình tĩnh và tiếp tục sprint.

Ý chúng tôi là:

• Xác định ngày đến hạn ước tính cho từng dự án
• Chia mỗi dự án thành một hoặc nhiều sprint
• Phân công các sprint khác nhau cho các tiểu đội trong bộ phận của bạn HOẶC lên lịch sprint theo thứ tự dự án đến hạn trước
• Tổ chức các phiên lập kế hoạch sprint cho từng sprint/dự án

Giờ đây bạn sẽ thấy bạn và đội của mình hoàn thành hết mục tiêu này đến mục tiêu khác thật thỏa mãn. Với khung quản trị dữ liệu đã sẵn sàng, việc quản lý dòng dữ liệu liên tục sẽ trở nên trơn tru và an toàn.

Và nếu có trục trặc nào xảy ra trên hành trình, bạn sẽ có sẵn các chính sách và quy trình để xử lý mà không hề nao núng.

Lời kết

Khi bạn bắt đầu hành trình mở rộng quy mô các dự án khoa học dữ liệu, hãy nhớ rằng học hỏi liên tục và thích nghi là chìa khóa thành công. Để nâng cao kỹ năng và kiến thức hơn nữa, hãy khám phá các khóa học toàn diện về quản trị dữ liệu của DataCamp, như Khóa học Các Khái niệm Quản trị Dữ liệu, và luôn dẫn đầu trong Kỷ nguyên Trải nghiệm.