[Infographic] Danh sách kiểm tra dự án Khoa học Dữ liệu

Làm như thế nào?

Xác định vấn đề kinh doanh cần giải quyết

Điều này phải làm rõ lý do thực hiện dự án một cách càng rõ ràng càng tốt. 

Xác định các bên liên quan

Các vai trò có thể gồm quản lý dự án, nhà khoa học dữ liệu, quản lý khách hàng, quản trị dữ liệu.

Xem lại công việc trước đây

Xem lại các dự án hiện có đã xử lý vấn đề tương tự.

• Kết quả chính của dự án là gì?
• Có thể tái sử dụng công việc hay tài sản nào cho dự án này không?
• Những sai lầm nào đã xảy ra cần tránh lặp lại?

Xác định các chỉ số hiệu quả chính (KPI hoặc chỉ số) để đo lường thành công

Các chỉ số nên theo tiêu chí SMART.

• Cụ thể (Specific): Được định nghĩa rõ ràng để mọi thành viên đều hiểu.
• Đo lường được (Measurable): Có thể xác định KPI đã đạt hay chưa.
• Khả thi (Achievable): Nhóm có kỹ năng và nguồn lực để đạt KPI.
• Liên quan (Relevant): KPI gắn với mục tiêu rộng hơn của tổ chức.
• Thời hạn (Time-related): Có hạn chót để đạt mục tiêu.

Ví dụ không SMART: "Tăng chuyển đổi website"

Ví dụ SMART: "Tối ưu thiết kế và trải nghiệm người dùng của website để tăng tỷ lệ chuyển đổi thêm 10% trước cuối Quý 2"

Xác định phạm vi

• Các sản phẩm bàn giao của dự án là gì?
• Yêu cầu cho các sản phẩm bàn giao này là gì?
• Những gì sẽ không nằm trong phạm vi dự án?

Viết kế hoạch dự án

• Đặt các mốc cho những bước trung gian của dự án.
• Quyết định thời gian để đạt từng mốc.
• Viết mô tả ngắn cho mỗi bước.

Ước tính tác động của dự án

• Định lượng lợi ích cho tổ chức nếu đạt mục tiêu.
• Nếu tính toán còn bất định, cung cấp khoảng giá trị hoặc khoảng tin cậy cho lợi ích.
• Liệt kê mọi lợi ích định tính không thể định lượng.

Ước tính công sức thực hiện dự án

• Chi phí dự án là bao nhiêu?
• Dự án sẽ mất bao lâu?
• Dự án cần những nguồn lực nào?

Ước tính rủi ro dự án

• Liệt kê tất cả rủi ro đối với dự án.
• Với mỗi rủi ro, tính tác động rủi ro bằng xác suất xảy ra nhân với mức độ nghiêm trọng khi xảy ra.

Quyết định có tiếp tục dự án hay không

Dựa trên tác động dự kiến của dự án so với công sức và rủi ro, quyết định

• tiếp tục triển khai ngay.
• tạm hoãn để ưu tiên dự án có mức độ ưu tiên cao hơn.
• hủy dự án.

Xác định trách nhiệm của từng bên liên quan

Dùng mô hình RACI. Với mỗi nhiệm vụ, xác định ai là

• Responsible (Chịu trách nhiệm thực hiện): người trực tiếp làm.
• Accountable (Chịu trách nhiệm cuối cùng): người quyết định chính.
• Consulted (Được tham vấn): người được hỏi ý kiến cho các quyết định chính.
• Informed (Được thông báo): người cần được thông báo về các quyết định chính.

Xác định chiến lược truyền thông

• Bạn sẽ giữ liên lạc như thế nào?
• Tần suất họp là bao lâu một lần?

Xác định nguồn dữ liệu

• Bạn đã có quyền truy cập dữ liệu này chưa?
• Dữ liệu được lưu ở đâu?
• Dữ liệu ở dạng gì?
• Bộ dữ liệu lớn đến mức nào?
• Bạn có từ điển dữ liệu giải thích ý nghĩa dữ liệu không?
• Có thể tạo dữ liệu tổng hợp để dùng trong thử nghiệm bằng chứng (POC) không?

Dự liệu nhu cầu tuân thủ

• Bất kỳ sản phẩm bàn giao nào (như mô hình tài chính) có bị kiểm toán không?
• Tất cả nguồn dữ liệu hoặc đặc trưng có được phép sử dụng hợp pháp không?

Quyết định bộ công nghệ

• Thống nhất công cụ để lưu trữ, xử lý và mô hình hóa dữ liệu.

Soạn điều lệ dự án

• Tóm tắt các quyết định cho dự án trong một tài liệu ngắn, bao gồm mục tiêu, các bên liên quan, KPI, kế hoạch, nguồn dữ liệu, bộ công nghệ và chiến lược truyền thông.

Làm như thế nào?

Cấp quyền truy cập cho nhà khoa học dữ liệu tới tất cả bộ dữ liệu

• Thiết lập quyền phù hợp cho mỗi bộ dữ liệu.
• Mua các bộ dữ liệu thương mại hoặc dùng dữ liệu tổng hợp có tính chất tương tự.

Nạp dữ liệu

• Với mỗi nguồn dữ liệu, chuyển vào môi trường phân tích.

Khám phá dữ liệu

• Trực quan hóa phân phối của từng biến bằng biểu đồ histogram hoặc cột.
• Định lượng giá trị thiếu cho từng biến.
• Trực quan hóa mối quan hệ giữa các đặc trưng và biến mục tiêu bằng biểu đồ phân tán, histogram, boxplot hoặc heatmap.

Viết báo cáo chất lượng dữ liệu

Với mỗi bộ dữ liệu

• Cung cấp tóm tắt về bộ dữ liệu.
• Mô tả các vấn đề chất lượng dữ liệu ở mức cao.
• Mô tả chất lượng của biến mục tiêu.
• Mô tả chất lượng của từng đặc trưng.
• Mô tả mối quan hệ giữa từng đặc trưng và biến mục tiêu.

Quyết định có tiếp tục dự án hay không

Dựa trên báo cáo chất lượng dữ liệu, quyết định

• tiếp tục dự án.
• tạm dừng để thu thập thêm dữ liệu.
• hủy dự án.

Xây dựng đường ống dữ liệu

Dữ liệu thường cần được cập nhật thường xuyên khi dự án tiến triển. Đường ống dữ liệu 

• nên tự động hóa quá trình nạp và làm sạch.
• nên chạy theo lịch (cập nhật theo lô) hoặc chạy liên tục (cập nhật luồng).

Ghi tài liệu cho đường ống dữ liệu

• Vẽ sơ đồ các bước trong đường ống dữ liệu và sự phụ thuộc giữa chúng.
• Mô tả những gì diễn ra ở mỗi bước.

Làm như thế nào?

Đưa ra giả thuyết

• Giả thuyết có hợp lý trong miền kinh doanh không?
• Bạn có thể đo lường kết quả không?
• Bạn có đủ dữ liệu để quan sát hiệu ứng có ý nghĩa thống kê không?
• Có thiên lệch thống kê nào cần tính đến không?

Chia dữ liệu thành tập huấn luyện và kiểm tra

Hãy làm việc này trước khi bắt đầu kỹ thuật đặc trưng để tránh rò rỉ dữ liệu.

Kỹ thuật đặc trưng

Tạo đặc trưng cho mô hình bằng các kỹ thuật như:

• Chuẩn hóa hoặc tỉ lệ hóa biến số.
• Tạo biến phân loại từ biến số bằng cách chia khoảng (binning).
• Áp dụng biến đổi Box-Cox hoặc Yeo-Johnson cho biến số để gần phân phối chuẩn.
• Gộp các hạng mục hiếm hoặc liên quan của biến phân loại.
• Tách hoặc kết hợp các thành phần của dữ liệu thời gian.
• Tạo biến mới từ các thống kê tóm tắt.
• Trích xuất chỉ số định lượng từ văn bản và dữ liệu phi cấu trúc khác.

Huấn luyện mô hình, hoặc chạy thí nghiệm

• Bắt đầu với mô hình đơn giản nhất và tăng dần độ phức tạp.
• Với bộ dữ liệu lớn, cân nhắc mô hình hóa trên mẫu.

Đánh giá kết quả

Dùng các chỉ số như accuracy, precision, recall để định lượng hiệu năng mô hình. Nếu hiệu năng chưa đủ tốt:

• Bạn có thể thu thập thêm dữ liệu không?
• Bạn có thể kỹ thuật thêm đặc trưng không?
• Bạn có thể dùng thuật toán khác không?

Báo cáo kết quả

• Cung cấp phản hồi thường xuyên cho các bên liên quan.
• Điều chỉnh ngôn ngữ cho phù hợp giữa nhóm kinh doanh và kỹ thuật.
• Báo cáo cả thất bại lẫn thành công.

Làm như thế nào?

Tạo bộ kiểm thử

Xác định các kiểm thử chạy tự động để kiểm tra hiệu năng mô hình hoặc thí nghiệm và phát hiện lỗi có thể phát sinh trong quá trình lặp. Có thể bao gồm:

• Kiểm thử đơn vị cho mã.
• Backtest cho danh mục đầu tư hoặc chuỗi thời gian khác.

Xác thực tác động kinh doanh

Giờ đây bạn đã có các chỉ số hiệu năng mô hình, bạn có thể định lượng tốt hơn tác động dự kiến đến doanh nghiệp. Thảo luận tác động với các bên liên quan kinh doanh.

Xác thực cách tiếp cận kỹ thuật

Kiểm tra tính phù hợp về mặt kỹ thuật của mô hình cuối cùng.

• Các giả định của mô hình có hợp lệ không?
• Kết quả có nhạy với dữ liệu bạn đã lấy mẫu không?
• Các siêu tham số có phù hợp không?
• Người khác có thể tái lập mô hình của bạn không?

Xác thực khả năng triển khai

• Có xử lý được mọi giá trị đầu vào hoặc trường hợp sử dụng không?
• Tất cả nguồn dữ liệu cần thiết có sẵn ở môi trường sản xuất không?
• Mô hình có thể “thất bại an toàn” nếu một số nguồn dữ liệu không sẵn sàng không?
• Có thể đưa ra dự đoán đủ nhanh không?

Lưu giữ kết quả vô hiệu

Bất cứ thứ gì không đưa vào sản xuất cũng nên được ghi lại trong kho tri thức để các dự án sau không lãng phí thời gian thử lại cùng một điều.

Làm như thế nào?

Phát triển đường ống dữ liệu

• Thiết lập Đồ thị có hướng không chu trình (DAG) cho tất cả nguồn dữ liệu vào môi trường sản xuất.
• Lên lịch để cập nhật dữ liệu tự động.

Phát triển đường ống mô hình

• Chia luồng mô hình thành các tác vụ và kết hợp chúng thành một pipeline.

Vận hành hóa mô hình

Cung cấp API cho mô hình để dashboard, website hoặc phần mềm khác có thể truy cập.

Thiết kế kế hoạch giám sát

• Xác định các chỉ số cần theo dõi, gồm chỉ số hiệu năng và chỉ số an toàn để phát hiện nếu bạn vô tình đưa lỗi vào.
• Xác định ngưỡng phạm vi chấp nhận được cho các chỉ số đó.
• Quyết định cách bạn muốn được cảnh báo nếu chỉ số vượt ngoài phạm vi.

Triển khai bằng A/B test

• Cung cấp tính năng hoặc mô hình mới cho một mẫu người dùng ngẫu nhiên.
• Theo dõi sát các chỉ số đã chọn, nhưng hãy kiềm chế kết luận nhóm thắng cuộc cho đến khi đạt ý nghĩa thống kê.

Phân tích và báo cáo kết quả A/B test

• So sánh các chỉ số bạn đã chọn theo dõi cho mỗi nhóm.
• Báo cáo kết quả, ngay cả khi thử nghiệm không thành công.

Triển khai cho hầu hết hoặc toàn bộ người dùng

Nếu thử nghiệm thành công, hãy triển khai tính năng hoặc mô hình cho hầu hết hoặc toàn bộ người dùng.

• Bao gồm một nhóm giữ lại nhỏ không nhận được tính năng hoặc mô hình để thu thập dữ liệu dài hạn về mức tăng hiệu năng từ tính năng hoặc mô hình mới.

Làm như thế nào?

Viết báo cáo tổng kết

Tóm tắt trạng thái dự án và những gì bạn đã học được.

• Cung cấp tổng quan về dự án.
• Tóm tắt vấn đề kinh doanh bạn cố gắng giải quyết.
• Mô tả nguồn dữ liệu và cách xử lý.
• Mô tả kỹ thuật mô hình sử dụng và cách xác thực mô hình.
• Tóm tắt kiến trúc giải pháp.
• Nêu lợi ích dự án mang lại cho công ty và khách hàng.
• Mô tả các bài học về triển khai dự án, khoa học dữ liệu, miền kinh doanh và sản phẩm.
• Nêu bước tiếp theo.

Thu thập phản hồi khách hàng

• Thực hiện khảo sát và phỏng vấn người dùng.
• Theo dõi đánh giá, xếp hạng và mạng xã hội.

Làm như thế nào?

Phát triển đường ống giám sát

Thiết lập một pipeline để tự động theo dõi các chỉ số hiệu năng và an toàn đã xác định trong kế hoạch giám sát.

Tạo bảng điều khiển

Tạo dashboard để theo dõi sự thay đổi của các chỉ số này theo thời gian.

Thiết lập cảnh báo

Thiết lập cảnh báo để thông báo cho bạn qua email, Slack, v.v. khi các chỉ số vượt khỏi phạm vi chấp nhận.