Một dự án khoa học dữ liệu có rất nhiều thành phần đòi hỏi sự phối hợp để triển khai thành công. Với các phần liên kết chặt chẽ đó, một cách tiếp cận linh hoạt (agile) là cần thiết cho cả quá trình phát triển lẫn triển khai. Cách tiếp cận này giúp tổ chức học nhanh và lặp nhanh. Trong một hội thảo trực tuyến gần đây của DataCamp, Brian Campbell, Quản lý Kỹ thuật, Nhóm Kỹ thuật Nội bộ tại Lucid Software, đã chia sẻ những thực tiễn tốt nhất để triển khai thành công các dự án khoa học dữ liệu.
Các bước sớm để cho phép phát triển theo hướng agile
Brian giải thích rằng có hai bước then chốt có thể thực hiện sớm trong dự án để cho phép tiến triển song song cả phát triển và triển khai mô hình: làm việc với mô hình đường chuẩn (baseline) và tạo nguyên mẫu (prototype). Dù những cách này làm phức tạp mốc thời gian, chúng mang lại kết quả nhanh hơn và tốt hơn đáng kể.
Làm việc với các mô hình đường chuẩn
Một bước hữu ích để có thể “đóng gói” thành công các dự án học máy là tạo một mô hình đường chuẩn. Mô hình đường chuẩn cho ra các đầu ra giống như mô hình cuối cùng. Tuy nhiên, nó được xây dựng trước phần lớn quá trình phát triển và có thể dựa trên heuristic hoặc dữ liệu ngẫu nhiên. Đường chuẩn này đặt ra mục tiêu để các lần lặp sau vượt qua.
Khi nhóm phát triển các mô hình mới, kết quả mới có thể so sánh với đường chuẩn để rút kinh nghiệm. Khoảng cách giữa đường chuẩn và trạng thái mong muốn định hình yêu cầu dự án và giúp nhóm xác định dữ liệu cùng giải pháp có giá trị nhất cho vấn đề.
Làm việc với nguyên mẫu
Nguyên mẫu là các mô hình nhận cùng loại đầu vào và cung cấp đầu ra theo cùng định dạng như mô hình cuối cùng. Mô hình này có thể được dẫn dắt bởi mô hình đường chuẩn. Khi nguyên mẫu sẵn sàng, những người phụ trách triển khai có thể bắt đầu tích hợp mô hình vào mục đích sử dụng dự kiến. Nguyên mẫu cho phép tiến triển song song: nhà khoa học dữ liệu cải thiện mô hình trong khi nhóm triển khai làm việc về cách đóng gói mô hình cho khách hàng hoặc trong quy trình kinh doanh.
Nguyên mẫu chỉ phát huy tác dụng khi mô hình cuối cùng hành xử giống nguyên mẫu. Vì vậy, cần hiểu dữ liệu sẵn có và định dạng đầu ra dự kiến trước khi tạo nguyên mẫu. Điều này đòi hỏi hiểu biết về dự án vượt ra ngoài khâu xác định vấn đề ban đầu, và sự phối hợp chặt chẽ với các chuyên gia về bài toán.
Tình huống thực tế với đường chuẩn và nguyên mẫu
Brian chia sẻ cách nhóm của anh tại Lucid sử dụng đường chuẩn và nguyên mẫu để tăng tốc phát triển mô hình phân cụm cho sản phẩm ghi chú dán (sticky note) được các nhóm sản phẩm, thiết kế và kỹ thuật sử dụng. Các nhóm này thường tổ chức các phiên tư duy thiết kế, nơi người điều phối phải thủ công gom nhóm các ghi chú dán tương tự theo danh mục. Mục tiêu của hệ thống là rút ngắn thời gian từ động não đến thảo luận bằng cách tự động gom ý tưởng vào các danh mục và loại bỏ trùng lặp.
Mô hình đường chuẩn nhận các ý tưởng ngẫu nhiên và tạo ra các danh mục ngẫu nhiên tương ứng. Sau đó, họ tạo một nguyên mẫu của mô hình này để các chuyên gia triển khai có thể bắt tay vào làm sớm trong quá trình phát triển. Theo thời gian, họ cải thiện mô hình đường chuẩn bằng cách tận dụng xử lý ngôn ngữ tự nhiên và học máy để phân cụm các ghi chú dán tương tự.
Truyền thông là yếu tố quan trọng với các mô hình này
Vòng lặp đầu tiên của dự án gặp trục trặc do thiếu phối hợp nhất quán giữa nhóm triển khai và các nhà khoa học dữ liệu phát triển mô hình. Sự thiếu hợp tác này dẫn đến vấn đề hiệu năng mô hình, kiểm thử thiếu chính xác và trải nghiệm sản phẩm kém. Họ đã không tận dụng được lợi thế của việc phát triển mô hình song song.
Khi khởi động lại dự án và hợp tác hiệu quả, họ đã giải quyết các vấn đề đó và đặt kỳ vọng thực tế. Sự hợp tác trở nên khả thi nhờ có một mô hình nguyên mẫu để nhóm triển khai làm việc song song với nhóm khoa học dữ liệu đang phát triển mô hình.
Để hiểu các bài học rút ra từ dự án và cách điều hướng hiệu quả các dự án khoa học dữ liệu phức tạp, hãy đừng bỏ lỡ hội thảo trực tuyến phát lại theo yêu cầu.
