Nhiều dự án Machine Learning thất bại
Nhiều tổ chức đang đầu tư mạnh vào AI và machine learning. Tuy nhiên, điều đó không đồng nghĩa họ đang gặt hái giá trị từ machine learning trong nội bộ. Theo VentureBeat, 87% dự án khoa học dữ liệu không đi vào sản xuất. Trong bài phát biểu chính tại sự kiện Transform 2019 của VentureBeat, Deborah Leff, CTO mảng Khoa học Dữ liệu và AI tại IBM, và Chris Chap, Phó Chủ tịch Cấp cao phụ trách Dữ liệu và Phân tích tại Gap, cho rằng nhiều nhóm thiếu lãnh đạo và sự hỗ trợ phù hợp cho các điều kiện dẫn đến thành công của các dự án này.
Leff và Chap mô tả chất lượng dữ liệu, dân chủ hóa dữ liệu và các vấn đề về dòng chảy tổ chức là những rào cản chính mà nhiều tổ chức không có công cụ hay cấu trúc phù hợp để vượt qua. Các nhóm dữ liệu không thể tiếp cận dữ liệu chất lượng cao, phù hợp hoặc không làm việc trong môi trường cộng tác đúng đắn sẽ khó thành công, bất kể năng lực của họ. Họ cũng đề cập đến hiện tượng suy giảm mô hình, khi một số tổ chức triển khai mô hình rồi để chúng ngưng hoạt động mà không hay biết trong hơn ba năm. Điều này càng rõ rệt khi Covid-19 bùng phát, các lệnh phong tỏa buộc người tiêu dùng thay đổi hành vi hoàn toàn và nhiều mô hình phân tích bán lẻ bị lỗi khi vận hành.
Một cân nhắc quan trọng khác trong các dự án ML là sự gia tăng sử dụng công nghệ nguồn mở để thử nghiệm và đưa mô hình vào sản xuất. Bao gồm các ngôn ngữ lập trình nguồn mở như Python và hệ sinh thái thư viện như Scikit-learn, pandas, PySpark, v.v. Chỉ cần thay đổi phiên bản của một thành phần trong môi trường sản xuất cũng có thể tác động lớn đến thành công của dự án hoặc khiến nó ngừng hoạt động hoàn toàn. Quản lý các phiên bản và khung nguồn mở đòi hỏi một hệ thống tổ chức để hiệu quả ở quy mô lớn.
Nhu cầu về MLOps
Machine Learning Model Operationalization Management (MLOps) là cách tiêu chuẩn hóa và tinh gọn việc quản trị vòng đời dự án machine learning. Trong cuốn sách của mình, Dataiku nêu ba yếu tố chính khiến MLOps ngày càng quan trọng với doanh nghiệp: có rất nhiều phụ thuộc, tổ chức thiếu hiểu biết về dữ liệu và ngôn ngữ dữ liệu chung, và nhà khoa học dữ liệu không có kỹ năng kỹ thuật phần mềm/khai triển.
Nhiều phụ thuộc: Dữ liệu phản ánh hành vi và quy trình ngoài đời thực, và tự nhiên thay đổi theo thời gian (ví dụ: thói quen mua giấy vệ sinh trong thời kỳ Covid-19). Khi dữ liệu luôn thay đổi theo thời gian, các mô hình trong sản xuất phải liên tục thích ứng để tổ chức tiếp tục giải quyết đúng vấn đề ban đầu họ muốn giải với các mô hình này.
Không có ngôn ngữ dữ liệu chung: Trong vòng đời machine learning, dự án có sự tham gia của nhiều nhóm với nền tảng khác nhau. Gồm nhà khoa học dữ liệu, kỹ sư dữ liệu, và cả chuyên gia nghiệp vụ. Các nhóm này không chia sẻ cùng kỹ năng hay độ thông thạo dữ liệu để giao tiếp theo một cách thống nhất, trong khi sự đồng thuận của họ là tối quan trọng để đưa mô hình vào sản xuất và đánh giá thành công.
Nhà khoa học dữ liệu thiếu kỹ năng kỹ thuật: Họ thường chuyên xây dựng và đánh giá mô hình, không phải viết ứng dụng để triển khai. Khi tổ chức phụ thuộc vào nhiều mô hình hơn và mô hình phức tạp hơn, nhà khoa học dữ liệu phải đánh đổi giữa phát triển, lặp lại mô hình và việc duy trì chúng trong sản xuất.
Vì sao MLOps hữu ích
Mô hình machine learning ngày càng được triển khai trong các quy trình kinh doanh. Khối lượng tăng lên đòi hỏi áp dụng MLOps để giảm thiểu rủi ro liên quan đến các mô hình này, triển khai có trách nhiệm và vận hành ở quy mô.
Có nhiều rủi ro khi triển khai một mô hình:
-
Mô hình có thể không khả dụng trong một thời gian. Công nghệ trong môi trường sản xuất có thể không ổn định. Nếu tổ chức phụ thuộc lớn vào các mô hình này, họ có thể gặp thách thức đáng kể khi công nghệ ngừng khả dụng.
-
Mô hình có thể trả về kết quả kém cho một nhóm mẫu. Nó có thể hoạt động rất tốt với đa số nhóm nhưng lại cho kết quả kém với một nhóm. Cần khắc phục hoặc hiểu rõ để tránh đưa ra quyết định kinh doanh sai lầm dựa trên đầu ra của mô hình cho nhóm hoạt động kém. Hiệu năng kém cũng có thể dẫn đến vấn đề đạo đức khi mô hình AI hoạt động kém với một số biến được bảo vệ (như chủng tộc, tuổi, giới tính, v.v.)
-
Mô hình có thể trở nên kém công bằng hoặc kém chính xác trong tương lai. Khi thế giới thay đổi, dữ liệu dùng để huấn luyện trở nên ít đại diện hơn cho thực tế mà mô hình đang cố hiểu. Điều này có thể dẫn đến hiệu năng kém trên dữ liệu tương lai.
-
Nhân sự khoa học dữ liệu có thể rời tổ chức theo thời gian. Duy trì các mô hình này đòi hỏi kỹ năng kỹ thuật và nguồn lực mà nhà khoa học dữ liệu không phải lúc nào cũng có để đảm bảo độ tin cậy hoàn hảo.
Các rủi ro này tỷ lệ với mức độ ảnh hưởng của mô hình đối với tổ chức và xác suất xảy ra các sự kiện rủi ro. Nhiều rủi ro có thể được giảm thiểu bằng cách đảm bảo dữ liệu huấn luyện phản ánh tốt dữ liệu sẽ gặp trong môi trường sản xuất và đảm bảo môi trường sản xuất ổn định vì mô hình rất nhạy với thay đổi. MLOps ngày càng cần thiết để giảm thiểu rủi ro liên quan đến số lượng mô hình machine learning ngày một tăng được triển khai cho các quyết định quan trọng.
Khi việc sử dụng mô hình machine learning trong ra quyết định trở nên phổ biến, việc đảm bảo chúng được triển khai có trách nhiệm ngày càng quan trọng. Có rất nhiều nguyên nhân dẫn đến thiên lệch thuật toán cần tránh khi tự động hóa quyết định qua hệ thống AI. Không giảm thiểu được thiên lệch có thể dẫn đến bị cơ quan quản lý xử phạt hoặc mất nhu cầu và lợi nhuận cho thương hiệu. Để triển khai hệ thống AI một cách có trách nhiệm, mô hình phải được huấn luyện trên nguồn dữ liệu tuân thủ và không thiên lệch, có kết quả có thể diễn giải và giải thích, và có trách nhiệm rõ ràng trong toàn tổ chức để dễ dàng xác định điểm trong quy trình phát triển nơi có thể xảy ra lỗi nhằm khắc phục hiệu quả. Để triển khai mô hình AI có trách nhiệm, tổ chức cần một vòng đời mô hình ML được tinh gọn.
Triển khai ngày càng nhiều mô hình đòi hỏi MLOps để thành công. Cần có quy trình tinh gọn để theo dõi phiên bản, hiểu hiệu năng mô hình so với mô hình được huấn luyện lại, và đảm bảo mô hình tiếp tục hoạt động tốt theo thời gian. Không có MLOps, rất khó để thực sự tạo ra giá trị và tác động kinh doanh với các mô hình này.
Vai trò trong một chương trình MLOps
Dù MLOps còn non trẻ và đang phát triển nhanh, tổ chức cần có những con người vững vàng ở các vai trò sau: Chuyên gia nghiệp vụ (Subject Matter Experts), Nhà khoa học dữ liệu, Kỹ sư dữ liệu, và Kỹ sư phần mềm/DevOps.
Chuyên gia nghiệp vụ là những người hướng kinh doanh, hiểu và xác định cách đo lường, liên tục đánh giá mức độ thành công của mô hình trong quá trình huấn luyện và sau khi triển khai. Để chương trình MLOps thành công, họ phải xây dựng thước đo hiệu quả kinh doanh dễ hiểu và vòng phản hồi để phân biệt các mô hình không đáp ứng kỳ vọng kinh doanh. Bên cạnh đó, chuyên gia nghiệp vụ về rủi ro là một phần quan trọng của chương trình MLOps. Mục tiêu của họ là giảm thiểu và làm rõ rủi ro mà công ty đối mặt do triển khai mô hình ML trong sản xuất.
Gợi ý khóa học: Understanding Data Topics
Nhà khoa học dữ liệu chịu trách nhiệm xây dựng mô hình giải quyết các câu hỏi kinh doanh do chuyên gia nghiệp vụ đưa ra. Các mô hình này cần có khả năng triển khai trong môi trường sản xuất với dữ liệu sản xuất. Nhà khoa học dữ liệu nên đảm bảo mô hình có thể triển khai dễ dàng, an toàn, có kiểm thử để đảm bảo chất lượng và tiềm năng cải tiến, và có khả năng quan sát tập trung tất cả mô hình đã triển khai từ một nơi.
Gợi ý khóa học: Lộ trình sự nghiệp Machine Learning Scientist (R/Python), Image Processing in Python, Machine Learning with PySpark
Kỹ sư dữ liệu chịu trách nhiệm tạo pipeline dữ liệu cho các mô hình này. Để chương trình MLOps thành công, hiệu năng của tất cả mô hình triển khai phải được hiển thị dễ dàng cũng như chi tiết đầy đủ cho từng pipeline để nhận diện nơi có thể tồn tại vấn đề cần xử lý.
Cuối cùng, kỹ sư phần mềm và DevOps phụ trách hỗ trợ tích hợp thành công các mô hình này với các ứng dụng không phải machine learning khác. Để thực hành MLOps thành công, họ phải tích hợp các thực tiễn tốt của kỹ thuật dữ liệu nhằm đảm bảo các mô hình có thể hoạt động song song với ứng dụng hiện có một cách tin cậy, liên tục và liền mạch.
Gợi ý khóa học: Data Engineer with Python Career Track
Có rất nhiều vai trò then chốt cần được vận dụng hiệu quả để chương trình MLOps thành công. Việc triển khai hàng trăm mô hình ở quy mô lớn đòi hỏi các thành viên ngoài nhóm chuyên gia dữ liệu, bao gồm chuyên gia nghiệp vụ và kỹ sư phần mềm, cùng tham gia để tạo ra kết quả kinh doanh tích cực. Các tổ chức hướng tới xây dựng chương trình MLOps thành công phải đặt mục tiêu kiến tạo một ngôn ngữ dữ liệu chung cho toàn bộ các bên liên quan thông qua nâng cao kỹ năng và học tập liên tục.
Tìm hiểu thêm về DataCamp for Business:
DataCamp for Business cung cấp nền tảng học tập tương tác cho các công ty cần nâng cao và tái đào tạo kỹ năng dữ liệu cho nhân sự. Với các chủ đề từ hiểu biết dữ liệu, khoa học dữ liệu đến kỹ thuật dữ liệu và machine learning, hơn 1.600 công ty tin tưởng DataCamp for Business để nâng cao năng lực đội ngũ.
