Seberapa Mulus Operasional Tim Data Anda? Temukan Tingkat Kemapanan MLOps di Organisasi Anda

MLOps, atau Machine Learning Operations, adalah aspek penting dari alur kerja machine learning dan semakin mengkristal menjadi bidang tersendiri. MLOps menggabungkan machine learning dengan praktik terbaik rekayasa perangkat lunak untuk memastikan model dapat melewati pipeline dari eksperimen hingga produksi sekaligus mengurangi utang teknis di tim data.

Agar sukses dengan machine learning dalam skala besar, penting untuk mempertimbangkan tingkat kemapanan MLOps di organisasi Anda. Sering kali, ada hambatan untuk menerapkan model, seperti infrastruktur, budaya organisasi, atau ketidakmampuan melakukan pelatihan ulang saat model mengalami drift. Hal ini dapat menyebabkan nilai yang diperoleh dari machine learning jauh di bawah ekspektasi (atau lebih buruk, berpotensi merugikan para pemangku kepentingan yang berinteraksi dengan model Anda). Ini dapat menimbulkan ketidakpercayaan terhadap kemampuan tim data dalam memberikan nilai lewat machine learning. Untuk sepenuhnya mewujudkan potensi machine learning dan AI, dibutuhkan pendekatan MLOps yang matang dan terencana.

MLOps juga memungkinkan data scientist fokus pada hal yang benar-benar penting: mengumpulkan dan membersihkan data, mengembangkan model, serta menggunakan teknik yang tepat. Ini karena MLOps secara signifikan meningkatkan otomasi di setiap tahap siklus hidup machine learning.

Artikel ini mengasumsikan Anda memiliki pengetahuan kerja tentang MLOps dan memahami pentingnya; untuk informasi lebih lanjut tentang MLOps, lihat artikel kami Memulai dengan MLOps dan Praktik Terbaik MLOps. 

Mengapa Perlu Tingkat Kematangan?

MLOps bukan sekadar mengadopsi alat atau mengubah cara bekerja. Implementasi memerlukan pendekatan holistik dalam menggunakan alat dan teknologi untuk memecah silo di dalam tim teknis dan meningkatkan otomasi. Ini mungkin berarti melakukan restrukturisasi organisasi atau memindahkan orang, namun solusi setiap perusahaan akan berbeda dan unik. 

Melihat MLOps melalui lensa kematangan—atau ukuran seberapa jauh perusahaan Anda dalam proses implementasi MLOps—membantu menetapkan posisi organisasi dan apa yang dapat dilakukan untuk meningkatkan kematangan, serta apa yang akan diberikan oleh peningkatan tersebut. Ini juga berarti kematangan MLOps dapat diskalakan seiring organisasi. Perusahaan kecil dengan sedikit model tidak perlu berada pada tingkat kematangan yang sama dengan organisasi besar dan kompleks. Namun, bahkan organisasi kecil yang proposisi nilainya mengandalkan machine learning akan membutuhkan praktik MLOps yang relatif matang.

Perlu dicatat juga bahwa peningkatan dalam model kematangan tidak bersifat linear. Organisasi Anda mungkin memiliki elemen praktik MLOps yang sangat matang, namun rendah di area lain. Pada bagian di bawah, kami akan menguraikan model kematangan MLOps Microsoft, yang memberikan gambaran holistik tentang bagaimana MLOps berevolusi dalam sebuah organisasi. 

Model Kematangan MLOps Microsoft

Model kematangan MLOps Microsoft mendefinisikan tiga dimensi luas untuk mengevaluasi kematangan MLOps:

• People: Berbagai peran dalam tim data, dan bagaimana mereka saling berinteraksi
• Siklus Hidup Machine Learning: Bagaimana siklus hidup machine learning dikelola, dari pengumpulan data hingga pembuatan dan rilis model.
• Aplikasi: Bagaimana model machine learning diuji, diimplementasikan, diterapkan, dan dilatih ulang.

Selain itu, model kematangan MLOps Microsoft mendefinisikan lima tahapan kematangan untuk praktik MLOps, sebagai berikut:

1. Tanpa MLOps: Sistem terpisah seperti kotak hitam dengan tim data yang tersilo, serta pelatihan, penerapan, dan pengujian model dilakukan secara manual.
2. DevOps tetapi tanpa MLOps: Tim data melatih model sementara tim terpisah menerapkannya. Umpan balik atas kinerja model tidak transparan dengan reprodusibilitas terbatas. 
3. Pelatihan Teraotomasi: Model dapat direproduksi dan rilis tidak terlalu manual. Pelatihan bersifat otomatis dan pipeline digunakan secara luas.
4. Penerapan Teraotomasi: Penerapan otomatis dan dapat ditelusuri kembali ke data asli. Model dapat diuji A/B setelah penerapan dan pengujian otomatis.
5. MLOps Penuh: Sistem sepenuhnya otomatis dari pemasukan data hingga penerapan dan pengujian model, dengan analitik terpusat yang dipantau atas kinerja model. Sistem ini sering kali dibuat secara kustom.

Bagian berikut akan membahas setiap tingkat kematangan, dengan tabel ringkasan yang mencakup poin-poin kunci.

Tanpa MLOps

Pada tahap ini, hampir tidak ada otomasi dan tim data tersilo dari organisasi yang lebih luas dan di dalamnya sendiri. Adopsi alat rendah dan beberapa fungsi seperti rekayasa data mungkin belum ada atau dijalankan oleh data scientist. Pada tingkat kematangan ini, menerapkan satu model pun sulit dan memakan waktu, serta pelatihan ulang model memerlukan menjalankan ulang seluruh analisis dan job pelatihan. Tidak ada pelacakan model setelah penerapan sehingga mengeksplorasi dampaknya mungkin tidak memungkinkan.

DevOps tetapi tanpa MLOps

Dengan integrasi praktik terbaik DevOps, tim data masih tersilo, meskipun mungkin ada data engineer khusus. Teknologi komputasi awan mungkin diadopsi, tetapi belum dimanfaatkan sepenuhnya. Pada tahap ini, pengumpulan data dari basis data dan persiapan untuk machine learning akan diotomasi dalam pipeline yang dapat digunakan ulang. Mungkin juga ada uji integrasi saat model diterapkan. Data scientist akan menjalankan banyak peran dan sangat terlibat dalam pengujian model setelah penerapan.

Pelatihan Teraotomasi

Pada tahap ini, kolaborasi di dalam tim data meningkat signifikan. Data scientist kini bekerja dengan engineer untuk mengubah kode pelatihan model menjadi skrip yang dapat diulang yang memanfaatkan pipeline data otomatis. Eksperimen akan dilacak dan kontrol versi akan jauh lebih luas. Penerapan lebih terotomasi dengan file model masih diserahkan ke software engineer.

Penerapan Model Teraotomasi

Software engineer kini berkolaborasi jauh lebih erat dengan data engineer untuk menerapkan model, serta pipeline pelatihan dan pengumpulan datanya. Eksperimen sepenuhnya dilacak dan ada uji unit serta uji integrasi otomatis untuk setiap rilis model dan aplikasi itu sendiri. Mungkin juga ada CI/CD di beberapa area.

MLOps Penuh dengan Pelatihan Ulang Teraotomasi

Pada tahap kematangan terakhir, data engineer, data scientist, dan software engineer bekerja bahu-membahu untuk memastikan otomasi semaksimal mungkin dalam proses pengembangan dan penerapan. Selain itu, eksperimen serta pelatihan dan pelatihan ulang model diotomasi berdasarkan metrik produksi, model dirilis secara otomatis dan dikelola oleh pipeline CI/CD, serta model diuji dalam kode aplikasi. 

Perbedaan Antara Model MLOps Populer

Perbedaan mencolok antara model kematangan MLOps ini dan milik Google adalah implementasi konsep CI/CD. Google menyarankan konsep ini biasanya berada di tingkat kematangan akhir, sementara Microsoft menyebut pelatihan ulang sebagai tahap terakhir.

Pada kenyataannya, pelatihan ulang adalah salah satu pendorong utama adopsi MLOps dan mungkin diintegrasikan lebih awal daripada tahap akhir. Namun, ada prasyarat untuk pelatihan ulang model, seperti otomasi dan infrastruktur yang kuat, serta pipeline data dan pelatihan model berkualitas tinggi. Konsep CI/CD akan terus disempurnakan hingga tahap akhir kematangan MLOps. 

Organisasi yang sangat matang seperti Google dan Microsoft biasanya memiliki perangkat lunak kustom yang berjalan di solusi komputasi awan mereka sendiri dan memanfaatkan alat tertentu hingga potensi tertingginya. Software engineer sering mengatakan bahwa teknologi di perusahaan tersebut “sekadar bekerja”, dengan penerapan model yang mulus dan akses data yang efisien. Ini diperlukan karena perusahaan-perusahaan tersebut memiliki ratusan model di produksi untuk beragam produk yang mereka tawarkan.

Cara Meningkatkan Kematangan MLOps Anda

MLOps masih menjadi salah satu area paling krusial dalam data science, karena banyak organisasi masih kesulitan membawa model ke produksi. Model kematangan MLOps memberikan kerangka kerja yang sangat baik untuk memahami posisi tim data saat ini dalam kemampuan machine learning mereka dan bagaimana mereka dapat berevolusi ke depan. 

Untuk mempelajari lebih lanjut tentang MLOps, lihat sumber daya berikut:

• [Podcast DataFramed] Mengoperasionalkan Machine Learning dengan MLOps
• [Webinar] Panduan Praktis untuk MLOps