Masa Lalu, Masa Kini, dan Masa Depan MLOps

Banyak Proyek Machine Learning yang Gagal

Banyak organisasi berinvestasi besar-besaran dalam AI dan machine learning. Namun, itu tidak berarti organisasi telah memetik nilai machine learning di dalam organisasi mereka. Menurut VentureBeat, 87% proyek data science tidak pernah masuk ke produksi. Dalam keynote di Transform 2019 milik VentureBeat, Deborah Leff, CTO untuk Data Science dan AI di IBM, serta Chris Chap, Senior Vice President Data and Analytics di Gap, berpendapat bahwa banyak tim tidak memiliki kepemimpinan dan dukungan yang tepat untuk menciptakan kondisi yang mengarah pada keberhasilan proyek.

Leff dan Chap menggambarkan kualitas data, demokratisasi data, dan alur organisasi sebagai hambatan utama yang banyak organisasi tidak memiliki alat atau struktur yang tepat untuk mengatasinya. Tim data yang tidak dapat mengakses data berkualitas tinggi dan relevan atau bekerja di lingkungan kolaboratif yang tepat tidak akan mampu berhasil dalam proyek-proyek ini, terlepas dari kompetensi mereka. Mereka juga menyoroti masalah pembusukan model, di mana beberapa organisasi menerapkan model yang berhenti bekerja tanpa disadari selama lebih dari tiga tahun. Hal ini terlihat jelas saat Covid-19 muncul, ketika lockdown memaksa perilaku konsumen berubah total dan banyak model analitik ritel gagal di produksi.

Pertimbangan penting lain dalam proyek ML adalah meningkatnya penggunaan teknologi open source untuk menguji dan memproduksi model. Ini termasuk bahasa pemrograman open source seperti Python beserta banyak pustakanya seperti Scikit-learn, pandas, PySpark, dan lainnya. Mengubah versi salah satu di lingkungan produksi dapat sangat memengaruhi keberhasilan proyek atau bahkan membuatnya berhenti bekerja sama sekali. Mengelola versi dan kerangka kerja open source ini memerlukan sistem yang terorganisasi agar efektif dalam skala besar.

Kebutuhan akan MLOps

Machine Learning Model Operationalization Management (MLOps) adalah cara untuk menstandarkan dan merampingkan manajemen siklus hidup proyek machine learning. Dalam buku mereka, Dataiku membahas tiga faktor kunci mengapa MLOps menjadi sangat penting bagi perusahaan: banyaknya ketergantungan, kurangnya literasi data dan bahasa data yang umum di organisasi, serta data scientist yang tidak memiliki keterampilan rekayasa.

Banyak ketergantungan: Data mencerminkan perilaku dan proses dunia nyata, dan secara alami berubah seiring waktu (misalnya, kebiasaan membeli tisu toilet selama Covid-19). Saat data berubah dari waktu ke waktu—yang terjadi terus-menerus—model di produksi harus terus beradaptasi agar organisasi tetap menyelesaikan masalah awal yang ingin mereka pecahkan dengan model tersebut.

Tidak ada bahasa data yang umum: Dalam siklus hidup machine learning, proyek melibatkan orang dari beragam tim dengan latar belakang berbeda. Ini mencakup data scientist, data engineer, serta pakar materi pelajaran fungsional. Kelompok-kelompok ini tidak memiliki keterampilan atau kefasihan data yang sama untuk berkomunikasi dengan cara yang seragam, dan keselarasan mereka sangat penting untuk menerapkan model di produksi dan mengevaluasi keberhasilannya.

Data scientist tidak memiliki keterampilan rekayasa: Data scientist biasanya mengkhususkan diri dalam membangun dan mengevaluasi model, bukan menulis aplikasi untuk diterapkan. Seiring organisasi mengandalkan lebih banyak model dan model yang lebih kompleks, data scientist menghadapi trade-off antara mengembangkan dan mengiterasi model serta memeliharanya di produksi.

Mengapa MLOps Bermanfaat

Model machine learning semakin banyak diterapkan dalam proses bisnis. Peningkatan volume ini menuntut penggunaan MLOps untuk mengurangi risiko terkait model, menerapkannya secara bertanggung jawab, dan menggunakannya dalam skala besar.

Ada banyak risiko yang terkait dengan penerapan model:

• Model dapat tidak tersedia untuk beberapa waktu. Teknologi berpotensi tidak andal di lingkungan produksi. Jika sebuah organisasi sangat bergantung pada model, mereka dapat menghadapi tantangan besar saat teknologi tersebut tidak tersedia.

• Model dapat mengembalikan hasil buruk untuk sebagian sampel. Model mungkin berkinerja sangat baik untuk sebagian besar kelompok tetapi memberikan hasil buruk untuk satu kelompok. Hal ini perlu diperbaiki atau dipahami untuk menghindari pengambilan keputusan bisnis yang buruk berdasarkan keluaran model bagi kelompok yang berkinerja rendah. Kinerja buruk ini juga dapat menimbulkan masalah etika terkait model AI yang berkinerja rendah untuk beberapa variabel terlindungi (seperti ras, usia, gender, dll.)

• Model dapat menjadi kurang adil atau akurat di masa depan. Seiring dunia berubah, data yang digunakan saat pelatihan menjadi kurang mewakili dunia yang coba dipahami oleh model. Ini dapat menyebabkan kinerja buruk pada data di masa depan.

• Talenta data science dapat meninggalkan organisasi seiring waktu. Memelihara model memerlukan keterampilan teknis dan kapasitas yang mungkin tidak selalu dimiliki data scientist untuk memastikan keandalan model secara sempurna.

Risiko-risiko ini meningkat tergantung pada besarnya dampak model terhadap organisasi dan kemungkinan terjadinya salah satu peristiwa risiko tersebut. Banyak risiko ini dapat dikurangi dengan memastikan data pelatihan mencerminkan dengan baik data yang akan ditemui di lingkungan produksi dan memastikan lingkungan produksi stabil karena model sangat sensitif terhadap perubahan. MLOps semakin diperlukan untuk memitigasi risiko terkait dengan bertambahnya jumlah model machine learning yang diterapkan untuk keputusan penting.

Seiring penggunaan model machine learning dalam pengambilan keputusan menjadi semakin lazim, semakin penting memastikan model diterapkan secara bertanggung jawab. Ada banyak penyebab bias algoritmik yang harus dihindari saat keputusan diotomatisasi melalui sistem AI. Kegagalan meminimalkan bias dapat berujung pada sanksi melalui regulasi pemerintah atau penurunan permintaan dan laba bagi sebuah merek. Untuk menerapkan sistem AI secara bertanggung jawab, model harus dilatih pada sumber data yang patuh dan bebas bias, memiliki hasil yang dapat ditafsirkan dan dijelaskan, serta akuntabilitas di seluruh organisasi sehingga mudah menemukan titik dalam pipeline pengembangan tempat sesuatu berpotensi salah untuk diperbaiki secara efektif. Untuk menerapkan model AI secara bertanggung jawab, organisasi memerlukan siklus hidup model ML yang efisien.

Menerapkan semakin banyak model memerlukan MLOps agar berhasil. Diperlukan proses yang efisien untuk melacak versi, memahami kinerja model versus kinerja model yang dilatih ulang, dan memastikan model terus berkinerja baik dari waktu ke waktu. Tanpa MLOps, sangat sulit menambahkan nilai dan dampak bisnis secara sukses dengan model-model ini.

Peran dalam Program MLOps

Walau MLOps masih baru dan terus berkembang pesat, organisasi perlu memiliki orang-orang yang kuat dalam peran berikut: Subject Matter Expert, Data Scientist, Data Engineer, serta Software dan DevOps Engineer.

Subject matter expert adalah individu berorientasi bisnis yang memahami dan menentukan cara mengukur serta terus mengevaluasi keberhasilan model saat pelatihan dan setelah penerapan. Untuk program MLOps yang berhasil, mereka harus mengembangkan pengukuran kinerja bisnis yang mudah dipahami dan mekanisme umpan balik untuk membedakan model yang tidak berkinerja sesuai ekspektasi bisnis. Selain itu, subject matter expert risiko adalah bagian penting dari program MLOps. Tujuan mereka adalah meminimalkan dan memperjelas risiko yang dihadapi perusahaan akibat penerapan model ML di produksi.

Rekomendasi Kursus: Understanding Data Topics

Data scientist bertanggung jawab membangun model yang menjawab pertanyaan bisnis yang dihasilkan oleh subject matter expert. Model-model ini harus dapat diterapkan di lingkungan produksi dengan data produksi. Data scientist harus memastikan model mudah dan aman diterapkan di produksi, memiliki pengujian untuk penjaminan mutu dan potensi perbaikan, serta memiliki visibilitas yang mudah atas semua model yang diterapkan dari satu lokasi.

Rekomendasi Kursus: Machine Learning Scientists Career Track (R/Python), Image Processing in Python, Machine Learning with PySpark

Data engineer bertanggung jawab membuat pipeline data untuk model tersebut. Untuk program MLOps yang berhasil, kinerja semua model yang diterapkan harus mudah terlihat, begitu pula detail lengkap setiap pipeline untuk melihat di mana potensi masalah yang bisa ditangani.

Terakhir, software dan DevOps engineer bertugas membantu integrasi model ini dengan aplikasi non-machine learning lainnya. Untuk praktik MLOps yang berhasil, mereka harus mengintegrasikan praktik terbaik rekayasa data guna memastikan model dapat bekerja selaras dengan aplikasi yang ada secara andal, berkelanjutan, dan mulus.

Rekomendasi Kursus: Data Engineer with Python Career Track

Ada banyak peran kunci yang harus dimanfaatkan dengan baik untuk keberhasilan program MLOps. Penerapan ratusan model secara skala besar memerlukan kontribusi anggota di luar pakar data, termasuk subject matter expert dan software engineer, untuk menghasilkan hasil bisnis yang positif. Organisasi yang berupaya mengembangkan program MLOps yang berhasil harus membangun bahasa data yang umum di seluruh pemangku kepentingan melalui peningkatan keterampilan dan pembelajaran berkelanjutan.

Pelajari lebih lanjut tentang DataCamp for Business:

DataCamp for Business menyediakan platform pembelajaran interaktif bagi perusahaan yang perlu meningkatkan dan mengalihkan keterampilan karyawannya dalam bidang data. Dengan topik mulai dari literasi data, data science, hingga data engineering dan machine learning, lebih dari 1.600 perusahaan mempercayai DataCamp for Business untuk meningkatkan keterampilan talenta mereka.