Dasar-Dasar MLOps
IntermediateSkill Level
14 jam
Saat ini, terlalu banyak model pembelajaran mesin yang tidak diterapkan di produksi dan tetap berada di laboratorium data. Sama seperti bidang yang baru berkembang, seperangkat praktik terbaik, alat, teknik, dan peran yang perlu diadopsi oleh tim data modern masih perlu matang dan distandardisasi. Hal ini menimbulkan keluhan bagi bisnis yang ingin mengekstrak nilai dari pembelajaran mesin dalam skala besar, dan bagi data scientist yang ingin melangkah lebih jauh dari sekadar bereksperimen di notebook. MLOps (Machine Learning Operations) muncul dalam beberapa tahun terakhir dengan tujuan menyelesaikan tantangan penerapan yang dihadapi tim data.
Petunjuknya ada pada namanya: sebagaimana DevOps membentuk pengembangan aplikasi Agile yang cepat berdasarkan kebutuhan bisnis, MLOps bertujuan melakukan hal yang sama dengan menjembatani kesenjangan antara kompleksitas dan penerapan model pembelajaran mesin.
Bagaimana tepatnya MLOps mengatasi tantangan ini? Dalam artikel ini, kami bertujuan untuk mendemistifikasi beberapa konsep seputar MLOps sebagai disiplin yang sedang berkembang dan menjawab pertanyaan kunci seperti
- Apa itu MLOps dan apa saja komponen kunci dari praktik MLOps yang sukses?
- Bagaimana perbedaan MLOps dari DevOps?
- Bagaimana MLOps membayangkan ulang alur kerja pembelajaran mesin?
- Bagaimana Anda dapat mulai menggunakan MLOps hari ini?
Apa itu MLOps?
Alessya Visnjic, CEO WhyLabs, sebuah startup MLOps yang berfokus pada pemantauan model, secara tepat menggambarkan MLOps sebagai “seperangkat alat, praktik, teknik, budaya, dan pola pikir yang memastikan penerapan sistem pembelajaran mesin yang andal dan dapat diskalakan”.
Dalam perspektif definisi ini, MLOps dibangun di atas disiplin DevOps yang sudah ada, yakni praktik modern untuk menulis, menerapkan, dan menjalankan aplikasi enterprise secara efisien. Ini adalah proses lintas fungsi, kolaboratif, dan iteratif yang mengoperasionalkan data science. MLOps memperlakukan pembelajaran mesin sebagai disiplin rekayasa, di mana model diperlakukan sebagai artefak perangkat lunak yang dapat digunakan kembali dan kemudian dapat diterapkan melalui proses yang dapat diulang.
MLOps juga melibatkan pemantauan dan pelatihan ulang model secara berkelanjutan di lingkungan produksi untuk memastikan performa optimal seiring perubahan data dari waktu ke waktu, fenomena yang juga dikenal sebagai data drift.
Singkatnya, MLOps memungkinkan tim data meningkatkan skala nilai yang mereka berikan dengan memungkinkan:
- Penerapan lebih cepat untuk lebih banyak model melalui proses otomatis
- Optimalkan produktivitas melalui kolaborasi dan penggunaan ulang model
- Kurangi risiko dan biaya pada model yang tidak pernah masuk ke produksi
- Pantau dan perbarui model secara berkelanjutan saat terjadi data drift
Kembali ke definisi Visnjic tentang MLOps, hal di atas memerlukan inovasi tooling bagi tim data modern, serta pergeseran pola pikir bagi banyak data scientist saat ini.
Mengapa MLOps penting?
Kami telah membahas bagaimana MLOps bertujuan menyelesaikan tantangan penerapan bagi banyak tim data saat ini. Namun, apa yang membuat pembelajaran mesin begitu unik hingga memerlukan fungsi operasi khusus baru seperti MLOps?
Aplikasi pembelajaran mesin pada dasarnya berbeda dari perangkat lunak tradisional. Berikut adalah beberapa tantangan signifikan yang dihadapi organisasi saat menerapkan sistem pembelajaran mesin ke dalam produksi.
- Kepemilikan dan kolaborasi: Secara tradisional, data scientist cenderung membuat dan mengembangkan model pembelajaran mesin, dan tim TI yang bertugas menerapkan serta mengelolanya. Namun, kolaborasi antara kedua tim ini tidak selalu seefisien yang seharusnya dan cenderung menimbulkan friksi. Misalnya, tim data science semakin sering diminta oleh berbagai bagian bisnis untuk menyelesaikan semakin banyak masalah. Mengingat kompleksitas sistem TI modern, data scientist kurang memberi perhatian pada lingkungan produksi dan sistem TI yang ada—karena itu merupakan tanggung jawab tim TI. Demikian pula, tim TI cenderung tidak fokus pada seluk-beluk solusi yang dihasilkan data scientist—yang menimbulkan ekspektasi keliru tentang keterterapan banyak model ini. Dinamika ini menimbulkan friksi dan anti-pola yang harus dihindari dengan segala cara—di mana tim data berpuas diri dengan pola pikir "mari bangun model, kirim ke TI, dan mereka yang melanjutkan".
- Data adalah aspek penentu dari perangkat lunak berbasis pembelajaran mesin: Data adalah darah kehidupan bagi sistem pembelajaran mesin. Tidak seperti perangkat lunak tradisional, di mana software engineer merancang proses yang tertata untuk menerima serangkaian input dan menghasilkan serangkaian output, sistem pembelajaran mesin bergantung pada metode statistik yang menerima data dunia nyata yang berantakan sebagai input dan menghasilkan prediksi sebagai output. Ini berarti perilaku sistem pembelajaran mesin dapat berubah akibat perubahan data. Lebih jauh lagi, ini berarti mengevaluasi performa model pembelajaran mesin memerlukan pengamatan dan analisis. Terakhir, ini berarti alur kerja pembelajaran mesin itu berantakan, bersifat eksperimental, dan secara alami membutuhkan jenis keterampilan yang berbeda dari rekayasa perangkat lunak tradisional.
- Kompleksitas penerapan: Ada peningkatan kompleksitas pada sistem model pembelajaran mesin. Berbeda dengan perangkat lunak tradisional, menerapkan model pembelajaran mesin mencakup orkestrasi berbagai langkah yang saling terhubung dari beragam alat. Ini mencakup pengumpulan, penyimpanan, transformasi data, rekayasa fitur, dan lainnya. Selain itu, reprodusibilitas dan kontrol versi merupakan tantangan utama bagi tim data. Mengingat sifat eksperimental pembelajaran mesin, tim data science membangun banyak versi model menggunakan versi berbeda dari dataset yang sama. Dengan demikian, kontrol versi tradisional perlu menjadi lebih tangguh.
MLOps vs DevOps—apa bedanya?
Pada bagian sebelumnya, kami menguraikan mengapa pembelajaran mesin memerlukan fungsi operasi khusus. Namun, bagaimana MLOps berbeda dari DevOps dalam praktiknya?
DevOps adalah gabungan dari Development (Dev) dan Operations (Ops). Ini menggabungkan dua fungsi penting departemen TI: pengembangan aplikasi dan rekayasa sistem. DevOps berupaya memperpendek siklus pengembangan—dan mempercepat laju keluaran tim rekayasa perangkat lunak. Ini dilakukan dengan memperkenalkan otomatisasi, proses yang diperbarui, dan cara kerja baru bagi tim pengembangan. Secara lebih luas, DevOps menghadirkan dua prinsip dalam proses pengembangan perangkat lunak:
- Continuous Integration (CI)—proses melakukan iterasi kecil dan sering ke repositori kontrol versi. Ini mengurangi masalah saat penerapan karena kode sering diterapkan ke produksi.
- Continuous Delivery (CD)—proses mengotomatiskan langkah-langkah yang diperlukan untuk mengirimkan aplikasi dan perangkat lunak ke lingkungan produksi.
Mengingat sifat unik pembelajaran mesin, berikut beberapa cara praktis MLOps berbeda dari DevOps:
- Continuous Integration diperluas dari pengujian dan validasi kode, menjadi juga menguji dan memvalidasi model serta data
- Continuous Delivery diperluas dari mengotomatiskan langkah untuk mengirim aplikasi ke produksi menjadi secara otomatis mengirim pipeline data yang memicu prediksi pembelajaran mesin
- Continous Training diperkenalkan—yang unik untuk pembelajaran mesin—di mana model secara otomatis dilatih ulang untuk penerapan
- Continuous Monitoring diperkenalkan—yang memantau kerusakan kualitas data produksi, kinerja model, dan metrik bisnis yang terikat pada model pembelajaran mesin
Alur Kerja MLOps
Membayangkan ulang alur kerja data science untuk MLOps
Mengingat kompleksitas tambahan dalam menerapkan model pembelajaran mesin ke produksi—bagaimana tim data dapat mulai mengadopsi MLOps ke dalam alur kerja data science mereka? Pada bagian ini, kami memperkenalkan pendekatan langkah demi langkah yang disederhanakan dalam proses MLOps:
- Membangun: Setelah model dibuat, model biasanya ditempatkan di repositori yang dapat diaudit di bawah kontrol versi untuk mendukung penggunaan ulang di seluruh perusahaan.
- Evaluasi: Kualitas prediksi model dikuantifikasi pada tahap ini dengan mengukur performa model yang baru dilatih pada dataset baru dan independen.
- Produksi: Ekspor, terapkan, dan integrasikan model atau pipeline ke dalam sistem dan aplikasi produksi.
- Pengujian: pengujian berkelanjutan penting untuk aplikasi berbasis ML, yang berkaitan dengan pelatihan ulang dan penyajian model secara otomatis.
- Penerapan: Pemantauan berkelanjutan diperlukan untuk memastikan performa optimal. Model dapat dilatih ulang atau diganti dengan model baru seiring perubahan data.
- Pemantauan dan observabilitas: Banyak perusahaan menghadapi tantangan saat memindahkan model pembelajaran mesin ke lingkungan produksi.
Membayangkan ulang peran data untuk MLOps
Dalam tim data science yang lebih kecil, satu orang dapat memiliki lebih dari satu peran dan merangkap banyak tugas. Namun, dalam tim data yang lebih besar dan lebih terproses, Anda dapat menemukan berbagai peran dan keterampilan yang memiliki elemen berbeda dari alur kerja MLOps. Peran-peran ini dapat dilihat sebagai berikut:
- Data Scientist: Sering dianggap sebagai pemain utama dalam tim MLOps mana pun, data scientist adalah pakar yang menggunakan data perusahaan untuk menghasilkan nilai. Peran mereka adalah memahami, menyusun, dan menafsirkan data ini untuk menghadirkan dan memberikan wawasan dari data dalam bentuk model prediktif. Mereka membuat, menguji, dan mengevaluasi model pembelajaran mesin. Di beberapa perusahaan, mereka juga menerapkan dan memantau performa model setelah berada di produksi.
- Data Engineer: Data Engineer bertanggung jawab menciptakan dan memelihara lingkungan yang memungkinkan hampir setiap fungsi lain dalam tim data dapat beroperasi. Mereka bertanggung jawab mengembangkan, membangun, memelihara, dan menguji arsitektur, seperti basis data dan sistem pemrosesan. Sederhananya, mereka memfasilitasi aliran data dari ekstraksi, transformasi, hingga penyampaian.
- Software Engineer: Dalam proses MLOps, software engineer bertugas mengintegrasikan model pembelajaran mesin ke dalam aplikasi dan sistem perusahaan. Mereka juga memastikan bahwa model pembelajaran mesin bekerja mulus dengan aplikasi non-pembelajaran mesin mana pun di dalam perusahaan.
- Machine Learning Engineer: Machine learning engineer berada di persimpangan data science dan data engineering. Perannya adalah mengoptimalkan dan memproduksi model yang dikembangkan oleh data scientist di dalam infrastruktur yang disiapkan oleh data engineer.
Memulai dengan MLOps
Seperti dibahas sepanjang artikel ini, MLOps masih merupakan bidang yang baru dengan banyak alat, praktik terbaik, dan metodologi yang masih terus bermunculan. Bagian ini didedikasikan untuk berbagai cara Anda dapat memulai dengan MLOps, dengan alat yang dapat mulai Anda coba, serta sumber belajar yang dapat Anda ambil hari ini.
Alat yang perlu dipertimbangkan untuk MLOps
-
Kubeflow: Kubeflow adalah rangkaian alat untuk menjalankan alur kerja Machine Learning pada kluster Kubernetes. Tujuan Kubeflow adalah memungkinkan solusi pembelajaran mesin open-source terbaik berjalan di kluster Kubernetes dengan cara yang sederhana, portabel, dan dapat diskalakan. Awalnya Kubeflow adalah implementasi open-source dari TensorFlow Extended (TFX), yang merupakan platform end-to-end untuk menerapkan pipeline pembelajaran mesin di produksi. Dengan demikian, Kubeflow memungkinkan penyederhanaan eksekusi pekerjaan TensorFlow di KubernetesMLFlow: MLflow adalah alat untuk mengindustrialisasi proses pengembangan end-to-end proyek Machine Learning. Ambisinya adalah menyederhanakan pengembangan proyek Machine Learning di perusahaan dengan mempermudah pemantauan, reproduksi, pengelolaan, dan penerapan model.
-
Data Version Control (DVC): DVC (Data Version Control) adalah paket Python yang mempermudah pengelolaan proyek data science Anda. Alat ini adalah ekstensi Git untuk Machine Learning, seperti yang dinyatakan oleh kontributor utamanya Dmitry Petrov dalam presentasi ini. DVC sekaligus sebanding dan komplementer terhadap Git.
-
Pachyderm: Pachyderm adalah alat kontrol versi untuk pembelajaran mesin dan data science seperti DVC. Di atas itu, ia berbasis pada Docker dan Kubernetes, yang membantu menjalankan dan menerapkan proyek Machine Learning di platform cloud mana pun. Selain itu, Pachyderm memastikan semua data yang dimasukkan ke dalam model pembelajaran mesin memiliki versi dan dapat ditelusuri.
Sumber belajar untuk MLOps
Dasar-dasar Machine Learning
- Machine Learning For Absolute Beginners: A Plain English Introduction (Second Edition) oleh Oliver Theobald. Seperti judulnya, buku ini menawarkan pengantar lengkap tentang pembelajaran mesin bagi pemula. Dan saat kita berbicara tentang pemula, yang dimaksud benar-benar novice. Tidak diperlukan pengetahuan dasar matematika atau pengalaman coding. Ini adalah pengantar dasar pembelajaran mesin bagi siapa pun yang tertarik pada topik ini. Bahasa yang digunakan cukup sederhana agar tidak membanjiri pembaca dengan jargon yang sulit dipahami. Berbagai algoritme disertai penjelasan yang jelas dan mudah diikuti serta contoh visual. Buku ini juga menyajikan beberapa konsep pemrograman sederhana untuk memberikan konteks yang lebih baik tentang pembelajaran mesin.
- Machine Learning For Dummies oleh John Paul Mueller dan Luca Massaron. Bagi pemula, seri buku "for dummies" juga merupakan titik awal yang baik. Buku ini memperkenalkan konsep dan teori dasar pembelajaran mesin dan menjelaskan cara menerapkannya di dunia nyata. Buku ini memperkenalkan bahasa dan alat pemrograman penting dan menjelaskan bagaimana mengubah konsep yang relatif esoterik menjadi alat yang praktis. Ia membahas bahasa pemrograman Python dan R, yang digunakan untuk mengajarkan mesin mengenali pola dan menganalisis hasil.
- Fundamentals of Machine Learning for Predictive Data Analytics: Algorithms, Worked Examples, and Case Studies oleh John D. Kelleher, Brian Mac Namee, dan Aoife D'Arcy. Buku ini mencakup semua konsep dasar pembelajaran mesin, menyajikan aspek teoretis dan aplikasi praktis. Ia menawarkan contoh konkret dan studi kasus untuk menyampaikan pengetahuan dengan lebih baik. Disarankan memiliki pengetahuan dasar analitik untuk lebih memahami konsep dasar ini. Buku ini menyajikan berbagai pendekatan pembelajaran mesin dan mengilustrasikan setiap konsep pembelajaran dengan algoritme dan model, serta contoh konkret untuk mempraktikkan konsep-konsep tersebut.
- Machine Learning for Hackers oleh Drew Conway dan John Myles White. Istilah "hacker" di sini merujuk pada programmer yang membuat kode untuk tujuan spesifik dan proyek praktis. Buku ini ditujukan bagi pembaca yang tidak memiliki latar belakang matematika namun tahu cara menulis kode dan menggunakan bahasa pemrograman. Pembelajaran mesin biasanya bergantung pada konsep matematika karena menggunakan algoritme untuk menganalisis data, tetapi banyak coder berpengalaman biasanya tidak memiliki keterampilan matematika yang sangat maju. Alih-alih berkutat pada teori matematika, buku ini menyajikan aplikasi dunia nyata berdasarkan studi praktis. Buku ini membahas masalah klasik pembelajaran mesin dan menjelaskan cara menyelesaikannya menggunakan bahasa pemrograman R. Entah itu membandingkan senator berdasarkan suara yang mereka terima, membuat sistem rekomendasi untuk diikuti di Twitter, atau mendeteksi spam berdasarkan kontennya, kemungkinan pembelajaran mesin tidak terbatas.
- DataCamp’s Machine Learning Scientist dengan Python atau Jalur Data Scientist R. Baik Anda pengguna R atau Python, kedua jalur ini membahas seluk-beluk pembelajaran mesin. Setiap jalur berisi puluhan kursus interaktif yang mencakup dasar-dasar pembelajaran mesin hingga topik yang lebih lanjut seperti deep learning dan rekayasa fitur.
Dasar-dasar Data Engineering
- Andreas Kretz's Data Engineering Cookbook. Ada banyak kebingungan tentang cara menjadi data engineer. Ini adalah eBook oleh Andreas Kertz yang berisi studi kasus yang mendalam, kode, podcast, wawancara, studi kasus, dan lainnya. Saya menganggapnya sebagai paket lengkap bagi siapa pun untuk menjadi data engineer. Dan bonusnya? Ebook ini gratis!!! Ya, Anda dapat langsung mulai menggunakannya.
- DW 2.0 - The Architecture for the Next Generation of Data Warehousing oleh Bapak Data Warehousing WH Inmon. Buku ini menggambarkan masa depan data warehousing yang secara teknologi sudah memungkinkan hari ini, baik secara arsitektural maupun teknologis. Disusun dengan cermat dan mencakup sebagian besar topik terkait arsitektur data serta tantangan yang mendasarinya. Bagaimana Anda dapat menggunakan sistem yang ada dan membangun data warehouse di sekitarnya, serta praktik terbaik untuk membenarkan pengeluaran dengan cara yang sangat praktis.
- Agile data warehouse design: collaborative dimensional modeling, from blackboard to star schema oleh Laurent Corr. Ini adalah buku yang hebat. Lawrence Corr memberikan panduan langkah demi langkah yang komprehensif untuk menangkap kebutuhan business intelligence dan data warehousing serta mengubahnya menjadi model berkinerja tinggi menggunakan teknik yang disebut model storming. Selain itu, Anda akan menemukan konsep bernama BEAM, pendekatan agile untuk pemodelan dimensional guna meningkatkan komunikasi antara perancang data warehouse dan pemangku kepentingan business intelligence.
- Jalur Karier Data Engineering dengan Python dari DataCamp. Jalur ini menyediakan puluhan kursus yang mencakup seluk-beluk membangun arsitektur data yang efektif, menyederhanakan pemasukan data, membangun pipeline, dan banyak lagi.
Mendalami MLOps
- MLOps Fundamentals Skill Track. Skill track ini mencakup siklus hidup lengkap aplikasi pembelajaran mesin, mulai dari pengumpulan kebutuhan bisnis hingga tahap perancangan, pengembangan, penerapan, operasi, dan pemeliharaan
- MLOps: Operationalizing Data Science, oleh David Sweenor, Dev Kannabiran, Thomas Hill, Steven Hillion, Dan Rope, dan Michael O'Connell. Keenam pakar analitik data ini memberikan pendekatan empat langkah untuk membuat aplikasi berbasis pembelajaran mesin yang berhasil masuk ke produksi.
- Building Machine Learning Powered Applications oleh Emmanuel Ameisen. Dalam buku ini, penulis Emmanuel Ameisen akan mengajarkan Anda cara membangun aplikasi yang digerakkan pembelajaran mesin dari ide awal hingga produk yang diterapkan.
- Building Machine Learning Pipelines oleh Hannes Hapke, Catherine Nelson. Sepanjang buku ini, para penulis Hannes Hapke dan Catherine Nelson menampilkan langkah-langkah mengotomatiskan pipeline pembelajaran mesin menggunakan ekosistem TensorFlow.
- Practical MLOps oleh Noah Gift, Alfredo Deza. Menyoroti perbedaan antara DevOps dan MLops, buku ini akan menarik perhatian Anda pada apa itu MLOps dan bagaimana MLOps memastikan pengoperasian model pembelajaran mesin Anda. Buku ini menyajikan alat dan metode yang memungkinkan Anda mengimplementasikan proyek MLOps di AWS, Microsoft Azure, dan Google Cloud. Juga, pastikan untuk menyaksikan pelatihan langsung Noah tentang Practical MLOps di DataCamp.
- Introducing MLOps oleh Mark Treveil & Tim Dataiku. Para penulis buku ini memungkinkan pemahaman yang mendalam tentang konsep kunci MLOps untuk memastikan tim data science mampu mengoperasionalkan model Machine Learning guna mendorong perubahan bisnis dan meningkatkan model dari waktu ke waktu.
- Google Cloud menyediakan artikel, blog, dan makalah yang memandu Anda melalui praktik terbaik dan proses yang digunakan untuk membangun model pembelajaran mesin yang efisien. Dalam artikel terpilih, Anda akan mempelajari proses MLOps dan cara beralih dari proses manual ke otomatis.
- Nvidia’s blog menampilkan artikel yang memandu Anda melalui Siklus Hidup MLOps dan menampilkan beberapa kisah sukses di bidang ini.
- Ml-ops.org dibuat oleh Dr. Larysa Visengeriyeva, Anja Kammer, Isabel Bär, Alexander Kniesz, dan Michael Plöd. Situs web ini bertujuan mengumpulkan semua informasi yang diperlukan tentang MLOps dan menampilkan setiap langkah dari proses end-to-end.
Kami berharap rangkaian sumber daya ini akan membantu Anda memulai perjalanan belajar MLOps. Untuk artikel dan sumber daya lainnya tentang MLOps, Anda juga dapat melihat artikel berikut:
Topik
