Dasar-Dasar MLOps
IntermediateSkill Level
14 jam
Apa itu MLOps?
Pada 2015, Google merilis sebuah makalah riset berjudul “Hidden Technical Debt in Machine Learning Systems”. Dalam makalah tersebut, Sculley dkk. menyoroti bahwa menulis kode model machine learning prediktif hanyalah bagian kecil dari membangun, menerapkan, dan memelihara sistem machine learning di lingkungan produksi. Makalah ini mengguncang bidang tersebut dan sejak itu divalidasi melalui banyak kasus ilmuwan data yang kesulitan menerapkan model mereka di produksi.
Kategori baru yang menarik bernama MLOps (Machine Learning Operations) muncul dalam beberapa tahun terakhir dengan tujuan menyelesaikan tantangan penerapan yang dihadapi tim data. MLOps, atau Machine Learning Operations, adalah kumpulan alat, praktik, teknik, dan budaya yang memastikan penerapan sistem machine learning yang andal dan dapat diskalakan. Seiring kematangan ilmu data sebagai bidang, MLOps menjadi salah satu, jika bukan yang paling, spesialisasi dengan pertumbuhan tercepat yang dapat dipilih oleh ilmuwan data.
Mengingat MLOps masih merupakan bidang yang baru, belum banyak jalur pembelajaran yang terstruktur. Meski begitu, komunitas open-source dan machine learning telah menyediakan beragam sumber daya gratis yang dapat dimanfaatkan siapa pun, yang sangat andal dan langsung berguna. Berikut 10 sumber daya gratis yang bisa Anda mulai hari ini untuk memulai perjalanan belajar MLOps Anda.
1. MLOps Fundamentals Skill Track
Skill track DataCamp, MLOps Fundamentals, mencakup siklus hidup lengkap dari sebuah aplikasi machine learning, mulai dari pengumpulan kebutuhan bisnis hingga tahap perancangan, pengembangan, penerapan, operasi, dan pemeliharaan. Track ini mencakup kursus konseptual yang dirancang untuk membantu Anda memperluas pengetahuan ilmu data ke dunia perangkat lunak machine learning produksi! Setelah menyelesaikan track ini, Anda akan dibekali pola pikir MLOps dan memahami secara mendalam konsep seperti CI/CD dan CM/CT, pelacakan eksperimen, registri model, feature store, serta berbagai strategi penerapan
2. Machine Learning Engineering oleh Andriy Burkov
Awalnya dirilis pada 2020, buku ini adalah salah satu dari sedikit yang membahas dasar-dasar machine learning terapan. Alih-alih berfokus pada alat atau konsep tertentu, Burkov menguraikan seni dan sains membangun serta menerapkan proyek machine learning ujung ke ujung. Sepanjang buku, ia menyoroti tantangan paling umum yang dihadapi tim data saat menerapkan model machine learning di produksi dan solusinya.
Anda dapat mengakses buku ini secara gratis karena mengikuti prinsip “baca dulu, beli nanti”—artinya Anda bisa membacanya dan membayar setelahnya jika merasa mendapat manfaat darinya.
3. ML in Production Blog
Beberapa sumber terbaik tentang MLOps dapat ditemukan di buletin dan blog para ilmuwan data aktif saat ini. Blog dan Newsletter ML in Production karya Luigi Patruno adalah contoh terbaiknya. Ia rutin membagikan konten bernas seputar penerapan dan pemeliharaan model di produksi. Berikut cara ia menggambarkan pendekatan kurasinya:
- Terapan—Konten berfokus pada alat, pola, platform, dan sistem yang telah terbukti bekerja di produksi.
- Berfokus pada praktik terbaik—Ilmu data dan machine learning adalah bidang yang berubah cepat. Ada kekurangan orang dengan keterampilan yang diperlukan untuk menerapkan sistem ini dan minim praktik terbaik yang mapan. Buletin ini bertujuan mengkurasi praktik terbaik tersebut ke komunitas luas.
- Bertujuan membuat ilmuwan data lebih efektif dalam pekerjaannya—Seluruh konten kurasi ditujukan membantu ilmuwan data, insinyur ML, dan praktisi data memperoleh dan meningkatkan keterampilan berdaya dampak tinggi yang laku di pasar.
4. Komunitas MLOps
Belajar MLOps paling baik dilakukan bersama dan dengan praktik. Ini adalah sebuah komunitas sesama praktisi untuk Anda ikuti (atau bergabung) dan belajar dari praktisi terampil lainnya di bidang ini. Mulai dari blog, video, hingga percakapan yang menarik, sumber ini adalah cara yang bagus untuk menapakkan kaki Anda di ranah ini.
5. Full Stack Deep Learning
Kursus ini menyediakan konten berkualitas tinggi tentang cara membawa model yang kompleks dan besar ke produksi. Kursus ini tidak hanya diajarkan oleh profesor ternama seperti para Insinyur dan Ilmuwan dari OpenAI dan Stanford, tetapi Anda juga dapat menemukan kuliah tamu dari para pemimpin di beberapa perusahaan machine learning paling menginspirasi saat ini seperti Andrej Karpathy dari Tesla.
Kursus ini mengajarkan pendekatan full-stack untuk deep learning termasuk
- Merumuskan masalah dan memperkirakan biaya proyek
- Mencari, membersihkan, memberi label, dan mengaugmentasi data
- Memilih kerangka kerja dan infrastruktur komputasi yang tepat
- Menangani masalah pelatihan dan memastikan reprodusibilitas
- Menerapkan model ke produksi
6. Made With ML oleh Goku Mohandas
Goku Mohandas membuat sebuah kursus terbuka yang luar biasa tentang membangun sistem machine learning ujung ke ujung. Made with ML adalah salah satu repositori teratas di GitHub, dan lebih dari 30K+ orang mengikuti kursusnya.
Pelajaran di Made with ML mencakup dasar-dasar machine learning hingga seluk-beluk penerapan, pengujian, dan pemantauan model di produksi. Pelajaran Goku membahas intuisi di balik konsep yang diperkenalkan, menyediakan tugas berbasis proyek yang praktis, serta membekali pembelajar dengan beberapa praktik terbaik rekayasa perangkat lunak yang diperlukan untuk sukses dalam peran MLOps.
7. Awesome production machine learning
Repositori GitHub yang sangat terkurasi ini cocok bagi Anda yang ingin langsung terjun ke paket, library, dan alat mutakhir untuk berlatih sendiri. Semua paket dan alat yang tercantum dirancang untuk membantu Anda membangun, menerapkan, memantau, melakukan versioning, melakukan skala, dan mengamankan sistem machine learning produksi Anda.
Baik untuk pelabelan data, orkestrasi pelatihan model, keterjelasan, serving, pemantauan, dan lainnya—pasti ada setidaknya beberapa paket di sini untuk mulai Anda coba dalam proyek-proyek Anda. Mereka juga menampilkan buletin The ML Engineer yang membuat Anda selalu mendapatkan pembaruan tentang kerangka kerja, tutorial, dan artikel terbaru yang dikurasi oleh para praktisi machine learning.
8. Tutorial MLOps oleh DVC
DVC (Data Version Control) adalah sistem version control open-source untuk proyek machine learning. DVC memperluas version control Git ke dataset dan model. Selain itu, tim yang sama di balik DVC juga mengembangkan Continuous Machine Learning (CML), alat untuk mengadaptasi sistem continuous integration seperti GitHub Actions & GitLab CI untuk machine learning.
Seri YouTube yang relatif singkat ini menyoroti konsep-konsep penting pada pertemuan DevOps dan Machine Learning. Seri ini menyeimbangkan teori dan praktik secara efektif dan menunjukkan cara menerapkan versioning data melalui DVC.
9. Machine Learning Operations
Sumber ini bisa dibilang salah satu yang paling komprehensif. Penuh dengan tulisan yang menguraikan berbagai elemen praktik MLOps yang sukses. Machine Learning Operations menghadirkan pedoman, kerangka kerja, kode etik, dan upaya menetapkan standar MLOps.
Meski singkat, ini adalah titik awal yang bagus yang menjelaskan mengapa MLOps penting, prinsip-prinsip kunci praktik MLOps yang berhasil, alat dan kerangka kerja yang digunakan dalam MLOps, dan banyak lagi.
10. MLOps – Machine Learning Operations oleh AIEngineering
AIEngineering mungkin adalah salah satu, jika bukan yang terbaik, channel YouTube untuk machine learning terapan. Dengan lebih dari 60 ribu pelanggan, Srivatsan Srinivasan membangun pengikut dengan membahas segala hal tentang data.
Ia memiliki banyak video dan playlist mendalam tentang MLOps dan penerapan proyek machine learning ujung ke ujung. Pastikan untuk memeriksanya.
11. ML Engineering for Production ML Deployments with TFX oleh TensorFlow
Google membangun salah satu alat yang paling banyak digunakan dalam machine learning dengan TensorFlow. Mereka membawanya ke tingkat berikutnya dengan TensorFlow Extended (TFX). TensorFlow Extended adalah platform ujung ke ujung untuk menerapkan model machine learning. Platform ini terdiri dari berbagai paket untuk validasi data, transformasi, analisis model, dan lainnya. TFX dibuat untuk memudahkan perancangan sistem machine learning tanpa menghabiskan waktu dan upaya rekayasa perangkat lunak yang berlebihan.
Playlist YouTube ini dipandu oleh Google Developer Advocate Robert Crowe dan memperkenalkan Anda pada konsep MLOps kunci serta praktik terbaik yang digunakan di Google. Selain itu, dokumentasi TFX juga sangat layak dibaca—sekadar mencoba menggunakan paket tersebut dengan panduan mereka dapat mengajarkan Anda banyak hal.
Pelajari lebih lanjut tentang MLOps
Walaupun MLOps masih dalam tahap awal—ada banyak nilai dari memulai lebih dulu mempelajari praktik terbaik dan alat terbaru yang dibahas dalam sumber-sumber di atas. Jika Anda tertarik mempelajari lebih lanjut tentang MLOps, Anda juga dapat melihat sumber berikut:
