Last chance! 50% off DataCamp Premium
Sale ends in
Semakin banyak perusahaan ingin mengintegrasikan machine learning (ML) ke dalam produk mereka atau meningkatkan proses menggunakan ML. Akibatnya, memahami cara menavigasi kompleksitasnya berdampingan dengan perangkat lunak tradisional menjadi semakin penting.
DevOps diperkenalkan untuk menangani tantangan dalam pengembangan perangkat lunak. Tujuannya adalah memecah silo antara tim pengembangan perangkat lunak dan tim operasi, yang menghasilkan penerapan fitur baru lebih cepat dan rilis fitur ke lingkungan produksi yang lebih mulus.
MLOps dibangun di atas prinsip-prinsip ini tetapi menangani tantangan unik dalam ML, seperti dataset yang masif dan cepat berkembang, model yang perlu dilacak dan diberi versi, serta pemantauan untuk mengatasi tantangan seperti data drift atau concept drift.
Meskipun keduanya berbagi prinsip yang sama, fokus, alur kerja, dan peralatan yang digunakan sangat berbeda.
Dalam artikel ini, kita akan mengeksplorasi DevOps dan MLOps, menyoroti persamaan dan perbedaannya serta kapan menggunakan pendekatan yang mana. Kita juga akan melihat alur kerja khas dan alat apa yang digunakan untuk setiap tahap alur kerja tersebut.
Mari kita mulai!
Apa itu DevOps?
DevOps adalah metodologi rekayasa perangkat lunak yang diciptakan untuk mempercepat proses pengembangan dan pengantaran perangkat lunak. Tujuan utamanya adalah meningkatkan kolaborasi antara tim pengembangan dan operasi. Ini menjembatani kesenjangan antara fungsi yang secara tradisional tersilo tersebut dan memungkinkan pengantaran perangkat lunak yang lebih cepat dan lebih andal.
Jadi, DevOps ingin membangun budaya kolaborasi dan mengotomatiskan sebanyak mungkin untuk meningkatkan efisiensi keseluruhan dan kecepatan pengantaran fitur perangkat lunak baru.
Saat ini, perusahaan besar seperti Meta, Amazon, dan banyak lainnya dapat merilis fitur perangkat lunak baru setiap hari berkat DevOps.
Jika Anda ingin mengenal bidang ini, saya merekomendasikan kursus Introduction to DevOps.
Tujuan utama DevOps adalah:
- Siklus pengembangan perangkat lunak yang lebih cepat: Memperpendek waktu antara merilis dan menerapkan fitur baru untuk mencapai siklus rilis yang lebih cepat sambil menjaga stabilitas.
- Continuous integration and delivery (CI/CD): Mengotomatiskan integrasi kode, pengujian, dan pipeline penerapan untuk meningkatkan pengantaran.
- Kolaborasi yang lebih baik: Mendorong komunikasi erat antara tim pengembangan perangkat lunak dan tim operasi.
- Efisiensi operasional: Mengurangi tugas manual, meminimalkan kesalahan, dan meningkatkan produktivitas melalui otomasi.
DevOps memiliki komponen inti berikut:
- Pipeline CI/CD:
- Pengujian, build, dan penerapan kode secara otomatis.
- Siklus umpan balik yang lebih cepat bagi pengembang.
- Mengurangi kesalahan dan meningkatkan stabilitas.
- Infrastructure as Code (IaC):
- Mengelola infrastruktur melalui kode, bukan proses manual.
- Memastikan konsistensi dan stabilitas.
- Infrastruktur baru dapat disiapkan dalam hitungan detik tanpa upaya manual.
- Pemantauan dan observabilitas:
- Melacak kinerja sistem dan kesehatan aplikasi secara waktu nyata.
- Mengidentifikasi dan menyelesaikan masalah sedini mungkin.
Terdapat alat standar industri yang membantu menerapkan komponen inti DevOps. Berikut beberapa yang paling populer:
- Alat CI/CD: Jenkins, GitLab CI/CD, CircleCI.
- Alat IaC: Terraform, Ansible, Chef, Puppet.
- Kontainerisasi dan orkestrasi: Docker, Kubernetes.
- Alat pemantauan: Prometheus, Grafana, Datadog.
Apa itu MLOps?
MLOps memperluas prinsip-prinsip DevOps sambil berbagi tujuan yang sama, yakni mengotomatiskan proses. MLOps terdiri dari praktik-praktik yang dirancang untuk secara berkelanjutan, andal, dan efisien menerapkan serta memelihara machine learning di lingkungan produksi.
Bagian krusial di sini adalah fokus pada machine learning di produksi, bukan pada model yang dilatih di mesin lokal untuk eksperimen kecil.
MLOps dapat mengotomatiskan dan merampingkan semua tahap siklus hidup proyek machine learning.
Siklus hidup proyek machine learning. Gambar oleh Penulis
Namun mengapa kita membutuhkan MLOps sejak awal? Mengapa kita perlu berinvestasi upaya tambahan untuk menyiapkan alur kerja dan proses yang rapi? Jujur saja: Awalnya ini membutuhkan banyak upaya ekstra, dan pengembang mungkin tergoda untuk mengabaikannya demi cepat menerapkan model ke produksi. Namun, pendekatan ini menimbulkan risiko.
Seperti pada pengembangan perangkat lunak tradisional, mengabaikan proses yang rapi dan praktik terbaik sejak dini akan mengarah pada kompleksitas yang meningkat dan menurunnya kemampuan pemeliharaan seiring waktu.
Masalah ini bahkan lebih besar pada sistem ML karena tantangan unik dalam mengelola dependensi data, model yang berkembang, dan loop umpan balik.
Sebagaimana disorot dalam makalah yang berpengaruh “Hidden Technical Debt in Machine Learning Systems,” sistem machine learning menimbun utang teknis dengan cara yang tidak terjadi pada perangkat lunak tradisional.
Jadi, tanpa prinsip MLOps, biaya melakukan refactor pada sistem ML yang tidak terkelola di kemudian hari sering kali melebihi upaya yang diperlukan untuk membangun alur kerja yang tangguh.
Saya merekomendasikan kursus MLOps Concepts yang sangat baik jika Anda ingin mempelajari lebih lanjut tentang bidang ini.
Tujuan utama MLOps adalah:
- Otomatisasi siklus hidup ML: Menyederhanakan proses seperti pengumpulan data, pelatihan model, penerapan, dan pemantauan serta mengurangi upaya manual.
- Reproduksibilitas dan konsistensi: Memastikan eksperimen dan alur kerja dapat diulang sehingga menghasilkan hasil yang andal.
- Kolaborasi: Mendukung komunikasi antara data scientist, ML engineer, data engineer, dan tim operasi.
- Skalabilitas: Memungkinkan model machine learning menangani beban kerja produksi dan beradaptasi dengan pertumbuhan data serta kebutuhan penggunaan.
- Mengatasi tantangan spesifik ML: Menangani perubahan distribusi data, dataset besar, dan kebutuhan pelatihan ulang model.
Sekarang mari beralih ke komponen inti MLOps:
- Pipeline pelatihan dan pelatihan ulang model: Mengotomatiskan proses pelatihan mencakup:
- Pra-pemrosesan data dan rekayasa fitur.
- Validasi model dan pelacakan kinerja.
- Pelatihan ulang model agar beradaptasi dengan data baru sesuai kebutuhan.
- Versi model dan data serta pelacakan eksperimen:
- Kontrol versi model ML dan data pelatihan untuk mendokumentasikan perubahan dari waktu ke waktu dan memungkinkan rollback.
- Memantau hyperparameter, metrik, dan semua keluaran dari sebuah proses pelatihan menggunakan pelacakan eksperimen.
- Orkestrasi pipeline data:
- Mengotomatiskan persiapan data, transformasi, dan validasi. Memastikan keandalan dan keterulangan.
- Mengatasi tantangan dengan dataset yang berubah.
- Pemantauan dan pemeliharaan:
- Secara berkelanjutan melacak kinerja model di produksi untuk mendeteksi masalah seperti drift atau degradasi model sedini mungkin.
- Memicu pelatihan ulang model secara otomatis dan mengotomatiskan pelatihan model agar cepat memperbarui model sesuai kebutuhan.
- Infrastructure as Code (IaC):
- Gunakan alat seperti Kubernetes dan Terraform untuk menyediakan dan mengelola infrastruktur yang dapat diskalakan bagi beban kerja ML Anda.
Bidang MLOps masih berkembang pesat. Namun, sudah ada standar industri untuk menerapkan komponen intinya:
- Pelacakan eksperimen: MLFlow atau Weights and Biases.
- Versioning data: DVC (Data Version Control).
- Orkestrasi pipeline: Apache Airflow, Kubeflow, atau Dagster.
- Penerapan model: TensorFlow Serving, Seldon Core, Amazon SageMaker.
- Pemantauan: Prometheus, Grafana, WhyLabs.
- Infrastructure as Code: Kubernetes, Docker, Terraform.
Apa perbedaan utama antara MLOps dan DevOps?
Dapatkah MLOps dan DevOps digunakan bersama?
Apa saja alat standar yang digunakan dalam MLOps dan DevOps?
Keterampilan apa yang diperlukan untuk menerapkan MLOps secara efektif?
Topik
