Makine öğrenimi operasyonları (MLOps), son iki yılda ilginin önemli ölçüde artmasıyla birlikte bugün birçok veri lideri ve uygulayıcısı için temel bir odak alanı. Bu hızlı yükselişi tetikleyen en büyük etkenlerden biri, birçok kuruluşun karşı karşıya olduğu önemli bir zorluk: makine öğrenimi ve yapay zekâya yapılan yatırımların vaat edilen yatırım getirisini sağlamaması.
2019’da Venturebeat, makine öğrenimi modellerinin yalnızca %13’ünün canlıya alabildiğini bildirdi. KDNuggets’ın yakın tarihli bir anketi 2022’de bir iyileşme olduğunu gösterse de, katılımcıların %35’i modellerinin devreye alınmasını engelleyen teknik engellerden hâlâ bahsediyor.
McKinsey’nin 2021 Yapay Zekâ Raporu, yapay zekâ benimsemesinin 2020’deki %50’den %56’ya çıktığını gösteriyor. Kuruluşlar makine öğrenimi sistemlerine ve yeteneklerine yaptıkları yatırımları artırdıkça, modelleri verimli biçimde devreye almak ve onlardan değer elde etmek her zamankinden daha kritik hale geliyor. İşte MLOps bu noktada devreye giriyor. MLOps’u başarıyla benimseyen kuruluşlar yatırımlarından daha iyi geri dönüşler elde ediyor. MLOps’u benimseyen veri ekipleri, makine öğrenimi sistemlerinin prototiplenmesi, geliştirilmesi ve devreye alınması için gereken süreyi azaltıyor.
MLOps’un amacı, yazılım mühendisliği kavramlarını makine öğrenimine uygulamak için teknolojiyi organizasyonel değişimle birleştirmektir. Makine öğrenimine bir mühendislik disiplini olarak bakarak, üretime daha doğrudan bir yol ve üretimdeki modellere daha uzun ömür vaat eder.
Bu yazıda MLOps’un ne olduğunu, neden önemli olduğunu tanımlayacak ve bugün başarılı bir MLOps uygulamasını tanımlayan beş yol gösterici ilkeyi sunacağız.
MLOps Nedir?
MLOps, en iyi şekilde "makine öğrenimi sistemlerinin güvenilir ve ölçeklenebilir şekilde devreye alınmasını sağlayan araçlar, uygulamalar, teknikler ve kültür bütünü" olarak tanımlanır. MLOps, otomasyon ve otomatik testler, sürüm kontrolü, çevik ilkelerin uygulanması ve teknik borcu azaltmak için veri yönetimi gibi yazılım mühendisliği en iyi uygulamalarından yararlanır.
Teknik borç ya da kod borcu kavramı zaten yazılım mühendisliğinden gelir. Otomasyon, dokümantasyon ve birim testleri gibi süreçlerin daha sonra elden geçirildiği, hızlı geliştirme sonucunda biriken “borcu” anlatır. Kısacası, geliştirme ekiplerinin bugün en iyi uygulamaları benimsemeyerek geleceğe taşıdığı borçtur.
Makine öğrenimi sistemleri yüksek düzeyde teknik borç biriktirebilir; çünkü veri bilimcilerin ürettiği modeller, altyapı, model izleme, özellik (feature) depolama ve daha pek çok unsurdan oluşan daha büyük bir yapbozun küçük bir parçasıdır.
MLOps’u benzersiz kılan nedir
Teknik borcu azaltmayı hedefleyen yazılım mühendisliği en iyi uygulamalarına genellikle DevOps denir. DevOps, kod yazma, sürümleme ve test etme gibi geliştirme faaliyetlerini sürümleme, devreye alma ve izleme gibi BT operasyonlarıyla birleştirir.
DevOps’un iki temel ilkesi Sürekli Entegrasyon ve Sürekli Teslimat’tır (CI/CD).
- Sürekli Entegrasyon (CI): Yeni kod değişiklikleri düzenli olarak derlenir, test edilir ve paylaşılan bir depoya birleştirilir.
- Sürekli Teslimat (CD): Bir uygulamada yapılan tüm değişiklikler otomatik olarak test edilir ve canlı ortama devreye alınabilecekleri bir depoya yüklenir.
Makine öğrenimi sistemlerini üretime almak ve ölçeklendirmek ise ek karmaşıklıklar getirir. Yazılım mühendisliği çoğunlukla girdileri ve çıktıları net tanımlanmış çözümler tasarlamaya odaklanır. Buna karşılık makine öğrenimi sistemleri, istatistiksel yöntemlerle modellenen gerçek dünya verilerine dayanır. Bu da şu ek hususları gündeme getirir:
- Veri: Makine öğrenimi, son derece karmaşık girdiler alır. Bu verilerin, modellerin anlamlı tahminler üretebilmesi için dönüştürülmesi gerekir.
- Modelleme: Makine öğrenimi sistemleri geliştirmek deneysellik gerektirir. Verimli deney yapabilmek için, her deneyin veri değişikliklerini ve parametrelerini izlemek esastır.
- Test: Bir uygulamanın küçük, test edilebilir parçalarının bağımsız test edildiği birim testlerinin ötesine geçerek, makine öğrenimi sistemleri hem veri hem de model performansına yönelik daha karmaşık testler gerektirir. Örneğin, yeni giriş verilerinin eğitim verileriyle benzer istatistiksel özelliklere sahip olup olmadığını test etmek gibi.
- Model Kayması (Drift): Makine öğrenimi modeli performansı zamanla mutlaka düşer. Bunun başlıca iki nedeni vardır: Kavram Kayması (Concept Drift), tahmin etmeye çalıştığımız çıktının özelliklerinin değişmesidir. COVID-19 kapanmaları sırasında birçok perakendecinin tuvalet kâğıdı gibi ürünlerde beklenmedik bir artış yaşaması buna iyi bir örnektir. Standart verilerle eğitilmiş bir model bunu nasıl ele alırdı? Veri Kayması (Data Drift) ise bağımsız değişkenlerin özelliklerinin mevsimsellik, değişen tüketici davranışları veya yeni ürünlerin piyasaya çıkması gibi çeşitli faktörler nedeniyle değişmesidir.
- Sürekli Eğitim (Continuous Training): Model kaymasıyla mücadele etmek için, yeni veriler geldikçe makine öğrenimi modellerinin yeniden eğitilmesi gerekir.
- Boruhattı (Pipeline) Yönetimi: Veriler bir modele beslenmeden önce çeşitli dönüşüm adımlarından geçmelidir ve eğitimden önce ve sonra düzenli olarak test edilmelidir. Boruhatları bu adımları birleştirerek etkin şekilde izleme ve bakım sağlar.
Başarılı MLOps için 5 İlke
MLOps’u benimsemek, yeni bir SaaS satıcısıyla çalışmaya başlamak ya da yeni bulut örnekleri açmak kadar basit değildir. Ekipler ve departmanlar arasında dikkatli planlama ve tutarlı bir yaklaşım gerektirir. İşte başarılı bir MLOps uygulaması için beş ilke:
MLOps Olgunluğunuzu Anlayın
Microsoft ve Google gibi önde gelen bulut sağlayıcıları, MLOps benimsemeye bir olgunluk modeli üzerinden bakar. Bunun nedeni, MLOps’un organizasyonel değişim ve modern çalışma yöntemleri gerektirmesidir. Bu da ancak kuruluşun sistemleri ve süreçleri olgunlaştıkça zaman içinde gerçekleşir.
MLOps’un başarıyla benimsenmesi, kuruluşun MLOps olgunluğundaki ilerlemesini dürüstçe değerlendirmeyi gerektirir. Güvenilir bir olgunluk düzeyi değerlendirmesinin ardından kuruluşlar, olgunluk seviyesini yükseltmek için hangi taktikleri uygulayabileceklerini anlayabilir. Bu, devreye almaya DevOps uygulamak gibi süreç değişikliklerini ya da ekibe yeni işe alımlar yapmayı içerebilir.
Olgunluk seviyelerinin, kuruluşların MLOps girişimlerini önceliklendirmesine nasıl yardımcı olabileceğini anlamak da önemlidir. Örneğin, bir özellik deposu (feature store), makine öğreniminde yaygın kullanılan özelliklerin tutulduğu tek bir veri havuzudur. Özellik depoları, birçok farklı veri ekibinin tutarlı özellikler kullanması ve yinelenen çalışmayı azaltması gereken, veri açısından görece olgun kuruluşlar için faydalıdır. Bir kuruluşta yalnızca birkaç veri bilimci varsa, bir özellik deposu muhtemelen zamanına değmeyecektir.
MLOps için bir olgunluk modeli kullanarak, kuruluşlar ekiplerin, süreçlerin ve teknoloji yığınlarının birlikte gelişmesini sağlar. Bu, yinelemenin mümkün olmasını ve araçların uygulamadan önce test edilmesini teminat altına alır.
Süreçlerinize Otomasyon Uygulayın
Otomasyon, olgunluk modelleri kavramıyla el ele gider. Gelişmiş ve yaygın otomasyon, bir kuruluş için MLOps olgunluğunun artmasını kolaylaştırır. MLOps’un olmadığı ortamlarda, makine öğrenimi sistemlerindeki birçok görev manuel olarak yürütülür. Bu görevler; veri temizleme ve dönüştürme, özellik mühendisliği, eğitim ve test verilerinin ayrılması, model eğitim kodu yazma vb. olabilir. Bu adımlar manuel yapıldığında, veri bilimciler daha fazla hata payı yaratır ve deneylere harcanması daha verimli olacak zamanı kaybeder.
Otomasyona iyi bir örnek, veri ekiplerinin veri alımı, doğrulama, deneysellik, özellik mühendisliği, model testleri ve daha fazlası için boruhatları kurabildiği sürekli yeniden eğitimdir. Makine öğreniminde otomasyonun erken adımlarından biri olarak görülen sürekli yeniden eğitim, model kaymasını önlemeye yardımcı olur.
MLOps’taki boruhatları, veri mühendisliği veya DevOps’takilerden farklı değildir. Bir makine öğrenimi boruhattı, verinin bir modelin içine ve dışına akışını düzenleyen bir dizi adımdan oluşur.
Boruhatlarının gücünü göstermek için, veri bilimcilerin verilerin bir kısmını manuel çıkardığı ancak doğrulama, veri hazırlama, model eğitimi ve değerlendirme süreçlerini otomatikleştirebildiği bir örnek hayal edebiliriz. Bu boruhattı, model üretime alındığında yeni veriler üzerinde tahmin yapmak için yeniden kullanılabilir.
Deney ve Takibi Önceliklendirin
Deneysellik, makine öğrenimi yaşam döngüsünün temel bir parçasıdır. Veri bilimciler veri kümeleri, özellikler, makine öğrenimi modelleri ve bunların hiperparametreleri üzerinde deneyler yapar. Deney yaparken çekilecek çok sayıda “kol” vardır. Doğru kombinasyonu bulmak için deneylerin her yinelemesini izlemek esastır.
Geleneksel, defter (notebook) tabanlı deneysellikte veri bilimciler model parametrelerini ve ayrıntıları manuel olarak takip eder. Bu, süreç tutarsızlıklarına ve insan hatası payının artmasına yol açabilir. Manuel yürütme aynı zamanda zaman alıcıdır ve hızlı deneysellik önünde büyük bir engeldir.
Git kod takibi için yaygın olsa da, veri bilimcilerin yürüttüğü farklı deneyleri sürümlemek kolay değildir. Bu noktada veri ekipleri, veri bilimcilerin modelleri saklayabileceği, performansı ve diğer değişiklikleri takip edebileceği bir konum olan model kayıt defterlerini kullanabilir.
Deneylerin takibi, veri ekiplerinin gerektiğinde modelleri geri almasını ve genel model denetimini iyileştirmesini sağlar. Veri bilimciler için önemli ölçüde manuel çabayı azaltır ve deneysellik için daha fazla zaman kazandırır. Tüm bunlar, sürümleme ve takip sayesinde sonuçların yeniden üretilebilirliğini önemli ölçüde artırır
CI/CD’nin Ötesine Geçin
CI/CD’ye DevOps bağlamında baktık, ancak bunlar yüksek olgunluklu MLOps için de temel bileşenlerdir.
- CI’yı MLOps’a uygularken, kodun otomatik test ve doğrulamasını veri ve modellere de genişletiriz.
- Benzer şekilde, CD kavramları yeniden eğitilen boruhatlarına ve modellere uygulanır.
Diğer “sürekli” kavramları da düşünebiliriz:
- Sürekli Eğitim (CT): Artan otomasyonun, yeni veriler geldiğinde bir modelin yeniden eğitilmesine nasıl olanak tanıdığına zaten değindik.
- Sürekli İzleme (CM): Bir modeli yeniden eğitmenin bir diğer nedeni performanstaki düşüştür. Modellerin iş metriklerine göre hâlâ değer üretip üretmediğini de anlamalıyız.
Otomatik testlerle birlikte sürekli kavramlarını uygulamak, hızlı deneyselliğe olanak tanır ve ölçek düzeyinde hataları en aza indirir. Ayrıca, bu dört sürekli kavramın başarıyla uygulanması, canlıya alma süresini dramatik biçimde kısaltabilir.
Otomasyon bölümünde ele aldığımız örnek boruhattını düşünün. Buna CI/CD kavramlarını uygulamak, bir depoda saklanan bir kod tabanı ile sonuçlanır. CI doğrultusunda, bu depoya bir dizi otomatik birim testi uygulanır; örneğin tasarlanan özelliklerin test edilmesi, eksik değer olmadığının doğrulanması ve aşırı uyum (overfitting) testi. Ardından boruhattının tekil bileşenleri doğrulanıp devreye alınarak uyumluluk ve hesaplama gereksinimlerinin test edilip karşılandığından emin olunur. Bu düzeyde otomasyon, hızlı yeni devreye almaları mümkün kılar ve kuruluşların dış etkenlere ve değişimlere hızla tepki vermesini sağlar.
Organizasyonel Değişimi Benimseyin
Organizasyonel değişim, MLOps olgunluğundaki evrimle birlikte gerçekleşmelidir. Bu, ekipler arasında işbirliğini teşvik eden süreç değişikliklerini ve siloların kırılmasını gerektirir. Bazı durumlarda, tutarlı MLOps olgunluğunu kolaylaştırmak için ekiplerin yeniden yapılandırılması gerekir. Microsoft’un olgunluk modeli, olgunluk arttıkça insanların davranışlarının nasıl değişmesi gerektiğini ele alır.
Düşük olgunluklu ortamlarda veri bilimciler, mühendisler ve yazılım mühendisleri genellikle silolar içinde çalışır. Olgunluk arttıkça herkesin işbirliği yapması gerekir. Veri bilimciler ve mühendisler, deneysellik kodunu tekrarlanabilir boruhatlarına dönüştürmek için ortak çalışmalı; yazılım ve veri mühendisleri ise modelleri uygulama koduna otomatik şekilde entegre etmek için birlikte çalışmalıdır.
Artan işbirliği, tüm devreye alma sürecini tek bir kişiye daha az bağımlı hale getirir. Ekip çalışmasının, maliyetli manuel çabayı azaltacak şekilde uygulamaya alınmasını sağlar. Bu farklı uzmanlık alanları, yüksek olgunluklu MLOps’un gerektirdiği otomasyon düzeyini geliştirmek için bir araya gelir. Artan işbirliği ve otomasyon, teknik borcu azaltmada esastır.
MLOps’un Yükselişi Hâlâ Emekleme Aşamasında
MLOps, ML modellerini hızlı ve verimli biçimde devreye alma ihtiyacından doğdu. Şirketler artık makine öğrenimine yoğun biçimde yatırım yaptıkça, daha fazla model geliştiriliyor ve MLOps’a olan talep artıyor. MLOps hâlâ erken aşamalarında olsa da, kuruluşların makine öğreniminin yatırım getirisinin kilidini açabilecek bir dizi ilke etrafında yakınsamaya çalıştığını söylemek mümkün.
MLOps hakkında daha fazla bilgi edinmek isterseniz, aşağıdaki kaynaklara da göz atabilirsiniz:
- Noah Gift’ten pratik bir MLOps rehberi
- Alessya Visnjic ile MLOps ile Makine Öğrenimini Operasyonelleştirmek
- Dan Becker ile Tahminlerden Kararlara
- MLOps Sertifikaları Rehberimiz
