Birçok Makine Öğrenimi Projesi Başarısız Oluyor
Pek çok kuruluş yapay zekâ ve makine öğrenimine ciddi yatırımlar yapıyor. Ancak bu, kuruluşların makine öğreniminden değer elde ettiği anlamına gelmiyor. VentureBeat’e göre, veri bilimi projelerinin %87’si üretime geçemiyor. IBM’de Veri Bilimi ve Yapay Zekâ CTO’su Deborah Leff ve Gap’te Veri ve Analitikten Sorumlu Kıdemli Başkan Yardımcısı Chris Chap, VentureBeat’in Transform 2019 etkinliğindeki açılış konuşmalarında, birçok ekibin bu projelerde başarıya götüren koşullar için doğru liderlik ve desteğe sahip olmadığını savunuyor.
Leff ve Chap, veri kalitesi, verinin demokratikleşmesi ve organizasyonel akış sorunlarını, birçok kuruluşun aşmak için uygun araç ve yapıya sahip olmadığı temel engeller olarak tanımlıyor. Yüksek kaliteli ve ilgili verilere erişemeyen ya da doğru işbirlikçi ortamda çalışamayan veri ekipleri, yetkinlikleri ne olursa olsun bu projelerde başarılı olamaz. Ayrıca bazı kuruluşların, uyguladıkları modellerin üç yılı aşkın süre fark edilmeden çalışmaz hâle geldiği model bozulması sorunlarını da aktarıyorlar. Bu durum, özellikle Covid-19’un başlangıcında belirgindi; kapanmalar tüketicilere tamamen farklı davranışlar dayattı ve birçok perakende analitiği modeli üretimde bozuldu.
ML projelerinde bir diğer önemli husus, modelleri test etmek ve üretime almak için açık kaynak teknolojilerin artan kullanımındır. Bunlara Python gibi açık kaynak programlama dilleri ve Scikit-learn, pandas, PySpark ve daha fazlası gibi kütüphaneler dahildir. Üretim ortamında bunlardan birinin sürümünü değiştirmek, projenin başarısını ciddi şekilde etkileyebilir veya tamamen çalışmaz hâle getirebilir. Bu sürümleri ve açık kaynak çerçeveleri yönetmek, ölçekli biçimde etkili olmak için düzenli bir sistem gerektirir.
MLOps’a Duyulan İhtiyaç
Makine Öğrenimi Model Operasyonelleştirme Yönetimi (MLOps), bir makine öğrenimi projesinin yaşam döngüsü yönetimini standartlaştırmanın ve sadeleştirmenin bir yoludur. Dataiku, kitaplarında MLOps’un işletmeler için neden bu kadar önemli hâle geldiğine dair üç temel faktörü tartışıyor: çok sayıda bağımlılık bulunması, kuruluşlarda veri okuryazarlığı ve ortak bir veri dilinin eksikliği ve veri bilimcilerin mühendislik becerilerine sahip olmaması.
Çok sayıda bağımlılık: Veri, gerçek dünyadaki davranışların ve süreçlerin bir yansımasıdır ve doğası gereği zaman içinde değişir (ör. Covid-19 sırasında tuvalet kâğıdı satın alma alışkanlıkları). Veri zaman içinde değiştikçe —ki bu sürekli olur— üretimdeki modellerin bu değişimlere sürekli uyum sağlaması gerekir ki kuruluşlar, bu modellerle çözmeyi amaçladıkları asıl sorunu çözmeye devam edebilsin.
Ortak bir veri dili yok: Makine öğrenimi yaşam döngüsünde projeler, farklı geçmişlere sahip çeşitli ekiplerden insanları içerir. Buna veri bilimcileri, veri mühendisleri ve ayrıca iş birimi uzmanları dahildir. Bu gruplar aynı becerileri veya veriye dair aynı akıcılığı paylaşmaz; veriyi aynı şekilde konuşamazlar ve üretime model alma ile başarısını değerlendirme için uyumları kritik önemdedir.
Veri bilimcilerin mühendislik becerileri yok: Veri bilimciler genellikle modelleri kurma ve değerlendirme konusunda uzmanlaşır; dağıtılacak uygulamalar yazma konusunda değil. Kuruluşlar daha fazla ve daha karmaşık modellere güvendikçe, veri bilimciler modelleri geliştirme/iterasyon ile üretimde bakımını yapma arasında bir ödünleşimle karşı karşıya kalır.
MLOps Neden Faydalıdır
Makine öğrenimi modelleri giderek artan biçimde iş süreçlerine entegre ediliyor. Bu hacim artışı, bu modellere ilişkin riskleri azaltmak, modelleri sorumlu şekilde devreye almak ve ölçekli olarak kullanmak için MLOps’u gerekli kılar.
Bir modelin devreye alınmasıyla ilişkili birçok risk vardır:
-
Model bir süre kullanılamaz olabilir. Teknoloji, üretim ortamında güvenilmez olabilir. Bir kuruluş bu modellere büyük ölçüde güveniyorsa, teknoloji kullanılamaz hâle geldiğinde ciddi zorluklarla karşılaşabilir.
-
Model bazı örneklerde zayıf sonuçlar verebilir. Çoğu grup için çok iyi performans gösterirken bir grup için kötü sonuçlar üretebilir. Bu, düşük performans gösteren grup için model çıktılarından hareketle kötü iş kararları verilmesini önlemek adına düzeltilmeli veya anlaşılmalıdır. Bu zayıf performans, ırk, yaş, cinsiyet gibi korunan değişkenlerde bazı gruplar için yapay zekâ modellerinin düşük performans sergilemesine bağlı etik sorunlara da yol açabilir.
-
Model gelecekte daha az adil veya daha az doğru hâle gelebilir. Dünya değiştikçe, eğitimde kullanılan veri, modelin anlamaya çalıştığı dünyayı daha az temsil eder. Bu da gelecekteki veriler üzerinde zayıf performansa neden olabilir.
-
Veri bilimi yeteneği zamanla kuruluşu terk edebilir. Bu modellerin bakımı teknik beceriler ve zaman gerektirir; veri bilimciler her zaman bu modellerin kusursuz güvenilirliğini sağlayacak kapasiteye sahip olmayabilir.
Bu riskler, modelin kuruluş üzerindeki etkisine ve bu risk olaylarından birinin gerçekleşme olasılığına bağlı olarak ölçeklenir. Bu risklerin çoğu, eğitim verisinin üretim ortamında görülecek veriyi iyi yansıtmasını sağlamak ve üretim ortamını istikrarlı tutmakla azaltılabilir; zira modeller değişikliklere karşı çok hassastır. Önemli kararlarda kullanılan makine öğrenimi modellerinin sayısı arttıkça, bu modellere ilişkin riskleri azaltmak için MLOps zorunlu hâle gelmektedir.
Makine öğrenimi modellerinin karar alma süreçlerinde kullanımı yaygınlaştıkça, bunların sorumlu şekilde devreye alınması giderek daha önemli hâle geliyor. Algoritmik önyargının pek çok nedeni vardır ve kararlar yapay zekâ sistemleriyle otomatikleştirildiğinde bunlardan kaçınmak gerekir. Önyargıyı başarıyla en aza indirememe, devlet düzenlemeleri yoluyla yaptırıma ya da bir marka için talep ve kâr kaybına yol açabilir. Yapay zekâ sistemlerini sorumlu biçimde devreye almak için, modellerin uyumlu ve önyargısız veri kaynaklarıyla eğitilmesi, yorumlanabilir ve açıklanabilir sonuçlar üretmesi ve kuruluş genelinde hesap verebilirliğin bulunması gerekir; böylece geliştirme hattında olası bir sorun nerede çıktıysa kolayca bulunup etkili biçimde düzeltilebilir. Yapay zekâ modellerini sorumlu biçimde devreye almak için kuruluşların yalın bir ML model yaşam döngüsüne ihtiyacı vardır.
Giderek daha fazla model devreye almak, başarı için MLOps’u gerekli kılar. Sürüm takibini yapmak, model performansını yeniden eğitilmiş model performansıyla karşılaştırmak ve bir modelin zaman içinde iyi performans göstermeye devam ettiğini güvence altına almak için sadeleştirilmiş bir sürece ihtiyaç vardır. Bu MLOps uygulamaları olmadan, bu modellerle değer ve iş etkisi yaratmak çok zordur.
Bir MLOps Programının Rolleri
MLOps henüz olgunlaşma aşamasında olup hızla evrilmeye devam etse de, bir kuruluşta şu rollerde güçlü kişilere sahip olmak gereklidir: Konu Uzmanları, Veri Bilimciler, Veri Mühendisleri ve Yazılım ile DevOps Mühendisleri.
Konu uzmanları, eğitim sırasında ve dağıtımdan sonra modellerin başarısının nasıl ölçüleceğini ve sürekli değerlendirileceğini anlayan ve şekillendiren, iş odaklı kişilerdir. Başarılı bir MLOps programı için, anlaşılması kolay bir iş performansı ölçümü ve iş beklentilerine göre düşük performans gösteren modelleri ayırt etmeye yarayan bir geri bildirim döngüsü geliştirmeleri gerekir. Ayrıca, risk konu uzmanları MLOps programının önemli bir parçasıdır. Amaçları, üretimde ML modellerinin devreye alınmasına bağlı olarak şirketin karşı karşıya kaldığı riski en aza indirmek ve netleştirmektir.
Kurs Önerileri: Understanding Data Topics
Veri bilimciler, konu uzmanları tarafından ortaya konan iş sorularını ele alan modelleri geliştirmekten sorumludur. Bu modeller, üretim verileriyle üretim ortamlarında devreye alınabilir olmalıdır. Veri bilimciler, bu modellerin üretimde kolay ve güvenli şekilde devreye alınmasını, kalite güvencesi ve olası iyileştirmeler için testlere sahip olmasını ve tüm dağıtılmış modellere tek bir yerden kolay görünürlük sağlanmasını temin etmelidir.
Kurs Önerileri: Makine Öğrenimi Bilimcisi Kariyer Pisti (R/Python), Python ile Görüntü İşleme, PySpark ile Makine Öğrenimi
Veri mühendisleri, bu modeller için veri hatlarını (pipeline) oluşturmaktan sorumludur. Başarılı bir MLOps programı için, devreye alınan tüm modellerin performansı ve her bir hattın ayrıntıları, çözüm getirilebilecek sorunların nerede olabileceğini görmek üzere kolayca görülebilir olmalıdır.
Son olarak, yazılım ve DevOps mühendisleri, bu modellerin diğer makine öğrenimi olmayan uygulamalarla başarıyla bütünleştirilmesine yardımcı olmaktan sorumludur. Başarılı bir MLOps uygulaması için, bu modellerin mevcut uygulamalarla güvenilir, sürekli ve kesintisiz şekilde paralel çalışabilmesini sağlamak amacıyla veri mühendisliği en iyi uygulamalarını entegre etmelidirler.
Kurs Önerileri: Python ile Veri Mühendisi Kariyer Pisti
Başarılı bir MLOps programı için etkin biçimde kullanılmaları gereken birçok kilit rol vardır. Yüzlerce modelin ölçekli şekilde başarılı dağıtımı, konu uzmanları ve yazılım mühendisleri de dâhil olmak üzere veri uzmanları dışındaki ekip üyelerini gerektirir ve olumlu iş sonuçları üretir. Başarılı MLOps programları geliştirmeye çalışan kuruluşlar, tüm paydaşlar arasında beceri geliştirme ve sürekli öğrenme yoluyla ortak bir veri dili inşa etmeyi hedeflemelidir.
DataCamp for Business hakkında daha fazla bilgi edinin:
DataCamp for Business, çalışanlarını veri becerileri konusunda yeniden ve ileri düzeyde yetkinleştirmesi gereken şirketler için etkileşimli bir öğrenme platformu sunar. Veri okuryazarlığından veri bilimine, veri mühendisliğinden makine öğrenimine uzanan konularıyla, 1.600’ün üzerinde şirket yeteneklerini geliştirmek için DataCamp for Business’a güveniyor.
