Federated Learning: İş Birliğine Dayalı Yapay Zekâ için Kapsamlı Bir Rehber

Federated learning, dağıtık veri kümeleri üzerinde veri gizliliğinden ödün vermeden yapay zekâ modellerini birlikte geliştirme olanağı sunar. Veri güvenliği, mevzuat uyumu ve veri yerelleştirme gibi zorluklara bir çözümdür. Federated learning ile kuruluşlar, gizlilik düzenlemelerini gözetirken büyük verinin potansiyelini en üst düzeye çıkarıyor. 

Bu rehberde federated learning'in temel ilkelerini, uygulamalarını ve sektörler genelindeki potansiyel kullanım alanlarını inceliyoruz. Sağlıktan finansa, mobil uygulamalardan Nesnelerin İnterneti'ne kadar bu iş birliğine dayalı yapay zekâ yaklaşımının model performansı ile veri koruması arasında nasıl denge kurduğunu ele alacağız. Alana tamamen yeniyseniz, kodlama içermeyen Understanding Machine Learning kursumuzu alın.

Yapay zekânın kuruluşunuzu nasıl etkileyebileceğini ve başarılı yapay zekâ stratejilerinin nasıl uygulanacağını, The Learning Leader's Guide to AI Literacy adlı teknik raporumuzla keşfedin.

Federated Learning nedir? 

Federated learning, merkeziyetsiz cihazlar veya sunucular ağında yapay zekâ modellerinin eğitilmesini mümkün kılan, son teknoloji bir makine öğrenimi paradigmasıdır. Bu yaklaşım, her bir düğümün yerel verilerini kullanarak modelin öğrenme sürecine katkıda bulunmasına, bu veri örneklerini aktarma veya merkezileştirme gereği olmadan olanak tanır. Bu yöntem, ham verileri kaynağında tutarak iş birliğine dayalı öğrenmeyi sağlar ve gizlilik ile güvenlik kaygılarını ele alır.

Federated learning'in faydaları

Federated learning, geleneksel merkezî makine öğrenimi yaklaşımlarından farklıdır. Geleneksel yöntemlerde tüm eğitim verileri model eğitimi için tek bir merkezde toplanır. Buna karşılık federated learning, veriyi modele değil, modeli verinin yanına götürür. Bu merkeziyetsiz yapı birkaç önemli avantaj sunar:

1. Geliştirilmiş Gizlilik: Ham veriler asla bulundukları yeri terk etmez, bu da veri ihlali veya yetkisiz erişim riskini önemli ölçüde azaltır.
2. Artırılmış Güvenlik: Veriyi yerelleştirerek federated learning, potansiyel saldırganlar için saldırı yüzeyini en aza indirir.
3. Mevzuat Uyumu: Bu yaklaşım, verilerin sınırlar arasında taşınmasını kısıtlayan GDPR gibi veri koruma düzenlemelerine uyumu kolaylaştırır.
4. Azalan Veri Transferi: Büyük veri kümelerini taşıma ihtiyacını en aza indirmek, bant genişliğinden tasarruf sağlar ve model eğitiminde gecikmeyi azaltır.

Federated learning ve veri federasyonu

Federated learning, dağıtık model eğitimine odaklanırken, dağıtık verilerin ele alınmasına yönelik başka bir yaklaşım olan veri federasyonu ile bazı kavramsal benzerlikler taşır. Her iki teknik de ham verileri merkezileştirmeden merkeziyetsiz veri kaynaklarından içgörü elde etmeyi amaçlar.

Özetle federated learning, ham verileri paylaşmadan cihazlar genelinde makine öğrenimi modellerini birlikte eğitmeye ve ardından her bir model için çıktıyı toplamaya odaklanırken; veri federasyonu dağıtık verilere merkezî erişim sağlar. Dağıtık veri işlemenin daha geniş bağlamını anlamak için What Is a Data Federation? başlıklı yazımızı faydalı bulabilirsiniz.

Federated Learning Nasıl Çalışır?

Federated learning, veri gizliliğini korurken iş birliğine dayalı model eğitimini mümkün kılan bir dizi koordineli adım üzerinden işler. Bu süreç üç temel aşamaya ayrılabilir: başlatma, yerel eğitim ve güncellemelerin toplanması. Her aşamayı ayrıntılı olarak inceleyelim:

Başlatma aşaması

Federated learning süreci başlatma aşamasıyla başlar:

1. Merkezî bir sunucu, ilk küresel modeli geliştirir. Bu model, federated learning süreci için başlangıç noktasıdır.
2. Sunucu bu küresel modeli, katılımcı istemci cihazları veya sunucuların seçili bir grubuna dağıtır. Bu istemciler akıllı telefonlar, IoT cihazları veya farklı kuruluşlardaki yerel sunucular olabilir.
3. Modelle birlikte sunucu, hiperparametreler, gerçekleştirilecek yerel epoch sayısı ve diğer ilgili yapılandırma ayrıntıları dâhil olmak üzere eğitim talimatlarını gönderir.
4. İstemciler küresel modeli alır ve yerel verileri üzerinde eğitime hazırlık yapar.

Yerel eğitim

İstemciler küresel modeli aldıktan sonra yerel eğitim aşaması başlar:

1. Her istemci cihazı, modeli yalnızca kendi yerel verilerini kullanarak eğitir. Bu, federated learning'in ayırt edici bir yönüdür – ham veriler cihazı asla terk etmez.
2. Her cihazdaki eğitim süreci, model parametrelerini güncellemek için ileri besleme, kayıp hesaplama ve geri yayılımı içerebilen geleneksel makine öğrenimine benzer.
3. İstemciler, başlatma aşamasında tanımlandığı şekilde belirli sayıda eğitim epoch'u veya yineleme gerçekleştirir.
4. Yerel eğitimi tamamladıktan sonra her istemci, güncellenen model parametreleri ile orijinal küresel model parametreleri arasındaki farkı hesaplar. Bu fark, yerel güncellemeyi temsil eder.

Güncellemelerin toplanması

Son aşama, küresel modeli iyileştirmek için yerel güncellemelerin toplanmasını içerir:

1. İstemciler, güncellenmiş model parametrelerini merkezî sunucuya geri gönderir. Önemli olan, yalnızca model güncellemelerinin iletilmesidir; ham veriler veya tamamen eğitilmiş yerel modeller değil.
2. Merkezî sunucu, birden çok istemciden güncellemeleri alır ve bunları toplayarak yeni bir küresel model oluşturur. Bu toplama genellikle, sunucunun tüm istemci güncellemelerinin ağırlıklı ortalamasını hesapladığı federated averaging adı verilen bir süreçle yapılır.
3. Gizliliği daha da artırmak için bu adımda güvenli toplama veya diferansiyel gizlilik gibi teknikler uygulanabilir. Bu yöntemler, toplanan güncellemeden bireysel katkıların tersine mühendisliğini neredeyse imkânsız hâle getirerek ek bir koruma katmanı sağlar.
4. Sunucu, toplanan değişikliklerle küresel modeli günceller ve herhangi bir yerel veriye doğrudan erişmeden çeşitli veri kaynaklarından öğrenmiş geliştirilmiş bir sürüm oluşturur.
5. Bu yeni küresel model ardından istemcilere yeniden dağıtılır ve bir sonraki eğitim turu için süreç başlatma aşamasından itibaren tekrarlanır.

Yerel eğitim ve küresel toplamanın bu yinelemeli turları sayesinde federated learning modeli kademeli olarak iyileşir.

Federated Learning Türleri

Federated learning, dağıtık makine öğrenimindeki belirli senaryoları ve zorlukları ele almak üzere tasarlanmış çeşitli yaklaşımları kapsar. Merkeziyetsiz veriler üzerinde model eğitimi temel ilkesi sabit kalırken, uygulama farklılık gösterebilir. Dört ana federated learning türünü inceleyelim:

Merkezî federated learning

Sunucu tabanlı federated learning olarak da bilinen merkezî federated learning en yaygın yaklaşımdır. Yukarıda tanıttığımız yöntem, merkezî federated learning'e özgüdür. Bu yapıda merkezî bir sunucu tüm öğrenme sürecini koordine eder. Sunucu, küresel modeli istemcilere dağıtarak eğitimi başlatır; istemciler modeli yerelde eğitir ve güncellemeleri sunucuya geri gönderir. Son olarak sunucu bu güncellemeleri toplayarak küresel modeli iyileştirir.

Bu yaklaşım, süreci yönetebilecek güvenilir bir merkezî yapı olduğunda idealdir; örneğin kullanıcı cihazları genelinde hizmetlerini iyileştiren bir teknoloji şirketi veya birden çok hastane arasında araştırmayı koordine eden bir sağlık konsorsiyumu gibi.

Merkeziyetsiz federated learning

Merkeziyetsiz federated learning, merkezî bir sunucu ihtiyacını ortadan kaldırır. Bu yapıda istemciler, eşler arası bir ağda doğrudan birbirleriyle iletişim kurar ve her istemci hem öğrenen hem de toplayıcı görevi görür. Modeller veya güncellemeler, sıklıkla blokzincir ya da diğer dağıtık defter teknolojileri kullanılarak istemciler arasında paylaşılır ve küresel model tüm istemcilerin kolektif etkileşimlerinden ortaya çıkar.

Bu yaklaşım, tek bir güvenilir merkezî otoritenin bulunmadığı veya tekil hata noktalarına karşı daha yüksek gizlilik ve dayanıklılık gerektiği durumlarda özellikle yararlıdır.

Heterojen federated learning

Heterojen federated learning, farklı hesaplama yetenekleri ve kaynaklara sahip cihazları barındırdığı için çeşitli cihazlar ve veri dağılımları genelinde eğitimin zorluklarını ele alır. Bunu, istemciler arasında değişen veri kalitesi ve miktarlarını yönetmek için uyarlamalı algoritmalar kullanarak yapar.

Bu tür, verilerin ve cihazların doğası gereği çeşitli olduğu gerçek dünya uygulamalarında, örneğin IoT ağlarında veya farklı kuruluşlar arasında modeller eğitilirken kullanışlıdır.

Silo-ötesi federated learning

Silo-ötesi federated learning, farklı kuruluşlar veya veri siloları arasındaki iş birliğine odaklanır. Genellikle bireysel cihazlar yerine kuruluşlar olan, az sayıda güvenilir katılımcıyı içerir. Katılımcılar, çapraz cihaz kurulumlarına kıyasla daha büyük veri kümelerine ve daha istikrarlı bağlantılara sahiptir. Veri paylaşımı ve model mülkiyeti için karmaşık hukuki ve kurumsal anlaşmalar içerebilir. Sıklıkla kurumlar arası ortak araştırmalar veya bankalar arası dolandırıcılık tespit sistemleri gibi senaryolarda kullanılır.

Bu yaklaşım, kuruluşların hassas verileri üzerindeki kontrolü sürdürürken kolektif zekâdan faydalanmasını sağlar.

Federated Learning Uygulamaları

Federated learning, özellikle veri gizliliği ve güvenliğinin ön planda olduğu durumlarda, sektörlerin makine öğrenimine yaklaşımını değiştiriyor. Hassas verileri merkezîleştirmeden iş birliğine dayalı öğrenmeyi mümkün kılarak farklı alanlarda uygulama buluyor. 

Sağlık

Federated learning, hastaneler ve araştırma kurumlarının hasta gizliliğinden ödün vermeden iş birliği yapmasına imkân tanıyarak tıbbi araştırmaları ve hasta bakımını dönüştürüyor:

• Kanser Araştırmaları: On ilaç şirketinin yer aldığı MELLODDY projesi, tescilli verileri paylaşmadan kanser tedavileri için ilaç keşfini geliştirmek üzere federated learning kullanıyor.
• Öngörücü Sağlık Hizmetleri: Hastaneler, birden çok kurumdan gelen verileri kullanarak hasta sonuçlarını, yeniden yatış risklerini veya nadir hastalık teşhislerini tahmin eden modelleri birlikte eğitebilir.
• Tıbbi Görüntüleme: Federated learning, farklı sağlık hizmeti sağlayıcılarındaki çeşitli veri kümelerinden öğrenerek röntgen, MR ve BT taramalarını yorumlamak için daha sağlam yapay zekâ modellerinin geliştirilmesini sağlar.
• Pandemiye Yanıt: COVID-19 pandemisi sırasında federated learning, hasta sonuçları ve kaynak tahsisi için tahmin modelleri geliştirmek üzere dünya genelindeki hastaneler arasında hızlı iş birliğini kolaylaştırdı.

Finans

Finansal kurumlar, sıkı veri gizliliği ve mevzuat uyumunu korurken hizmetlerini geliştirmek için federated learning'den yararlanıyor:

• Dolandırıcılık Tespiti: Bankalar, Çin'de WeBank öncülüğündeki projede olduğu gibi, hassas işlem verilerini paylaşmadan daha etkili dolandırıcılık tespit modelleri eğitmek için iş birliği yapar.
• Kredi Skorlama: Borç verenler, kişisel finansal verileri merkezîleştirmeden birden çok kurumda çeşitli müşteri tabanlarından öğrenerek daha doğru kredi risk değerlendirme modelleri geliştirebilir.
• Kara Para Aklamayı Önleme (AML): Finansal kuruluşlar, bireysel işlem ayrıntılarını ifşa etmeden çeşitli bankalardaki örüntüler üzerinde birlikte eğitim yaparak AML tespit sistemlerini iyileştirir.
• Kişiselleştirilmiş Finansal Hizmetler: Bankalar, bireysel müşteri verilerini gizli tutarken çeşitli müşteri tabanları üzerinde eğitilen modellere dayalı ürün önerileri ve yatırım tavsiyeleri sunabilir.

IoT ve mobil cihazlar

Federated learning, uç cihazların yeteneklerini artırarak kullanıcı deneyimini geliştiriyor ve gizliliği koruyor:

• Akıllı Telefon Klavye Tahmini: Google'ın Gboard'u federated learning kullanarak bir sonraki sözcük tahmini ve otomatik düzeltme özelliklerini, bireysel yazım verilerini merkezî sunuculara göndermeden iyileştirir.
• Akıllı Ev Cihazları: Federated learning, IoT cihazlarının bireysel hane verilerini paylaşmadan enerji kullanımı, güvenlik özellikleri ve otomasyonu optimize etmek için toplu kullanıcı davranışlarından öğrenmesini sağlar.
• Otonom Araçlar: Otomobil üreticileri, hassas konum ve sürüş verilerini merkezîleştirmeden birden çok araçtaki çeşitli sürüş senaryolarından öğrenerek otonom sürüş sistemlerini iyileştirmek için federated learning'i araştırıyor.
• Giyilebilir Sağlık Cihazları: Aktivite takipçileri ve akıllı saatler, bireysel sağlık bilgilerini riske atmadan çeşitli kullanıcı verilerinden öğrenerek sağlık izleme algoritmalarını geliştirmek için federated learning kullanır.

Bu uygulamalar, federated learning'in yalnızca teorik bir kavram değil, sektörler arası gerçek dünya zorluklarını ele alan pratik bir çözüm olduğunu gösterir.

Federated Learning'de İleri Düzey Gizlilik ve Güvenlik Hususları

Federated learning, ham verileri yerelde tutarak doğası gereği gizliliği güçlendirse de, veri korumasını daha da sağlamlaştırmak için ek teknikler kullanılır. Bu yöntemler, öğrenme süreci sırasında paylaşılan model güncellemelerinin yanlışlıkla hassas bilgileri açığa çıkarmamasını sağlar.

Diferansiyel gizlilik

Diferansiyel gizlilik, verilere veya model güncellemelerine kontrollü gürültü ekleyen ve bireysel veri noktalarının tersine mühendisliğini neredeyse imkânsız kılan matematiksel bir çerçevedir:

• Gürültü Ekleme: Model güncellemeleri merkezî sunucuya gönderilmeden önce rastgele gürültü eklenir. Bu gürültü, genel istatistiksel örüntüler korunurken bireysel katkıları gizler.
• Gizlilik Bütçesi (ε): ε (epsilon) ile gösterilen bir gizlilik bütçesi, sistemde izin verilen azami gizlilik kaybını niceler — ε küçüldükçe daha fazla gürültü eklenir, bu da daha güçlü gizlilik garantileri sağlar ancak model doğruluğunu potansiyel olarak düşürebilir.
• Uyarlamalı Kırpma: Gizlilik ve fayda arasında denge kurmak için, verinin hassasiyetine bağlı olarak eklenecek en uygun gürültü miktarını belirleyen uyarlamalı kırpma teknikleri kullanılır.
• Yerel vs. Küresel Diferansiyel Gizlilik: Yerel diferansiyel gizlilikte gürültü istemci cihazlarında eklenirken, küresel diferansiyel gizlilikte toplama süreci sırasında sunucuda eklenir.

Güvenli toplama

Güvenli toplama, sunucunun, bireysel güncellemeleri görmeden birden çok istemciden gelen model güncellemelerinin toplamını hesaplamasına olanak tanıyan bir kriptografik tekniktir:

• Çiftli Maskeleme: İstemciler, tüm katılımcılar arasında toplandığında birbirini yok eden rastgele maskeler üretir. Bu maskeler, güncellemeler paylaşılmadan önce model güncellemelerine uygulanır.
• Eşik Şifreleme: Toplama süreci birden çok sunucu arasında bölünür ve nihai sonucu çözmek için belirli bir eşik sayıda sunucunun iş birliği gerekir.
• Kopma Yönetimi: Güvenli toplama protokolleri, bazı istemciler kullanılamaz hâle gelse bile sürecin tamamlanabilmesini sağlayacak şekilde istemci kopmalarını ele alacak biçimde tasarlanmıştır.
• Hesaplama Verimliliği: Son gelişmeler, güvenli toplamanın hesaplama yükünü önemli ölçüde azaltarak bunu büyük ölçekli federated learning sistemleri için pratik hâle getirmiştir.

Homomorfik şifreleme

Homomorfik şifreleme, şifreli veriler üzerinde hesaplamalara olanak tanıyan gelişmiş bir tekniktir: Homomorfik şifreleme, sunucunun model güncellemeleri üzerinde bunları asla çözmeden işlemler yapmasına imkân tanıyarak ek bir güvenlik ve gizlilik katmanı sağlar.

Federated Learning'in Zorlukları

Federated learning avantajlar sunsa da, çeşitli zorluklarla da karşı karşıyadır. Başlıca zorlukları ve bazı olası çözümleri inceleyelim. 

İletişim maliyetleri

Federated learning sistemleri, merkezî sunucu ile çok sayıda istemci cihaz arasında sık alışverişleri sıklıkla gerektirir ve bu da önemli iletişim yüküne yol açar. 

Zorluklar:

• Bant Genişliği Kısıtları: Özellikle büyük sinir ağları için model güncellemelerinin iletilmesi önemli bant genişliği tüketebilir.
• Ölçeklenebilirlik Endişeleri: Katılan cihaz sayısı arttıkça iletişim maliyetleri üstel olarak artabilir.

Süregelen çözümler ve araştırmalar:

• Gradyan Sıkıştırma: Kantizasyon ve seyrekleştirme gibi teknikler model güncellemelerinin boyutunu azaltır.
• Yerel SGD: Stokastik gradyan inişi, federated learning'de istemcilerin modelleri yerel veriler üzerinde eğitmek için kullandığı bir optimizasyon algoritmasıdır. Yerel SGD, merkezî sunucuyla iletişim kurmadan önce birden çok SGD yinelemesini yerelde gerçekleştirmeyi ifade eder.

Cihaz heterojenliği

Federated learning sıklıkla farklı hesaplama ve depolama yeteneklerine sahip çok çeşitli cihazları kapsar. 

Zorluklar:

• Hesaplama Eşitsizliği: Bazı cihazlar karmaşık model eğitim görevlerini yerine getirmekte zorlanabilir.
• Enerji Kısıtları: Pille çalışan cihazlar, model eğitimini enerji tasarrufu ile dengelemek zorundadır.

Süregelen çözümler ve araştırmalar:

• Uyarlamalı Yerel Eğitim: Yerel hesaplamaların karmaşıklığının cihaz yeteneklerine göre ayarlanması.
• Model Sıkıştırma: Budama ve bilgi damıtma gibi tekniklerle daha küçük ve verimli modeller oluşturma.

Veri güvenliği riskleri

Federated learning gizliliği artırsa da, yeni güvenlik sorunları ortaya çıkarır. 

Zorluklar:

• Model Zehirleme: Kötü niyetli aktörler, küresel modeli tehlikeye atmak için kötü veri veya model güncellemeleri enjekte etmeye teşebbüs edebilir.
• Çıkarım Saldırıları: Model güncellemelerinden eğitim verilerine ilişkin bilgi çıkarmak için sofistike teknikler kullanılabilir.

Süregelen çözümler ve araştırmalar:

• Sağlam Toplama: Medyana dayalı toplama ve Bizans'a Dayanıklı Algoritmalar gibi tekniklerle kötü niyetli güncellemeleri tespit etmek ve hafifletmek.
• Diferansiyel Gizlilik: Çıkarım saldırılarını önlemek için model güncellemelerine kontrollü gürültü eklenmesi.

Bu zorluklara rağmen alan hızla gelişmekte; araştırmacılar ve uygulayıcılar yenilikçi çözümler üzerinde aktif olarak çalışıyor. Bu çabalar yalnızca mevcut sınırlamaları ele almakla kalmıyor, yeni olanaklar da açıyor.

Sonuç

Federated learning, iş birliğine dayalı yapay zekâ geliştirmeye gizliliği koruyan bir yaklaşım sunarak makine öğrenimi alanında önemli bir ilerlemeyi temsil eder. Modellerin merkeziyetsiz veriler üzerinde eğitilmesini sağlamak, veri gizliliği ve güvenliğine ilişkin endişeleri ele alırken çeşitli veri kümelerinin gücünden yararlanmayı sürdürür. 

İletişim maliyetleri, cihaz heterojenliği ve potansiyel güvenlik riskleri gibi zorluklara karşın, devam eden araştırmalar ve teknolojik ilerlemeler federated learning sistemlerinin verimliliğini artırmaya devam ediyor. Gizlilik düzenlemeleri daha katı hâle geldikçe ve veri gizliliğinin değeri arttıkça federated learning, yapay zekâ ve makine öğreniminin geleceğinde giderek daha önemli bir rol oynayacaktır.

Makine öğrenimini daha derinlemesine anlamak ve beceri setinize federated learning'i dâhil etmek isteyenler için şu önerilerimiz var:

1. Introduction to Machine Learning in Python eğitimi: Makine öğreniminde yeniyseniz bu eğitim mükemmel bir başlangıç noktasıdır. Python kullanarak temel kavram ve teknikleri tanıtır ve federated learning gibi daha ileri konular için zemin hazırlar.
2. End-to-End Machine Learning kursu: Tam kapsamlı bir kursla ilgileniyorsanız End-to-End Machine Learning kursumuz, federated learning gibi ileri teknikleri anlamak ve uygulamak için gerekli arka planı sağlayarak makine öğrenimi ilkeleri ve uygulamalarında sağlam bir temel sunar.
3. Machine Learning Scientist with Python kariyer yolu: Son olarak gerçekten bir kariyer hedefliyorsanız, Machine Learning Scientist with Python kariyer yolumuz, Python ile makine öğrenimine derinlemesine dalış sunar; temel olan geniş bir konu ve teknik yelpazesini kapsar. Burada edinilen beceriler, federated learning sistemlerini uygulamak isteyenler için değerli olacaktır.

Bu temel makine öğrenimi becerilerini geliştirerek federated learning gibi yükselen alanları keşfetmeye ve katkıda bulunmaya iyi hazırlanacak, kendinizi gizliliği koruyan yapay zekâ geliştirmede ön saflara konumlandıracaksınız.