Name: PyTorch ile Verimli AI Model Eğitimi
Rating: 4.897196261682243 (107 reviews)

Kurs Açıklaması

Dağıtık eğitim, büyük ölçekli makine öğrenmesinde temel bir beceridir ve trilyonlarca parametreye sahip büyük dil modellerini eğitmek için gereken süreyi azaltmanıza yardımcı olur. Bu kursta, PyTorch, Accelerator ve Trainer kullanarak verimli dağıtık eğitim için gerekli araçları, teknikleri ve stratejileri keşfedeceksiniz.

Dağıtık Eğitim İçin Verileri Hazırlama

Dağıtık eğitim için verileri hazırlamaya, veri kümelerini birden fazla cihaza bölerek ve model kopyalarını her cihaza dağıtarak başlayacaksınız. Dağıtık ortamlar için verileri ön işleme konusunda uygulamalı deneyim kazanacaksınız; buna görüntüler, ses ve metin de dahildir.

Verimlilik Tekniklerini Keşfetmek

Verileriniz hazır olduğunda, birden fazla arayüzde eğitim ve optimizer kullanımında verimliliği artırmanın yollarını keşfedeceksiniz. Bu zorlukların üstesinden, gradient accumulation, gradient checkpointing, local stochastic gradient descent ve mixed precision training gibi tekniklerle bellek kullanımını, cihaz iletişimini ve hesaplama verimliliğini iyileştirerek nasıl geleceğinizi göreceksiniz. Farklı optimizasyon algoritmaları arasındaki ödünleşimleri anlayarak modelinizin bellek kullanımını azaltmanıza yardımcı olacaksınız.Bu kursun sonunda, dağıtık yapay zekâ destekli hizmetler oluşturmak için gerekli bilgi ve araçlarla donatılmış olacaksınız.

Ön Koşullar

Intermediate Deep Learning with PyTorch Working with Hugging Face

Müfredat

Kurs planı

Accelerator ile Veri Hazırlama

Veriyi birden fazla cihaza bölerek ve modeli her cihaza kopyalayarak dağıtık eğitim için hazırlayacaksın. Accelerator, veri hazırlama için kullanışlı bir arayüz sunar; dağıtık eğitimin ilk adımı olarak görüntü, ses ve metni nasıl ön işleyeceğini öğreneceksin.

Bölüme Başla

Accelerator ve Trainer ile Dağıtık Eğitim

Dağıtık eğitimde her cihaz kendi verisiyle paralel olarak eğitim yapar. Dağıtık eğitim için iki yöntemi inceleyeceksin: Accelerator özel eğitim döngülerine imkân tanır, Trainer ise eğitim arayüzünü basitleştirir.

Bölüme Başla

Eğitim Verimliliğini Artırma

Büyük modeller ve veri kümeleri, dağıtık eğitimde kaynakları zorlayabilir; ancak bellek kullanımını, cihazlar arası iletişimi ve hesaplama verimliliğini iyileştirerek bu zorlukların üstesinden gelebilirsin. Gradyan biriktirme, gradyan checkpointing, yerel stokastik gradyan inişi ve karışık duyarlıklı eğitim tekniklerini keşfedeceksin.

Bölüme Başla

Verimli Optimize Edicilerle Eğitim

Dağıtık eğitim verimliliğini artırmak için optimize edicilere odaklanacak, AdamW, Adafactor ve 8-bit Adam arasındaki ödünleşimleri vurgulayacaksın. Parametre sayısını azaltmak veya düşük duyarlık kullanmak, bir modelin bellek ayak izini küçültmeye yardımcı olur.