După ce am parcurs aceste cursuri, mă simt încrezător să creez vizualizări și tablouri de bord profesionale
Shoebur RahmanSpecialist în achiziții, Giz Bangladesh
Descrierea cursului
Antrenamentul distribuit este o abilitate esențială în machine learning la scară largă, ajutându-te să reduci timpul necesar pentru a antrena modele lingvistice mari cu trilioane de parametri. În acest curs, vei descoperi instrumentele, tehnicile și strategiile esențiale pentru un antrenament distribuit eficient folosind PyTorch, Accelerator și Trainer.
Pregătirea datelor pentru antrenare distribuită
Vei începe prin a pregăti datele pentru antrenare distribuită, împărțind seturile de date pe mai multe dispozitive și implementând copii ale modelului pe fiecare dispozitiv. Vei dobândi experiență practică în preprocesarea datelor pentru medii distribuite, inclusiv imagini, audio și text.Explorarea tehnicilor de eficiență
După ce datele tale sunt pregătite, vei descoperi metode de a crește eficiența în procesul de antrenare și utilizarea optimizatorilor pe diverse interfețe. Vei descoperi cum să abordezi aceste provocări îmbunătățind utilizarea memoriei, comunicarea între dispozitive și eficiența computațională, folosind tehnici precum acumularea gradientului, gradient checkpointing, local stochastic gradient descent și mixed precision training. Vei înțelege compromisurile dintre diferiți optimizatori, astfel încât să poți reduce amprenta de memorie a modelului tău.La finalul acestui curs, vei avea cunoștințele și instrumentele necesare pentru a construi servicii distribuite bazate pe inteligență artificială.Cerințe prealabile
Programă
Planul cursului
1
Pregătirea datelor cu Accelerator
Vei pregăti datele pentru antrenament distribuit, împărțindu-le între mai multe dispozitive și copiind modelul pe fiecare dispozitiv. Accelerator oferă o interfață convenabilă pentru pregătirea datelor, iar tu vei învăța cum să preprocesezi imagini, audio și text ca prim pas în antrenamentul distribuit.
- Pregătește modele cu AutoModel și Accelerator50 XP
- Încărcarea și inspectarea modelelor pre-antrenate100 XP
- Plasarea automată pe dispozitiv cu Accelerator100 XP
- Preprocesează imagini și date audio pentru antrenament50 XP
- Preprocesarea seturilor de date cu imagini100 XP
- Preprocesarea seturilor de date audio100 XP
- Pregătirea seturilor de date pentru antrenamentul distribuit100 XP
- Preprocesarea textului pentru antrenament50 XP
- Preprocesarea textului cu AutoTokenizer100 XP
- Salvează și încarcă starea textului preprocesat100 XP
2
Antrenament distribuit cu Accelerator și Trainer
În antrenamentul distribuit, fiecare dispozitiv antrenează pe datele sale în paralel. Vei explora două metode de antrenament distribuit: Accelerator permite bucle de antrenament personalizate, iar Trainer simplifică interfața pentru antrenament.
3
Îmbunătățirea eficienței antrenamentului
Antrenamentul distribuit solicită intens resursele atunci când lucrezi cu modele și seturi de date mari, însă poți face față acestor provocări îmbunătățind utilizarea memoriei, comunicarea între dispozitive și eficiența computațională. Vei descoperi tehnicile de acumulare a gradienților, gradient checkpointing, descindere stochastică a gradientului locală și antrenament cu precizie mixtă.
4
Antrenament cu optimizatori eficienți
Te vei concentra pe optimizatori ca instrumente pentru îmbunătățirea eficienței antrenamentului distribuit, evidențiind compromisurile dintre AdamW, Adafactor și 8-bit Adam. Reducerea numărului de parametri sau utilizarea preciziei reduse contribuie la micșorarea amprentei de memorie a unui model.
Antrenament eficient al modelelor AI cu PyTorch
Curs
finalizat
