After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
코스 설명
분산 학습은 대규모 머신 러닝에서 필수적인 기술로, 수조 개의 매개변수를 가진 대규모 언어 모델을 학습하는 데 필요한 시간을 줄이는 데 도움이 됩니다. 이 강의에서는 PyTorch, Accelerator, Trainer를 활용한 효율적인 분산 학습에 필수적인 도구, 기법, 전략을 살펴보게 됩니다.
분산 학습을 위한 데이터 준비
분산 학습을 위해 데이터 세트를 여러 장치에 분할하고 각 장치에 모델 복사본을 배포하는 것으로 시작합니다. 분산 환경에서 이미지, 오디오, 텍스트를 포함한 데이터 전처리 실무 경험을 쌓게 됩니다.효율성 기법 탐구
데이터가 준비되면 여러 인터페이스에서 학습과 옵티마이저 사용의 효율성을 높이는 방법을 살펴보게 됩니다. 메모리 사용량, 디바이스 간 통신, 계산 효율성을 개선하는 기법인 gradient accumulation, gradient checkpointing, local stochastic gradient descent, mixed precision training을 통해 이러한 과제를 해결하는 방법을 배우게 됩니다. 다양한 옵티마이저 간의 트레이드오프를 이해하여 모델의 메모리 사용량을 줄이는 데 도움이 됩니다.이 강의를 마치면 분산형 AI 기반 서비스를 구축하는 데 필요한 지식과 도구를 갖추게 됩니다.사전 요구 사항
커리큘럼
코스 개요
1
Accelerator를 활용한 데이터 준비
여러 디바이스에 데이터를 분할하고 각 디바이스에 모델을 복사하여 분산 학습을 위한 데이터를 준비합니다. Accelerator는 데이터 준비를 위한 편리한 인터페이스를 제공하며, 분산 학습의 첫 단계로 이미지, 오디오, 텍스트를 전처리하는 방법을 배웁니다.
2
Accelerator와 Trainer를 활용한 분산 학습
분산 학습에서는 각 디바이스가 자신의 데이터를 병렬로 학습합니다. 분산 학습을 위한 두 가지 방법을 살펴봅니다. Accelerator는 커스텀 학습 루프를 지원하고, Trainer는 학습 인터페이스를 간소화합니다.
3
학습 효율 향상
대규모 모델과 데이터셋은 분산 학습 시 리소스에 부담을 줍니다. 메모리 사용, 디바이스 통신, 연산 효율을 개선하여 이러한 문제를 해결할 수 있습니다. 그래디언트 누적, 그래디언트 체크포인팅, 로컬 확률적 경사 하강법, 혼합 정밀도 학습 기법을 배웁니다.
4
효율적인 옵티마이저를 활용한 학습
옵티마이저를 분산 학습 효율 향상의 도구로 활용하는 방법에 집중하며, AdamW, Adafactor, 8-bit Adam 간의 트레이드오프를 살펴봅니다. 파라미터 수를 줄이거나 낮은 정밀도를 사용하면 모델의 메모리 사용량을 줄일 수 있습니다.
PyTorch로 AI 모델 효율적으로 학습시키기
코스
완료
