수천 개 기업의 학습자들이 사랑하는
팀을 교육하시나요?
비즈니스용으로 체험해 보세요강의 설명
분산 학습을 위한 데이터 준비
분산 학습을 위해 데이터 세트를 여러 장치에 분할하고 각 장치에 모델 복사본을 배포하는 것으로 시작합니다. 분산 환경에서 이미지, 오디오, 텍스트를 포함한 데이터 전처리 실무 경험을 쌓게 됩니다.효율성 기법 탐구
데이터가 준비되면 여러 인터페이스에서 학습과 옵티마이저 사용의 효율성을 높이는 방법을 살펴보게 됩니다. 메모리 사용량, 디바이스 간 통신, 계산 효율성을 개선하는 기법인 gradient accumulation, gradient checkpointing, local stochastic gradient descent, mixed precision training을 통해 이러한 과제를 해결하는 방법을 배우게 됩니다. 다양한 옵티마이저 간의 트레이드오프를 이해하여 모델의 메모리 사용량을 줄이는 데 도움이 됩니다. 이 강의를 마치면 분산형 AI 기반 서비스를 구축하는 데 필요한 지식과 도구를 갖추게 됩니다.선수 조건
Intermediate Deep Learning with PyTorchWorking with Hugging Face1
Data Preparation with Accelerator
You'll prepare data for distributed training by splitting the data across multiple devices and copying the model on each device. Accelerator provides a convenient interface for data preparation, and you'll learn how to preprocess images, audio, and text as a first step in distributed training.
2
Distributed Training with Accelerator and Trainer
In distributed training, each device trains on its data in parallel. You'll investigate two methods for distributed training: Accelerator enables custom training loops, and Trainer simplifies the interface for training.
3
Improving Training Efficiency
Distributed training strains resources with large models and datasets, but you can address these challenges by improving memory usage, device communication, and computational efficiency. You'll discover the techniques of gradient accumulation, gradient checkpointing, local stochastic gradient descent, and mixed precision training.
4
Training with Efficient Optimizers
You'll focus on optimizers as levers to improve distributed training efficiency, highlighting tradeoffs between AdamW, Adafactor, and 8-bit Adam. Reducing the number of parameters or using low precision helps to decrease a model's memory footprint.
PyTorch로 AI 모델 효율적으로 학습시키기
강의 완료
19백만 명의 학습자와 함께 오늘 PyTorch로 AI 모델 효율적으로 학습시키기을 시작하세요!
무료 계정 만들기
Google로 계속하기옵션 더 보기또는
DataCamp for Mobile을 통해 데이터 분석 능력을 향상시키세요.
모바일 강좌와 매일 5분 코딩 챌린지를 통해 이동 중에도 학습 효과를 높이세요.