メインコンテンツへスキップ

ホーム Python

無料コース

PyTorch による効率的な AI モデルトレーニング

上級スキルレベル

更新済み 2026/05

AcceleratorとTrainerを使って分散学習で大規模言語モデルの学習時間を短縮する方法を学ぶ

無料コースを始める

無料で含まれています

PythonArtificial Intelligence

4 時間

13 ビデオ

45 演習

3,850 XP

修了証明書

数千社の学習者に愛されています

チームをトレーニングしますか？

法人向けに試す

コースの説明

分散トレーニングは、大規模な機械学習において不可欠なスキルであり、数兆のパラメータを持つ大規模言語モデルの学習に必要な時間を短縮するのに役立ちます。このコースでは、PyTorch、Accelerator、Trainerを使った効率的な分散トレーニングに不可欠なツール、手法、戦略を学びます。

分散トレーニングのためのデータ準備

まず、データセットを複数のデバイスに分割し、各デバイスにモデルのコピーを配置して、分散トレーニングのためのデータを準備することから始めます。分散環境向けのデータ前処理を、画像、音声、テキストを含めて実践的に学べます。

効率化手法の探求

データの準備が整ったら、複数のインターフェースにわたって、トレーニングとオプティマイザーの使用効率を向上させる方法を学びます。メモリ使用量、デバイス間通信、計算効率を改善することで、勾配蓄積、勾配チェックポイント、ローカル確率的勾配降下法、混合精度学習といった手法を使って、これらの課題にどう対処するかを学びます。さまざまな最適化手法のトレードオフを理解し、モデルのメモリ使用量を削減できるようになります。このコースの終了時には、分散型のAI搭載サービスを構築するための知識とツールを身につけているでしょう。

前提条件

Intermediate Deep Learning with PyTorch Working with Hugging Face

1

Data Preparation with Accelerator

You'll prepare data for distributed training by splitting the data across multiple devices and copying the model on each device. Accelerator provides a convenient interface for data preparation, and you'll learn how to preprocess images, audio, and text as a first step in distributed training.

Prepare models with AutoModel and Accelerator

Loading and inspecting pre-trained models

Automatic device placement with Accelerator

Preprocess images and audio for training

Preprocess image datasets

Preprocess audio datasets

Prepare datasets for distributed training

Preprocess text for training

Preprocess text with AutoTokenizer

Save and load the state of preprocessed text

チャプターを開始

2

Distributed Training with Accelerator and Trainer

In distributed training, each device trains on its data in parallel. You'll investigate two methods for distributed training: Accelerator enables custom training loops, and Trainer simplifies the interface for training.

Fine-tune models with Trainer

Define evaluation metrics

Specify the TrainingArguments

Set up the Trainer

Train models with Accelerator

Prepare a model for distributed training

Training loops before and after Accelerator

Building a training loop with Accelerator

Evaluate models with Accelerator

Setting the model in evaluation mode

Logging evaluation metrics

チャプターを開始

3

Improving Training Efficiency

Distributed training strains resources with large models and datasets, but you can address these challenges by improving memory usage, device communication, and computational efficiency. You'll discover the techniques of gradient accumulation, gradient checkpointing, local stochastic gradient descent, and mixed precision training.

Gradient accumulation

Gradient accumulation with Accelerator

Gradient accumulation with Trainer

Gradient checkpointing and local SGD

Gradient checkpointing with Accelerator

Gradient checkpointing with Trainer

Local SGD with Accelerator

Mixed precision training

Mixed precision training with basic PyTorch

Mixed precision training with Accelerator

Mixed precision training with Trainer

チャプターを開始

4

Training with Efficient Optimizers

You'll focus on optimizers as levers to improve distributed training efficiency, highlighting tradeoffs between AdamW, Adafactor, and 8-bit Adam. Reducing the number of parameters or using low precision helps to decrease a model's memory footprint.

Balanced training with AdamW

AdamW with Trainer

AdamW with Accelerator

Compute the optimizer size

Memory-efficient training with Adafactor

Adafactor with Trainer

Adafactor with Accelerator

Mixed precision training with 8-bit Adam

Set up the 8-bit Adam optimizer

8-bit Adam with Trainer

8-bit Adam with Accelerator

Which optimizer is it?

Congratulations!

チャプターを開始

PyTorch による効率的な AI モデルトレーニング

コース完了

修了証明書を取得する

この資格をLinkedInプロフィール、履歴書、またはCVに追加する
SNSで共有し、評価面談でも活用しましょう今すぐ登録

19百万人の学習者に加わって、今日からPyTorch による効率的な AI モデルトレーニングを始めましょう！

DataCamp for Mobileでデータスキルを磨きましょう

モバイルコースと毎日の 5 分間のコーディングチャレンジで、外出先でも進歩できます。