Lewati ke konten utama
BerandaPython

Kursus

Pelatihan Model AI Efisien dengan PyTorch

LanjutanTingkat Keterampilan
Diperbarui 05/2026
Pelajari cara mengurangi waktu pelatihan untuk large language models dengan Accelerator dan Trainer untuk distributed training
Mulai Kursus Gratis
PythonArtificial Intelligence
4 jam
13 videos
45 Latihan
3,850 XP
Pernyataan Pencapaian

Buat Akun Gratis Anda

Lanjutkan dengan GoogleTampilkan opsi lainnya

atau


Dengan melanjutkan, Anda menerima Ketentuan Penggunaan kami, Kebijakan Privasi kami dan bahwa data Anda disimpan di Amerika Serikat.

Dipercaya oleh para pelajar di ribuan perusahaan

Group

Melatih Tim?

Coba untuk Bisnis

Deskripsi Kursus

Pelatihan terdistribusi adalah keterampilan penting dalam machine learning skala besar, membantu Anda mengurangi waktu yang diperlukan untuk melatih model bahasa besar dengan triliunan parameter. Dalam kursus ini, Anda akan mempelajari alat, teknik, dan strategi penting untuk pelatihan terdistribusi yang efisien menggunakan PyTorch, Accelerator, dan Trainer.

Mempersiapkan Data untuk Pelatihan Terdistribusi

Anda akan memulai dengan menyiapkan data untuk pelatihan terdistribusi dengan membagi dataset ke beberapa perangkat dan menerapkan salinan model ke setiap perangkat. Anda akan mendapatkan pengalaman langsung dalam melakukan preprocessing data untuk lingkungan terdistribusi, termasuk gambar, audio, dan teks.

Menjelajahi Teknik Efisiensi

Setelah data Anda siap, Anda akan menjelajahi cara-cara untuk meningkatkan efisiensi dalam pelatihan dan penggunaan optimizer di berbagai antarmuka. Anda akan melihat cara mengatasi tantangan ini dengan meningkatkan penggunaan memori, komunikasi perangkat, dan efisiensi komputasi melalui teknik seperti gradient accumulation, gradient checkpointing, local stochastic gradient descent, dan mixed precision training. Anda akan memahami trade-off antara berbagai optimizer untuk membantu Anda mengurangi jejak memori model Anda. Di akhir kursus ini, Anda akan dibekali dengan pengetahuan dan alat untuk membangun layanan terdistribusi bertenaga AI.

Persyaratan

Intermediate Deep Learning with PyTorchWorking with Hugging Face
1

Persiapan Data dengan Accelerator

Anda akan menyiapkan data untuk pelatihan terdistribusi dengan membagi data ke beberapa perangkat dan menyalin model pada setiap perangkat. Accelerator menyediakan antarmuka yang praktis untuk persiapan data, dan Anda akan mempelajari cara memproses awal gambar, audio, dan teks sebagai langkah pertama dalam pelatihan terdistribusi.
Mulai Bab
2

Pelatihan Terdistribusi dengan Accelerator dan Trainer

Dalam pelatihan terdistribusi, setiap perangkat melatih model pada datanya masing-masing secara paralel. Anda akan menyelidiki dua metode untuk pelatihan terdistribusi: Accelerator memungkinkan loop pelatihan kustom, dan Trainer menyederhanakan antarmuka untuk pelatihan.
Mulai Bab
3

Meningkatkan Efisiensi Pelatihan

Pelatihan terdistribusi membebani sumber daya saat menggunakan model dan himpunan data yang besar, tetapi Anda dapat mengatasinya dengan meningkatkan penggunaan memori, komunikasi antarperangkat, dan efisiensi komputasi. Anda akan mempelajari teknik gradient accumulation, gradient checkpointing, local stochastic gradient descent, dan mixed precision training.
Mulai Bab
4

Pelatihan dengan Optimizer yang Efisien

Anda akan berfokus pada optimizer sebagai tuas untuk meningkatkan efisiensi pelatihan terdistribusi, dengan menyoroti pertukaran (trade-off) antara AdamW, Adafactor, dan 8-bit Adam. Mengurangi jumlah parameter atau menggunakan presisi rendah membantu menurunkan jejak memori model.
Mulai Bab
Pelatihan Model AI Efisien dengan PyTorch
Kursus
Selesai

Memperoleh Surat Keterangan Prestasi

Tambahkan kredensial ini ke profil LinkedIn, resume, atau CV Anda
Bagikan di media sosial dan dalam penilaian kinerja Anda
Daftar sekarang

Bergabung dengan 19 juta pelajar dan mulai Pelatihan Model AI Efisien dengan PyTorch Hari Ini!

Buat Akun Gratis Anda

Lanjutkan dengan GoogleTampilkan opsi lainnya

atau


Dengan melanjutkan, Anda menerima Ketentuan Penggunaan kami, Kebijakan Privasi kami dan bahwa data Anda disimpan di Amerika Serikat.

Kembangkan keterampilan data Anda dengan DataCamp untuk Mobile

Buat kemajuan di mana saja dengan kursus mobile kami dan tantangan coding harian 5 menit.