Name: Huấn luyện Mô hình AI Hiệu quả với PyTorch
Rating: 4.894230769230769 (104 reviews)

Mô tả khóa học

Huấn luyện phân tán là một kỹ năng thiết yếu trong học máy quy mô lớn, giúp bạn giảm thời gian cần thiết để huấn luyện các mô hình ngôn ngữ lớn với hàng nghìn tỷ tham số. Trong khóa học này, bạn sẽ khám phá các công cụ, kỹ thuật và chiến lược thiết yếu để huấn luyện phân tán hiệu quả bằng PyTorch, Accelerator và Trainer.

Chuẩn bị dữ liệu cho huấn luyện phân tán

Bạn sẽ bắt đầu bằng cách chuẩn bị dữ liệu cho huấn luyện phân tán bằng cách chia bộ dữ liệu trên nhiều thiết bị và triển khai các bản sao mô hình lên từng thiết bị. Bạn sẽ có được trải nghiệm thực hành trong việc tiền xử lý dữ liệu cho các môi trường phân tán, bao gồm hình ảnh, âm thanh và văn bản.

Khám phá các kỹ thuật nâng cao hiệu quả

Khi dữ liệu của bạn đã sẵn sàng, bạn sẽ khám phá các cách cải thiện hiệu quả trong quá trình huấn luyện và sử dụng bộ tối ưu trên nhiều giao diện khác nhau. Bạn sẽ thấy cách giải quyết những thách thức này bằng cách cải thiện việc sử dụng bộ nhớ, giao tiếp giữa các thiết bị và hiệu quả tính toán với các kỹ thuật như tích lũy gradient, checkpoint gradient, gradient descent ngẫu nhiên cục bộ và huấn luyện độ chính xác hỗn hợp. Bạn sẽ hiểu các đánh đổi giữa những bộ tối ưu hóa khác nhau để giúp bạn giảm dung lượng bộ nhớ của mô hình.Đến cuối khóa học này, bạn sẽ được trang bị kiến thức và công cụ để xây dựng các dịch vụ phân tán được hỗ trợ bởi AI.

Yêu cầu tiên quyết

Intermediate Deep Learning with PyTorch Working with Hugging Face

Chương trình học

Đề cương khóa học

Chuẩn bị dữ liệu với Accelerator

Bạn sẽ chuẩn bị dữ liệu cho huấn luyện phân tán bằng cách chia dữ liệu cho nhiều thiết bị và sao chép mô hình lên mỗi thiết bị. Accelerator cung cấp giao diện tiện lợi để chuẩn bị dữ liệu, và bạn sẽ học cách tiền xử lý ảnh, âm thanh, và văn bản như bước đầu tiên của huấn luyện phân tán.

Bắt đầu chương

Huấn luyện phân tán với Accelerator và Trainer

Trong huấn luyện phân tán, mỗi thiết bị huấn luyện song song trên phần dữ liệu của nó. Bạn sẽ tìm hiểu hai phương pháp để huấn luyện phân tán: Accelerator cho phép bạn viết vòng lặp huấn luyện tùy chỉnh, còn Trainer đơn giản hóa giao diện huấn luyện.

Bắt đầu chương

Cải thiện hiệu suất huấn luyện

Huấn luyện phân tán có thể gây áp lực lên tài nguyên với mô hình và bộ dữ liệu lớn, nhưng bạn có thể giải quyết bằng cách cải thiện sử dụng bộ nhớ, giao tiếp giữa thiết bị, và hiệu quả tính toán. Bạn sẽ khám phá các kỹ thuật tích lũy gradient, gradient checkpointing, local stochastic gradient descent, và huấn luyện độ chính xác hỗn hợp (mixed precision).

Bắt đầu chương

Huấn luyện với các bộ tối ưu hiệu quả

Bạn sẽ tập trung vào các bộ tối ưu (optimizer) như các đòn bẩy để cải thiện hiệu quả huấn luyện phân tán, làm rõ đánh đổi giữa AdamW, Adafactor, và 8-bit Adam. Giảm số lượng tham số hoặc dùng độ chính xác thấp giúp giảm mức sử dụng bộ nhớ của mô hình.