After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
코스 설명
Llama 모델 미세 조정
이 강의는 Llama 모델을 준비하고 다루는 방법에 대한 종합적인 가이드를 제공합니다. 실습 예제와 실용적인 연습을 통해 다양한 Llama 미세 조정 작업을 구성하는 방법을 배우게 됩니다.파인튜닝을 위한 데이터셋 준비
Hugging Face Datasets 라이브러리를 사용하여 데이터셋을 로드, 분할, 저장하는 등 데이터셋 준비 기법을 탐색하며, Llama 프로젝트를 위한 고품질 데이터를 확보하세요.파인튜닝 프레임워크로 작업하기
TorchTune 및 Hugging Face의 SFTTrainer와 같은 최신 라이브러리를 사용하여 파인튜닝 워크플로우를 탐색해 보세요. fine-tuning 레시피를 구성하고, training arguments를 설정하며, LoRA(Low-Rank Adaptation) 및 BitsAndBytes를 사용한 quantization과 같은 효율적인 기법을 활용하여 리소스 사용을 최적화하는 방법을 배우게 됩니다. 강의에서 배운 기술들을 결합함으로써, 여러분은 Llama 모델을 프로젝트의 요구에 맞게 효율적으로 맞춤화할 수 있습니다.사전 요구 사항
커리큘럼
코스 개요
1
Llama 미세 조정 준비하기
Llama 3 모델을 미세 조정하는 다양한 방법을 알아보고, 미세 조정을 단순화하기 위해 설계된 라이브러리 TorchTune을 살펴봅니다. 이 장에서는 데이터 준비, TorchTune의 레시피 기반 시스템, 효율적인 작업 설정을 안내하여 첫 미세 조정 작업을 시작하는 데 필요한 핵심 단계를 제공합니다.
2
Hugging Face의 SFTTrainer로 미세 조정하기
미세 조정이 특정 작업에서 작은 모델의 성능을 크게 향상시킬 수 있는 방법을 배웁니다. 먼저 더 작은 Llama 모델을 미세 조정해 작업 특화 성능을 높여 보세요. 다음으로 LoRA 같은 파라미터 효율적 미세 조정 기법을 익히고, 더 큰 모델도 불러와 사용할 수 있도록 양자화를 탐색합니다.
Llama 3 미세 조정(Fine-Tuning)
코스
완료
