After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Descrizione del corso
In questo corso su Reinforcement Learning from Human Feedback, unirai l’efficienza della Generative AI alla competenza umana. Imparerai a far sì che i modelli GenAI rispecchino davvero valori e preferenze umane, facendo pratica diretta con gli LLM. Inoltre, affronterai le complessità dei modelli di ricompensa e scoprirai come sviluppare gli LLM per creare un’AI che non solo apprende, ma si adatta a scenari reali.
Prerequisiti
Curriculum
Programma del corso
1
Concetti fondamentali
Questo capitolo introduce le basi del Reinforcement Learning with Human Feedback (RLHF), una tecnica che utilizza l’input umano per aiutare i modelli di AI a imparare in modo più efficace. Inizia con l’RLHF comprendendo come si differenzia dal reinforcement learning tradizionale e perché il feedback umano può migliorare le prestazioni dell’AI in vari ambiti.
- Introduzione a RLHF50 XP
- Generazione di testo con RLHF100 XP
- Classificare il testo generato per RLHF100 XP
- RL vs. RLHF50 XP
- Esplorare gli LLM pre-addestrati50 XP
- Tokenizza un insieme di dati testuale100 XP
- Fine-tuning per la classificazione delle recensioni100 XP
- Preparare i dati per RLHF50 XP
- Preparare l'insieme di dati delle preferenze100 XP
- Estrazione dei prompt50 XP
2
Raccolta del feedback umano
In questo capitolo scoprirai come impostare sistemi per raccogliere feedback umano. Imparerai le migliori pratiche per ottenere dati di alta qualità, dai confronti a coppie al campionamento basato sull’incertezza, ed esplorerai strategie per potenziare la tua raccolta dati.
3
Ottimizzazione dei modelli con il feedback umano
In questo capitolo entrerai nel cuore dell’addestramento con Reinforcement Learning from Human Feedback. Esplorerai il fine-tuning con PPO, tecniche per addestrare in modo efficiente e come gestire potenziali divergenze rispetto agli obiettivi delle tue metriche.
4
Valutazione del modello
In questo ultimo capitolo su Reinforcement Learning from Human Feedback (RLHF) esplorerai le tecniche chiave per valutare e migliorare le prestazioni del modello: dalle metriche per il fine-tuning all’integrazione di fonti di feedback diversificate, avrai a disposizione una cassetta degli attrezzi completa per perfezionare i tuoi modelli in modo efficace.
Reinforcement Learning from Human Feedback (RLHF)
Corso
completato
