Build your ultimate AI agent
课程介绍
在本课程中，将生成式 AI 的高效性与人类专家的理解相结合，系统学习来自人类反馈的强化学习。您将掌握如何让 GenAI 模型更真实地体现人类的价值观与偏好，并亲手实践使用 LLM。您还会梳理奖励模型的复杂性，学习如何在 LLM 之上构建既能学习又能适应真实场景的 AI。
先修要求
课程大纲
课程大纲
1
基础概念
本章将介绍来自人类反馈的强化学习（RLHF）的基础知识。这是一种利用人类输入来帮助 AI 模型更高效学习的技术。通过理解 RLHF 与传统强化学习的差异，以及人类反馈为何能在多种领域提升 AI 表现，开始您的 RLHF 学习。
2
获取人类反馈
在本章中，您将学习如何搭建获取人类反馈的系统。掌握收集高质量数据的最佳实践，从成对比较到不确定性采样，并探索进一步提升数据收集效果的策略。
3
基于人类反馈微调模型
在本章中，您将进入来自人类反馈的强化学习训练核心。内容包括使用 PPO 进行微调、提升训练效率的技巧，以及如何在指标目标可能偏离时进行处理。
4
模型评估
在本课程最后一章中，探索评估与改进模型性能的关键方法。涵盖从微调指标到引入多元反馈来源等内容，为您提供一套完善的工具，帮助您高效优化 RLHF 模型。
来自人类反馈的强化学习（RLHF）
课程完成
