Lewati ke konten utama

Kursus

Reinforcement Learning from Human Feedback (RLHF)

LanjutanTingkat Keterampilan

Diperbarui 10/2024

Mulai Kursus Gratis

PythonArtificial Intelligence

4 jam

13 videos

38 Latihan

2,900 XP

3,670

Pernyataan Pencapaian

Dipercaya oleh para pelajar di ribuan perusahaan

Melatih Tim?

Coba untuk Bisnis

Deskripsi Kursus

Padukan efisiensi Generative AI dengan pemahaman keahlian manusia dalam kursus Reinforcement Learning from Human Feedback ini. Anda akan mempelajari cara membuat model GenAI benar-benar mencerminkan nilai dan preferensi manusia sekaligus mendapatkan pengalaman langsung dengan LLM. Anda juga akan menavigasi kompleksitas model penghargaan dan mempelajari cara membangun di atas LLM untuk menghasilkan AI yang tidak hanya belajar, tetapi juga beradaptasi dengan skenario dunia nyata.

Persyaratan

Deep Reinforcement Learning in Python

1

Konsep Dasar

Bab ini memperkenalkan dasar-dasar Reinforcement Learning with Human Feedback (RLHF), sebuah teknik yang menggunakan masukan manusia untuk membantu model AI belajar lebih efektif. Mulailah dengan RLHF dengan memahami perbedaannya dari reinforcement learning tradisional dan mengapa umpan balik manusia dapat meningkatkan kinerja AI di berbagai domain.

Pengantar RLHF

Generasi teks dengan RLHF

Mengklasifikasikan teks yang dihasilkan untuk RLHF

RL vs. RLHF

Menjelajahi LLM pralatih

Tokenisasi himpunan data teks

Fine-tuning untuk klasifikasi ulasan

Menyiapkan data untuk RLHF

Menyiapkan himpunan data preferensi

Mengekstrak prompt

2

Mengumpulkan Umpan Balik Manusia

Pelajari cara menyiapkan sistem untuk mengumpulkan umpan balik manusia dalam Bab ini. Kuasai praktik terbaik untuk mengumpulkan data berkualitas tinggi, dari perbandingan berpasangan hingga pengambilan sampel berbasis ketidakpastian, serta jelajahi strategi untuk meningkatkan pengumpulan data Anda.

Metode untuk Mengumpulkan Umpan Balik Berkualitas Tinggi

Memahami perbandingan dan pemberian rating dalam RLHF

Membandingkan slogan untuk kampanye gym

Mengukur kualitas dan relevansi umpan balik

Keyakinan rendah

K-means untuk pengelompokan umpan balik

Active learning

Mengimplementasikan pipeline active learning

Siklus active learning

3

Penyelarasan Model dengan Umpan Balik Manusia

Dalam Bab ini, Anda akan masuk ke inti pelatihan Reinforcement Learning from Human Feedback. Ini mencakup penjelajahan fine-tuning dengan PPO, teknik untuk melatih secara efisien, dan menangani potensi penyimpangan dari tujuan metrik Anda.

Menjelajahi reward model

Menginisialisasi reward

Menyiapkan reward trainer

Pelatihan dengan PPO

Inisialisasi pelatih PPO

Penyetelan halus dengan PPO

Fine-tuning yang efisien dalam RLHF

Siapkan untuk Pelatihan 8-bit

Latih dengan LoRA

4

Evaluasi Model

Jelajahi teknik-teknik kunci untuk menilai dan meningkatkan kinerja model dalam Bab terakhir Reinforcement Learning from Human Feedback (RLHF): mulai dari penyetelan metrik hingga mengintegrasikan beragam sumber umpan balik, Anda akan mendapatkan seperangkat alat komprehensif untuk menyempurnakan model secara efektif.

Metrik dan penyesuaian model

Mengurangi dampak KL divergence negatif

Memeriksa reward model

Mengintegrasikan beragam sumber umpan balik

Voting mayoritas pada beberapa sumber data

Identifikasi sumber data yang tidak andal

Evaluasi model RLHF

Menafsirkan kurva

Mengevaluasi RLHF dengan metrik

Menutup perjalanan RLHF Anda

Reinforcement Learning from Human Feedback (RLHF)

Kursus
Selesai

Memperoleh Surat Keterangan Prestasi

Tambahkan kredensial ini ke profil LinkedIn, resume, atau CV Anda
Bagikan di media sosial dan dalam penilaian kinerja AndaDaftar sekarang

Bergabung dengan 19 juta pelajar dan mulai Reinforcement Learning from Human Feedback (RLHF) Hari Ini!

Kembangkan keterampilan data Anda dengan DataCamp untuk Mobile

Buat kemajuan di mana saja dengan kursus mobile kami dan tantangan coding harian 5 menit.