Che cos'è il Reinforcement Learning from Human Feedback?

La diffusione massiccia di strumenti come ChatGPT e altre IA generative ha acceso un grande dibattito sui benefici e le sfide dell'IA e su come rimodellerà la nostra società. Per valutare meglio queste questioni, è importante conoscere come funzionano i cosiddetti Large Language Models (LLM) che alimentano gli strumenti di IA di nuova generazione.

Questo articolo offre un'introduzione al Reinforcement Learning from Human Feedback (RLHF), una tecnica innovativa che combina metodi di reinforcement learning e guida umana per aiutare LLM come ChatGPT a offrire risultati impressionanti. Vedremo che cos'è l'RLHF, i suoi vantaggi, le sue limitazioni e la sua rilevanza per lo sviluppo futuro del dinamico campo dell'IA generativa. Continua a leggere!

Capire l'RLHF

Per comprendere il ruolo dell'RLHF, dobbiamo prima parlare del processo di addestramento degli LLM.

La tecnologia alla base degli LLM più popolari è il transformer. Dalla sua introduzione da parte dei ricercatori di Google, i transformer sono diventati lo stato dell'arte nel campo dell'IA e del deep learning, perché offrono un metodo più efficace per gestire dati sequenziali, come le parole in una frase.

Per un'introduzione più dettagliata agli LLM e ai transformer, dai un'occhiata al nostro corso Concepts sui Large Language Models (LLM).

I transformer vengono pre-addestrati con un enorme corpus di testi raccolti da Internet tramite self-supervised learning, un tipo innovativo di addestramento che non richiede l'intervento umano per etichettare i dati. I transformer pre-addestrati sono in grado di risolvere un'ampia gamma di problemi di natural language processing (NLP).

Tuttavia, perché uno strumento di IA come ChatGPT fornisca risposte coinvolgenti, accurate e simili a quelle umane, un LLM pre-addestrato non basta. In fin dei conti, la comunicazione umana è un processo creativo e soggettivo. Ciò che rende un testo “buono” è profondamente influenzato da valori e preferenze umane, il che lo rende molto difficile da misurare o catturare con una soluzione algoritmica chiara.

L'idea alla base dell'RLHF è usare il feedback umano per misurare e migliorare le prestazioni del modello. Ciò che rende l'RLHF unico rispetto ad altre tecniche di reinforcement learning è l'uso della partecipazione umana per ottimizzare il modello invece di una funzione statisticamente predefinita per massimizzare la ricompensa dell'agente.

Questa strategia consente un apprendimento più adattabile e personalizzato, rendendo gli LLM adatti a ogni tipo di applicazione settoriale, come assistenza al codice, ricerca legale, stesura di saggi e generazione di poesie.

Come funziona l'RLHF?

L'RLHF è un processo impegnativo che coinvolge l'addestramento di più modelli e diverse fasi di distribuzione. In sostanza, si può suddividere in tre passaggi.

1. Seleziona un modello pre-addestrato

La prima fase consiste nel selezionare un LLM pre-addestrato che verrà poi ottimizzato tramite RLHF.

Potresti anche pre-addestrare il tuo LLM da zero, ma è un processo costoso e che richiede molto tempo. Per questo consigliamo vivamente di scegliere uno dei tanti LLM pre-addestrati disponibili al pubblico.

Se vuoi saperne di più su come addestrare un LLM, il nostro tutorial How to Train a LLM with PyTorch offre un esempio illustrativo.

Tieni presente che, per soddisfare le esigenze specifiche del tuo modello, prima di iniziare la fase di fine-tuning con feedback umano, puoi effettuare un ulteriore fine-tuning del modello su testi o condizioni aggiuntive.

Ad esempio, se vuoi sviluppare un assistente legale basato su IA, potresti effettuare il fine-tuning del modello con un corpus di testi giuridici per renderlo particolarmente familiare al linguaggio e ai concetti legali.

2. Feedback umano

Invece di usare un modello di ricompensa statisticamente predefinito (che sarebbe molto restrittivo per calibrare le preferenze umane), l'RLHF utilizza il feedback umano per aiutare il modello a sviluppare un modello di ricompensa più sottile. Il processo è il seguente:

• Per prima cosa, il modello pre-addestrato crea un set di addestramento di coppie prompt di input/testi generati campionando un insieme di prompt.
• Poi, i valutatori umani assegnano un rango ai testi generati, usando linee guida per allineare il modello ai valori e alle preferenze umane e mantenerlo sicuro. Questi ranghi possono essere trasformati in punteggi con varie tecniche, come i sistemi di valutazione Elo.
• Infine, il feedback umano accumulato viene utilizzato dal sistema per valutare le proprie prestazioni e sviluppare un modello di ricompensa.

L'immagine seguente illustra l'intero processo:

Fonte: Hugging Face

3. Fine-tuning con reinforcement learning

Nell'ultima fase, l'LLM produce nuovi testi e utilizza il suo modello di ricompensa basato sul feedback umano per generare un punteggio di qualità. Il punteggio viene quindi usato dal modello per migliorare le prestazioni sui prompt successivi.

Il feedback umano e il fine-tuning con tecniche di reinforcement learning vengono quindi combinati in un processo iterativo che continua fino al raggiungimento di un certo grado di accuratezza.

Applicazioni del Reinforcement Learning from Human Feedback

L'RLHF è una tecnica all'avanguardia per il fine-tuning degli LLM, come ChatGPT. Tuttavia, l'RLHF è un tema molto discusso, con una letteratura in crescita che esplora possibilità oltre i problemi di NLP. Qui sotto trovi un elenco di altre aree in cui l'RLHF è stato applicato con successo:

• Chatbot. ChatGPT è l'esempio più importante delle potenzialità dell'RLHF. Per saperne di più su come ChatGPT usa l'RLHF, consulta questo articolo, "che cos'è ChatGPT?" in cui abbiamo chiesto direttamente a ChatGPT come funziona.
• Robotica. La robotica è uno dei principali ambiti in cui l'RLHF sta dando risultati promettenti. L'uso del feedback umano può aiutare un robot a eseguire compiti e movimenti difficili da specificare in una funzione di ricompensa. I ricercatori di OpenAI sono riusciti a insegnare a un robot a fare un salto mortale all'indietro – un compito piuttosto difficile da modellare – usando l'RLHF.
• Gaming. Le tecniche di reinforcement learning sono state usate per sviluppare bot per videogiochi. Tuttavia, l'RLHF può essere usato per addestrare bot basati sulle preferenze umane, rendendoli giocatori più simili agli esseri umani invece di semplici macchine che massimizzano la ricompensa. Ad esempio, OpenAI e DeepMind hanno addestrato bot a giocare ai giochi Atari con l'RLHF.

I vantaggi dell'RLHF

L'RLHF è una tecnica potente e promettente senza la quale gli strumenti di IA di nuova generazione non sarebbero possibili. Ecco alcuni dei vantaggi dell'RLHF:

• Prestazioni aumentate. Il feedback umano è la chiave per far “pensare” e suonare come umani gli LLM come ChatGPT. L'RLHF consente alle macchine di affrontare compiti complessi, come i problemi di NLP, che coinvolgono valori o preferenze umane.
• Adattabilità. Poiché gli LLM vengono ottimizzati con feedback umano su ogni tipo di prompt, l'RLHF consente alle macchine di svolgere una gamma di compiti multipli e di adattarsi a situazioni attese. Questo avvicina gli LLM alla soglia di un'IA di uso generale.
• Miglioramento continuo. L'RLHF è un processo iterativo, il che significa che il sistema migliora continuamente man mano che la sua funzione di apprendimento si aggiorna in seguito a nuovi feedback umani.
• Maggiore sicurezza. Ricevendo feedback umani, il sistema non solo impara cosa fare, ma anche cosa non fare, garantendo sistemi efficaci, più sicuri e affidabili.

Limitazioni dell'RLHF

Tuttavia, l'RLHF non è infallibile. Questa tecnica presenta anche alcuni rischi e limitazioni. Di seguito puoi vedere alcune delle più rilevanti:

• Feedback umano limitato e costoso. L'RLHF si basa sulla qualità e sulla disponibilità del feedback umano. Tuttavia, portare a termine il lavoro può essere lento, intensivo in termini di manodopera e costoso, soprattutto se l'attività richiede molto feedback.
• Bias nel feedback umano. Nonostante l'uso di linee guida standardizzate per fornire feedback, la valutazione o la classificazione è in ultima analisi influenzata da preferenze e valori umani. Se i compiti di ranking non sono ben impostati, o la qualità del feedback umano è scarsa, il modello potrebbe diventare fazioso o rafforzare output indesiderati.
• Generalizzazione a nuovi contesti. Anche se gli LLM vengono ottimizzati con un consistente feedback umano, possono sempre emergere contesti imprevisti. In questo caso, la sfida è rendere l'agente robusto in situazioni con feedback limitato.
• Allucinazioni. Quando il feedback umano è limitato o di scarsa qualità, gli agenti possono incorrere nelle cosiddette allucinazioni, ovvero comportamenti indesiderati, falsi o privi di senso.

Tendenze future e sviluppi nell'RLHF

L'RLHF è uno dei pilastri degli strumenti di IA generativa moderni, come ChatGPT e GPT-4. Nonostante i risultati impressionanti, l'RLHF è una tecnica relativamente nuova e c'è ancora ampio margine di miglioramento. La ricerca futura sulle tecniche di RLHF è fondamentale per rendere gli LLM più efficienti, ridurne l'impatto ambientale e affrontare alcuni dei rischi e delle limitazioni degli LLM.

Per rimanere aggiornato sugli ultimi sviluppi in IA generativa, machine learning e LLM, ti consigliamo vivamente di consultare i nostri materiali didattici selezionati:

• Introduction to Reinforcement Learning - Questo tutorial tratta i concetti e la terminologia di base del reinforcement learning.
• Deep Learning in Python - Questo percorso aiuta chi apprende ad ampliare le conoscenze di deep learning e a portare le competenze di machine learning al livello successivo.
• Deep Learning Tutorial - Questo tutorial fornisce una panoramica di deep learning e reinforcement learning.
• How to Ethically Use Machine Learning to Drive Decisions - Questo post del blog discute l'importanza delle considerazioni etiche quando si utilizzano modelli di machine learning.