Capire la Superalignment: allineare l’AI ai valori umani

Come tutti i modelli di machine learning, i sistemi di AI vengono addestrati per minimizzare una funzione di errore. Un buon addestramento è necessario ma non sufficiente perché un modello di AI sia integrato nella vita quotidiana degli utenti e nei flussi di lavoro delle organizzazioni.

Per interazioni uomo–AI efficaci, i modelli dovrebbero saper decifrare l’intento dell’utente e agire secondo linee guida di sicurezza ed equità. Per esempio, un chatbot dovrebbe astenersi dal fornire istruzioni che possano nuocere a sé o agli altri, e un modello a supporto dei recruiter non dovrebbe discriminare tra candidati.

I sistemi di AI stanno diventando più potenti e integrati nella vita di tutti i giorni. Per questo, gli sviluppatori devono garantire che il comportamento dell’AI su larga scala segua etica, valori e morali umane. Questo si chiama superalignment. Il corso AI Ethics approfondisce gli aspetti etici dell’AI.

In questo articolo spieghiamo la superalignment dei modelli di AI, discutiamo diversi metodi per ottenere la superalignment in generale e per gli LLM in particolare, e trattiamo le considerazioni etiche e le sfide pratiche della superalignment.

Scopri come l’AI può influire sulla tua organizzazione e come implementare strategie di AI di successo con il nostro whitepaper, The Learning Leader's Guide to AI Literacy.

AI Alignment: una rapida panoramica

Alignment indica il processo e i metodi per garantire che un sistema di AI si comporti secondo l’intento dell’utente, in modo privo di bias e rispettando le linee guida di sicurezza. Questo articolo spiega i concetti e i metodi usati nell’allineamento.

Oltre alla supervisione umana, gli sviluppatori adottano metodi come filtri e sistemi basati su regole per garantire l’allineamento nei sistemi di AI. Le tecniche usate per allineare un modello con una piccola base utenti diventano impraticabili quando si applicano a modelli più potenti e popolari. Per esempio:

I filtri dei contenuti usano algoritmi per assicurare che il modello non produca contenuti dannosi. Questi algoritmi filtrano contenuti indesiderati come linguaggio volgare e immagini esplicite. Tuttavia, sono limitati a ciò che il filtro riconosce e non proteggono da nuovi tipi di contenuti indesiderati.
I sistemi basati su regole usano un insieme di regole predefinite per impedire casi d’uso indesiderati, come istruzioni per fare del male a sé o agli altri. Tuttavia, non possono adattarsi a comportamenti inattesi da parte degli utenti o dei modelli di AI.
Metodi tradizionali di mitigazione dei bias come il ripeso dei dati di training sono efficaci per evitare bias noti. Possono però non bastare per rilevare bias nuovi e più sottili che emergono quando sistemi di AI complessi vengono usati in nuovi contesti.

Pertanto, i modelli di AI potenti che operano su larga scala e con un perimetro più ampio necessitano di un nuovo approccio all’allineamento. Questo è chiamato superalignment.

Cos’è la Superalignment?

La portata, la scala, la complessità e la diffusione dei modelli di AI potenti generano un insieme del tutto nuovo di sfide di allineamento.

Metodi e approcci per allineare modelli di AI su larga scala a valori, etica e morale umani rientrano nell’ombrello della superalignment. Comprende molte sottoaree.

In generale, i sistemi superallineati dovrebbero:

Cercare attivamente la collaborazione umana per rimanere allineati oltre l’allineamento iniziale.
Allinearsi e riallinearsi continuamente per tener conto di nuovi casi d’uso e di valori umani non codificati. Questo è il pipeline di allineamento.
Spiegare le proprie azioni e aggiornare le risposte in base al feedback umano.

La superalignment è un campo in evoluzione. Affronta i modelli di AI allo stato dell’arte e considera metodi per modelli ancora più potenti che ci si aspetta vengano sviluppati.

Man mano che l’AI diventa più potente, ci si aspetta che gestisca molti aspetti della vita umana, come l’agricoltura, i trasporti e altro. Un simile sistema di AI deve sempre dare priorità agli interessi umani sopra ogni altra considerazione.

Tecniche per ottenere la Superalignment

In questa sezione spieghiamo alcuni metodi e tecniche usati per raggiungere la superalignment. La filosofia di fondo di questi approcci è che devono essere scalabili.

Adversarial training

Nell’allineamento, come in qualsiasi addestramento, gli sviluppatori devono verificare se il sistema ha imparato a mostrare comportamenti desiderabili. Un modo per testare la superalignment è presentare all’AI dei controesempi. I grandi sistemi di AI devono essere addestrati a identificare le richieste non poste in buona fede e a gestirle in modo appropriato.

Un approccio comune alla superalignment è usare due AI come avversarie. È analogo al metodo red team e blue team usato nella ricerca sulla sicurezza, in cui il red team tenta di penetrare le difese del blue team.

Nel contesto dell’adversarial training per la superalignment, ciascuna AI cerca input che confondano l’altra. Per esempio, considera un’AI (blue team) allineata a non rispondere con parolacce. Nell’adversarial training, l’obiettivo dell’AI avversaria (red team) è trovare prompt che inducano l’AI blue team a dare risposte inopportune. L’obiettivo è garantire che, anche se testata dal red team, l’AI del blue team continui a generare risposte accettabili.

Illustrazione del concetto di adversarial training. Immagine creata con DALL·E

Robustness training

La robustezza consiste nella capacità di distinguere tra input effettivamente diversi ma superficialmente simili. Dovrebbe saper riconoscere corner case ed edge case. Per esempio, un sistema che identifica azioni umane in clip video dovrebbe distinguere una rissa reale in strada da una lotta coreografata in un film. Confondere l’una con l’altra può avere conseguenze dannose.

Pertanto, i grandi modelli dovrebbero essere esposti specificamente a scenari superficialmente simili. Questo insegnerà al modello a riconoscere sfumature e caratteristiche sottili.

Supervisione scalabile

Man mano che i modelli di AI trovano nuovi utenti e applicazioni, la loro supervisione deve scalare in parallelo. Il coinvolgimento umano è il fulcro della supervisione e dell’allineamento dell’AI. Scalare la supervisione umana è più difficile che scalare una soluzione tecnologica. Per mantenere una supervisione scalabile dell’AI, sono quindi necessari nuovi metodi:

Monitoraggio automatico in tempo reale: Sistemi automatici possono tracciare continuamente le risposte dell’AI e monitorarne il comportamento per verificare che sia conforme ai valori umani. Deviazioni significative dagli standard attesi possono essere segnalate per un intervento umano.
Revisioni programmatiche: La revisione e l’audit manuale di tutti gli output dell’AI sono fattibili. Si può farlo sviluppando nuovi programmi e algoritmi che verificano l’allineamento dell’AI con l’etica umana. I casi dubbi possono essere segnalati ai moderatori umani per una valutazione manuale.

Reinforcement learning con feedback umano (RLHF)

Come discusso nell’articolo sul reinforcement learning (RL), nelle implementazioni RL tradizionali, il sistema di AI impara a modificare il proprio comportamento osservando un umano. Usa un processo di tentativi ed errori per massimizzare la ricompensa. RLHF combina RL con input umano per guidare le azioni dell’AI durante l’addestramento.

RLHF parte da un modello pre-addestrato. I revisori umani assegnano al modello un insieme di compiti e forniscono feedback sugli output, come valutazioni o correzioni delle risposte del modello.

Il modello usa queste informazioni per ottimizzare il proprio comportamento in linea con il feedback umano e massimizzare la ricompensa (feedback umano positivo). Il processo si ripete finché gli output del modello non sono ritenuti pertinenti, appropriati e accurati.

Inverse reinforcement learning (IRL)

Nel reinforcement learning tradizionale (RL), gli sviluppatori del modello dichiarano esplicitamente la funzione di ricompensa (o funzione di utilità). L’obiettivo del modello è massimizzare l’incentivo secondo tale funzione.

Nell’IRL, il modello inferisce la funzione di ricompensa dal comportamento di un modello addestrato o di un umano. Per esempio, un’auto autonoma basata su RL può ricevere incentivi positivi per stare in corsia, fermarsi al rosso, ecc. Un sistema di guida autonoma basato su IRL deduce gli incentivi osservando da vicino e seguendo le azioni di un guidatore umano esperto o di un’AI addestrata.

I valori umani non possono essere elencati esplicitamente per tutti i contesti, il che rende il RL tradizionale difficile per i problemi di allineamento.

Un approccio più efficace è far sì che l’AI osservi e replichi il comportamento umano in contesti diversi. Osservando il comportamento umano, l’AI impara quali tra le diverse possibili risposte (o corsi d’azione) sono più simili a come agirebbe un umano in quello scenario. Questo aiuta ad allineare il comportamento dell’AI ai valori umani.

Illustrazione del concetto di inverse reinforcement learning. Immagine creata con DALL·E

Debate

Molti metodi di allineamento prevedono che un umano addestri l’AI su quali comportamenti sono accettabili e quali no, ma l’umano non è sempre la soluzione ideale.

Per molti problemi complessi, come la pianificazione ottimale di una rete ferroviaria nazionale, nessun umano potrebbe essere in grado di giudicare se una soluzione proposta è la migliore. Una soluzione è sfruttare l’AI stessa per la superalignment. Nel metodo del dibattito:

Un’AI propone una soluzione e fornisce una spiegazione dettagliata di ogni passaggio.
La stessa AI o un’altra AI viene poi usata per criticare (fornire argomentazioni contrarie a) ogni spiegazione.
Un umano decide quale argomentazione è più corretta. Poiché ogni argomento ha una portata limitata, per gli umani è più semplice giudicarne la validità.

Il processo di ragionamento logico diventa una sorta di gioco, e vince l’argomentazione più valida. Così, attraverso una serie di dibattiti, l’AI impara quali linee di ragionamento sono accettabili e quali no. Per i compiti futuri, l’output dell’AI risulterà meglio allineato ai valori umani.

Amplificazione iterata

Nei sistemi tradizionali di machine learning e deep learning, l’addestramento si basa sul confronto tra l’output del modello e quello atteso.

Con la crescita delle capacità dell’AI, verrà impiegata per compiti sempre più complessi. Per molti di questi compiti, gli umani non conoscono in anticipo l’output atteso. Le uniche opzioni potrebbero essere le soluzioni generate dall’AI. In tali casi, allineare l’AI basandosi sul risultato finale è difficile perché gli umani non possono giudicare l’output finale.

Per esempio, nella progettazione di un orario dei trasporti, il sistema deve bilanciare sostenibilità economica e utilità del servizio pubblico. Molte considerazioni simili rendono difficile stabilire quale progetto finale sia meglio allineato ai valori umani.

In tali casi, è più semplice sfruttare la supervisione umana per garantire l’allineamento su sotto-compiti più piccoli. In seguito, compiti leggermente più grandi vengono suddivisi in sotto-compiti e poi allineati sotto supervisione umana. Questo processo continua in modo iterativo finché i compiti non diventano troppo grandi per essere giudicati direttamente dagli umani.

L’amplificazione iterata parte dal presupposto che, poiché sotto-compiti più piccoli e semplici sono stati allineati tramite validazione umana, anche il compito principale più ampio risulti allineato. Questo è chiamato amplificazione iterata. L’amplificazione iterata viene applicata anche in combinazione con tecniche come il dibattito.

Value learning

Le interazioni umane sono complesse e sfumate. In molti casi, le azioni umane sono ambigue se considerate isolatamente: hanno senso solo nel giusto contesto. Perciò, funzioni di utilità tradizionali e reinforcement learning non bastano per infondere nell’AI i valori umani.

Un’alternativa proposta è che il modello abbia accesso a un insieme di funzioni di utilità invece che a una sola. Ogni funzione può essere scelta a seconda del contesto. Il modello impara a scegliere la funzione giusta osservando le azioni umane in contesti diversi. Questo è chiamato value learning.

Il value learning è una tecnica in cui l’AI osserva direttamente il comportamento umano in diversi scenari e apprende il comportamento corretto per ciascun contesto. Ciò comporta esporre l’AI al comportamento umano attraverso un’ampia varietà di interazioni reali.

Illustrazione del concetto di value learning. Immagine creata con DALL·E

Gli umani coinvolti nell’allineamento dovrebbero comportarsi in modo considerato accettabile. Per esempio, un automobilista umano non dovrebbe cedere all’ira alla guida mentre allinea un’AI. Tuttavia, quando è bloccato dietro a un’auto lenta, dovrebbe tentare di sorpassare in sicurezza il veicolo più lento.

Superalignment nei Large Language Models (LLM)

Gli LLM sono attualmente i modelli di AI su larga scala più popolari. Sono impiegati in una vasta gamma di compiti. Considerata l’ampia base utenti e i casi d’uso, la superalignment nel contesto degli LLM merita un esame più attento.

LLM e sfide di allineamento

I large language model come GPT-4, Gemini e Meta AI stanno iniziando a essere usati nella vita quotidiana. Dato la loro scala e portata, gli LLM presentano nuove sfide di allineamento, come:

Perpetuazione dei bias: Questi modelli sono stati addestrati su grandi quantità di dati provenienti da internet aperta e altre librerie. Eventuali bias nei dati di training si riflettono direttamente negli output del modello. Il bias dovuto a carenze nei dati di ingreso è considerato bias algoritmico.
Sistemi complessi: Le grandi dimensioni di questi modelli, l’enormità dei dati di addestramento e l’ampia varietà di casi d’uso rendono difficile prevedere il comportamento del sistema. Diventa complesso garantire che l’output del modello sia allineato ai valori umani in tutti i casi d’uso.
Problemi di scala: Data l’enorme base utenti e il grande numero di query gestite:

Anche se la percentuale di risposte non allineate ai valori umani è piccola, si traduce comunque in un numero elevato.
Diventa difficile garantire che il comportamento dell’AI sia costantemente allineato ai valori ed all’etica umani per tutti gli utenti.

Questo rende necessario adottare nuovi metodi per testare quanto bene questi modelli siano allineati e per perfezionarli continuamente, assicurando che aderiscano ai valori umani e agli standard etici.

Valutare gli output degli LLM

Sono stati proposti e sperimentati molti approcci per valutare gli output degli LLM e garantirne l’allineamento ai valori umani. Questi metodi devono essere scalabili. Alcuni esempi:

Filtrare gli output indesiderati: Un approccio pragmatico per eliminare risposte inappropriate di un LLM è usare un livello di filtraggio sopra il modello linguistico. Addestrare sistemi separati per generazione del testo e filtraggio è più efficiente. Il filtro può essere un’altra AI che analizza l’output dell’LLM generatore alla ricerca di linguaggio inappropriato e temi sensibili.
Rilevamento dei bias: I dataset di training contengono invariabilmente qualche bias, portando a modelli distorti. Alcuni metodi per rilevare bias negli output degli LLM sono:

Gli sviluppatori auditano i modelli alla ricerca di output distorti. Gli audit dei bias prevedono di testare il modello con input diversi e confrontare la risposta in ciascun caso.
A volte si usano algoritmi specializzati per il rilevamento dei bias per cercare e identificare sistematicamente diversi tipi di distorsione.

Fact-checking: Le allucinazioni sono la piaga degli LLM fin dall’inizio. Un LLM sa solo predire quali parole dovrebbero seguire una stringa di parole in base a ciò che ha visto nel dataset di training. Non ha alcun concetto di fatti. Per un LLM, la frase “Dell produce personal computer” ha lo stesso significato di “Dell produce patatine”. Pertanto, quando si usano gli LLM per generare testi basati su fatti, è fondamentale verificare che il testo generato sia corretto dal punto di vista fattuale.
Spiegabilità: I sistemi e i programmi IT tradizionali sono basati su regole. Puoi fare debug per individuare quali regole sono responsabili di un particolare output. Al contrario, gli LLM hanno miliardi di parametri. È impossibile risalire a quali pesi contribuiscano alle diverse parti dell’output.

Per fortuna, il ragionamento è una proprietà emergente dei large language model. Una proprietà emergente è una caratteristica di un sistema complesso che non può essere spiegata come somma delle sue parti.

Spesso si osserva che gli LLM sanno spiegare le proprie risposte e ragionare su problemi a più passaggi. Chiedere a un LLM di spiegare una soluzione complessa e valutare manualmente ogni passaggio consente agli umani di validarne la risposta.

LLM e interazione umana

Gli LLM usati in modo interattivo devono comprendere le sfumature e le sottigliezze delle conversazioni umane. Dovrebbero saper rispondere in base al contesto della conversazione.

Tono, intento, sarcasmo e segnali emotivi sono difficili da rappresentare matematicamente. Eppure, i modelli di AI devono tener conto di questi aspetti per comunicare efficacemente con gli umani. Solo un LLM allineato a essere empatico sarà efficace nell’interazione con le persone. Può costruire fiducia e favorire interazioni produttive con gli umani, e l’unico modo per raggiungere questo obiettivo è applicare varie tecniche di superalignment.

Considerazioni etiche nella Superalignment

L’obiettivo finale della superalignment è che un’AI potente si conformi agli standard etici della società umana.

Questa sezione spiega il ruolo dell’etica nella superalignment e le sfide legate a garantire un comportamento etico nei modelli di grandi dimensioni.

Garantire un comportamento etico

Un’AI non allineata ai valori umani non potrà mai essere sicura da usare per le persone. Un sistema non allineato può produrre contenuti dannosi che attori malintenzionati possono sfruttare. Può perpetuare disuguaglianze sociali e amplificare bias esistenti.

Nel peggiore dei casi, un sistema non allineato può abusare di questa capacità e sfociare in comportamenti manipolatori. Perciò, le preoccupazioni etiche sono al cuore di tutti gli sforzi di superalignment. Solo garantendo un comportamento etico in ogni circostanza gli strumenti di AI possono essere considerati affidabili e degni di fiducia per un uso diffuso e a lungo termine.

Bilanciare utilità e sicurezza

Infondere comportamento etico nei sistemi di AI ha un costo significativo. Per ottenere la superalignment, gli sviluppatori hanno bisogno di:

Umani che esaminino le risposte e forniscano feedback all’AI
Tempo aggiuntivo per assicurare la superalignment prima del rilascio del modello
Risorse computazionali aggiuntive per il fine-tuning e l’allineamento del modello

Inoltre, in fase di inferenza, il modello deve eseguire calcoli aggiuntivi per garantire che le sue risposte siano allineate ai valori umani. A volte, imporre l’allineamento come vincolo può limitare le capacità del modello. Di conseguenza, un modello superallineato può essere meno prestante.

Serve quindi un equilibrio tra prestazioni tecniche del modello e considerazioni di allineamento. Dare priorità ad allineamento e sicurezza rispetto alle metriche tradizionali di performance può portare a modelli poco utili nella pratica.

Equità e bias

I modelli di AI su larga scala hanno molti utenti e usi diversificati. Qualsiasi bias presente nell’output del modello può avere conseguenze di vasta portata. Gli sviluppatori dovrebbero quindi fare in modo che i loro modelli siano il più possibile privi di bias.

Eliminare i bias dagli LLM è impegnativo perché questi modelli vengono addestrati in modo non supervisionato su enormi corpora di testi. L’AI assimila tutti i diversi bias e pregiudizi presenti nel testo del dataset di training. Questo può portare a output ingiusti e discriminatori. Gli sviluppatori possono adottare vari metodi per affrontare il problema:

Rilevamento dei bias: Prima di poter intervenire, devi innanzitutto identificare gli episodi di comportamento distorto. Audit regolari e valutazioni di equità su campioni di output del modello possono aiutare a individuare i tipi di bias che il modello manifesta e le situazioni che li innescano.
Eliminazione dei bias: Esistono tre approcci principali per eliminare i bias:

Programmare il modello per correggere bias specifici nell’output.
Arricchire il dataset di training integrandolo con dati sintetici. Ad esempio, se il dataset di training per un sistema di riconoscimento immagini ha pochissimi esemplari di una certa specie animale, si riduce la probabilità marginale di identificarla. Spesso si affronta il problema ampliando il dataset con immagini sintetiche di quella specie e/o aumentando il suo peso nel processo di training.
Aggiornare i pesi dei sottoinsiemi sottorappresentati dei dati di training. Si tratta di regolare il peso dei diversi sottoinsiemi dei dati in modo che le categorie sottorappresentate (cioè con pochi esempi) abbiano lo stesso peso delle altre categorie.

Monitoraggio continuo: I modelli vengono periodicamente riaddestrati su nuovi dataset. Inoltre, il comportamento delle versioni future è influenzato dalle interazioni passate del modello con gli utenti. Anche il comportamento degli utenti cambia in base all’esposizione prolungata e all’interazione con i modelli di AI. Dunque, il rilevamento e l’eliminazione dei bias non sono compiti una tantum. Devono diventare parte del ciclo di sviluppo del modello.

Sfide nel raggiungere la Superalignment

Come spiegato nelle sezioni precedenti, ottenere la superalignment è impegnativo. Alcune delle principali difficoltà sono:

Complessità e scala dei modelli: I modelli di AI moderni hanno miliardi di parametri. Questo rende difficile prevederne le risposte o comprendere il processo decisionale dai primi principi. Assicurare un allineamento costante ai valori umani è quindi complicato. Piccoli aggiornamenti ai parametri possono compromettere l’allineamento.
Scalabilità delle tecniche di allineamento: La supervisione umana è centrale nell’allineamento. Man mano che i modelli crescono per portata e utilità, devono essere allineati in un numero crescente di scenari. Questo solleva interrogativi su quanto efficacemente ed economicamente gli umani possano supervisionare gli sforzi di allineamento del modello.
Generalizzazione e robustezza: I modelli di AI affrontano di routine nuovi scenari e input inediti. L’addestramento e l’allineamento del modello, invece, si basano su un insieme ampio ma limitato di dati e scenari. Il modello deve saper estendere l’allineamento a scenari non esplicitamente coperti durante l’addestramento. Dovrebbe distinguere gli edge case e comportarsi in modo etico in nuove circostanze.
Disallineamento di valori: L’AI non ha una comprensione nativa dei valori umani. Impara solo in base al training. I valori umani sono complessi e talvolta contraddittori. Ciò che è perfettamente accettabile in una situazione può essere del tutto inappropriato in un’altra. Il disallineamento può avvenire quando il modello interpreta i valori in modo diverso da quanto inteso. Questo può portare a risposte inadeguate e potenzialmente non etiche.
Conformità normativa: Enti nazionali e sovranazionali stanno iniziando a definire standard normativi e legali per garantire che modelli di AI potenti non danneggino l’interesse pubblico. Rispettare queste nuove normative richiederà ulteriori sforzi da parte degli sviluppatori.
Integrazione con altri sistemi IT: La maggior parte degli sforzi di allineamento è incentrata sull’interazione diretta uomo–AI. Sorgono nuove sfide quando l’AI è integrata con altri sistemi. Gli input e gli output dell’AI in tali sistemi integrati non sono più basati sul linguaggio umano. Questo rende difficile interpretare le risposte dell’AI. Garantire la superalignment di un sistema IT complesso che include l’AI presenta sfide impreviste. Una possibilità è affidare l’intero sistema integrato a un’altra AI che aiuti gli umani a comprenderlo e monitorarlo.
Monitoraggio e aggiornamento: Monitorare continuamente le risposte del modello è necessario per assicurare che il modello agisca eticamente nella pratica. In genere si fa campionando casualmente l’output del modello su input reali. Aggiornare i parametri del modello può anche disturbare l’allineamento. Pertanto, l’allineamento deve essere mantenuto e aggiornato come parte del ciclo di vita dello sviluppo del modello.

Conclusione

Un sistema di AI non allineato a valori ed etica umani è inadatto all’uso pubblico. Anzi, potrebbe avere conseguenze dannose.

In questo articolo abbiamo discusso la superalignment, un insieme di metodi e approcci usati per allineare sistemi di AI grandi e potenti. Inoltre, abbiamo esplorato la superalignment nel contesto degli LLM. Infine, poiché la superalignment è un campo in evoluzione, abbiamo trattato le principali sfide legate alla sua implementazione.

FAQ

In cosa la superalignment è diversa dall’allineamento?

Concettualmente sono simili, ma differiscono per portata. L’allineamento riguarda sistemi di AI che tengono conto dell’intento dell’utente, agiscono secondo il contesto e sono privi di bias.

Il termine “super alignment" si riferisce a modelli di AI su larga scala allineati non solo a intento e contesto, ma più in generale a valori, morali ed etica umani.

La differenza cruciale sta nei metodi usati. L’allineamento può essere ottenuto con metodi più semplici basati su regole, inadeguati però alla superalignment.

In cosa l’allineamento è diverso dall’addestramento?

L’addestramento del modello si basa sul minimizzare il valore della loss function. L’allineamento va oltre l’addestramento. Garantisce che il modello addestrato agisca secondo intenzioni, valori ed etica umani.

Se i dati di training sono distorti, anche il modello risultante lo sarà. Il modello non agisce secondo standard etici. L’allineamento prevede di correggere il modello per compensare le carenze nel processo di training.

Tutta la superalignment prevede sforzi umani?

Dato l’enorme volume di input e output dei modelli di AI, la supervisione manuale non è sempre possibile. È più pragmatico adottare approcci automatici e programmatici per auditare e monitorare il comportamento dell’AI. L’intervento umano è naturalmente necessario nei casi limite.

La superalignment è strettamente necessaria? Un modello addestrato non è sufficiente?

Per modelli su larga scala rivolti al pubblico, sì, è strettamente necessaria. Quando gli output dei modelli di AI sono utilizzati in pratica, devono conformarsi agli stessi standard etici e morali che avrebbe un umano. I dataset di training, di default, contengono vari bias che si riflettono nel modello addestrato. Pertanto, il modello addestrato deve essere allineato a valori e standard umani.

Esistono moduli o pacchetti software di superalignment che posso usare?

La superalignment è ancora un problema irrisolto, con molti approcci in fase di studio. I ricercatori di AI sperimentano tecniche diverse adatte ai loro modelli. Non esistono quindi moduli o pacchetti software popolari e pronti per la produzione per la superalignment.

Autore

Arun Nanda

Arun è un ex fondatore di startup a cui piace creare cose nuove. Attualmente sta esplorando le basi tecniche e matematiche dell’Intelligenza Artificiale. Ama condividere ciò che ha imparato, quindi ne scrive.

Oltre a DataCamp, puoi leggere i suoi articoli su Medium, Airbyte e Vultr.

Argomenti

Intelligenza artificiale AI for Business Cloud