Cosa sono i deepfake? Esempi, applicazioni, sfide etiche

Nel 2020, i creatori di South Park Trey Parker e Matt Stone hanno realizzato un altro notevole esempio di arte deepfake: l'episodio pilota della serie "Sassy Justice" con personaggi di finzione "interpretati" da deepfake di Donald Trump e Mark Zuckerberg, tra gli altri.

Come funzionano i deepfake?

Quando si parla di deepfake, spesso ci concentriamo sul prodotto finale. Andiamo un po' più a fondo e cerchiamo di capire come vengono creati—ti assicurerò di farti capire il meccanismo anche se non hai un background tecnico.

Modelli discriminativi e generativi

I modelli discriminativi servono a distinguere tra cose—per esempio, se un'immagine è reale o falsa. Osservano i dati e cercano di prevedere l'etichetta corretta (come "reale" o "deepfake"). Esempi comuni di modelli includono la regressione logistica, gli alberi decisionali, le reti neurali e le macchine a vettori di supporto. Questi modelli sono ottimi per compiti come il rilevamento dei deepfake, perché sono addestrati a individuare i segnali che qualcosa è stato cambiato o manipolato.

I modelli generativi, invece, cercano di comprendere come funzionano i dati reali per poter creare nuovi dati simili. Imparano da molti esempi reali—come foto di volti reali o clip di voci reali—e poi usano queste conoscenze per generare media falsi ma dall'aspetto realistico. È così che nascono i deepfake.

La differenza principale sta nell'uso: i modelli discriminativi rilevano, mentre i modelli generativi creano. Nella tecnologia dei deepfake, entrambi sono importanti—uno per costruire falsi convincenti e l'altro per smascherarli.

Per approfondire la differenza, dai un'occhiata a questo blog su modelli generativi vs. discriminativi.

Reti generative avversarie

Le GAN sono un tipo di IA generativa che addestra insieme un modello generativo e uno discriminativo. Il rapporto tra i due modelli può essere descritto come una competizione amichevole: mentre il generatore crea contenuti sintetici, il discriminatore lavora per distinguere i media reali dai falsi. Questa rivalità spinge il generatore a migliorare fino a rendere le sue uscite quasi indistinguibili dai media autentici.

Nel caso dei deepfake, il ruolo del modello generativo è quello di un falsario d'arte che dipinge opere contraffatte, mentre il modello discriminativo incarna un critico d'arte che esamina ogni pezzo per scovare i falsi. Esposti a quantità sempre maggiori di dati, sia il falsario sia il critico migliorano nel proprio lavoro, producendo riproduzioni sempre più convincenti e valutazioni più accurate.

Il processo prevede l'addestramento di modelli su dataset estesi per catturare le caratteristiche uniche di un soggetto, come il timbro di voce e i tratti del viso. Analizzando questi dati, il sistema costruisce gradualmente una rappresentazione accurata del target, che utilizza per imitarlo in modo convincente.

Tecniche di deepfake

Le tecniche comuni per il face swap spesso coinvolgono autoencoder e reti neurali convoluzionali. Questi strumenti vengono addestrati su molte immagini o fotogrammi video di una persona per imparare l'aspetto del suo volto—forma, espressioni e caratteristiche chiave. L'IA trasforma queste informazioni in un formato che può comprendere, una sorta di riassunto digitale del volto della persona.

Poi usa quel riassunto per copiare le espressioni facciali da una persona e applicarle a un'altra, rendendo lo scambio di volto realistico.

Fonte: Deepfakes Generation and Detection: State-of-the-art, open challenges, countermeasures, and way forward

Per il lip sync, le reti neurali analizzano non solo i movimenti della bocca ma anche gli input audio per allineare con precisione l'uscita video alle parole pronunciate.

Vengono addestrate usando dataset etichettati, in cui ogni fotogramma video è associato a un'etichetta audio che indica l'esatto fonema pronunciato, consentendo al modello di apprendere la relazione precisa tra suono e articolazione visiva.

Analizzando contemporaneamente queste coppie di dati ed etichette, la rete impara a generare uscite video in cui i movimenti della bocca rispecchiano la relazione appresa.

Infine, il clonaggio vocale può essere ottenuto addestrando modelli di sintesi vocale su ampi dataset audio abbinati a trascrizioni corrispondenti. Questi dataset catturano le caratteristiche uniche della voce di un individuo (come altezza, timbro e cadenza) in un formato strutturato che i modelli possono analizzare.

Imparando da queste coppie di dati ed etichette, i modelli generano parlato sintetico che replica da vicino le qualità vocali naturali del target, imitando in modo convincente la sua voce.

Applicazioni dei deepfake

Sono abbastanza certo che molti di noi abbiano visto video sintetici con attori famosi o personaggi pubblici in scenari divertenti. Ma i deepfake possono servire a molti altri scopi, inclusi quelli educativi o per migliorare l'accessibilità.

Intrattenimento

I deepfake offrono ai cineasti strumenti innovativi, permettendo di ringiovanire gli attori o creare versioni doppiate dei film che corrispondono strettamente alle interpretazioni originali.

Un esempio notevole del primo caso è "The Irishman" (2019) di Martin Scorsese, in cui Robert De Niro, Al Pacino e Joe Pesci appaiono di decenni più giovani nelle scene di flashback. In questo modo, la storia ha potuto scorrere naturalmente senza la necessità di più interpreti per impersonare le versioni più giovani. Guarda una spiegazione di questo processo in questo video.

I deepfake rivoluzionano anche la creazione di personaggi digitali generando avatar realistici per videogiochi e realtà virtuale. La possibilità di progettare personaggi realistici che interagiscono naturalmente con gli utenti in ambienti digitali immersivi apre la strada a esperienze di intrattenimento più interattive e personalizzate. Per esempio, il MetaHuman Creator di Epic Games consente agli sviluppatori di creare avatar fotorealistici che si muovono e rispondono in modo convincente in tempo reale.

Il potenziale dei deepfake per la produzione di contenuti satirici è enorme. Sebbene le imitazioni tradizionali facciano da sempre parte del repertorio di un comico, i deepfake introducono un nuovo livello di dettaglio e realismo nelle parodie. Artisti come Snicklink e Kyle Dunnigan stanno già esplorando questo approccio innovativo, spingendo i confini della satira digitale.

Educazione e accessibilità

Un uso recente della tecnologia deepfake viene da BBC Maestro, che ha lanciato un corso di scrittura con una Agatha Christie ricreata (quasi 50 anni dopo la sua morte).

Utilizzando visuali generate dall'IA e modelli vocali basati su sue lettere, interviste e manoscritti, il corso offre una versione di Christie che tiene lezioni con le sue stesse parole. È un chiaro esempio di come i media generativi possano riportare figure storiche in contesti educativi contemporanei.

I deepfake promettono anche di migliorare l'accessibilità, soprattutto per le persone con disturbi del linguaggio. Sviluppare voci sintetiche che catturino le caratteristiche vocali di una persona a partire da registrazioni può consentire una comunicazione più naturale.

Un esempio degno di nota è "Project Revoice," che aiuta le persone con sclerosi laterale amiotrofica (che spesso comporta la perdita della parola) a preservare e ricreare la propria voce naturale registrandola per tempo.

Sfide etiche e sociali dei deepfake

Qualsiasi discussione sui deepfake sarebbe incompleta senza affrontare le sfide che pongono. Tra le preoccupazioni più urgenti troviamo:

• Erosione della fiducia
• Attività fraudolente
• Violazioni della privacy

I deepfake possono erodere la fiducia pubblica rendendo sempre più difficile distinguere tra contenuti reali e manipolati. Quando si diffondono informazioni false, possono influenzare l'opinione pubblica, danneggiare reputazioni o creare confusione in situazioni critiche.

Nei casi peggiori, i deepfake possono essere usati come arma per destabilizzare le società da parte di attori malintenzionati, alimentando divisioni politiche o persino influenzando le elezioni diffondendo dichiarazioni o azioni inventate attribuite a figure pubbliche.

La capacità di impersonare in modo convincente qualcuno grazie ai deepfake apre la strada ad attività fraudolente, come truffe finanziarie o furti d'identità. I criminali informatici possono usare voci clonate per indurre le persone a trasferire denaro o concedere accesso a dati sensibili. Questo solleva preoccupazioni per settori come banking e cybersecurity, dove i metodi di verifica tradizionali potrebbero non essere più sufficienti.

Una delle applicazioni più inquietanti dei deepfake è la creazione di contenuti non consensuali, spesso usati per sfruttare o intimidire le persone. Le vittime possono ritrovarsi inserite in media artefatti che danneggiano la loro reputazione o invadono la loro privacy. Questo mette in luce un grave problema etico, poiché l'uso improprio dell'immagine personale senza consenso può avere conseguenze psicologiche e professionali a lungo termine per chi ne è colpito.

Nonostante i rischi crescenti, in molti paesi le leggi e i regolamenti relativi alla creazione e distribuzione dei deepfake restano poco chiari. Sebbene alcune giurisdizioni abbiano introdotto normative mirate, l'applicazione resta difficile a causa del rapido avanzamento della tecnologia. La mancanza di un quadro giuridico chiaro rende complesso perseguire i responsabili e solleva interrogativi su come bilanciare la libertà di espressione con la necessità di prevenire i danni.

Come riconoscere i deepfake

Come abbiamo visto, distinguere il contenuto originale da quello manipolato sta diventando una competenza cruciale nell'era dell'IA. Vediamo diversi approcci per separarli.

Osservazione umana

Per quanto il riconoscimento diventi sempre più difficile, ci sono segnali rivelatori di manipolazione che l'occhio umano può cogliere con maggiore o minore facilità. Probabilmente molti di noi hanno sentito parlare di immagini generate dall'IA in cui gli esseri umani avevano improvvisamente quattro o sei dita, ma altri segnali sono molto più sottili.

Per le immagini, un indizio di manipolazione è una sfocatura innaturale o una pixelatura incoerente lungo i bordi di volti o oggetti. Questo implica che il modello non ha distinto con precisione quali pixel appartengono al volto e quali allo sfondo, lasciando una giuntura più o meno evidente.

Un altro indizio può essere l'illuminazione o le ombre che non corrispondono all'ambiente circostante, facendo apparire l'immagine composta artificialmente.

Immagine generata dall'IA che illustra una discrepanza tra la fonte di luce e le ombre.

Nei video, i problemi di illuminazione possono saltare all'occhio ancora più facilmente se la direzione della luce cambia bruscamente tra i fotogrammi. Possiamo anche notare schemi di ammiccamento insoliti o espressioni facciali rigide che appaiono disallineate con il contesto circostante, generando una sottile sensazione di "perturbante". In alcuni casi, i bordi attorno a testa o capelli sfarfallano, rivelando che il video potrebbe essere stato manipolato.

Metodi tecnici

Rilevare i deepfake spesso richiede una combinazione di metodi di rilevamento basati su IA che analizzano incoerenze nelle caratteristiche del volto, nel movimento e altri artefatti. Alcuni esempi di software specializzati nel rilevamento di contenuti multimediali manipolati includono:

• GoogleSynthID
• Truepic
• DuckDuckGoose
• Intel FakeCatcher
• Reality Defender
• Sensity AI
• Deepware Scanner

Ogni strumento ha un approccio unico pensato per il proprio caso d'uso principale. Mentre tutti gli altri strumenti menzionati si concentrano sulla validazione di contenuti già creati, Google SynthID e Truepic possono essere considerati misure preventive per identificare contenuti generati dall'IA.

Google SynthID incorpora filigrane digitali impercettibili direttamente nelle immagini generate dall'IA per contrassegnarne l'origine, mentre Truepic utilizza hashing crittografico e verifica basata su blockchain per autenticare i media al momento della cattura.

DuckDuckGoose, che analizza principalmente incoerenze facciali, e Intel FakeCatcher, la cui forza è il rilevamento di segnali biologici come i pattern di flusso sanguigno, mirano entrambi ad applicazioni forensi e di ricerca.

La differenza tra Reality Defender, Sensity AI e Deepware Scanner, che utilizzano tutti modelli di deep learning per distinguere tra contenuti reali e falsi, sta nel gruppo target: mentre i primi due offrono integrazione con strumenti di sicurezza enterprise e sono adatti a missioni di rilevamento su larga scala in ambito aziendale, Deepware Scanner è uno strumento più leggero, orientato ai consumatori occasionali.

Conclusione

I deepfake rappresentano al tempo stesso un avanzamento tecnologico e una significativa sfida etica. Se da un lato aprono possibilità entusiasmanti nell'intrattenimento, nell'educazione e nell'accessibilità, dall'altro il loro uso improprio può portare a disinformazione, frodi e violazioni della privacy.

In futuro, possiamo aspettarci che i deepfake diventino ancora più realistici, soprattutto nelle applicazioni di realtà virtuale, mentre gli strumenti di rilevamento cercheranno di tenere il passo con tecniche di manipolazione sempre più sofisticate.

Se vuoi approfondire gli aspetti teorici e tecnologici dei deepfake, DataCamp ti supporta con le seguenti risorse:

• Corso: Concetti di IA generativa
• Articolo: Come imparare il deep learning: guida completa
• Tutorial: Demistificare le Generative Adversarial Networks (GAN)
• Articolo: Modelli generativi vs discriminativi: differenze e casi d'uso