{count, plural, one {Corso} other {Corsi}}
Concetti di IA generativa
{hours} ore
120.2K
Se vuoi saperne di più sulle ultime novità in questo ambito, ti consiglio di dare un’occhiata alla nostra guida su altri migliori modelli di generazione video.
Che cos’è Kling AI?
Kling AI è una piattaforma di IA generativa pensata per creare video a partire da prompt testuali, immagini o una combinazione di entrambi. Sviluppata dall’azienda tecnologica cinese Kuaishou, è rapidamente diventata uno dei migliori modelli IA per la coerenza dei personaggi. I video generati includono audio nativo, conferendo un effetto rifinito e pronto all’uso.
Prezzi e accesso a Kling AI
Come per molti modelli video IA, i prezzi di Kling AI si basano su crediti. Si paga un abbonamento mensile che dà accesso a un numero fisso di crediti al mese. Ci sono anche altre piccole funzionalità bloccate dietro ciascun livello di abbonamento, ma il principale elemento distintivo resta il numero di crediti di generazione inclusi.
Per scrivere questo articolo, ho usato il loro piano Pro (32,56 $ al mese), che include 3.000 crediti. Per maggiori dettagli sui piani tariffari, consulta la pagina ufficiale dei prezzi di Kling AI.
Quanti crediti servono per generare un video?
L’uso dei crediti dipende principalmente da tre fattori:
- La durata del video (da 3 a 15 secondi)
- La risoluzione (720p o 1080p)
- Se l’audio viene generato o meno
Supponendo di generare video con audio nativo, con un abbonamento Pro possiamo aspettarci di generare circa 6 minuti di video 720p o 4 minuti di video 1080p al mese.
Funzionalità chiave di Kling 3.0
Gli esempi in questa sezione sono tratti dalla guida utente ufficiale del modello Kling 3.0.
Scene multi-shot implicite
La maggior parte dei modelli video IA funziona meglio quando il prompt descrive una singola inquadratura o azione. Kling 3.0 è in grado di comprendere un prompt che descrive più inquadrature in un unico testo.
Il seguente prompt di esempio descrive l’ambientazione del video e quattro inquadrature senza elencarle esplicitamente:
Outdoor terrace of a European villa, by a dining table with a blue and white checkered tablecloth, a young white woman in a blue and white striped short-sleeve shirt and khaki shorts, with a brown belt, sits barefoot, opposite a young white man in a white T-shirt.
The camera zooms in, the woman swirls the juice in a glass, her eyes looking at the distant woods, and says, "These trees will turn yellow in a month, won't they?"
Close-up of the man, he lowers his head and says, "But they'll be green again next summer."
Then the woman turns her head, smiles at the man opposite, and says, "Are you always this optimistic? Or just about summer?"
Then the man lifts his head, looks at the woman, and says, "Only about summers with you."Il prompt è stato abbinato a un’immagine, che il modello ha usato come primo fotogramma del video.
Ecco il risultato:
Sono rimasto molto colpito da questo video. L’aderenza al prompt è forte e il video mi sembra abbastanza realistico.
Scene multi-shot esplicite
Nonostante la capacità del modello di capire, da un prompt testuale, dove finisce un’inquadratura e inizia la successiva, non è perfetto e può interpretare il prompt in modo diverso da quanto inteso. Possiamo imporre la struttura di una scena menzionando esplicitamente le inquadrature nel prompt.
Shot 1: Profile shot of a Black man driving a truck, cinematic handheld.
Shot 2: Frontal macro shot of the Black man driving, cinematic handheld.
Shot 3: Macro shot of his hands on the steering wheel, cinematic handheld.
Shot 4: Macro shot of a weathered photograph of a young Black child lying on the passenger seat, cinematic handheld.Per specificare ciascuna inquadratura, clicchiamo il pulsante Custom Multi-Shot in fondo al campo del prompt. Lì possiamo fornire un prompt per ogni inquadratura e impostarne anche la durata. Il modello consente fino a 6 inquadrature per video.
Di seguito il risultato di questo prompt multi-shot:
Subject binding
Il subject binding è una funzionalità che consente a specifici personaggi o elementi visivi di rimanere coerenti all’interno di un video generato. Bloccare l’aspetto e le caratteristiche di un soggetto aiuta a garantire che il focus principale resti stabile e riconoscibile, anche quando si verificano movimenti di camera come zoom, pan o tilt.
Dopo aver caricato un’immagine come fotogramma iniziale, possiamo attivare questa funzione selezionando l’opzione Bind elements to enhance Consistency. Questo crea un riferimento che il sistema usa per mantenere la stabilità visiva ed evitare cambiamenti indesiderati del soggetto durante la generazione del video.
Senza subject binding, il modello dovrà indovinare le caratteristiche del soggetto non visibili nell’immagine iniziale. Ad esempio, nell’immagine sopra, il soggetto indossa occhiali da sole. Sarebbe quindi utile fornire un’immagine del volto del soggetto. Fornire altre pose, come il soggetto che guarda a sinistra e a destra, è utile anche se vogliamo che il modello “non inventi” l’aspetto della persona.
Quando creiamo un elemento, possiamo fornire fino a tre immagini. Abbiamo anche la possibilità di selezionare una voce e un nome per il personaggio.
Ecco il risultato:
Personalmente trovo queste funzionalità rivoluzionarie, perché la coerenza dei personaggi era uno degli aspetti della generazione video IA che trovavo più frustranti. Spesso richiedeva prompt testuali molto dettagliati e continue iterazioni per ottenere il risultato giusto.
Modalità Omni
La modalità Omni di Kling AI riunisce tutte le funzionalità in un unico modello. Possiamo pensarla come un subject binding potenziato, perché ci permette di creare elementi (personaggi, scene, oggetti, ecc.) e poi riunirli tutti in un unico prompt. Questo rende possibile generare scene molto complesse con un alto livello di accuratezza.
Per esempio, possiamo creare un elemento personaggio fornendo immagini di riferimento e poi un elemento scena, inserendo facilmente il personaggio in quella scena. Oppure possiamo creare più personaggi e sviluppare un dialogo serrato tra loro facendo riferimento a questi personaggi nel prompt.
Quando usiamo la modalità Omni, possiamo fare riferimento agli elementi creati in precedenza usando @. Si aprirà un pop-up in cui possiamo selezionare l’elemento a cui vogliamo fare riferimento.
Ecco un esempio in tre inquadrature che mostra la potenza e la versatilità di Omni:
Shot 1 (3s): Mid-shot, background @Image. @Grace sits on the sofa eating cookies as @Alan walks in holding @Samoyed.@Samoyed lunges for the cookie in @Grace's hand. @Grace says, "Hey! Watch your dog!"
Shot 2 (2s): @Alan sits beside her, pulling the leash and lifting @Samoyed. Close-up, @Alan says, "He just likes cookies more than me."
Shot 3 (3s): Close-up, @Grace smiles and says, "Well, he has good taste at least."In questo esempio, @Image, @Grace, @Alan e @Samoyed sono elementi creati separatamente e usati insieme in un unico prompt.
Testare Kling 3.0
Nella sezione precedente abbiamo visto le capacità principali di Kling 3.0 e mostrato alcuni esempi tratti dal loro sito ufficiale. Penso che i risultati siano molto impressionanti, ma bisogna sempre essere scettici sugli esempi forniti dalle aziende, perché di solito sono curati e selezionano solo i migliori.
In questa sezione lo mettiamo alla prova su nuovi esempi per vedere se il modello è davvero all’altezza delle aspettative.
Esempio 1: Generare un personaggio
Ho usato l’IA per generare un personaggio fantasy. Ho creato un’immagine a figura intera e poi alcune pose diverse, come guardare a sinistra, guardare a destra e un’espressione arrabbiata.
Ho combinato quegli elementi per creare un personaggio che ho chiamato Elias. Ho poi generato un’immagine per il primo fotogramma del video e usato il subject binding per vincolare i due.
Questo è il prompt che ho usato:
Elias stands alone in front of the burning village. Elias is breathing heavily, his hands clenched into tight fists at his sides.
Elias looks at something just off-camera, something we cannot see. Elias says, in a low and dangerous voice, "I told you what would happen if you crossed that line."
Elias pauses for a second.
The camera zooms in close to his face. His face burns with anger, and he says, "I gave you my word, and I gave you a choice." Nota che non usa riferimenti con @ perché non ho usato la modalità Omni per questo video, solo il subject binding. Ecco il risultato
Esempio 2: Generare una scenetta comica con Omni
Qui ho provato a creare una scena da sitcom tra amici. Ho creato tre personaggi, Alex, Jamie e Sam, usando l’IA. Come prima, ho generato alcune pose diverse per ciascuno.
Ho anche generato un’immagine per la location e creato un elemento scena con essa.
Questo è il prompt finale che ho usato. Ho descritto le inquadrature con un prompt testuale invece della loro funzionalità multi-shot, perché quella limita la scena a sei inquadrature. Si scopre che anche così Kling 3.0 è perfettamente in grado di gestirlo.
Shot 1: Mid-shot, background @Image.
Shot 2: @Jamie and @Sam sit on the couch as @Alex rushes into the coffee shop and says, "I just liked my ex’s photo from 2016."
Shot 3: @Jamie turns to @Alex and says, "How bad?"
Shot 4: @Alex replies, "She’s with the guy she left me for."
Shot 5: Camera focuses on @Sam, and he replies, "Delete it, dude!"
Shot 6: @Alex replies, "I did, but what if she saw?"
Shot 7: @Sam says, "Then act confident, like her wedding photo."
Shot 8: @Jamie laughs, and @Alex says, "I need new friends..."E questo è stato il risultato:
Nel video si notano alcuni errori:
- C’è un fotogramma iniziale con il divano vuoto. Probabilmente è colpa mia perché non ho specificato che i personaggi dovessero essere sul divano nello shot 1. Tuttavia, quando ho riprovato, iniziava comunque vuoto. Solo fornendo un primo fotogramma con i personaggi seduti sul divano ho ottenuto il risultato atteso. In quel caso, però, era difficile far entrare Alex nella caffetteria.
- C’è un personaggio extra seduto sul divano.
Nonostante ciò, ho trovato il risultato molto convincente. I personaggi sono vivaci e autentici e, nel complesso, la scena scorre piuttosto bene.
Esempio 3: Riutilizzare un personaggio in un video multi-scena
In quest’ultimo esempio ho provato a riutilizzare i personaggi creati in un contesto diverso. L’idea era capire quanto restino coerenti tra i video per valutare se l’idea di creare più scene con gli stessi personaggi sia praticabile. Perché se i personaggi mantengono aspetto e “sensazione” simili, allora credo davvero che Kling 3.0 possa essere usato per generare contenuti di più lunga durata.
In questo caso ho usato la funzionalità multi-shot per descrivere ogni inquadratura. Ecco la configurazione della scena:
Questo è il video generato:
