Apa Itu Deepfake? Contoh, Aplikasi, Tantangan Etika

Pada 2020, kreator South Park Trey Parker dan Matt Stone membuat karya seni deepfake lain yang menonjol: episode perdana serial "Sassy Justice" menampilkan karakter fiksi yang “diperankan” oleh deepfake Donald Trump dan Mark Zuckerberg, di antara tokoh lainnya.

Bagaimana Cara Kerja Deepfake?

Saat membicarakan deepfake, kita sering berfokus pada produk akhirnya. Mari selami sedikit lebih dalam dan mencoba memahami bagaimana deepfake dibuat—saya akan memastikan Anda paham cara kerjanya meskipun tidak memiliki latar belakang teknis.

Model diskriminatif dan generatif

Model diskriminatif digunakan untuk membedakan sesuatu—misalnya, apakah sebuah gambar asli atau palsu. Model ini melihat data dan mencoba memprediksi label yang benar (seperti “asli” atau “deepfake”). Contoh model umum mencakup regresi logistik, pohon keputusan, neural network, dan support vector machine. Model-model ini sangat baik untuk tugas seperti mendeteksi deepfake, karena dilatih untuk menemukan tanda-tanda bahwa sesuatu telah diubah atau dimanipulasi.

Model generatif, di sisi lain, berusaha memahami bagaimana data nyata bekerja sehingga dapat membuat data baru yang serupa. Model ini belajar dari banyak contoh nyata—seperti foto wajah sungguhan atau klip suara asli—lalu menggunakan pengetahuan tersebut untuk menghasilkan media palsu namun tampak realistis. Inilah cara deepfake dibuat.

Perbedaan utamanya adalah pada tujuannya: model diskriminatif mendeteksi, dan model generatif mencipta. Dalam teknologi deepfake, keduanya penting—yang satu untuk membuat tiruan yang meyakinkan, dan yang lain untuk menangkapnya.

Untuk mempelajari lebih lanjut perbedaannya, baca blog ini tentang model generatif vs. diskriminatif.

Generative adversarial networks

GAN adalah jenis AI generatif yang melatih model generatif dan diskriminatif secara bersamaan. Hubungan di antara keduanya paling tepat digambarkan sebagai kompetisi yang bersahabat: saat generator membuat konten sintetis, diskriminator bekerja membedakan media asli dari yang palsu. Persaingan ini mendorong generator untuk terus meningkatkan kinerjanya hingga keluarannya nyaris tak terbedakan dari media autentik.

Dalam deepfake, peran model generatif ibarat pemalsu seni yang melukis karya tiruan, sementara model diskriminatif menjelma menjadi kritikus seni yang meneliti setiap karya untuk menemukan kepalsuan. Seiring mereka mengumpulkan pengalaman dari terpaan data yang semakin banyak, baik si pemalsu maupun si kritikus menjadi kian andal, menghasilkan reproduksi yang semakin meyakinkan dan evaluasi yang makin akurat.

Prosesnya melibatkan pelatihan model pada dataset yang luas untuk menangkap ciri unik subjek, seperti nada suara dan karakteristik wajah. Dengan menganalisis data ini, sistem secara bertahap membangun representasi target yang akurat, yang kemudian digunakan untuk menirukannya secara meyakinkan.

Teknik deepfake

Teknik umum untuk pertukaran wajah sering melibatkan autoencoder dan convolutional neural network. Alat ini dilatih pada banyak gambar atau frame video seseorang untuk mempelajari rupa wajahnya—bentuk, ekspresi, dan fitur kuncinya. AI mengubah informasi ini ke dalam format yang dapat dipahami, semacam ringkasan digital dari wajah orang tersebut.

Kemudian, ringkasan itu digunakan untuk menyalin ekspresi wajah dari satu orang dan menerapkannya ke orang lain, sehingga pertukaran wajah terlihat realistis.

Sumber: Deepfakes Generation and Detection: State-of-the-art, open challenges, countermeasures, and way forward

Untuk penyelarasan gerak bibir, neural network menganalisis tidak hanya gerakan mulut tetapi juga masukan audio untuk menyelaraskan keluaran video secara akurat dengan kata-kata yang diucapkan.

Model dilatih menggunakan dataset berlabel, di mana tiap frame video dipasangkan dengan label audio yang menunjukkan fonem yang diucapkan secara tepat, sehingga model dapat mempelajari hubungan presisi antara suara dan artikulasi visual.

Dengan menganalisis pasangan data dan label ini secara simultan, jaringan belajar menghasilkan keluaran video di mana gerakan mulut mencerminkan hubungan yang telah dipelajari.

Terakhir, kloning suara dapat dicapai dengan melatih model sintesis ucapan menggunakan dataset audio yang luas dipasangkan dengan transkrip yang sesuai. Dataset ini menangkap karakteristik unik suara seseorang (seperti pitch, nada, dan irama) dalam format terstruktur yang dapat dianalisis model.

Dengan belajar dari pasangan data dan label ini, model menghasilkan ucapan sintetis yang sangat mirip dengan kualitas vokal alami target, sehingga meniru suaranya secara meyakinkan.

Aplikasi Deepfake

Saya cukup yakin kebanyakan dari kita pernah melihat video sintetis yang menampilkan aktor atau tokoh publik terkenal dalam skenario humor. Namun deepfake dapat melayani banyak tujuan lain, termasuk tujuan pendidikan atau untuk meningkatkan aksesibilitas.

Hiburan

Deepfake menawarkan alat inovatif bagi pembuat film, memungkinkan mereka membuat aktor tampak lebih muda atau membuat versi dubbing film yang sangat mendekati penampilan asli.

Salah satu contoh menonjol dari yang pertama adalah “The Irishman” (2019) karya Martin Scorsese, di mana Robert De Niro, Al Pacino, dan Joe Pesci tampil puluhan tahun lebih muda untuk adegan kilas balik. Dengan cara ini, alur cerita dapat mengalir alami tanpa perlu banyak pemeran untuk memerankan versi muda mereka. Lihat penjelasan prosesnya dalam video ini.

Deepfake juga merevolusi pembuatan karakter digital dengan menghasilkan avatar realistis untuk video game dan realitas virtual. Kemampuan merancang karakter yang mirip nyata dan berinteraksi secara natural dengan pengguna di lingkungan digital imersif membuka jalan bagi pengalaman hiburan yang lebih interaktif dan personal. Misalnya, MetaHuman Creator dari Epic Games memungkinkan pengembang membangun avatar fotorealistis yang bergerak dan merespons secara meyakinkan dalam waktu nyata.

Potensi deepfake untuk menghasilkan konten satir juga sangat besar. Sementara tiruan tradisional telah lama menjadi bagian dari repertoar komedian, deepfake menghadirkan tingkat detail dan realisme baru pada impersonasi. Seniman seperti Snicklink dan Kyle Dunnigan sudah mengeksplorasi pendekatan inovatif ini, mendorong batas-batas satir digital.

Pendidikan dan aksesibilitas

Salah satu penggunaan terbaru teknologi deepfake datang dari BBC Maestro, yang meluncurkan kursus menulis menampilkan Agatha Christie yang direka ulang (hampir 50 tahun setelah wafatnya).

Dengan visual yang dihasilkan AI dan pemodelan suara berdasarkan surat, wawancara, dan naskahnya, kursus ini menawarkan versi Christie yang menyampaikan pelajaran dengan kata-katanya sendiri. Ini adalah contoh jelas bagaimana media generatif dapat digunakan untuk menghadirkan tokoh sejarah ke lingkungan pendidikan kontemporer.

Deepfake juga menjanjikan peningkatan aksesibilitas, khususnya bagi individu dengan gangguan bicara. Mengembangkan suara sintetis yang menangkap karakteristik vokal seseorang dari rekaman dapat memungkinkan komunikasi yang lebih natural.

Contoh yang patut dicatat adalah “Project Revoice,” yang membantu individu dengan Motor Neurone Disease (sering berakibat hilangnya kemampuan bicara) untuk mempertahankan dan menciptakan kembali suara alami mereka dengan merekam suara sejak dini.

Tantangan Etika dan Sosial dari Deepfake

Pembahasan tentang deepfake tidak akan lengkap tanpa menyinggung tantangan yang ditimbulkannya. Di antara kekhawatiran paling mendesak adalah sebagai berikut:

• Erosi kepercayaan
• Aktivitas penipuan
• Pelanggaran privasi

Deepfake berpotensi mengikis kepercayaan publik dengan membuat kita semakin sulit membedakan antara konten asli dan yang dimanipulasi. Ketika informasi palsu menyebar, hal itu dapat membentuk opini publik, merusak reputasi, atau menciptakan kebingungan dalam situasi kritis.

Dalam kasus terburuk, deepfake dapat dipersenjatai untuk mendestabilisasi masyarakat oleh aktor jahat, memicu perpecahan politik, atau bahkan memengaruhi pemilu dengan menyebarkan pernyataan atau tindakan yang direkayasa dan dikaitkan dengan tokoh publik.

Kemampuan untuk meniru seseorang secara meyakinkan melalui teknologi deepfake membuka pintu bagi aktivitas penipuan, seperti penipuan finansial atau pencurian identitas. Penjahat siber dapat menggunakan suara yang diklon untuk menipu individu agar mentransfer uang atau memberikan akses ke data sensitif. Ini menimbulkan kekhawatiran bagi industri seperti perbankan dan keamanan siber, di mana metode verifikasi tradisional mungkin tidak lagi memadai.

Salah satu aplikasi deepfake yang paling mengganggu adalah pembuatan konten tanpa persetujuan, yang sering digunakan untuk mengeksploitasi atau mengintimidasi individu. Korban bisa mendapati diri mereka dimasukkan ke dalam media rekayasa yang merusak reputasi atau melanggar privasi mereka. Ini menyoroti masalah etika besar, karena penyalahgunaan kemiripan pribadi tanpa persetujuan dapat berdampak psikologis dan profesional jangka panjang bagi yang terdampak.

Terlepas dari meningkatnya risiko, hukum dan regulasi seputar pembuatan dan distribusi deepfake masih belum jelas di banyak negara. Meski beberapa yurisdiksi telah memperkenalkan legislasi yang ditargetkan, penegakannya tetap sulit karena kemajuan teknologi yang begitu cepat. Kurangnya kerangka hukum yang jelas menyulitkan penegakan pertanggungjawaban pelaku dan memunculkan pertanyaan tentang bagaimana menyeimbangkan kebebasan berekspresi dengan kebutuhan untuk mencegah kerugian.

Cara Mendeteksi Deepfake

Seperti yang telah kita lihat, mendeteksi konten asli vs. yang dimanipulasi menjadi keterampilan krusial di era AI. Mari kita lihat berbagai pendekatan untuk membedakannya.

Observasi manusia

Meski semakin sulit dikenali, ada tanda-tanda manipulasi yang bisa ditangkap mata manusia dengan relatif mudah. Kebanyakan dari kita mungkin pernah mendengar gambar yang dihasilkan AI di mana manusia tiba-tiba memiliki empat atau enam jari, tetapi tanda-tanda lain jauh lebih halus.

Untuk gambar, salah satu petunjuk manipulasi adalah buram yang tidak alami atau pikselasi yang tidak konsisten di sepanjang tepi wajah atau objek. Ini mengisyaratkan bahwa model tidak secara akurat membedakan piksel mana milik wajah dan mana milik latar belakang, meninggalkan jahitan yang lebih atau kurang jelas.

Petunjuk lain bisa berupa pencahayaan atau bayangan yang tidak sesuai dengan lingkungan sekitar, membuat gambar tampak disusun secara artifisial.

Gambar yang dihasilkan AI menggambarkan ketidakcocokan antara sumber cahaya dan bayangan.

Dalam video, masalah pencahayaan bisa lebih mudah tertangkap jika arah sumber cahaya berubah mendadak antar frame. Kita juga bisa melihat pola berkedip yang tidak biasa atau ekspresi wajah kaku yang tampak tidak selaras dengan konteks sekitar, menghasilkan rasa “ganjil” yang halus. Dalam beberapa kasus, tepi di sekitar kepala atau rambut berkelip, mengungkapkan bahwa video mungkin telah dimanipulasi.

Metode teknis

Mendeteksi deepfake sering memerlukan kombinasi metode deteksi berbasis AI yang menganalisis inkonsistensi pada fitur wajah, gerakan, dan artefak lainnya. Beberapa contoh perangkat lunak yang mengkhususkan diri dalam deteksi konten media yang dimanipulasi meliputi:

• GoogleSynthID
• Truepic
• DuckDuckGoose
• Intel FakeCatcher
• Reality Defender
• Sensity AI
• Deepware Scanner

Setiap alat memiliki pendekatan unik yang ditujukan pada kasus penggunaan utamanya masing-masing. Sementara alat lain berfokus pada validasi konten yang sudah dibuat, Google SynthID dan Truepic dapat dianggap sebagai langkah preventif untuk mengidentifikasi konten yang dihasilkan AI.

Google SynthID menanamkan watermark digital yang tidak terlihat langsung ke dalam gambar yang dihasilkan AI untuk menandai asalnya, sementara Truepic menggunakan hashing kriptografis dan verifikasi berbasis blockchain untuk mengautentikasi media pada saat pengambilan.

DuckDuckGoose, yang terutama menganalisis inkonsistensi wajah, dan Intel FakeCatcher, yang kekuatannya terletak pada deteksi sinyal biologis seperti pola aliran darah, keduanya menargetkan aplikasi forensik dan riset.

Perbedaan antara Reality Defender, Sensity AI, dan Deepware Scanner, yang semuanya menggunakan model deep learning untuk membedakan konten asli dan palsu, terletak pada kelompok sasarannya: sementara dua yang pertama menawarkan integrasi dengan alat keamanan perusahaan dan cocok untuk misi deteksi korporat skala besar, Deepware Scanner adalah alat yang lebih ringan berfokus pada konsumen untuk pengguna kasual.

Kesimpulan

Deepfake mewakili kemajuan teknologi sekaligus tantangan etika yang signifikan. Meski membuka kemungkinan menarik di bidang hiburan, pendidikan, dan aksesibilitas, penyalahgunaannya dapat memicu disinformasi, penipuan, dan pelanggaran privasi.

Di masa depan, kita dapat mengharapkan deepfake menjadi semakin realistis, terutama dalam aplikasi realitas virtual, sementara alat deteksi akan berupaya mengimbangi teknik manipulasi yang kian canggih.

Jika Anda ingin mempelajari lebih lanjut aspek teoretis dan teknologi deepfake, DataCamp menyediakan sumber daya berikut:

• Kursus: Generative AI Concepts
• Artikel: How to Learn Deep Learning: A Complete Guide
• Tutorial: Demystifying Generative Adversarial Networks (GANs)
• Artikel: Generative vs Discriminative Models: Perbedaan & Use Case