Kursus
Konsep Generative AI
2 jam
121.1K
Pada November 2022, OpenAI meluncurkan ChatGPT. Hanya butuh beberapa hari bagi teknologi ini untuk menggemparkan dunia dengan kemampuannya yang belum pernah ada sebelumnya. Revolusi AI generatif pun dimulai, dan semua orang menanyakan hal yang sama: apa selanjutnya?
Saat itu, ChatGPT dan banyak alat AI generatif lain yang ditenagai Large Language Models (LLM) dirancang untuk memproses masukan teks dari pengguna dan menghasilkan keluaran teks. Dengan kata lain, mereka dianggap sebagai alat AI unimodal.
Namun, ini baru permulaan. Kita baru menyentuh permukaan kemampuan LLM. Hanya setahun setelah peluncuran ChatGPT, kemajuan industri sungguh mencengangkan, membuat batas-batas kemungkinan kian sulit ditentukan, sebagaimana kami analisis dalam artikel terpisah tentang dampak jangka panjang ChatGPT dan AI Generatif.
Hari ini, jika kita menjawab pertanyaan apa selanjutnya? jawaban terbaiknya mungkin pembelajaran multimodal. Ini adalah salah satu tren paling menjanjikan dalam revolusi AI yang sedang berlangsung. Model AI generatif multimodal mampu menggabungkan berbagai jenis masukan dan menciptakan keluaran yang juga dapat mencakup berbagai jenis keluaran.
Dalam panduan ini, kami akan mengulas konsep AI multimodal. Kita akan melihat definisi AI multimodal, konsep inti, teknologi yang mendasari, serta penerapannya, termasuk cara mengimplementasikannya di skenario dunia nyata. Siap untuk multimodalitas? Mari mulai!
Memahami AI Multimodal
Meskipun sebagian besar alat AI generatif canggih masih belum mampu berpikir seperti manusia, alat-alat ini memberikan hasil terobosan yang membawa kita sedikit lebih dekat ke ambang Artificial General Intelligence (AGI). Istilah ini mengacu pada sistem AI hipotetis yang dapat memahami, mempelajari, dan menerapkan pengetahuan di berbagai tugas, mirip manusia.
Dalam perdebatan tentang bagaimana mencapai AGI, pertanyaan sentral yang perlu kita jawab adalah bagaimana manusia belajar. Dan ini membawa kita pada cara kerja otak manusia. Singkatnya, otak kita mengandalkan lima indra untuk mengumpulkan berbagai informasi dari lingkungan sekitar. Informasi tersebut kemudian disimpan dalam memori, diproses untuk mempelajari wawasan baru, dan dimanfaatkan untuk mengambil keputusan.
Model AI generatif modern pertama, seperti ChatGPT, dianggap unimodal; artinya, hanya dapat menerima satu jenis data sebagai masukan dan menghasilkan jenis keluaran yang sama. Secara khusus, sebagian besar model ini dirancang untuk memproses prompt teks dan menghasilkan respons teks.
Ini masuk akal, karena model-model ini membutuhkan data dalam jumlah besar untuk dilatih, dan teks bukan hanya tipe data yang mudah disimpan dan diproses, tetapi juga mudah tersedia. Tak mengherankan sebagian besar data pelatihan alat seperti ChatGPT berasal dari berbagai sumber di Internet. Kami menjelaskan semua aspek teknis ini dalam artikel What is ChatGPT, di mana kami langsung mengajukan pertanyaan kepada ChatGPT.
Namun, membaca hanyalah salah satu dari berbagai cara manusia dapat mempelajari hal-hal baru, dan, untuk banyak tugas, bukan yang paling efektif.
Pembelajaran multimodal adalah subbidang AI yang berupaya meningkatkan kapasitas belajar mesin dengan melatihnya menggunakan sejumlah besar teks, serta jenis data lain, yang juga dikenal sebagai data sensorik, seperti gambar, video, atau rekaman audio. Ini memungkinkan model mempelajari pola dan korelasi baru antara deskripsi teks dan gambar, video, atau audio terkait.
Pembelajaran multimodal membuka kemungkinan baru bagi sistem cerdas. Kombinasi berbagai tipe data selama proses pelatihan membuat model AI multimodal cocok menerima berbagai modalitas jenis masukan dan menghasilkan beragam jenis keluaran. Misalnya, GPT-4, model fondasi ChatGPT, dapat menerima masukan gambar dan teks serta menghasilkan keluaran teks, dan Sora yang baru diumumkan adalah model teks-ke-video dari OpenAI.
Konsep Inti AI Multimodal
Model AI generatif multimodal menambahkan lapisan kompleksitas baru pada LLM tercanggih. Model-model ini berbasis arsitektur neural bernama Transformer. Dikembangkan oleh peneliti Google, transformer mengandalkan arsitektur encoder-decoder dan mekanisme attention untuk memungkinkan pemrosesan data yang efisien.
Ini adalah proses yang cukup kompleks dan bisa sulit dipahami. Jika Anda ingin mengetahui lebih detail tentang cara kerja LLM dan transformer, kami sangat menganjurkan Anda membaca panduan How Transformers Work kami, atau, jika Anda ingin praktik langsung dan belajar membuat LLM selangkah demi selangkah, lihat Kursus Large Language Models (LLMs) Concepts.
Sumber: DataCamp
AI multimodal bergantung pada teknik penggabungan data untuk mengintegrasikan beragam tipe data dan membangun pemahaman yang lebih lengkap dan akurat atas data yang mendasarinya. Tujuan akhirnya adalah membuat prediksi yang lebih baik dengan menggabungkan informasi saling melengkapi yang disediakan berbagai modalitas data.
AI Unimodal vs Multimodal. Sumber: ResearchGate
Beberapa teknik penggabungan data dapat diterapkan untuk menangani tantangan multimodal. Bergantung pada tahap pemrosesan tempat penggabungan dilakukan, kita dapat mengklasifikasikan teknik penggabungan data ke dalam tiga kategori:
- Early fusion. Melibatkan pengodean berbagai modalitas ke dalam model untuk membuat ruang representasi bersama. Proses ini menghasilkan keluaran tunggal yang tidak bergantung modalitas dan merangkum informasi semantik dari semua modalitas.
- Mid fusion. Melibatkan penggabungan modalitas pada berbagai tahap prapemrosesan. Hal ini dicapai dengan membuat lapisan khusus dalam jaringan saraf yang dirancang khusus untuk keperluan penggabungan data.
- Late fusion. Melibatkan pembuatan beberapa model untuk memproses berbagai modalitas dan menggabungkan keluaran setiap model dalam lapisan algoritmik baru.
Tidak ada satu teknik penggabungan data yang terbaik untuk semua skenario. Teknik yang dipilih akan bergantung pada tugas multimodal yang dihadapi. Karena itu, proses coba-coba kemungkinan diperlukan untuk menemukan alur kerja AI multimodal yang paling sesuai.
Teknologi yang Mendukung AI Multimodal
AI multimodal merupakan hasil akumulasi pengetahuan dari berbagai subbidang AI. Dalam beberapa tahun terakhir, praktisi dan peneliti AI telah membuat kemajuan mengesankan dalam menyimpan dan memproses data dalam berbagai format dan modalitas.
Di bawah ini, Anda dapat menemukan daftar domain yang mendorong ledakan AI multimodal:
Deep learning
Deep learning adalah subbidang AI yang menggunakan jenis algoritma bernama jaringan saraf buatan untuk menyelesaikan tugas kompleks. Revolusi AI generatif saat ini didorong oleh model deep learning, khususnya transformer, yang merupakan jenis arsitektur neural.
Masa depan AI multimodal juga akan bergantung pada kemajuan baru di domain ini. Khususnya, riset sangat dibutuhkan untuk menemukan cara-cara baru meningkatkan kapabilitas transformer, serta teknik penggabungan data yang baru.
Lihat Deep Learning in Python Track kami untuk memperdalam pembelajaran Anda di bidang menjanjikan ini.
Natural Language Processing (NLP)
NLP adalah teknologi penting dalam kecerdasan buatan, menjembatani komunikasi manusia dan pemahaman komputer. Ini adalah domain multidisipliner yang memberdayakan komputer untuk menafsirkan, menganalisis, dan menghasilkan bahasa manusia, sehingga memungkinkan interaksi yang mulus antara manusia dan mesin.
Karena cara utama berkomunikasi dengan mesin adalah melalui teks, tak mengherankan NLP sangat krusial untuk memastikan performa tinggi model AI generatif, termasuk yang multimodal.
Tertarik pada NLP? Lihat Natural Language Processing in Python Track kami untuk memperoleh keterampilan inti NLP yang dibutuhkan guna mengubah data tidak terstruktur menjadi wawasan berharga.
Computer Vision
Analisis gambar, atau computer vision, mencakup serangkaian teknik yang memungkinkan komputer “melihat” dan memahami gambar. Kemajuan di sektor ini memungkinkan pengembangan model AI multimodal yang dapat memproses gambar dan video sebagai masukan maupun keluaran.
Jika Anda tertarik mendalami topik yang memikat ini, lihat Image Processing with Python Skill Track kami untuk menambahkan keterampilan pemrosesan citra ke dalam perlengkapan ilmu data Anda.
Pemrosesan Audio
Beberapa model AI generatif paling canggih mampu memproses berkas audio sebagai masukan dan keluaran. Potensi pemrosesan audio mencakup mulai dari menafsirkan pesan suara hingga penerjemahan simultan dan pembuatan musik.
Lihat Kursus Spoken Language Processing in Python kami untuk mempelajari cara memuat, mentransformasi, dan mentranskrip ucapan dari berkas audio mentah di Python.
Aplikasi AI Multimodal
Pembelajaran multimodal memungkinkan mesin memperoleh “indra” baru, meningkatkan akurasi dan kemampuan interpretasi. Kapabilitas ini membuka gerbang bagi segudang aplikasi baru lintas sektor dan industri, termasuk:
AI generatif yang ditingkatkan
Sebagian besar generasi pertama model AI generatif adalah teks-ke-teks, mampu memproses prompt teks dari pengguna dan memberikan jawaban teks. Model multimodal, seperti GPT-4 Turbo, Google Gemini, atau DALL-E, menghadirkan kemungkinan baru yang dapat meningkatkan pengalaman pengguna baik pada sisi masukan maupun keluaran. Baik dengan menerima prompt dalam berbagai modalitas maupun menghasilkan konten dalam beragam format, kemungkinan agen AI multimodal tampak tak terbatas.
Mobil otonom
Mobil swakemudi sangat bergantung pada AI multimodal. Mobil-mobil ini dilengkapi berbagai sensor untuk memproses informasi dari lingkungan sekitar dalam berbagai format. Pembelajaran multimodal penting bagi kendaraan ini untuk menggabungkan sumber-sumber tersebut secara efektif dan efisien guna membuat keputusan cerdas secara waktu nyata.
Biomedis
Meningkatnya ketersediaan data biomedis dari biobank, rekam kesehatan elektronik, pencitraan klinis, dan sensor medis, serta data genomik, mendorong terciptanya model AI multimodal di bidang kedokteran. Model-model ini mampu memproses berbagai sumber data yang datang dalam banyak modalitas untuk membantu kita mengungkap misteri kesehatan dan penyakit manusia, serta membuat keputusan klinis yang cerdas.
Ilmu kebumian dan perubahan iklim
Ekspansi cepat sensor darat, drone, data satelit, dan teknik pengukuran lainnya meningkatkan kemampuan kita memahami planet ini. AI multimodal krusial untuk menggabungkan informasi ini secara akurat, serta menciptakan aplikasi dan alat baru yang dapat membantu berbagai tugas, seperti pemantauan emisi gas rumah kaca, peramalan peristiwa iklim ekstrem, dan pertanian presisi.
Tantangan dalam Menerapkan Solusi AI Multimodal
Ledakan AI multimodal menghadirkan peluang tanpa batas bagi bisnis, pemerintah, dan individu. Namun, seperti teknologi yang masih dini lainnya, implementasi dalam operasi harian bisa menantang.
Pertama, Anda perlu menemukan use case yang sesuai dengan kebutuhan spesifik Anda. Beralih dari konsep ke penerapan tidak selalu mudah, terutama jika Anda kekurangan orang yang benar-benar memahami aspek teknis AI multimodal. Namun, mengingat kesenjangan keterampilan literasi data saat ini, menemukan orang yang tepat untuk memproduksi model Anda bisa sulit dan mahal, karena perusahaan bersedia membayar mahal untuk menarik talenta yang terbatas ini.
Terakhir, ketika berbicara tentang AI generatif, menyebut keterjangkauan adalah keharusan. Model-model ini, terutama yang multimodal, membutuhkan sumber daya komputasi yang signifikan untuk beroperasi, dan itu berarti biaya. Karena itu, sebelum mengadopsi solusi AI generatif, penting untuk memperkirakan sumber daya yang ingin Anda investasikan.
Risiko AI Multimodal
Seperti halnya teknologi baru, ada beberapa potensi jebakan yang harus kita hadapi dengan model AI multimodal:
- Kurangnya transparansi. Opasitas algoritmik adalah salah satu kekhawatiran utama terkait AI generatif. Ini juga berlaku untuk AI multimodal. Model-model ini sering dilabeli sebagai model ‘kotak hitam’ karena kompleksitasnya, yang membuat penalaran dan mekanisme internalnya mustahil dipantau.
- Monopoli AI multimodal. Mengingat sumber daya besar yang dibutuhkan untuk mengembangkan, melatih, dan mengoperasikan model multimodal, pasar sangat terkonsentrasi pada segelintir perusahaan Big Tech yang memiliki keahlian dan sumber daya yang diperlukan. Untungnya, semakin banyak LLM open-source yang hadir di pasar, sehingga memudahkan pengembang, peneliti AI, dan masyarakat untuk memahami dan mengoperasikan LLM.
- Bias dan diskriminasi. Bergantung pada data yang digunakan untuk melatih model AI multimodal, model dapat memuat bias yang mengakibatkan keputusan tidak adil yang sering memperburuk diskriminasi, khususnya terhadap kelompok minoritas. Seperti telah disebutkan, transparansi penting di sini untuk lebih memahami dan menangani potensi bias.
- Masalah privasi. Model AI multimodal dilatih dengan sejumlah besar data yang berasal dari berbagai sumber dan format. Dalam banyak kasus, data tersebut dapat berisi data pribadi. Ini dapat menimbulkan isu dan risiko terkait privasi serta keamanan data.
- Pertimbangan etis. AI multimodal terkadang dapat menghasilkan keputusan yang memiliki implikasi serius dalam hidup kita, dengan dampak signifikan pada hak-hak fundamental. Kami membahas etika AI generatif dalam tulisan terpisah.
- Pertimbangan lingkungan. Peneliti dan pengawas lingkungan menyuarakan kekhawatiran tentang jejak lingkungan yang terkait dengan pelatihan dan pengoperasian model AI generatif. Pemilik model AI multimodal proprietari jarang memublikasikan informasi tentang energi dan sumber daya yang dikonsumsi model, maupun jejak lingkungan terkait, yang sangat bermasalah seiring adopsi cepat alat-alat ini.
Masa Depan AI Multimodal
AI multimodal jelas merupakan garis depan berikutnya dalam revolusi AI generatif. Perkembangan pesat bidang pembelajaran multimodal mendorong terciptanya model dan aplikasi baru untuk segala macam tujuan. Kita baru berada di awal revolusi ini. Seiring dikembangkannya teknik-teknik baru untuk menggabungkan lebih banyak dan jenis modalitas baru, cakupan AI multimodal akan meluas.
Namun, semakin besar kekuatan, semakin besar pula tanggung jawab. AI multimodal hadir dengan risiko dan tantangan serius yang perlu ditangani untuk memastikan masa depan yang adil dan berkelanjutan.
Jika Anda ingin memulai dengan AI generatif, DataCamp siap membantu. Lihat kursus, blog, dan materi khusus kami:
Topik
