Kabar Terbaru tentang OpenAI, Google AI, dan Dampaknya bagi Data Science

Baik Google AI maupun OpenAI memiliki rekam jejak merilis teknologi AI mutakhir. Namun lanskapnya berubah sejak hadirnya ChatGPT, yang memicu perlombaan baru di mana perusahaan teknologi besar seperti Google berupaya keras meluncurkan model AI serupa.

Pada artikel ini, kita akan mempelajari perkembangan terbaru dari OpenAI dan Google AI serta apa yang dapat kita harapkan di masa depan. Selain itu, kita juga akan melihat bagaimana kemajuan AI mengubah ranah data science dan bagaimana kita dapat memanfaatkannya untuk meningkatkan produktivitas.   

OpenAI

OpenAI API adalah platform yang memungkinkan kita mengakses model generatif mutakhir melalui API. Kita dapat menghasilkan gambar berkualitas tinggi menggunakan DALLE-2, menghasilkan teks dan kode menggunakan GPT-3, serta menggunakan embedding untuk tugas-tugas terkait bahasa lainnya. Selain itu, platform ini memungkinkan Anda memoderasi hasil, menambahkan batasan laju penggunaan, dan melakukan fine-tuning model pada dataset tertentu. Pelajari GPT-3 melalui blog kami Panduan Pemula untuk GPT-3.

Gambar oleh Penulis | Sumber OpenAI

Semua ini adalah produk komersial dengan model pembayaran pay-as-you-go, tetapi dari waktu ke waktu, OpenAI juga merilis alat dan model open-source, seperti:

1. Whisper: Model pengenalan ucapan dengan supervisi lemah skala besar.
2. OpenAI Baselines: Implementasi algoritma reinforcement learning. 
3. Gym: Toolkit untuk pengembangan dan evaluasi algoritma reinforcement learning. 
4. GPT2: Kode dan implementasi model dari makalah “Language Models are Unsupervised Multitask Learners“
5. DALL-E: Paket PyTorch untuk discrete VAE yang digunakan pada DALL·E

API, toolkit, dan large language model memang hebat, tetapi belum ada yang mendekati kesuksesan ChatGPT. 

Model ChatGPT dilatih menggunakan Reinforcement Learning from Human Feedback (RLHF), mirip dengan InstructGPT (versi GPT-3 yang lebih baik), namun tahap pengumpulan datanya sedikit berbeda. 

Apa bedanya dengan generasi model sebelumnya? AI percakapan ini mampu mengajukan pertanyaan lanjutan, menantang premis yang keliru, mengakui kesalahan, dan menunjukkan mitigasi keamanan.

Baru-baru ini, mitra OpenAI, Microsoft, memperkenalkan versi ChatGPT yang ditingkatkan. Dengan iterative deployment dari OpenAI, kita dapat menyaksikan gelombang baru teknologi AI yang memahami kebutuhan kita dan memberikan asistensi. 

Jika Anda benar-benar baru di bidang kecerdasan buatan, ikuti kursus AI Fundamentals tanpa kode. Kursus ini membahas dasar-dasar machine learning, seperti supervised dan unsupervised learning, deep learning, dan seterusnya. 

GPT-4

Selain ChatGPT, kita menantikan GPT-4, yang akan menjadi large language model paling canggih. Dalam podcast Greylock, CEO OpenAI Sam Altman mengungkap sedikit informasi tentang GPT-4. Ia mengatakan rumor di Twitter tentang GPT-4 tidak benar, model ini tidak akan memiliki 100 triliun parameter, dan orang-orang akan “kecewa” jika berekspektasi berlebihan. Ia juga menyatakan bahwa "kami akan merilis GPT-4 ketika kami menganggapnya aman dan fungsional". 

Gambar oleh Penulis

Apa yang bisa Anda harapkan dari GPT-4?

• Ukuran model tidak akan jauh lebih besar daripada GPT-3.
• Model besar yang dioptimalkan menggunakan parameterisasi baru (μP).
• Pelatihan model akan menggunakan komputasi optimal, dengan meningkatkan jumlah token pelatihan untuk mencapai loss minimal. 
• Ini akan menjadi model berbasis teks saja. GPT-4 tidak akan multimodal seperti DALL-E 2.
• Mungkin menggunakan sparsity untuk menurunkan biaya komputasi.
• Seperti ChatGPT, model ini akan lebih selaras dengan niat kita dan mematuhi nilai-nilai kita.

Pelajari semuanya tentang GPT-1, GPT-2, GPT-3, dan GPT-4 melalui tulisan kami Semua yang Kami Ketahui tentang GPT-4 Sejauh Ini. 

Penciptaan AGI yang aman

Dalam wawancara dengan StrictlyVC, Altman memaparkan beberapa poin tentang seberapa jauh kita dalam mengembangkan AGI (Artificial General Intelligence). 

Katanya: “Semakin dekat kita, semakin sulit menjawabnya. Karena menurut saya peralihannya akan jauh lebih samar dan lebih bertahap daripada yang dibayangkan orang.”

Ia juga membantah rumor tentang AGI. Dalam wawancara tersebut, ia mengatakan OpenAI tidak memiliki AGI yang dapat belajar seperti manusia. 

Gambar oleh Penulis

OpenAI berada di jalur yang tepat untuk mengembangkan AGI yang aman, tetapi masih jauh dari sempurna. AGI yang banyak dibicarakan orang adalah model multimodal yang dapat memahami ucapan, teks, gambar, dan video. Ini akan menjadi gabungan ChatGPT, DALLE-2, Whisper, model generasi video, dan algoritma reinforcement learning lainnya. 

Model multimodal

Untuk mengembangkan AGI, OpenAI perlu mengerjakan model multimodal, tidak hanya text-to-image, tetapi juga text-to-video serta audio-to-video dan audio. Artinya, Anda akan dapat berbicara dengan bot yang terdengar dan terlihat alami. Hal ini sudah dicapai oleh beberapa pengembang, seperti persona streamer Twitch berbasis AI. Memang belum sempurna, tetapi ini adalah permulaan. 

Dalam program StrictlyVC, Sam Altman mengungkapkan bahwa mereka sedang mengerjakan model video, dan kita bisa berasumsi ini akan berupa generasi teks-ke-video dengan model audio, menambah lapisan kompleksitas lain. Kita sudah memiliki teknologi generasi video di mana pengembang menumpuk frame yang dihasilkan menggunakan model stable diffusion. 

Google AI 

Google AI adalah tulang punggung ekosistem Google. Teknologi ini digunakan di Google Maps, Photos, aplikasi, dan Cloud. Google berada di garis depan dalam pengembangan alat dan model AI. Sebagian besar produknya tersedia di Google Cloud, mulai dari AutoML hingga model visi dan bahasa mutakhir. 

Google juga merilis beragam alat dan model tercanggih yang mengubah lanskap pemrosesan bahasa alami, pemrosesan ucapan, dan visi komputer. Dari TensorFlow hingga BERT (Bidirectional Encoder Representations from Transformers), Google membuka jalan baru bagi riset dan pengembangan AI dan machine learning. 

Gif dari LaMDA

Pada 2020, Google Research memperkenalkan Meena, model percakapan neural yang memahami konteks dan belajar merespons secara masuk akal. Setelah itu, Google merilis model LaMDA, yang mirip dengan ChatGPT. Ini adalah teknologi percakapan terobosan yang dibangun menggunakan transformer namun dilatih pada dialog. 

Setiap tahun, kita melihat teknologi baru dari Google, dan ke depan kita dapat mengharapkan mesin telusur Google yang lebih canggih dengan AI Bard, model bahasa, visi, generatif, dan multimodal yang akan menjadikan AI serbabisa. 

Google AI Bard

Setelah peluncuran ChatGPT, orang-orang mulai menyebarkan rumor bahwa ini adalah ‘pembunuh Google.’ Kemitraan yang diperluas antara Microsoft dan OpenAI membuat hal itu terasa kian mungkin. Microsoft siap menantang Google dalam bisnis mesin telusur dengan Bing yang diperkaya OpenAI. 

Untuk menanggapi hal itu, Google meluncurkan versi ChatGPT mereka yang disebut Google AI Bard. Simak perbandingan ChatGPT dan Google Bard kami di artikel terpisah. 

Gif dari Bard dan fitur AI baru

Dalam pembaruan Google AI terbaru, Sundar Pichai, CEO Google dan Alphabet, memperkenalkan layanan AI percakapan eksperimental baru bernama Bard yang didukung oleh LaMDA. Google mengumumkan bahwa akses telah diberikan kepada penguji tepercaya, dan dalam beberapa minggu ke depan akan tersedia untuk publik. 

Bard menggunakan informasi dari web untuk memberikan respons berkualitas tinggi. Berbeda dengan model ChatGPT, Bard adalah layanan yang menggabungkan pengetahuan dunia dengan kekuatan, kecerdasan, dan kreativitas. Awalnya, Google merilisnya dengan versi model LaMDA yang ringan, dan seiring waktu akan memperkenalkan model bahasa yang lebih bertenaga.

Model bahasa, visi, dan generatif

Menurut laporan terbaru dari Google Research, mereka telah membuat kemajuan dalam teknologi bahasa, visi komputer, dan model generatif. 

Gambar dari Google AI

• Large Language Models: Pathways Language Model (PaLM) dan LaMDA menunjukkan hasil yang menjanjikan, dan ke depannya Anda dapat mengharapkan model bahasa yang lebih baik untuk AI percakapan dan tugas Natural Language Processing lainnya. 
• Computer Vision: MaxViT (Multi-Axis Vision Transformer), Pix2Seq (Kerangka Pemodelan Bahasa untuk Deteksi Objek), serta pengembangan pencitraan 2D ke 3D menggunakan interpolasi frame gerak besar.
• Pembuatan Gambar: Model generasi gambar foto-realistis canggih: Imagen (model difusi) dan Parti (arsitektur transformer autoregresif). Keduanya menggunakan input teks untuk menghasilkan piksel gambar. 
• Pembuatan Video: Tahun lalu, Google AI mengerjakan Imagen Video dan Phenaki. Imagen Video menggunakan model difusi berjenjang untuk menghasilkan video beresolusi tinggi, sedangkan Phenaki menggunakan deskripsi tekstual domain terbuka untuk menghasilkan video berdurasi variabel. 

Mulailah karier Deep Learning (AI) Anda dengan mengikuti jalur keterampilan Deep Learning in Python. Jalur keterampilan ini terdiri dari empat kursus yang akan meningkatkan kemampuan machine learning Anda ke tingkat berikutnya. 

Model multimodal

Kebanyakan model ML berfokus pada satu modalitas data (klasifikasi teks, segmentasi gambar, atau pengenalan ucapan). Namun karena DALL-E 2 dan Stable Diffusion, perusahaan kini berfokus pada model multimodal untuk mencapai hasil mutakhir. 

Google AI mencapai multimodalitas dengan melewatkan data melalui layer pemrosesan spesifik modalitas dan menggabungkan fitur dari berbagai modalitas melalui layer bottleneck. Menggabungkan modalitas juga dapat meningkatkan kinerja tugas satu modalitas. 

Gif dari Google AI

Berikut beberapa perkembangan riset terbaru dari Google AI terkait pengembangan model multimodal: 

• Locked-image Tuning (LiT) menambahkan pemahaman bahasa ke model gambar pra-latih yang sudah ada. 
• PaLI dapat melakukan banyak tugas dalam lebih dari 100 bahasa, seperti visual question answering, image captioning, deteksi objek dan menerjemahkannya ke bahasa lain, klasifikasi gambar, dan lainnya.  
• VDTTS adalah model Visually-Driven Text-To-Speech yang mengambil teks dan frame video asli aktor lalu menghasilkan keluaran suara yang cocok dengan video asli sambil mempertahankan timing dan emosi. 
• Look and Talk adalah teknologi multimodal yang menggunakan video dan audio sebagai input untuk membuat percakapan dengan Google Assistant menjadi alami. Model ini mempelajari berbagai petunjuk visual dan audio untuk menentukan dengan lebih akurat apakah seseorang sedang berbicara dengan Google Assistant atau tidak.  
• 4D-Net menggabungkan data point cloud 3D dari kendaraan otonom dan memadukannya dengan data sensor lain untuk memahami lingkungan dan objek dengan lebih baik, serta membuat keputusan yang lebih baik.

Kita dapat berasumsi bahwa ke depan Anda akan melihat adopsi model-model ini dalam ekosistem Google untuk meningkatkan keterlibatan pengguna dan mengembangkan produk baru. 

AI dan Data Science

AI modern digerakkan oleh data science, algoritma, dan rekayasa data. Untuk menciptakan teknologi mutakhir seperti ChatGPT dan LaMDA, kita harus memulai dari dasar, memahami cara menangani data dan menerapkan berbagai teknik pemrosesan bahasa alami dan reinforcement learning, mempelajari algoritma deep learning dan transformer, serta optimisasi model.

Mulailah karier data science Anda dengan menyelesaikan jalur karier Data Scientist with Python. Jalur ini akan mengajarkan keterampilan penting untuk menjadi data scientist profesional.

Gambar oleh Penulis

Jadi, mari jawab pertanyaan besarnya. Apakah AI akan menggantikan data scientist, analis, atau engineer? Jawaban sederhananya adalah “TIDAK.” Mungkin di masa depan yang sangat jauh, namun saat itu pun kita akan memiliki jenis pekerjaan berbeda, yang lebih kreatif dan berorientasi pengambilan keputusan. Seiring berkembangnya AI, kita juga akan berkembang.

GitHub Copilot, DALL-E 2, ChatGPT, dan teknologi mutakhir lainnya hadir untuk membantu kita. Mereka ada untuk membuat kita lebih produktif dan efisien. 

Andrej Karpathy, mantan Direktur AI di Tesla dan OpenAI, mengatakan:

“Copilot telah mempercepat pengodean saya secara drastis, sulit membayangkan kembali ke "coding manual." Saya masih belajar menggunakannya tetapi saat ini Copilot menulis ~80% kode saya, ~80% akurat. Saya bahkan tidak benar-benar ngoding, saya mem-"prompt". & mengedit.” - Twitter

Ini menunjukkan bahwa banyak orang yang memahami teknologi akan menggunakannya untuk menjadi lebih baik dalam pemrograman, logika, analisis data, dan pengambilan keputusan. 

Bagaimana data scientist dapat menggunakan AI?

1. Menghasilkan data dunia nyata sambil menjaga privasi pengguna.
2. Menulis kode yang elegan dan efisien.
3. Membuat prototipe produk.
4. Melakukan analisis data yang lebih baik dengan menggunakan prompt. 
5. Menghasilkan kueri SQL kompleks menggunakan bahasa alami. 
6. Membuat laporan yang lebih baik untuk pemangku kepentingan non-teknis.
7. Melakukan analisis statistik kompleks beserta penjelasannya.
8. Mempelajari bahasa pemrograman, keterampilan, kerangka kerja, dan konsep baru. 
9. Menggunakan AutoML berbasis AI dan alat optimisasi model untuk membangun solusi ML mutakhir.
10. Membangun skrip otomatisasi untuk menghemat waktu dan menghindari kesalahan. 

Era Baru Kemajuan AI

Microsoft, melalui kemitraan dengan OpenAI, telah mengintegrasikan ChatGPT ke mesin telusur Bing yang baru, yang disebut copilot untuk web. Dengan pengumuman ini, dimulailah perlombaan baru untuk meraih supremasi teknologi.

Microsoft berencana mengintegrasikan ChatGPT dan model GPT lainnya ke dalam ekosistemnya. Ini akan mengubah segalanya karena pengguna bahkan tidak perlu meninggalkan aplikasi. Mereka dapat melakukan pencarian, menambahkan konten, mengedit konten, dan menemukan ide hanya dengan mengobrol dengan bot. 

Demo Copilot Bing

Pada acara Paris, Google meluncurkan versi ChatGPT mereka yang disebut Bard. Ini didukung oleh LaMDA yang ringan. Bard cukup mirip dengan copilot Microsoft untuk web; Bard juga diintegrasikan ke mesin telusur Google dan menawarkan fitur serupa. 

Sisi Negatif dari Kemajuan AI

• Large language model seperti GPT dapat digunakan untuk kampanye disinformasi di masa depan - openai.com. Teknologi ini berpotensi menimbulkan dampak fisik dan emosional.
• Konten yang dihasilkan AI dioptimalkan untuk SEO dan lebih sulit dideteksi. Pelajar dan profesional menggunakannya untuk membuat karya orisinal tanpa mempelajari atau memahami konsepnya. Baca lebih lanjut tentang risiko dan peluang terkait pendidikan di dokumentasi OpenAI API.
• Isu hak cipta itu nyata. Model-model ini dilatih pada teks yang tersedia daring, dan sebagian di antaranya adalah karya berhak cipta. Anda tidak bisa begitu saja mengambil karya orang lain untuk membenarkan kemajuan AI. 
• Terkadang AI menghasilkan jawaban yang keliru secara faktual. Ini dapat menimbulkan masalah besar di masa depan jika model-model ini diterapkan di lembaga penegak hukum. 

Masalah-masalah ini akan ditangani, dan kita akan melihat regulasi baru yang mengatur penggunaan AI. Sekolah dan raksasa konten sudah mulai menerapkan kebijakan terkait konten yang dihasilkan AI. 

Lalu, apa yang bisa kita lakukan? Kita dapat mulai mempelajari teknologi baru ini dan menggunakannya secara etis. Anda dapat mulai belajar AI dengan mendaftar pada jalur karier Machine Learning Scientist with Python. Jalur karier ini akan mengajarkan keterampilan machine learning penting untuk mendapatkan pekerjaan sebagai AI engineer.