GPT-3 dan Generasi Berikutnya Layanan Bertenaga AI

Dalam beberapa bulan terakhir, dunia data science dan AI ramai membicarakan kehadiran GPT-3, model bahasa terbaru dari OpenAI. Bagi banyak orang, model ini mewakili lompatan signifikan dalam kemampuan satu algoritme untuk menalar bahasa manusia di berbagai tugas.

Para pengembang yang menguji GPT-3 telah memberikan banyak kasus penggunaan yang menarik. Contohnya mencakup pembuatan kode otomatis berdasarkan perintah bahasa Inggris sederhana, menjawab pertanyaan medis, dan penerjemahan bahasa hukum—semuanya memicu imajinasi banyak data scientist tentang generasi berikutnya perangkat lunak bertenaga AI.

Walau sebagian besar nilai machine learning di tingkat organisasi ada pada hal-hal mendasar seperti memprediksi churn, prakiraan penjualan sederhana, dan segmentasi pelanggan—ada baiknya mempertimbangkan apa arti komersialisasi GPT-3 bagi masa depan. Ini berpotensi mengubah cara kita memandang dan mengoperasionalkan kecerdasan buatan.

Mendefinisikan artificial intelligence, machine learning, dan deep learning

Dunia bisnis dan media dipenuhi jargon seperti artificial intelligence (AI), machine learning (ML), dan deep learning (DL). Mari kita definisikan secara singkat sebelum membahas cara kerja GPT-3.

Andrew Ng, salah satu pendiri Google Brain dan mantan Chief Scientist di Baidu, menggambarkan artificial intelligence sebagai “sekumpulan besar alat untuk membuat komputer berperilaku cerdas.” Ini mencakup perangkat lunak yang diprogram secara eksplisit seperti kalkulator, serta aplikasi ML seperti sistem rekomendasi dan mobil swakemudi.

Machine learning adalah “bidang kajian yang memberi komputer kemampuan untuk belajar tanpa diprogram secara eksplisit,” menurut Arthur Samuel, pelopor kecerdasan buatan dan gim komputer. Secara umum ada dua jenis algoritme machine learning. Pertama, supervised learning, di mana algoritme mempelajari pola antara data yang ada (input) dan label (output) dan memprediksi output pada data yang belum pernah dilihat, seperti memprediksi apakah pelanggan baru akan churn berdasarkan data churn historis. Kedua, unsupervised learning, di mana algoritme menemukan pola umum dalam data dan mengelompokkan berbagai titik data yang mirip satu sama lain, seperti dalam segmentasi pelanggan berdasarkan pola perilaku yang umum.

Deep learning adalah bentuk machine learning yang berbasis pada jaringan saraf tiruan berlapis-lapis, yang secara longgar terinspirasi dari jaringan saraf biologis di otak. Pendekatan ini dapat bersifat supervised maupun unsupervised dan sangat berperan dalam berbagai kasus penggunaan ML profil tinggi selama satu dekade terakhir, seperti pengenalan gambar dan analisis sentimen. Model deep learning beragam arsitekturnya, dari sederhana hingga kompleks berdasarkan jumlah lapisan dan node dalam arsitektur jaringan saraf. Semakin kompleks modelnya, semakin banyak parameternya. Jika Anda ingin mempelajari lebih lanjut tentang cara membangun model deep learning, lihat skill track deep learning dari DataCamp.

Untuk pembahasan lebih mendalam tentang topik-topik ini, bacalah e-book kami, The Definitive Guide to Machine Learning for Business Leaders.

Cara kerja GPT-3

Lalu, di mana GPT-3 bertemu dengan artificial intelligence, machine learning, dan deep learning? Akronim GPT mengacu pada “generative pre-trained transformer”—sebuah algoritme deep learning unsupervised yang biasanya di-pre-train pada sejumlah besar teks tanpa label. Model ini kemudian di-fine-tune dan dilatih pada dataset berlabel berukuran besar yang spesifik untuk tugas tertentu (misalnya, penerjemahan bahasa Inggris ke Prancis), lalu ditugaskan untuk menyimpulkan himpunan output yang paling mungkin (terjemahan Prancis) berdasarkan himpunan input tertentu (kata-kata bahasa Inggris). Anda dapat menganggapnya sebagai bentuk autocomplete yang sangat canggih untuk berbagai tugas bahasa.

GPT-3 adalah iterasi ketiga dari model ini, dan meskipun tidak berinovasi pada arsitektur pendahulunya, model ini di-pre-train pada dataset yang sangat besar yang mencakup sebagian besar internet, termasuk dataset Common Crawl, dan memiliki jauh lebih banyak lapisan dalam arsitektur jaringannya. Hal ini menjadikan GPT-3 model bahasa paling kompleks yang pernah dibayangkan, dengan 175 miliar parameter dalam arsitektur jaringannya. Ini sepuluh kali lebih banyak parameter dibandingkan model paling kompleks sebelum rilis GPT-3, Turing-NLG dari Microsoft, dan 117 kali lebih kompleks daripada GPT-2.

Yang terpenting, GPT-3 diuntungkan oleh few-shot learning, di mana model yang telah di-pre-train tidak harus di-fine-tune dengan data pelatihan berlabel berukuran besar untuk tugas bahasa tertentu. Alih-alih, model hanya diberi deskripsi tugas—misalnya menerjemahkan kata-kata bahasa Inggris ke bahasa Prancis—dan beberapa contoh input yang dipetakan ke output. Dipadukan dengan antarmuka plug-and-play yang mudah digunakan, GPT-3 secara luas meniadakan hambatan masuk dan memungkinkan non-ahli menghasilkan hasil yang bermakna pada berbagai tugas bahasa.

Mengapa GPT-3 penting

Hanya dengan beberapa contoh dan deskripsi tugas, GPT-3 mampu menandingi model bahasa yang di-fine-tune dan dilatih pada data pelatihan spesifik tugas untuk beragam tugas bahasa. GPT-3 juga menunjukkan bentuk keberhasilan pada tugas yang membutuhkan penalaran, seperti aritmetika, yang tidak selalu termasuk tugas bahasa. Sebagai contoh, GPT-3 menunjukkan akurasi 100% pada penjumlahan dan pengurangan dua digit setelah diberi beberapa contoh penjumlahan dan pengurangan. Model yang kurang kompleks dengan parameter lebih sedikit belum mampu menembus batas akurasi 60% pada tugas-tugas ini. Meskipun GPT-3 kesulitan pada bentuk aritmetika yang lebih kompleks, hal ini menyiratkan bahwa model yang lebih kompleks mungkin memiliki kemampuan untuk menggeneralisasi di luar domain tempat mereka dilatih.

Menariknya, ini menunjukkan peningkatan lebih lanjut dapat dicapai hanya dengan menambah ukuran dataset dan model. Saat ini, tampaknya kinerja agregat model di berbagai tugas belum mencapai titik jenuh pada 175 miliar parameter. Dengan mengasumsikan peningkatan skala parameter yang sama dari GPT-2 ke GPT-3, kita hanya bisa bertanya-tanya bagaimana kinerja model akan meningkat jika GPT-4 memiliki 117 kali lebih banyak parameter dibandingkan GPT-3.

Sementara saat ini masih dikalibrasi dalam rilis beta privat, mengemas GPT-3 dalam sebuah API plug-and-play berarti model ini dapat digunakan dalam skala besar segera setelah keluar dari beta privat. Seperti yang ditunjukkan oleh Peneliti AI Shreya Shankar, tantangan pentingnya adalah menyajikan API ini secara efisien dan mudah digunakan oleh organisasi.

Implikasinya untuk masa depan

Teknologi baru sering mengikuti siklus hype Gartner—bahkan CEO OpenAI Sam Altman sudah membunyikan alarm hype tentang GPT-3.

Namun, berbagai kasus penggunaan dari para pengembang GPT-3 memberi gambaran tentang jenis aplikasi bertenaga AI yang dapat kita harapkan dalam jangka menengah hingga panjang. Aplikasi potensial mencakup alat yang membantu desainer membuat prototipe dengan mudah, merampingkan analisis data, memungkinkan riset yang lebih andal, mengotomatisasi pembuatan konten bagi pemasar konten, dan banyak lagi.

Selain itu, mengemas model ini dalam antarmuka plug-and-play yang mudah dapat mengubah dinamika bagaimana AI diinstrumentasikan di seluruh organisasi. Misalnya, hal ini bisa membuat organisasi enggan mengembangkan model internal mereka sendiri, dan memungkinkan para ahli yang kurang teknis membangun solusi menggunakan GPT-3.

Terakhir, saat memikirkan penerapan sistem AI dalam skala besar, Anda harus menyadari potensi penyebaran dampak buruk melalui bias. Seperti yang dicatat banyak peneliti saat menguji GPT-3, cukup mudah menghasilkan output berbahaya yang memperkuat stereotip dan bias berdasarkan input yang netral.

Seperti halnya algoritme machine learning yang diterapkan dalam skala besar, GPT-3 memerlukan pengawasan dan pemantauan serius atas potensi dampak buruk.