Kursus
Bekerja dengan OpenAI API
3 Hr
170.2K
OpenAI mengumumkan model bahasa besar terbarunya, GPT-4o, penerus GPT-4 Turbo. Baca terus untuk mengetahui kemampuannya, performanya, dan bagaimana Anda bisa menggunakannya.
Apa itu GPT-4o dari OpenAI?
GPT-4o adalah LLM terbaru dari OpenAI. Huruf 'o' dalam GPT-4o berarti "omni"—bahasa Latin untuk "segala"—mengacu pada fakta bahwa model baru ini dapat menerima prompt berupa campuran teks, audio, gambar, dan video. Sebelumnya, antarmuka ChatGPT menggunakan model terpisah untuk jenis konten yang berbeda.
Sebagai contoh, saat berbicara dengan ChatGPT melalui Voice Mode, ucapan Anda akan diubah menjadi teks menggunakan Whisper, respons teks akan dihasilkan menggunakan GPT-4 Turbo, dan respons teks tersebut akan diubah menjadi ucapan dengan TTS.
Perbandingan cara GPT-4 Turbo dan GPT-4o memproses input ucapan
Demikian pula, bekerja dengan gambar di ChatGPT melibatkan kombinasi GPT-4 Turbo dan DALL-E 3.
Memiliki satu model untuk berbagai media konten menjanjikan peningkatan kecepatan dan kualitas hasil, antarmuka yang lebih sederhana, dan beberapa use case baru.
Apa itu GPT-4o mini?
GPT-4o Mini adalah versi GPT-4o yang lebih ramping dan cepat, dirancang untuk menangani tugas dengan fokus lebih besar pada kecepatan dan efisiensi. Model ini diturunkan dari GPT-4o yang lebih besar melalui proses yang disebut distillation.
Walau mempertahankan banyak kemampuan model asli untuk memproses input multimodal—teks, audio, dan gambar—GPT-4o mini dioptimalkan untuk aplikasi ringan yang memerlukan waktu respons lebih cepat.
Model ini sangat berguna bagi pengembang yang membutuhkan solusi hemat biaya untuk coding, debugging, dan interaksi real time yang tidak memerlukan daya komputasi penuh GPT-4o.
Anda dapat membaca detail lebih lanjut pada artikel tentang GPT-4o mini.
Apa yang Membuat GPT-4o Berbeda dari GPT-4 Turbo?
Pendekatan model serba-ada berarti GPT-4o mengatasi beberapa keterbatasan kemampuan interaksi suara sebelumnya.
1. Nada suara kini diperhitungkan, memfasilitasi respons emosional
Dengan sistem OpenAI sebelumnya yang menggabungkan Whisper, GPT-4 Turbo, dan TTS dalam sebuah pipeline, mesin penalaran, GPT-4, hanya memiliki akses ke kata-kata yang diucapkan. Metode ini membuat hal-hal seperti nada suara, kebisingan latar, dan pengetahuan tentang suara dari beberapa pembicara diabaikan. Akibatnya, GPT-4 Turbo tidak benar-benar dapat mengekspresikan respons dengan emosi atau gaya bicara yang berbeda.
Dengan satu model yang dapat menalar tentang teks dan audio, informasi audio yang kaya ini dapat digunakan untuk memberikan respons berkualitas lebih tinggi dengan ragam gaya bicara yang lebih luas.
Dalam contoh berikut yang diberikan oleh OpenAI, GPT-4o menghasilkan keluaran bernada sarkastik.
4. Tokenisasi yang lebih baik untuk alfabet non-Romawi memberikan kecepatan lebih tinggi dan nilai uang yang lebih baik
Salah satu langkah dalam alur kerja LLM adalah ketika teks prompt diubah menjadi token. Ini adalah unit teks yang dapat dipahami model.
Dalam bahasa Inggris, satu token biasanya satu kata atau tanda baca, meskipun beberapa kata dapat dipecah menjadi beberapa token. Rata-rata, tiga kata bahasa Inggris memakan sekitar empat token.
Jika suatu bahasa dapat direpresentasikan dalam model dengan lebih sedikit token, perhitungan yang diperlukan menjadi lebih sedikit, dan kecepatan menghasilkan teks meningkat.
Selain itu, karena OpenAI menagih API-nya per token input atau output, token yang lebih sedikit berarti harga yang lebih rendah bagi pengguna API.
GPT-4o memiliki model tokenisasi yang ditingkatkan sehingga membutuhkan lebih sedikit token per teks. Peningkatan ini paling terasa pada bahasa yang tidak menggunakan alfabet Romawi.
Sebagai contoh, bahasa-bahasa India khususnya mendapat manfaat, dengan Hindi, Marathi, Tamil, Telugu, dan Gujarati semuanya menunjukkan pengurangan token sebesar 2,9 hingga 4,4 kali. Bahasa Arab menunjukkan pengurangan token 2x, dan bahasa Asia Timur seperti Tionghoa, Jepang, Korea, dan Vietnam menunjukkan pengurangan antara 1,4x dan 1,7x.
5. Peluncuran ke paket gratis
Dengan strategi harga ChatGPT yang ada dari OpenAI, pengguna harus membayar untuk mengakses model terbaik: GPT-4 Turbo hanya tersedia pada paket berbayar Plus dan Enterprise.
Hal ini berubah, dengan OpenAI berjanji untuk membuat GPT-4o tersedia juga pada paket gratis. Pengguna Plus akan mendapatkan jumlah pesan lima kali lebih banyak daripada pengguna pada paket gratis.
Peluncuran akan dilakukan secara bertahap, dengan akses red team (penguji yang mencoba merusak model untuk menemukan masalah) dimulai segera dan pengguna lain mendapatkan akses seiring waktu.
6. Peluncuran aplikasi desktop ChatGPT
Meskipun ini tidak sepenuhnya merupakan pembaruan eksklusif untuk GPT-4o, OpenAI juga mengumumkan rilis aplikasi desktop ChatGPT. Pembaruan latensi dan multimodalitas yang disebutkan di atas, bersamaan dengan rilis aplikasi, berarti cara kita bekerja dengan ChatGPT kemungkinan akan berubah. Misalnya, OpenAI menampilkan demo alur kerja coding augmented menggunakan suara dan aplikasi desktop ChatGPT. Gulir ke bawah di bagian use case untuk melihat contohnya!
Bagaimana Cara Kerja GPT-4o?
Banyak jenis konten, satu jaringan saraf
Detail cara kerja GPT-4o masih minim. Satu-satunya detail yang diberikan OpenAI dalam pengumumannya adalah bahwa GPT-4o adalah satu jaringan saraf yang dilatih pada input teks, visi, dan audio.
Pendekatan baru ini berbeda dari teknik sebelumnya yang memiliki model terpisah yang dilatih pada tipe data yang berbeda.
Namun, GPT-4o bukanlah model pertama yang mengambil pendekatan multimodal. Pada 2022, TenCent Lab membuat SkillNet, model yang menggabungkan fitur transformer LLM dengan teknik visi komputer untuk meningkatkan kemampuan mengenali karakter Tionghoa.
Pada 2023, tim dari ETH Zurich, MIT, dan Universitas Stanford menciptakan WhisBERT, variasi dari rangkaian model bahasa besar BERT. Meski bukan yang pertama, GPT-4o jauh lebih ambisius dan lebih kuat daripada kedua upaya sebelumnya ini.
Apakah GPT-4o merupakan perubahan radikal dari GPT-4 Turbo?
Seberapa radikal perubahan arsitektur GPT-4o dibandingkan GPT-4 Turbo tergantung apakah Anda bertanya kepada tim engineering atau pemasaran OpenAI. Pada April, sebuah bot bernama "im-also-a-good-gpt2-chatbot" muncul di Chatbot Arena LMSYS, papan peringkat untuk AI generatif terbaik. AI misterius itu kini terungkap sebagai GPT-4o.
Bagian "gpt2" dari nama tersebut penting. Jangan disamakan dengan GPT-2, pendahulu GPT-3.5 dan GPT-4, akhiran "2" secara luas dianggap berarti arsitektur yang benar-benar baru untuk rangkaian model GPT.
Jelas, seseorang di tim riset atau engineering OpenAI menganggap penggabungan tipe konten teks, visi, dan audio ke dalam satu model merupakan perubahan besar yang layak mendapatkan lonjakan nomor versi pertama dalam enam tahun.
Di sisi lain, tim pemasaran memilih perubahan penamaan yang relatif sederhana, melanjutkan konvensi "GPT-4".
Performa GPT-4o vs Model Lain
OpenAI merilis angka tolok ukur GPT-4o dibandingkan beberapa model kelas atas lainnya.
- GPT-4 Turbo
- GPT-4 (rilis awal)
- Claude 3 Opus
- Gemini Pro 1.5
- Gemini Ultra 1.0
- Llama 3 400B
Dari semua itu, hanya tiga model yang benar-benar penting untuk perbandingan. GPT 4 Turbo, Claude 3 Opus, dan Gemini Pro 1.5 selama beberapa bulan terakhir bersaing untuk posisi teratas di papan peringkat LMSYS Chatbot Arena.
Llama 3 400B mungkin menjadi penantang di masa depan, namun belum selesai. Maka di sini, kami hanya menyajikan hasil untuk tiga model tersebut dan GPT-4o.
Hasil dari enam tolok ukur digunakan.
- Massive Multitask Language Understanding (MMLU). Tugas pada matematika dasar, sejarah AS, ilmu komputer, hukum, dan lainnya. Untuk mencapai akurasi tinggi pada tes ini, model harus memiliki pengetahuan dunia yang luas dan kemampuan pemecahan masalah.
- Graduate-Level Google-Proof Q&A (GPQA). Pertanyaan pilihan ganda yang ditulis oleh pakar domain dalam biologi, fisika, dan kimia. Pertanyaannya berkualitas tinggi dan sangat sulit: para pakar yang telah atau sedang menjalani PhD di bidang terkait mencapai akurasi 74%.
- MATH. Soal matematika tingkat SMP dan SMA.
- HumanEval. Uji kebenaran fungsional kode komputer, digunakan untuk memeriksa pembuatan kode.
- Multilingual Grade School Math (MSGM). Soal matematika tingkat sekolah dasar, diterjemahkan ke sepuluh bahasa, termasuk bahasa yang kurang terwakili seperti Bengali dan Swahili.
- Discrete Reasoning Over Paragraphs (DROP). Pertanyaan yang memerlukan pemahaman paragraf lengkap. Misalnya, dengan menjumlahkan, menghitung, atau mengurutkan nilai yang tersebar di beberapa kalimat.
Performa GPT-4o, GPT-4 Turbo, Gemini Pro 1.5, dan Claude 3 Opus terhadap enam tolok ukur LLM. Skor untuk tiap tolok ukur berkisar dari 0 sampai 100. Dibuat ulang dari data yang disediakan OpenAI. Tidak ada data yang disediakan untuk Gemini Pro 1.5 pada tolok ukur GPQA.
GPT-4o meraih skor tertinggi pada empat tolok ukur, meski dikalahkan oleh Claude 3 Opus pada tolok ukur MSGM dan oleh GPT-4 Turbo pada tolok ukur DROP. Secara keseluruhan, performa ini mengesankan dan menjanjikan untuk pendekatan baru pelatihan multimodal.
Jika Anda melihat lebih dekat angka GPT-4o dibandingkan GPT-4 Turbo, Anda akan melihat bahwa peningkatan performanya hanya beberapa poin persentase.
Ini merupakan peningkatan yang impresif setahun kemudian, tetapi jauh dari lompatan dramatis dalam performa dari GPT-1 ke GPT-2 atau GPT-2 ke GPT-3.
Menjadi 10% lebih baik dalam menalar teks dari tahun ke tahun kemungkinan akan menjadi hal yang normal. Buah yang mudah dipetik sudah habis, dan memang sulit untuk terus membuat lompatan besar dalam penalaran teks.
Di sisi lain, yang tidak ditangkap oleh tolok ukur LLM ini adalah performa AI pada masalah multimodal. Konsepnya masih begitu baru sehingga kita belum memiliki cara yang baik untuk mengukur seberapa bagus sebuah model di lintas teks, audio, dan visi.
Secara keseluruhan, performa GPT-4o mengesankan, dan menunjukkan harapan bagi pendekatan baru pelatihan multimodal.
Apa Saja Use Case GPT-4o?
1. GPT-4o untuk analisis data & coding
Model GPT terbaru dan turunannya, seperti GitHub Copilot, sudah mampu memberikan bantuan kode, termasuk menulis kode serta menjelaskan dan memperbaiki kesalahan. Kemampuan multimodal GPT-4o membuka beberapa peluang menarik.
Dalam video promosi yang dibawakan oleh CTO OpenAI Mira Murati, dua peneliti OpenAI, Mark Chen dan Barret Zoph, mendemonstrasikan penggunaan GPT-4o untuk bekerja dengan kode Python.
Kodenya dibagikan ke GPT sebagai teks, dan fitur interaksi suara digunakan untuk meminta GPT menjelaskan kode. Kemudian, setelah menjalankan kode, kemampuan visi GPT-4o digunakan untuk menjelaskan plot.
Secara keseluruhan, menunjukkan layar Anda ke ChatGPT dan mengajukan pertanyaan secara lisan berpotensi menjadi alur kerja yang lebih sederhana daripada menyimpan plot sebagai file gambar, mengunggahnya ke ChatGPT, lalu mengetik pertanyaan.
4. GPT-4o untuk membantu pengguna tunanetra
Kemampuan GPT-4o untuk memahami input video dari kamera dan menjelaskan adegan secara verbal bisa menjadi fitur yang wajib dimiliki bagi penyandang tunanetra. Ini pada dasarnya adalah fitur deskripsi audio yang dimiliki TV, tetapi untuk kehidupan nyata.
Hands-On dengan GPT-4o
Saya telah mendapatkan akses ke beberapa fitur baru GPT-4o sejak tak lama setelah pengumuman (sayangnya, belum ada obrolan suara), dan saya terkesan dengan banyak keluarannya. Respons terasa lebih cepat dan lebih konsisten, dan tampaknya lebih memahami permintaan saya daripada sebelumnya. Bukan berarti semuanya sempurna.
Berikut beberapa contoh interaksi saya dengan ChatGPT-4o:
Tugas analisis data
Pertama, menggunakan obrolan suara, saya bertanya apakah ada ide tentang bagaimana menganalisis performa tim sepak bola yang saya dukung, Leeds United yang perkasa. Selain memberikan beberapa opsi, model ini memberi saya contoh kode Python:
import pandas as pd
# Sample data for Leeds United's match results
data = {
'Match': ['Match1', 'Match2', 'Match3', 'Match4', 'Match5'],
'Result': ['Win', 'Draw', 'Loss', 'Win', 'Win'],
'Goals Scored': [2, 1, 0, 3, 2]
}
# Create a DataFrame
df = pd.DataFrame(data)
# Summarize match results
summary = df['Result'].value_counts()
total_goals = df['Goals Scored'].sum()
average_goals = df['Goals Scored'].mean()
# Display summary
print("Match Results Summary:")
print(summary)
print("\nTotal Goals Scored:", total_goals)
print("Average Goals Per Match:", round(average_goals, 2))
Namun, saat saya menggali lebih lanjut alur pikir ini, hasilnya agak melenceng. Saya pertama meminta beberapa data nyata untuk digunakan—model menelusuri web dan menemukan dua sumber yang bagus, tetapi melaporkan statistiknya salah. Leeds memainkan 46 pertandingan di musim reguler, mencetak 81 dengan selisih gol plus 38, bukan 40 pertandingan seperti yang disebutkan dalam responsnya.
Saya kemudian meminta ChatGPT memvisualisasikan gol yang dicetak melawan tiap tim:
Sekali lagi, di sini tugasnya setengah selesai. Ia membuat visualisasi seperti diminta, yang sekilas terlihat baik. Namun kenyataannya, banyak data yang dibuat-buat dan tidak akurat (tim muncul dua kali, gol tidak dihitung, dan tim yang tidak berada di divisi yang sama dengan Leeds).
Secara adil, saya membayangkan performa akan lebih baik jika saya menyediakan dataset lengkap sendiri, tetapi saya berharap ia mengatakan hal itu alih-alih dengan percaya diri mengarang jawaban.
Analisis gambar
Berikutnya, saya meminta GPT-4o menganalisis foto salah satu tanaman saya. Saya masih belum memiliki akses ke fitur visi terintegrasi, jadi saya harus mengambil gambar dan menanyakan ke ChatGPT tanaman apa itu:
Ini bukan usaha yang buruk, meski belum sepenuhnya akurat. Meskipun itu memang pohon bonsai, jenisnya Ilex crenata, bukan Carmona retusa. Namun keduanya terlihat cukup mirip sehingga itu kesalahan yang mudah terjadi dan saya menghargai konteks tambahan tentang cara merawat tanaman.
Pembuatan gambar
Terakhir, saya ingin menguji kemampuan gambar dari model baru. Saya pertama-tama menunjukkan foto kura-kura saya, Darwin, dan memintanya memberi tahu saya tentang teman saya:
Sekali lagi, ini mendekati namun belum sempurna. Darwin sebenarnya kura-kura Horsefield, bukan Hermann’s, tetapi keduanya memang sangat mirip. Saya kemudian meminta ChatGPT-4o mengambil gambar asli dan menciptakannya ulang dalam gaya Hokusai. Berikut hasilnya:
Upaya yang cukup baik, meski tidak terlalu mirip dengan gambar aslinya, tetapi itu masih wajar. Proses pembuatannya juga memakan waktu sedikit lebih lama.
Secara keseluruhan, saya terkesan dengan daya tanggap model baru dan seberapa baik ia memahami permintaan saya. Masih jauh dari sempurna, dan terkadang tetap berhalusinasi dengan percaya diri, tetapi saya tidak sabar untuk mencoba langsung kemampuan ucapan yang ditingkatkan dan visi terintegrasi.
Keterbatasan & Risiko GPT-4o
Regulasi untuk AI generatif masih pada tahap awal; EU AI Act adalah satu-satunya kerangka hukum penting sejauh ini. Artinya, perusahaan pembuat AI perlu membuat sebagian keputusan sendiri tentang apa yang disebut AI yang aman.
OpenAI memiliki kerangka kesiapsiagaan yang digunakan untuk menentukan apakah model baru layak dirilis ke publik.
Kerangka tersebut menguji empat area yang menjadi perhatian.
- Keamanan siber. Dapatkah AI meningkatkan produktivitas penjahat siber dan membantu membuat eksploit?
- BCRN. Dapatkah AI membantu pakar menciptakan ancaman biologis, kimia, radiologis, atau nuklir?
- Persuasi. Dapatkah AI membuat konten (berpotensi interaktif) yang membujuk orang untuk mengubah keyakinan mereka?
- Otonomi model. Dapatkah AI bertindak sebagai agen, melakukan tindakan dengan perangkat lunak lain?
Setiap area dinilai Rendah, Sedang, Tinggi, atau Kritis, dan skor model adalah nilai tertinggi di antara keempat kategori tersebut.
OpenAI berjanji tidak akan merilis model yang menjadi perhatian kritis, meskipun ini adalah standar keamanan yang relatif rendah: menurut definisinya, perhatian kritis berkaitan dengan sesuatu yang akan mengguncang peradaban manusia. GPT-4o dengan nyaman menghindarinya, mendapat nilai perhatian Sedang.
Keluaran tidak sempurna
Seperti semua AI generatif, model tidak selalu berperilaku seperti yang diinginkan. Visi komputer tidak sempurna, sehingga interpretasi gambar atau video tidak dijamin berhasil.
Demikian pula, transkripsi ucapan jarang 100% benar, terutama jika pembicara memiliki aksen kuat atau menggunakan kata-kata teknis.
OpenAI menyediakan video beberapa cuplikan saat GPT-4o tidak bekerja sebagaimana mestinya.
Terutama, penerjemahan antara dua bahasa non-Inggris adalah salah satu kasus gagal. Masalah lain termasuk nada suara yang tidak sesuai (merendahkan) dan berbicara dalam bahasa yang salah.
