Program
Dasar-Dasar Kecerdasan Buatan
10 jam
OpenAI baru saja merilis Deep Research, sebuah agen AI yang didukung oleh versi dari model o3 yang akan datang. Alat ini dirancang untuk menelusuri web, menganalisis banyak sumber, dan menyintesis informasi dalam jumlah besar.
Anda mungkin bertanya-tanya: Bukankah ChatGPT sudah bisa melakukan ini?
Tidak seperti sesi ChatGPT biasa yang menghasilkan respons cepat, Deep Research dapat melakukan investigasi bertahap, merujuk ke banyak sumber, dan menghasilkan laporan terstruktur.
Misalnya, jika Anda pernah meneliti mobil terbaik untuk dibeli—membandingkan ulasan, mempertimbangkan biaya, dll.—Anda tahu bahwa menemukan informasi tepercaya membutuhkan waktu dan banyak penelusuran internet. Deep Research dibuat tepat untuk jenis pekerjaan ini.
Saya sudah menguji Deep Research, dan saya sekaligus terkesan dan kecewa. Potensinya besar, tetapi juga menghasilkan fakta dan inferensi yang keliru. Di blog ini, saya akan menjadi agen manusia Anda dan merangkum semua yang perlu Anda ketahui tentang Deep Research. Saya akan memandu Anda melalui contoh praktis, berbagi tips membuat prompt, dan menunjukkan di mana Deep Research unggul—serta di mana Anda harus ekstra berhati-hati.
Apa itu Deep Research dari OpenAI?
Deep Research dari OpenAI adalah agen bertenaga AI yang dirancang untuk melakukan riset mendalam dan bertahap di Internet. Berbeda dengan kemampuan browsing standar ChatGPT yang memberikan jawaban cepat, Deep Research secara otonom menemukan, menganalisis, dan menyintesis informasi dari ratusan sumber online.
Deep Research dirancang untuk siapa pun yang membutuhkan riset komprehensif dan andal, termasuk:
- Profesional di bidang keuangan, sains, kebijakan, dan teknik yang membutuhkan laporan terstruktur dengan sitasi lengkap
- Penyusun strategi bisnis yang melakukan analisis kompetitif atau peramalan tren
- Peneliti dan pelajar yang mengumpulkan informasi dari banyak sumber
- Pembeli dan konsumen yang membuat keputusan pembelian bernilai tinggi (misalnya, mobil, peralatan rumah tangga, properti)
- Penulis, jurnalis, dan analis yang memerlukan wawasan multisumber yang telah diperiksa faktanya
Intinya, jika suatu tugas melibatkan penelusuran banyak sumber, silang rujuk data, dan menyintesis informasi ke dalam format yang berguna, Deep Research adalah alat yang tepat.
Bagaimana Cara Kerja Deep Research?
Didukung oleh versi dari model o3 yang akan datang, Deep Research dibangun di atas kemajuan OpenAI dalam model penalaran, tetapi secara khusus dioptimalkan untuk penelusuran web dan analisis data dunia nyata.
Untuk mencapai hal ini, OpenAI melatih Deep Research menggunakan pembelajaran penguatan (reinforcement learning) pada tugas penelusuran dan penalaran dunia nyata. Ini memungkinkan model mengikuti proses riset iteratif dan bertahap, sehingga meningkatkan kemampuannya menyintesis topik kompleks menjadi laporan terstruktur.
Tolok Ukur Deep Research
Humanity’s Last Exam
Humanity’s Last Exam adalah tolok ukur yang baru dirilis untuk menguji AI pada soal pilihan ganda dan jawaban singkat tingkat ahli di lebih dari 100 subjek, dari linguistik dan ilmu roket hingga ekologi dan matematika. Evaluasi ini mengukur kemampuan AI untuk bernalar lintas disiplin dan mencari pengetahuan khusus saat dibutuhkan—keterampilan penting bagi model yang berorientasi riset.
Deep Research mencapai akurasi rekor 26,6%, jauh melampaui model sebelumnya, termasuk o1 milik OpenAI (9,1%), DeepSeek-R1 (9,4%), dan Claude 3.5 Sonnet (4,3%). Peningkatan terbesar dibanding o1 dari OpenAI terlihat pada kimia, humaniora dan ilmu sosial, serta matematika, di mana Deep Research menunjukkan kemampuannya memecah pertanyaan kompleks dan mengambil informasi tepercaya.
|
Model |
Akurasi (%) |
|
GPT-4o |
3,3 |
|
Claude 3.5 Sonnet |
4,3 |
|
Gemini Thinking |
6,2 |
|
OpenAI o1 |
9,1 |
|
DeepSeek-R1* |
9,4 |
|
OpenAI o3-mini (high)* |
13,0 |
|
OpenAI Deep Research (dengan browsing + alat Python) |
26,6 |
* Model diuji pada subset ujian berbasis teks saja karena bukan multimodal. Sumber: OpenAI
GAIA
GAIA (General AI Agent benchmark) mengevaluasi seberapa baik sistem AI menangani pertanyaan dunia nyata, yang membutuhkan kombinasi penalaran, penelusuran web, kefasihan multimodal, dan kemahiran menggunakan alat.
Deep Research mencatat rekor state-of-the-art (SOTA) baru, memimpin papan peringkat GAIA eksternal dengan kinerja kuat di semua tingkat kesulitan. Model ini menunjukkan akurasi sangat tinggi pada tugas Level 3, yang membutuhkan riset kompleks dan bertahap serta sintesis.
|
Evaluasi GAIA |
Level 1 |
Level 2 |
Level 3 |
Rata-rata |
|
SOTA sebelumnya |
67,92% |
67,44% |
42,31% |
63,64% |
|
Deep Research (pass@1) |
74,29% |
69,06% |
47,6% |
67,36% |
|
Deep Research (cons@64) |
78,66% |
73,21% |
58,03% |
72,57% |
Sumber: OpenAI
Skor pass@1 yang tinggi pada Deep Research menunjukkan bahwa bahkan upaya pertamanya menjawab pertanyaan GAIA lebih akurat daripada model sebelumnya. Skor cons@64 (yang mengukur kinerja dengan beberapa upaya respons) semakin menonjolkan kemampuannya untuk mengoreksi diri dan menyempurnakan jawaban berdasarkan informasi baru.
Evaluasi internal
OpenAI juga melakukan evaluasi internal, di mana Deep Research dinilai oleh pakar domain pada tugas tingkat ahli. Saya merasa evaluasi internal ini cukup menarik!
Grafik di bawah menunjukkan bahwa tingkat kelulusan model meningkat seiring makin banyak panggilan alat yang dilakukan. Ini menyoroti pentingnya membiarkannya menelusuri dan menganalisis informasi secara iteratif—memberinya lebih banyak waktu untuk berpikir menghasilkan hasil yang lebih baik.
Sumber: OpenAI
Mari kita lihat grafik lain—lihat di bawah. Deep Research berkinerja terbaik pada tugas dengan estimasi nilai ekonomi lebih rendah, dengan akurasi menurun seiring meningkatnya potensi dampak finansial tugas. Ini menunjukkan bahwa tugas yang lebih signifikan secara ekonomi cenderung lebih kompleks atau bergantung pada pengetahuan kepemilikan yang tidak mudah diakses secara luas secara online.
Sumber: OpenAI
Grafik di bawah ini membandingkan tingkat kelulusan dengan estimasi jam yang dibutuhkan manusia untuk menyelesaikan setiap tugas. Model berkinerja terbaik pada tugas yang memerlukan 1–3 jam bagi seseorang, tetapi kinerja tidak selalu menurun seiring waktu—menunjukkan bahwa hal yang sulit bagi AI tidak selalu selaras dengan yang memakan waktu bagi manusia.
Sumber: OpenAI
Cara Menggunakan Deep Research: Contoh Praktis
Pada saat artikel ini diterbitkan, Deep Research hanya tersedia untuk pengguna Pro, dengan batas 100 kueri per bulan, tetapi OpenAI berencana memperluas akses ke pengguna Plus, Team, dan Enterprise segera.
Menurut saya, Deep Research masih berada pada fase awal. Meskipun menjanjikan, contoh pertama di bawah ini menyoroti banyak masalahnya. Namun, contoh kedua menunjukkan potensi besarnya.
Contoh 1: Ekosistem AI
Saya terus kesulitan mendapatkan gambaran lengkap tentang ekosistem AI dari berbagai perusahaan. Ambil contoh Google—mereka memiliki Gemini 2.0 Flash, Imagen 3, Veo 2, Project Mariner, Project Astra… apa lagi yang saya lewatkan? Untuk akhirnya mendapat gambaran yang jelas, saya memberi prompt permintaan ini ke Deep Research dari OpenAI.
Perhatikan bahwa model tidak langsung mulai meneliti, melainkan meminta klarifikasi. Dalam semua pengujian saya, seberapa pun spesifik prompt pertama saya, model selalu berupaya mempersempit fokus risetnya. Ini berguna menurut saya, karena sering kali saya merasa prompt saya sudah jelas dan spesifik, tetapi biasanya masih perlu dipertajam.
Saya menjawab pertanyaan model, lalu riset pun dimulai. Sebuah panel terbuka di sisi kanan browser, menampilkan aktivitas agen dan sumber secara real time:
Butuh waktu 11 menit, dan model berkonsultasi dengan 25 sumber. Perlu dicatat bahwa yang dimaksud sumber adalah situs induk, dan model dapat menelusuri beberapa halaman dari situs tersebut—untuk 25 sumber dan rata-rata empat halaman per sumber, Anda bisa memperkirakan model telah menelusuri sekitar 100 halaman web.
Secara keseluruhan, saya kecewa dengan hasilnya—Anda bisa membaca jawaban Deep Research di sini. Namun, mari mulai dari hal yang saya sukai darinya:
- Meskipun saya tidak menentukan struktur, responsnya tertata dengan baik, dengan bagian-bagian yang jelas, penggunaan huruf tebal, ukuran font, dan poin-poin yang tepat.
- Sumber ditempatkan dengan baik, muncul tepat setelah informasi yang dirujuk, dan sistem ini memudahkan pemeriksaan fakta.
- Laporannya memiliki keseimbangan yang baik antara detail dan panjang—tidak dangkal, tetapi juga bukan bacaan satu jam. Saya selalu bisa meminta detail tambahan bila perlu.
Namun, jawabannya memiliki beberapa masalah, dan saya akan menyoroti yang utama:
- Ketidakakuratan: Ia tertukar antara DeepSeek-V3 dan DeepSeek-R1 (jangan lupa Anda bisa membaca jawabannya sendiri di sini).
- Informasi kedaluwarsa: Meskipun saya secara spesifik meminta laporan terbaru, Deep Research menyatakan model terbaru Meta adalah Llama 2 dan Anthropic adalah Claude 2, menyebutkan rumor tentang sesuatu yang “berkode nama” Sonnet dan Haiku. Awalnya saya menganggap ini lucu, tetapi kemudian saya memikirkan berapa banyak orang yang mungkin menerima jawaban ini mentah-mentah.
- Kepatuhan prompt rendah: Saya secara eksplisit meminta Deep Research untuk mengecualikan GPT-4 dan fokus pada model terbaru, namun instruksi itu tidak diikuti.
- Jawaban tidak lengkap: Bagian OpenAI tidak menyebutkan model kunci seperti o1, dan pada bagian Google, Veo sama sekali tidak disebut.
Masalah-masalah ini membuat sulit mempercayai Deep Research dari OpenAI. Saya sengaja mengujinya pada topik yang saya kuasai, sehingga bisa memeriksa faktanya—tetapi bagaimana jika saya harus mengandalkan Deep Research untuk topik yang sama sekali tidak saya ketahui?
Contoh 2: Topik evergreen
Mungkin masalah dengan Deep Research adalah belum begitu baik dalam mengidentifikasi informasi yang paling mutakhir. Jadi, saya memutuskan mengujinya pada topik yang lebih evergreen—yang tidak terlalu bergantung pada perkembangan terbaru.
Saya mengendarai mobil tahun 2013 dan sesekali terpikir untuk menggantinya. Tetapi saya selalu terjebak pada pertanyaan yang sama: sebaiknya beli baru atau bekas? Mobil baru cepat terdepresiasi, tetapi mobil lama bisa berarti biaya perbaikan lebih tinggi. Saya ingin tahu pendapat para ahli tentang ini, jadi ini kesempatan yang bagus untuk meminta Deep Research menelusuri berbagai studi dan opini dan menyusun laporan.
Sebelum melanjutkan, izinkan saya memberi tip: sebelum Anda memberi prompt ke Deep Research, optimalkan prompt Anda menggunakan LLM andalan Anda. Mulailah dengan “Anda adalah seorang prompt engineer. Bantu saya mengoptimalkan prompt ini: (prompt Anda di sini)”. Berikut prompt yang telah dioptimalkan yang saya gunakan untuk Deep Research:
Sama seperti sebelumnya, Deep Research meminta klarifikasi sebelum memulai dan kemudian menyelesaikan riset dalam enam menit, berkonsultasi dengan beberapa halaman web dari 12 sumber. Anda dapat membaca laporan lengkapnya di sini.
Kali ini, laporannya bagus—sangat bagus!
Saya tidak pernah membayangkan Anda bisa memikirkan masalah ini dari begitu banyak sudut. Luasnya informasi mengesankan, dan menurut perkiraan saya, Deep Research menghemat lebih dari 10 jam penelusuran dan riset. Ia menarik studi akademis, laporan industri, analisis tren pasar, perbandingan biaya asuransi, dll.
Saya bukan ahli di bidang ini, jadi saya tidak bisa sepenuhnya menilai akurasi laporan. Namun, dari perspektif konsumen, banyak informasi yang terasa masuk akal dan benar-benar membantu. Saya juga memeriksa beberapa detail terhadap sumber yang disitasi dan tidak menemukan masalah.
Sama seperti pada contoh pertama, kedalamannya seimbang, dan struktur keluarannya sangat baik. Saya sangat menyukai tabel di bawah ini—lihat saja nilai depresiasinya, dan Anda akan paham mengapa saya akan mempertahankan hibrida berusia 12 tahun saya untuk sementara waktu.
Kesimpulan
Deep Research dari OpenAI sangat menjanjikan dan dapat menghemat banyak waktu riset. Namun, alat ini masih belum andal terkait informasi terbaru, kadang menghasilkan fakta yang salah atau inferensi yang cacat.
Saya masih berpikir Deep Research berada pada fase awal, dan tim OpenAI secara terbuka mengakui hal ini dalam artikel pengumuman mereka.
Sejujurnya, saya akan terus kembali menggunakan Deep Research, dan saya berharap alat ini semakin baik.
