Claude 3.7 Sonnet: Fitur, Akses, Tolok Ukur, dan Lainnya

Apa Itu Claude 3.7 Sonnet?

Claude 3.7 Sonnet adalah model AI terbaru dari Anthropic, diposisikan sebagai lompatan besar dalam penalaran, pengodean, dan pemecahan masalah di dunia nyata. Perubahan terbesar adalah dukungan Thinking Mode, yang memungkinkan kita melihat proses penalaran model selangkah demi selangkah. Begini cara kerjanya:

Model penalaran makin penting dan umum, dan kami paham alasannya. Jika Anda melihat grafik di bawah, Anda akan melihat bahwa 37,2% pengguna mengandalkan Claude untuk pertanyaan coding dan matematika, menurut Anthropic Economic Index. Ini memberi satu petunjuk—model penalaran yang kuat dapat menghadirkan nilai bisnis nyata, terutama saat adopsi AI di lingkungan enterprise masih rendah.

Sumber: Antrophic Economic Index

Pada saat yang sama, Claude 3.7 bukan hanya model penalaran—melainkan hibrida. Kita bisa beralih antara Thinking Mode (untuk tugas penalaran terstruktur) dan mode chat standar untuk percakapan umum, penulisan, dan peringkasan.

Claude 3.7 Sonnet vs. Claude 3.5 Sonnet

Claude 3.7 Sonnet merupakan peningkatan yang jauh lebih besar daripada yang disiratkan nomor versinya. Data tolok ukur menegaskan bahwa model ini melampaui Claude 3.5 Sonnet dalam penalaran, pengodean, dan eksekusi tugas dunia nyata.

Kinerja rekayasa perangkat lunak

Claude 3.7 Sonnet menunjukkan keunggulan jelas dalam rekayasa perangkat lunak, dengan skor akurasi 62,3% pada SWE-bench Verified, lonjakan signifikan dari 49,0% milik Claude 3.5 Sonnet. Saat menggunakan custom scaffold (prompt terstruktur atau konteks tambahan yang membantu mengarahkan respons model ke solusi yang lebih akurat), akurasinya meningkat menjadi 70,3%, menjadikannya model dengan kinerja terbaik di kategori ini.

Sumber: Anthropic

Peningkatan akurasi hampir 13% antar versi model bukan sekadar penyempurnaan kecil. Ini menunjukkan bahwa Claude 3.7 Sonnet telah dioptimalkan untuk pemahaman dan eksekusi tugas terkait pemrograman yang lebih baik. Bagi pengguna yang mengandalkan Claude untuk rekayasa perangkat lunak, debugging, atau otomatisasi, peningkatan ini terasa nyata.

Penggunaan alat agentik

Performa dalam penggunaan alat agentik juga menjadi area di mana Claude 3.7 Sonnet melampaui pendahulunya. Untuk tugas ritel, model ini mencapai akurasi 81,2%, naik dari 71,5% milik Claude 3.5 Sonnet. Untuk tugas terkait maskapai, skornya 58,4%, meningkat hampir sepuluh poin dari versi sebelumnya.

Sumber: Anthropic

Tolok ukur keseluruhan

Di seluruh tolok ukur, peningkatan terbesar datang dari extended thinking mode, yang memungkinkan Claude 3.7 berkinerja jauh lebih tinggi pada tugas penalaran kompleks. Pengguna yang mengandalkan AI untuk alur kerja terstruktur, coding, atau pemecahan masalah akan melihat perbedaan jelas antara Claude 3.5 dan Claude 3.7, terutama saat menggunakan extended thinking.

Sumber: Anthropic

Sebagian besar kemajuan ini berasal dari extended thinking milik Claude, jadi mari kita bahas lebih lanjut.

Extended Thinking pada Claude

Saat diaktifkan, extended thinking mode menambah jumlah langkah penalaran yang diambil Claude sebelum memfinalisasi jawaban. Pengembang dapat menyetel proses ini dengan menetapkan thinking budget, yang mendefinisikan berapa banyak token yang dapat digunakan model saat mengerjakan sebuah masalah. Seperti ditunjukkan pada grafik performa AIME 2024 di bawah, akurasi meningkat seiring alokasi token yang lebih besar, mengikuti tren logaritmik.

Sumber: Anthropic

Pendekatan ini mencerminkan upaya kognitif manusia: untuk tugas sederhana, jawaban cepat sudah memadai, tetapi untuk tugas kompleks, analisis lebih dalam menghasilkan hasil lebih baik. Kini Claude dapat memutuskan kapan harus jeda, mengevaluasi ulang, dan memperbaiki penalarannya alih-alih langsung memberi respons.

Salah satu aspek paling menarik dari extended thinking mode adalah proses penalaran Claude dapat dilihat pengguna. Namun, fitur ini menimbulkan tantangan. Meski memberi wawasan tentang penalaran AI, proses berpikir yang ditampilkan mungkin tidak selalu sepenuhnya selaras dengan cara model benar-benar mengambil keputusan. “Masalah faithfulness”—apakah pikiran yang dilaporkan AI secara akurat mewakili mekanisme internalnya—masih menjadi pertanyaan riset terbuka.

Kemampuan Claude 3.7 Sonnet untuk melakukan penalaran jangka panjang dan iteratif diuji dalam evaluasi seperti OSWorld dan permainan Pokémon Red. Di Pokémon Red, misalnya, Claude 3.7 Sonnet mencapai progres dalam permainan yang jauh lebih besar daripada versi sebelumnya, melewati banyak tonggak sementara model terdahulu macet di awal permainan.

Sumber: Anthropic

Tolok Ukur Claude 3.7 Sonnet

Kita sudah melihat bagaimana kinerja Claude 3.7 Sonnet dibandingkan versi sebelumnya, tetapi bagaimana jika dibandingkan dengan o3-mini dari OpenAI, DeepSeek-R1, atau Grok 3?

Melihat tolok ukur terbaru, Claude 3.7 Sonnet memosisikan diri sebagai salah satu model berkinerja terbaik, terutama pada tugas yang berat penalaran, coding, dan penggunaan alat agentik.

Penalaran dan matematika

Pada penalaran tingkat pascasarjana (GPQA Diamond), Claude 3.7 Sonnet meraih 68,0% dalam mode standar dan 84,8% dalam extended thinking mode, menjadikannya salah satu model terkuat di kategori ini. Model ini melampaui o1 milik OpenAI (78,0%) dan DeepSeek-R1 (71,5%) dengan selisih besar dan hanya terpaut sedikit dari Grok 3 Beta (84,6%).

Tolok ukur AIME 2024, yang menguji soal kompetisi matematika tingkat SMA, menunjukkan tren serupa. Claude 3.7 Sonnet membuat lompatan besar dari versi sebelumnya, meraih 80,0% dengan extended thinking diaktifkan. Meski mengungguli DeepSeek-R1 (79,8%) tipis, model ini masih tertinggal dari o3-mini milik OpenAI (87,3%) dan Grok 3 Beta (93,3%).

Dalam pemecahan masalah matematika (MATH 500), Claude 3.7 Sonnet mencapai 96,2%, mendekati o3-mini dari OpenAI (97,9%) dan DeepSeek R1 (97,3%).

Coding dan penggunaan alat agentik

Claude 3.7 Sonnet meraih peningkatan terbesar pada tolok ukur coding. Di SWE-bench Verified (yang mengevaluasi model AI pada tugas rekayasa perangkat lunak), Claude 3.7 Sonnet meraih 62,3%, naik menjadi 70,3% dengan custom scaffold. Ini menempatkannya jauh di depan OpenAI o1 (48,9%) dan o3-mini (49,3%), serta DeepSeek R1 (49,2%) yang memang dirancang dengan fokus pada coding. Ini menegaskan bahwa Claude 3.7 kini menjadi salah satu model AI terbaik untuk tugas terkait pemrograman.

Di luar coding, Claude 3.7 Sonnet unggul dalam penggunaan alat agentik, menjadikannya pilihan kuat untuk otomatisasi dan eksekusi alur kerja. Pada TAU-bench (yang menguji kemampuan AI berinteraksi dengan alat eksternal di lingkungan terstruktur), Claude 3.7 meraih 81,2% pada tugas ritel, melampaui OpenAI o1 (73,5%). Untuk tugas terkait maskapai, Claude 3.7 mencapai 58,4%, kembali mengungguli OpenAI o1 (54,2%).

Ini menunjukkan bahwa Claude 3.7 cocok untuk aplikasi bisnis dan alur kerja terstruktur, menjadikannya pilihan kuat bagi pengguna enterprise yang ingin mengintegrasikan AI ke dalam proses pengambilan keputusan dan operasional.

Cara Mengakses Claude 3.7 Sonnet

Claude 3.7 Sonnet tersedia melalui beberapa kanal, termasuk antarmuka web Anthropic, integrasi Claude di berbagai aplikasi, dan akses API untuk pengembang. Meski model ini merupakan peningkatan signifikan, ketersediaannya memiliki beberapa batasan—terutama jika Anda ingin menggunakan Thinking Mode, yang saat ini terkunci di tingkat berbayar.

Akses web dan aplikasi

Untuk pengguna umum, Claude 3.7 Sonnet dapat diakses melalui situs resmi Anthropic (claude.ai) dan aplikasi Claude. Model ini tersedia di tingkat gratis, tetapi dengan batasan:

• Pengguna gratis dapat mengakses Claude 3.7 Sonnet untuk tugas dasar seperti penulisan, peringkasan, dan tanya jawab umum, tetapi Thinking Mode dinonaktifkan.
• Pengguna Claude Pro (paket berbayar $20/bulan) mendapatkan akses penuh ke Thinking Mode, bersama dengan batas pesan yang lebih tinggi dan akses prioritas saat jam sibuk.

Untuk mengaktifkan Thinking Mode, Anda perlu mengeklik Extended dari menu dropdown model:

Akses API Claude 3.7 Sonnet

Pengembang dapat mengintegrasikan Claude 3.7 Sonnet ke dalam aplikasi mereka menggunakan API Anthropic, yang dapat diakses melalui portal pengembang Anthropic. API ini mendukung model harga pay-as-you-go berdasarkan penggunaan token.

Berikut gambaran umum penawaran API Anthropic:

Sumber: Anthropic

Pastikan selalu memeriksa harga API terbaru.

Kesimpulan

Anthropic baru saja membuat langkah terbesarnya dalam beberapa waktu melalui Claude 3.7 Sonnet, model yang akhirnya membawa mereka ke ranah AI penalaran. Berdasarkan tolok ukur, kita dapat melihat bahwa model ini menjadi pesaing sah bagi o3-mini milik OpenAI, DeepSeek-R1, dan Grok 3, dengan performa kuat dalam coding, pemecahan masalah terstruktur, dan penggunaan alat agentik.

Kemampuan untuk beralih antara generalist dan reasoning mode membuatnya lebih serbaguna, tetapi mengunci Thinking Mode di balik paywall terasa kurang tepat, apalagi dengan adanya alternatif gratis. Meski begitu, Claude 3.7 tetap merupakan langkah maju besar.

Siap ke langkah berikutnya? Saksikan video API Claude 3.7 Sonnet kami, di mana kami akan menunjukkan cara membangun asisten riset multimodal Anda sendiri.