Grok 4: Uji, Fitur, Tolok Ukur, Akses, dan Lainnya

Menguji Grok 4

Saya sering menguji model baru, jadi saya cenderung menggunakan kembali beberapa tugas standar untuk melihat perbandingannya. Saya akan melakukan hal yang sama di sini, dengan fokus pada matematika dan pengodean. Ini tidak dimaksudkan sebagai evaluasi menyeluruh terhadap Grok—hanya cara untuk merasakan bagaimana perilakunya dalam pengaturan obrolan khas.

Matematika

Saya ingin mulai dengan perhitungan sederhana: 9,11 - 9,9. Ini mungkin terlihat konyol, tetapi sering membingungkan model bahasa—Claude Sonnet 4, misalnya, salah menjawabnya. Jelas, saya bisa saja menggunakan kalkulator, tetapi tujuan di sini adalah melihat bagaimana model mendekati masalah dan apakah ia dapat mengandalkan alat jika diperlukan atau menyelesaikannya langsung melalui penalaran rantai pemikiran.

Mari lihat bagaimana Grok 4 menjawab:

Ia menjawab dengan benar pada percobaan pertama. Ia menemukan jawabannya melalui penalaran rantai pemikiran, dan juga menggunakan alat kode untuk mengonfirmasi jawaban (bagus!).

Namun, butuh 31 detik untuk merespons, dan keluarannya terlalu panjang untuk prompt sesederhana itu.

Berikutnya, saya ingin menguji Grok 4 pada masalah matematika yang lebih kompleks yang biasanya dapat mendorong batas jendela konteks model:

Prompt: Gunakan semua digit dari 0 hingga 9 masing-masing tepat sekali untuk membuat tiga bilangan x, y, z sehingga x + y = z.

Grok 4 mendekati masalah ini dengan cerdas. Pertama, ia menyadari bahwa ia dapat menghasilkan semua 3.628.800 permutasi angka 0–9 hanya dalam beberapa detik menggunakan Python. Lalu ia mencoba skema yang melibatkan dua bilangan 3 digit yang dijumlahkan menjadi bilangan 4 digit, dan membuat kode yang benar-benar menghasilkan 96 solusi valid!

from itertools import permutations

digits = range(10)

solutions = []

for p in permutations(digits):
    x_digits = p[0:3]
    if x_digits[0] == 0: continue
    y_digits = p[3:6]
    if y_digits[0] == 0: continue
    z_digits = p[6:10]
    if z_digits[0] == 0: continue
    x = int(''.join(map(str, x_digits)))
    y = int(''.join(map(str, y_digits)))
    z = int(''.join(map(str, z_digits)))
    if x + y == z:
        solutions.append((x, y, z))

print(solutions)Didukung oleh

Kemudian, ia mencoba kombinasi lain (seperti 4 digit ditambah 2 digit sama dengan bilangan 4 digit) dengan pendekatan yang sama. Pada akhirnya, ia mencari di web untuk mempelajari lebih lanjut tentang teka-teki matematika ini dan mengonfirmasi jawabannya. Total butuh 157 detik untuk memberikan jawaban ini:

Pengodean 

Untuk tugas pengodean, saya ingin melihat bagaimana perbandingannya dengan Gemini 2.5 Pro dan Claude Opus 4 pada tugas ini:

Prompt: Buatkan saya gim endless runner yang memikat. Instruksi kunci di layar. Adegan p5.js, tanpa HTML. Saya suka dinosaurus bergaya piksel dan latar belakang yang menarik.

Berikut hasilnya:

Kekurangan utamanya adalah gim langsung mulai tanpa memberi pengguna kesempatan untuk memulai sendiri. Dinosaurus pikselnya juga terlihat agak kasar. Meski begitu, instruksi di layar jelas, dan fungsionalitas dasarnya berjalan baik. Saya menyampaikan umpan balik ini ke Grok, dan berikut versi keduanya:

Cukup bagus!

Multimodal konteks panjang

Terakhir, saya ingin melihat seberapa baik Grok 4 menangani tugas multimodal dengan konteks panjang. Saya mengunggah PDF berisi Generative AI Outlook Report (43.087 token) dari Komisi Eropa dan meminta Grok untuk:

Prompt: Analisis seluruh laporan ini dan identifikasi tiga grafik yang paling informatif. Ringkas masing-masing dan beri tahu saya di halaman berapa dalam PDF grafik tersebut muncul.

Mari lihat jawabannya terlebih dahulu, lalu kita uraikan:

Satu hal yang saya perhatikan adalah model ini berhenti mengejutkan cepat, hanya setelah 25 detik. Ia merekomendasikan grafik dari halaman 19, 20, dan 44 (salah), dan tampaknya mengabaikan sisa dokumen 167 halaman begitu menemukan jawaban yang terlihat memadai. Rantai pemikirannya terasa tidak lengkap dan menunjukkan pendekatan yang cukup dangkal:

Sekarang, ke hasilnya:

• Semua nomor halaman salah.
• Ia tidak bisa mengidentifikasi jenis grafik dengan jelas—mengatakan hal seperti “grafik garis atau batang ini.”
• Jawabannya condong ke 50 halaman pertama dan kemungkinan besar melewatkan bagian penting di akhir laporan.
• Ia salah mengklasifikasikan diagram Sankey (Gambar 6) sebagai “diagram pai atau batang.”
• Ia mengira Gambar 6 sebagai Gambar 7 dan akhirnya menganalisis Gambar 7.

Seperti yang ditunjukkan Elon Musk dalam livestream, pemahaman dan generasi gambar Grok 4 masih belum terlalu canggih. Jika Anda ingin hasil yang konsisten dan andal, saya rasa wajar untuk mengatakan bahwa Grok 4 saat ini pada dasarnya adalah model berbasis teks.

Tolok Ukur Grok 4

Klaim utama Grok 4 adalah performanya di berbagai tolok ukur, dari ujian akademik hingga simulasi bisnis. Menurut xAI, model ini meningkat signifikan dibanding versi sebelumnya terutama berkat komputasi yang lebih besar—baik saat pelatihan maupun inferensi—bukan karena terobosan arsitektur baru.

Humanity’s Last Exam (HLE)

Pola inti di balik performa Grok 4 adalah skala. Ia diuntungkan oleh komputasi pelatihan yang lebih besar dan, yang lebih menarik, dari lebih banyak komputasi saat pengujian. Sederhananya: semakin banyak sumber daya yang Anda berikan, semakin baik performanya. Ini terlihat jelas pada kinerjanya di tugas Humanity’s Last Exam (HLE).

Sumber: xAI

Tanpa penggunaan alat, Grok 4 mencapai plateau sekitar 26,9% akurasi. Dengan alat diaktifkan (mis. eksekusi kode), ia mencapai 41,0%. Dan ketika dijalankan dalam konfigurasi multi-agen “Heavy”, nilainya naik menjadi 50,7%—lompatan besar yang lebih dari dua kali lipat skor model terbaik sebelumnya tanpa alat.

Tolok ukur akademik & STEM

Grok 4 juga tampil baik pada evaluasi tradisional berfokus STEM, banyak di antaranya digunakan di seluruh bidang untuk membandingkan LLM berperforma tinggi. Sorotan meliputi:

Ini hasil yang solid. Grok 4 mengungguli Claude Opus, Gemini 2.5 Pro, dan GPT-4 (o3) di sebagian besar kategori, meskipun sebagian pengguna menunjukkan bahwa perbandingan tersebut mungkin melibatkan pemilihan skor dasar yang menguntungkan dari model pesaing.

Sumber: xAI

ARC-AGI (penalaran lanjutan)

Salah satu tolok ukur yang lebih sulit dan tidak transparan adalah ARC-AGI, yang menguji kemampuan model untuk menggeneralisasi di berbagai tugas penalaran abstrak. Pada ARC-AGI v1, Grok 4 mencetak 66,6%, di depan semua rekan yang diketahui. Pada ARC-AGI v2, ia mencetak 15,9%, dibanding 8,6% milik Claude 4 Opus.

Pengujian ini tidak sepenuhnya publik, jadi peringatan biasa berlaku. Namun jika angkanya valid, Grok 4 menunjukkan performa kuat dalam tugas penalaran multilangkah dan sarat logika.

Vending-Bench (simulasi bisnis)

xAI juga menguji Grok 4 dalam simulasi dunia nyata bernama Vending-Bench. Gagasannya adalah melihat apakah model dapat mengelola usaha kecil dari waktu ke waktu: mengisi ulang inventaris, menyesuaikan harga, menghubungi pemasok, dll. Ini tolok ukur yang cukup baru dan mengejutkan cukup menyenangkan. Sebelumnya kami membahas cara kerjanya secara rinci melalui studi kasus Claude Sonnet 3.7 di buletin mingguan kami, The Median.

Hasil (dirata-ratakan dari lima kali jalan):

Grok 4 lebih dari dua kali lipat kinerja pesaing terdekatnya dalam pendapatan dan skala. Ia juga mempertahankan performanya secara konsisten selama 300 putaran simulasi—sesuatu yang banyak model kesulitan saat dihadapkan pada perencanaan jangka panjang.

Sumber: xAI

Singkatnya: Grok 4 tampil baik di tempat xAI mengujinya. Namun seperti biasa, Anda harus melihat melampaui papan peringkat. Tolok ukur ini menjanjikan, tetapi tidak menceritakan keseluruhan cerita—terutama jika kasus penggunaan Anda bergantung pada visi, generasi kode, atau interaksi waktu nyata di lingkungan yang berantakan.

Cara Mengakses Grok 4

Grok 4 kini tersedia melalui tiga jalur utama: aplikasi X, xAI API, dan platform grok.com. Baik Anda ingin mengobrol dengan model, membangunnya, atau menguji kemampuan penalarannya secara lebih formal, berikut cara memulai.

Akses chat (via X)

Cara termudah untuk mencoba Grok 4 adalah melalui aplikasi X (sebelumnya Twitter). Ini memberi Anda akses ke Grok dalam antarmuka obrolan, mirip ChatGPT atau Claude.

Untuk menggunakannya:

• Berlangganan X Premium+, paket tingkat teratas.
• Buka aplikasi X (atau kunjungi x.com).
• Ketuk ikon Grok (navigasi bawah di ponsel, sidebar di desktop).
• Mulai mengobrol. Grok 4 adalah model default, tetapi Anda dapat beralih antar versi.

Akses langsung via Grok.com

Anda juga dapat menggunakan Grok 4 langsung melalui grok.com, yang menawarkan antarmuka mandiri yang lebih bersih di luar platform X. Ini ditujukan bagi pengguna yang lebih suka pengaturan tanpa distraksi.

• Kunjungi https://grok.com
• Daftar dan masuk.
• Akses Grok 4 dalam antarmuka obrolan, dengan dukungan untuk alat, kode, dan konteks panjang

xAI API untuk Grok 4

Jika Anda ingin mengintegrasikan Grok ke dalam aplikasi atau alur kerja Anda sendiri, Anda dapat menggunakan xAI API.

Langkah-langkah:

1. Kunjungi https://x.ai/api dan minta akses pengembang.
2. Setelah disetujui, Anda akan menerima kunci API dan akses ke dokumentasi.
3. Pastikan membaca dokumentasinya untuk detail lebih lanjut.

Apa Berikutnya Setelah Grok 4

Dengan Grok 4 yang kini dirilis, xAI memaparkan peta jalan yang jelas (dan ambisius) untuk sisa tahun 2025. Menurut linimasa yang ditampilkan selama livestream, empat rilis besar dijadwalkan dalam tiga bulan ke depan: model pengodean pada Agustus, agen multimodal pada September, dan model generasi video pada Oktober.

Sumber: xAI

Agustus: Model pengodean spesialis

Tindak lanjut pertama adalah model berfokus pengodean yang diperkirakan hadir pada Agustus. Berbeda dengan Grok 4 yang generalis, ini akan menjadi model khusus yang dirancang untuk menangani kode dengan kecepatan dan akurasi lebih tinggi. xAI menggambarkannya sebagai “cepat dan cerdas,” dilatih khusus untuk meningkatkan latensi dan penalaran dalam alur kerja pengembangan perangkat lunak.

September: Agen multimodal

Pada September, rencananya adalah merilis agen yang benar-benar multimodal. Saat ini, Grok 4 secara teknis mendukung input gambar dan video, tetapi pemahamannya terbatas—selama livestream, tim menggambarkannya seperti “mengerling melalui kaca buram.”

Versi mendatang bertujuan memperbaiki itu, memberi model persepsi yang lebih kuat pada gambar, video, dan audio. Ini akan penting untuk kasus penggunaan di luar teks: pikirkan robotika, permainan, QA video, atau pengikut instruksi visual.

Oktober: Model generasi video

Rilis terakhir dalam linimasa saat ini adalah model generasi video yang dijadwalkan pada Oktober. xAI mengatakan mereka akan melatihnya di lebih dari 100.000 GPU. Berdasarkan pernyataan mereka, sistem ini akan bertujuan menghasilkan konten video berkualitas tinggi, interaktif, dan dapat diedit.

Kesimpulan

Grok 4 adalah langkah besar bagi xAI. Ia mengungguli para pesaing pada sejumlah tolok ukur berkesulitan tinggi, tampil baik dalam evaluasi terstruktur matematika dan sains, dan memperkenalkan sistem multi-agen (Grok 4 Heavy) yang menjanjikan untuk lingkungan riset dan pemikiran jangka panjang.

Meski demikian, ini bukan asisten serbaguna sehari-hari Anda. Ia lebih lambat daripada Grok 3, pemahaman gambar dan videonya masih tahap awal, dan kurang polesan untuk kegunaan harian. Anda perlu mem-prompt dengan hati-hati dan memangkas input karena jendela konteks yang relatif terbatas. Dan jika Anda menginginkan performa terbaik—melalui Grok 4 Heavy—Anda akan membayar mahal untuk itu.

Bagi pengembang dan peneliti, ini layak dieksplorasi. Bagi pengguna kasual, kecepatan dan responsivitas Grok 3 atau model arus utama lainnya lebih cocok. Peta jalannya ambisius, dengan model pengodean, agen multimodal, dan generator video semuanya dijadwalkan sebelum Oktober. Apakah xAI bisa memenuhinya tepat waktu adalah pertanyaan lain. Namun dengan Grok 4, setidaknya mereka telah membuat argumen meyakinkan bahwa mereka ikut dalam persaingan.