Apa Itu GPT-4o Mini? Cara Kerja, Use Case, API, dan Lainnya

Apa Itu GPT-4o Mini?

GPT-4o mini diturunkan dari model GPT-4o yang lebih besar melalui proses distilasi. Proses ini melibatkan pelatihan model yang lebih kecil untuk meniru perilaku dan kinerja model yang lebih besar dan kompleks, menghasilkan versi yang efisien biaya namun tetap sangat kapabel dari yang asli.

Fitur utama

• Jendela konteks besar: GPT-4o mini mempertahankan jendela konteks 128k token dari GPT-4o, memungkinkannya menangani teks panjang secara efektif. Ini ideal untuk aplikasi yang membutuhkan konteks luas, seperti menganalisis dokumen besar atau mempertahankan riwayat percakapan.
• Kemampuan multimodal: Model memproses masukan teks dan gambar, dengan dukungan video dan audio direncanakan di masa mendatang untuk input serta output. Fleksibilitas ini membuatnya cocok untuk berbagai aplikasi, dari analisis teks hingga pengenalan gambar.
• Biaya lebih rendah: GPT-4o mini jauh lebih terjangkau daripada pendahulunya. Biayanya $0,15 per satu juta token input dan $0,60 per satu juta token output, jauh lebih murah dibandingkan model GPT-4o yang dihargai $5,00 per satu juta token input dan $15,00 per satu juta token output. Dibandingkan GPT-3.5 Turbo, GPT-4o mini lebih dari 60% lebih murah.
• Keamanan ditingkatkan: Model ini menyertakan fitur keamanan yang sama seperti GPT-4o dan menjadi yang pertama di API yang menggunakan metode hierarki instruksi. Ini meningkatkan ketahanannya terhadap jailbreak, penyuntikan prompt, dan ekstraksi system prompt, sehingga lebih aman digunakan di berbagai aplikasi.

Persaingan GPT-4o mini

GPT-4o mini bersaing dengan model seperti Llama 3 8B, Gemini 1.5 Flash, dan Claude Haiku, serta GPT-3.5 Turbo milik OpenAI sendiri. Model-model ini menawarkan fungsi serupa namun sering kali hadir dengan biaya lebih tinggi atau metrik kinerja yang kurang maju.

• Gemini 1.5 Flash: Meskipun Gemini 1.5 Flash memiliki kecepatan output yang sedikit lebih tinggi, GPT-4o mini unggul dalam kualitas, menjadikannya pilihan lebih seimbang untuk aplikasi yang membutuhkan kecepatan sekaligus akurasi tinggi.
• Claude 3 Haiku dan Llama 3 (8B): GPT-4o mini melampaui model-model ini dalam kualitas dan kecepatan output, menunjukkan efisiensi dan efektivitasnya.
• GPT-3.5 Turbo: GPT-4o mini mengungguli GPT-3.5 Turbo dalam kecepatan output dan kualitas keseluruhan, serta menawarkan kemampuan visi yang tidak dimiliki GPT-3.5 Turbo.

Sumber: Artificial Analysis

Cara Kerja GPT-4o Mini: Mekanisme Distilasi

GPT-4o mini mencapai keseimbangan kinerja dan efisiensi melalui proses yang dikenal sebagai distilasi model. Intinya, ini melibatkan pelatihan model yang lebih kecil dan lebih ramping ("murid") untuk meniru perilaku dan pengetahuan model yang lebih besar dan lebih kompleks ("guru").

Model yang lebih besar, dalam hal ini GPT-4o, telah dipra-latih pada data dalam jumlah sangat besar dan memiliki pemahaman mendalam tentang pola bahasa, semantik, bahkan kemampuan penalaran. Namun, ukurannya yang sangat besar membuatnya mahal secara komputasi dan kurang cocok untuk aplikasi tertentu.

Distilasi model mengatasi hal ini dengan mentransfer pengetahuan dan kapabilitas dari model GPT-4o yang lebih besar ke GPT-4o mini yang lebih kecil. Biasanya dilakukan dengan membuat model yang lebih kecil mempelajari cara memprediksi output model yang lebih besar pada kumpulan data masukan yang beragam. Melalui proses ini, GPT-4o mini secara efektif "mendistilasi" pengetahuan dan keterampilan paling penting dari padanannya yang lebih besar.

Hasilnya adalah model yang, meskipun lebih kecil dan lebih efisien, mempertahankan banyak kinerja dan kapabilitas dari model asli. GPT-4o mini dapat menangani tugas bahasa yang kompleks, memahami konteks, dan menghasilkan respons berkualitas tinggi, sambil menggunakan sumber daya komputasi yang lebih sedikit. Ini menjadikannya solusi praktis dan terjangkau untuk beragam aplikasi, terutama yang mengutamakan kecepatan dan efisiensi biaya.

Kinerja GPT-4o Mini

GPT-4o mini menunjukkan kinerja mengesankan di berbagai tolok ukur. Saya telah membuat Claude Artifacts untuk setiap tolok ukur guna menjelaskan apa itu masing-masing benchmark LLM dan apa yang diukurnya.

Tugas penalaran

Untuk tugas penalaran, kami mengevaluasi GPT-4o mini pada hal-hal berikut:

MMLU (Massive Multitask Language Understanding) adalah tolok ukur yang menguji model dengan pertanyaan pilihan ganda di 57 subjek berbeda, termasuk STEM, humaniora, dan ilmu sosial. Tingkat kesulitan pertanyaan bervariasi dari dasar hingga lanjutan. Ini mengukur berapa banyak jawaban yang benar dan membutuhkan kecocokan persis. GPT-4o Mini meraih skor 82,0%, melampaui pesaing seperti Gemini Flash (77,9%) dan Claude Haiku (73,8%).

GPQA (Google-Proof Q&A Benchmark) adalah dataset sulit dengan pertanyaan yang dibuat pakar untuk menantang non-pakar namun tetap dapat diatasi oleh spesialis. Pertanyaannya divalidasi dengan cermat baik dari sisi tingkat kesulitan maupun akurasi melalui beberapa putaran untuk mengurangi risiko kontaminasi.

DROP (Discrete Reasoning Over Paragraphs) menguji sejauh mana model dapat mengekstrak informasi relevan dari paragraf dan melakukan tugas penalaran seperti mengurutkan atau menghitung. Kinerja dievaluasi menggunakan skor F1 kustom dan exact match.

Kemahiran matematika dan pengkodean

Tolok ukur MGSM mencakup 250 soal matematika tingkat sekolah dasar yang diterjemahkan ke dalam 10 bahasa, menguji kemampuan penalaran multibahasa.

Mathematics Aptitude Test of Heuristics (MATH) menampilkan soal kompetisi tingkat sekolah menengah. Ini mengevaluasi kemampuan model memecahkan soal matematika kompleks yang diformat dalam Latex dan Asymptote, dengan fokus pada pertanyaan paling menantang.

Tolok ukur HumanEval mengukur kinerja generasi kode dengan mengevaluasi apakah kode yang dihasilkan lulus uji unit tertentu. Ia menggunakan metrik pass@k untuk menentukan probabilitas bahwa setidaknya satu dari k solusi untuk sebuah masalah pemrograman lulus pengujian.

Penalaran multimodal

Tolok ukur Massive Multitask Language Understanding (MMLU) menguji keluasan pengetahuan model, kedalaman pemahaman bahasa alami, dan kemampuan pemecahan masalah. Ini menampilkan lebih dari 15.000 pertanyaan pilihan ganda yang mencakup 57 subjek, dari pengetahuan umum hingga bidang khusus. MMLU mengevaluasi model dalam pengaturan few-shot dan zero-shot, mengukur akurasi di berbagai subjek dan merata-ratakan hasilnya untuk skor akhir.

Tolok ukur MathVista menggabungkan tugas matematika dan visual, menampilkan 6.141 contoh yang diambil dari 28 dataset multimodal yang ada dan 3 dataset baru (IQTest, FunctionQA, dan PaperQA). Ini menantang model dengan tugas yang memerlukan pemahaman visual tingkat lanjut dan penalaran komposisional yang kompleks.

Use Case untuk GPT-4o Mini

Ukuran kecil, biaya rendah, dan kinerja kuat GPT-4o mini membuatnya ideal untuk digunakan pada perangkat pribadi, pembuatan prototipe cepat, dan lingkungan dengan sumber daya terbatas. Selain itu, kemampuan respons waktu nyata meningkatkan aplikasi interaktif. Berikut cara menggunakan GPT-4o mini secara efektif:

Mengakses GPT-4o Mini

Anda dapat menggunakan GPT-4o Mini melalui OpenAI API, yang mencakup opsi seperti Assistants API, Chat Completions API, dan Batch API. Berikut panduan singkat cara menggunakan GPT-4o Mini dengan OpenAI API.

Pertama, Anda perlu melakukan autentikasi menggunakan kunci API Anda—ganti your_api_key_here dengan kunci API sebenarnya. Setelah siap, Anda dapat mulai menghasilkan teks dengan GPT-4o Mini:

from openai import OpenAI 
MODEL="gpt-4o-mini"
## Set the API key
client = OpenAI(api_key="your_api_key_here")
completion = client.chat.completions.create(
  model=MODEL,
  messages=[
    {"role": "system", "content": "You are a helpful assistant that helps me with my math homework!"},
    {"role": "user", "content": "Hello! Could you solve 20 x 5?"}
  ]
)

Untuk detail lebih lanjut tentang penyiapan dan penggunaan OpenAI API, lihat tutorial API GPT-4o.

Kesimpulan

GPT-4o mini tampil sebagai model AI yang bertenaga dan hemat biaya, mencapai keseimbangan yang patut dicatat antara kinerja dan keterjangkauan.

Hasil distilasi dari model GPT-4o yang lebih besar, dikombinasikan dengan jendela konteks besar, kemampuan multimodal, dan fitur keamanan yang ditingkatkan, menjadikannya opsi serbaguna dan mudah diakses untuk berbagai aplikasi.

Seiring meningkatnya permintaan akan solusi AI yang efisien dan terjangkau, GPT-4o mini berada pada posisi yang tepat untuk memainkan peran penting dalam mendemokratisasi teknologi AI.