GPT-4o Mini Nedir? Nasıl Çalışır, Kullanım Alanları, API ve Daha Fazlası

GPT-4o Mini Nedir?

GPT-4o mini, damıtma süreci yoluyla daha büyük GPT-4o modelinden türetilmiştir. Bu süreç, daha küçük bir modelin daha büyük ve daha karmaşık modelin davranışını ve performansını taklit edecek şekilde eğitilmesini içerir; böylece maliyet etkin ancak son derece yetenekli bir sürüm ortaya çıkar.

Öne çıkan özellikler

• Geniş bağlam penceresi: GPT-4o mini, GPT-4o'nun 128k token bağlam penceresini korur ve uzun metinleri etkili bir şekilde işlemesini sağlar. Bu, büyük belgeleri analiz etmek veya konuşma geçmişini sürdürmek gibi kapsamlı bağlama ihtiyaç duyan uygulamalar için idealdir.
• Çok modlu yetenekler: Model hem metin hem de görsel girdileri işler; ileride video ve ses girdi/çıktıları için de destek planlanmaktadır. Bu çok yönlülük, metin analizinden görüntü tanımaya kadar çeşitli uygulamalar için uygundur.
• Düşürülmüş maliyet: GPT-4o mini seleflerine göre çok daha uygundur. Maliyeti milyon başına 0,15 ABD doları giriş token'ı ve milyon başına 0,60 ABD doları çıkış token'ıdır; bu, milyon başına 5,00 ABD doları giriş ve 15,00 ABD doları çıkış fiyatına sahip GPT-4o modelinden belirgin şekilde daha ucuzdur. GPT-3.5 Turbo ile karşılaştırıldığında, GPT-4o mini %60'tan daha ucuzdur.
• Geliştirilmiş güvenlik: Model, GPT-4o ile aynı güvenlik özelliklerini içerir ve API'de talimat hiyerarşisi yöntemini kullanan ilk modeldir. Bu, jailbreak, prompt enjeksiyonları ve sistem prompt'u çıkarımlarına karşı direncini artırarak çeşitli uygulamalarda daha güvenli kullanım sağlar.

GPT-4o mini rekabeti

GPT-4o mini, Llama 3 8B, Gemini 1.5 Flash ve Claude Haiku'nun yanı sıra OpenAI'nin kendi GPT-3.5 Turbo'su gibi modellerle rekabet eder. Bu modeller benzer işlevler sunar ancak çoğu zaman daha yüksek maliyetle gelir veya daha az gelişmiş performans metriklerine sahiptir.

• Gemini 1.5 Flash: Gemini 1.5 Flash biraz daha yüksek çıkış hızına sahip olsa da, GPT-4o mini kalite açısından öne çıkar; hem hız hem de yüksek doğruluk gerektiren uygulamalar için daha dengeli bir seçimdir.
• Claude 3 Haiku ve Llama 3 (8B): GPT-4o mini, hem kalite hem de çıkış hızı bakımından bu modellerin önüne geçerek verimliliğini ve etkinliğini gösterir.
• GPT-3.5 Turbo: GPT-4o mini, çıkış hızı ve genel kalite açısından GPT-3.5 Turbo'yu geride bırakır ve GPT-3.5 Turbo'nun sahip olmadığı görme yetenekleri sunar.

Kaynak: Artificial Analysis

GPT-4o Mini Nasıl Çalışır: Damıtma Mekaniği

GPT-4o mini, model damıtma olarak bilinen bir süreç sayesinde performans ve verimlilik dengesini yakalar. Özünde bu, daha küçük ve sadeleştirilmiş bir modelin ("öğrenci"), daha büyük ve daha karmaşık bir modelin ("öğretmen") davranışını ve bilgisini taklit edecek şekilde eğitilmesini içerir.

Bu durumda daha büyük model olan GPT-4o, çok büyük miktarda veri üzerinde önceden eğitilmiş olup dil kalıpları, anlamsal yapı ve hatta akıl yürütme yeteneklerine dair derin bir anlayışa sahiptir. Ancak boyutunun büyüklüğü, hesaplama açısından pahalı olmasına ve bazı uygulamalar için daha az uygun olmasına yol açar.

Model damıtma, daha büyük GPT-4o modelinin bilgi ve yeteneklerinin daha küçük GPT-4o mini'ye aktarılmasını sağlayarak bunu çözer. Genellikle bu, daha küçük modelin, çeşitli girdi verileri üzerinde daha büyük modelin çıktısını tahmin etmeyi öğrenmesiyle yapılır. Bu süreç sayesinde GPT-4o mini, daha büyük muadilinden en önemli bilgi ve becerileri etkili biçimde "damıtır".

Sonuç, daha küçük ve verimli olmasına rağmen, orijinalin performans ve yeteneklerinin büyük bölümünü koruyan bir modeldir. GPT-4o mini, karmaşık dil görevlerini yerine getirebilir, bağlamı anlayabilir ve yüksek kaliteli yanıtlar üretebilir; tüm bunları daha az hesaplama kaynağı tüketerek yapar. Bu da özellikle hız ve maliyet verimliliğinin önemli olduğu geniş bir uygulama yelpazesi için pratik ve uygun fiyatlı bir çözüm haline getirir.

GPT-4o Mini Performansı

GPT-4o mini, çeşitli kıyaslamalarda etkileyici performans sergiliyor. Her bir kıyaslama için, her LLM kıyaslamasının ne olduğunu ve neyi ölçtüğünü açıklayan Claude Artifacts hazırladım.

Akıl yürütme görevleri

Akıl yürütme görevleri için GPT-4o mini'yi aşağıdakilerde değerlendirdik:

MMLU (Massive Multitask Language Understanding), modelleri STEM, beşeri bilimler ve sosyal bilimler dahil 57 farklı konu başlığında çoktan seçmeli sorularla test eden bir kıyaslamadır. Soruların zorluğu temel seviyeden ileri seviyeye kadar değişir. Doğru yanıt sayısını ölçer ve birebir eşleşme gerektirir. GPT-4o Mini %82,0 puan alarak Gemini Flash (%77,9) ve Claude Haiku (%73,8) gibi rakiplerini geride bıraktı.

GPQA (Google-Proof Q&A Benchmark), uzmanlar tarafından hazırlanmış; uzman olmayanları zorlayacak ama uzmanlar için yönetilebilir sorulardan oluşan zorlu bir veri setidir. Sorular, kirlenme risklerini azaltmak için zorluk ve doğruluk açısından birden fazla turda titizlikle doğrulanır.

DROP (Discrete Reasoning Over Paragraphs), modellerin paragraflardan ilgili bilgileri ne kadar iyi çıkarabildiğini ve sıralama ya da sayma gibi akıl yürütme görevlerini ne kadar iyi gerçekleştirebildiğini test eder. Performans, özel F1 ve birebir eşleşme skorlarıyla değerlendirilir.

Matematik ve kodlama yetkinliği

MGSM kıyaslaması, 10 dile çevrilmiş 250 ilkokul düzeyi matematik problemini içerir ve çok dilli akıl yürütme yeteneklerini test eder.

Heuristics'in Mathematics Aptitude Test'i (MATH), lise düzeyindeki yarışma problemlerini içerir. Modelleri, Latex ve Asymptote formatındaki karmaşık matematik problemlerini çözme becerileri bakımından değerlendirir ve en zor sorulara odaklanır.

HumanEval kıyaslaması, oluşturulan kodun belirli birim testlerini geçip geçmediğini değerlendirerek kod üretim performansını ölçer. Kodlama problemi için üretilen k çözümden en az birinin testleri geçme olasılığını belirlemek üzere pass@k metriğini kullanır.

Çok modlu akıl yürütme

Massive Multitask Language Understanding (MMLU) kıyaslaması, bir modelin bilgi yelpazesini, doğal dil anlama derinliğini ve problem çözme yeteneklerini test eder. Genel bilgiden uzmanlık alanlarına kadar 57 konu başlığında 15.000'den fazla çoktan seçmeli soru içerir. MMLU, az örnekli ve sıfır örnekli ayarlarda modelleri değerlendirir; konular bazında doğruluğu ölçer ve nihai puan için sonuçları ortalar.

MathVista kıyaslaması, 28 mevcut çok modlu veri setinden ve yeni oluşturulan 3 veri setinden (IQTest, FunctionQA ve PaperQA) alınan 6.141 örneği içeren matematiksel ve görsel görevleri birleştirir. Gelişmiş görsel anlama ve karmaşık bileşimsel akıl yürütme gerektiren görevlerle modelleri zorlar.

GPT-4o Mini İçin Kullanım Alanları

GPT-4o mini'nin küçük boyutu, düşük maliyeti ve güçlü performansı; kişisel cihazlarda kullanım, hızlı prototipleme ve kaynakların sınırlı olduğu ortamlarda kullanım için idealdir. Ayrıca, gerçek zamanlı yanıt verme yeteneği etkileşimli uygulamaları iyileştirir. GPT-4o mini şu şekillerde etkili biçimde kullanılabilir:

GPT-4o Mini'ye Erişim

GPT-4o Mini'yi OpenAI API üzerinden kullanabilirsiniz; Assistants API, Chat Completions API ve Batch API gibi seçenekler bulunur. İşte OpenAI API ile GPT-4o Mini'yi kullanmaya dair basit bir rehber.

Öncelikle API anahtarınızla kimlik doğrulaması yapmanız gerekir — your_api_key_here ifadesini gerçek API anahtarınızla değiştirin. Kurulumu tamamladıktan sonra GPT-4o Mini ile metin üretmeye başlayabilirsiniz:

from openai import OpenAI 
MODEL="gpt-4o-mini"
## Set the API key
client = OpenAI(api_key="your_api_key_here")
completion = client.chat.completions.create(
  model=MODEL,
  messages=[
    {"role": "system", "content": "You are a helpful assistant that helps me with my math homework!"},
    {"role": "user", "content": "Hello! Could you solve 20 x 5?"}
  ]
)

OpenAI API'nin kurulumu ve kullanımı hakkında daha fazla ayrıntı için GPT-4o API eğitimina göz atın.

Sonuç

GPT-4o mini, performans ve uygun fiyat arasında dikkat çekici bir denge kuran güçlü ve maliyet etkin bir yapay zeka modeli olarak öne çıkıyor.

Daha büyük GPT-4o modelinden damıtılması, geniş bağlam penceresi, çok modlu yetenekleri ve geliştirilmiş güvenlik özellikleriyle birleştiğinde, geniş bir uygulama yelpazesi için çok yönlü ve erişilebilir bir seçenek sunar.

Verimli ve uygun maliyetli yapay zeka çözümlerine olan talep artmaya devam ederken, GPT-4o mini yapay zeka teknolojisinin demokratikleşmesinde önemli bir rol oynamaya adaydır.