Gemini 1.5 Pro API Eğitimi: Google’ın LLM’ine Başlangıç

Gemini 1.5 Pro, Gemini ailesinde önemli bir ilerlemeyi temsil eder. Uzun bağlamlı akıl yürütme özelliğini sunarak farklı biçimlerdeki (metin, video ve ses) çok büyük veri kümeleriyle çalışmamıza olanak tanır.

Bu eğitimde, Gemini 1.5 Pro API’sine nasıl bağlanacağımızı öğreneceğiz. Erişim, uzun belge ve video soru-cevap, uzun bağlamlı otomatik konuşma tanıma (ASR) ve bağlam içi öğrenme gibi görevleri nasıl yürüteceğimizi göreceğiz.

Gemini hakkında daha fazla bilgi edinmek isterseniz Google Gemini nedir başlıklı bu makaleye göz atın.

Gemini Ailesi

Gemini AI, Google Research ve Google DeepMind dahil olmak üzere Google içindeki birden çok ekibin ortak çalışmasıyla geliştirilen bir dizi üretken yapay zeka modelini kapsar.

Genel amaçlı çok modlu görevler için güçlü yeteneklerle donatılan bu modeller, geliştiricilere içerik üretimi ve sorun çözme görevlerinde yardımcı olmak üzere tasarlanmıştır. Her bir model varyantı, belirli kullanım senaryolarına optimize edilmiştir ve böylece farklı ortamlarda en iyi performans sağlanır.

Gemini AI, üç model boyutu sunarak hesaplama kaynakları ile işlevsellik arasındaki dengeyi gözetir:

Birincil odağımız, Gemini 1.5 serisinde yayımlanan ilk model olan Gemini 1.5 Pro üzerinde olacak.

Gemini 1.5 Pro’nun Yetenekleri

Gemini 1.5 Pro, en az 10 milyon tokene kadar büyük bir bağlam penceresiyle, gerçek dünya senaryolarındaki geniş bir uygulama yelpazesinde uzun bağlamları anlama sorununu ele alabilir.

Uzun bağımlılık görevlerine ilişkin kapsamlı bir değerlendirme, Gemini 1.5 Pro modelinin uzun bağlam yeteneklerini ayrıntılı biçimde ölçmek için gerçekleştirilmiştir. Gemini 1.5 Pro modeli, "samanlıkta iğne" olarak bilinen zorlayıcı görevi başarıyla yerine getirerek, metin, video ve sesi kapsayan tüm biçimlerde, milyonlarca token’a ulaşan samanlıklar içinde dahi "iğne"yi neredeyse kusursuz (>%99) bir geri çağırma oranıyla bulmuştur.

Bu geri çağırma performansı, metin modunda samanlık boyutları 10 milyon tokene ulaştığında bile kayda değer biçimde korunmuştur.

Gemini 1.5 Pro modeli, özellikle tüm uzun içerik boyunca genişçe yayılan birden çok kanıt arasındaki karşılıklı bağımlılıkların anlaşılmasını gerektiren uzun bağımlılık Soru-Cevap (QA) örnekleri gibi görevlerde, haricî erişim yöntemleriyle güçlendirilmiş modeller de dahil olmak üzere tüm rakip modelleri geride bırakmıştır.

Gemini 1.5 Pro ayrıca, çok uzun metinler sayesinde, tek bir dilbilimsel dokümantasyon setinden yeni bir dili çevirme gibi bağlam içinde görev öğrenme konusunda da dikkat çekici bir yetenek sergilemiştir.

Gemini 1.5 Pro’nun uzun bağlam performansındaki bu ilerleme, modelin temel çok modlu yeteneklerinden ödün vermemesi bakımından da önemlidir. Önceki sürümüyle (1.0 Pro) karşılaştırıldığında, çeşitli alanlarda önemli ölçüde iyileşme göstermiştir (Matematik, Bilim ve Akıl Yürütme alanlarında +%28,9).

Hatta, daha az kaynak gerektirmesine ve hesaplama açısından daha verimli olmasına rağmen, ölçütlerin yarısından fazlasında üst seviye 1.0 Ultra modelini dahi geride bırakır; özellikle metin ve görsel görevlerinde öne çıkar (aşağıdaki tabloda gösterildiği gibi).

Veri kaynağı.

Daha ayrıntılı içgörüler için teknik rapora başvurmanızı öneririm: “Gemini 1.5: Bağlamdaki milyonlarca token arasında çok modlu anlayışın kilidini açmak”.

Gemini 1.5 Pro Uygulamaları

Milyonlarca token’ı işleyebilme yeteneğiyle, yeni pratik uygulamalar ortaya çıkar.

Gemini 1.5 Pro, yazılım mühendisliğinde yaygın biçimde kullanılabilir. Bağlamda tüm 746.152 token’lık JAX kod tabanı verildiğinde, Gemini 1.5 Pro çekirdek bir otomatik türev alma yönteminin belirli konumunu saptayabilir.

Bir başvuru dilbilgisi kitabı ve iki dilli bir sözcük listesine (toplam ∼250 bin) erişimle, Gemini 1.5 Pro, İngilizceyi Kalamang diline, aynı kaynakları kullanan bir insanın kalitesine yakın biçimde çevirebilir.

Kalamang için çevrimiçi verinin sınırlı olması (200’den az konuşmacı) Gemini 1.5 Pro’yu, dili anlamak ve çevirmek için her istemde sağlanan bağlama tamamen dayanmak zorunda bırakır. Bu bulgu, bağlamı genişletilmiş LLM’lerin tehlike altındaki dillerin korunması ve canlandırılmasına yardımcı olmak ve farklı dil toplulukları arasında iletişimi ve anlayışı geliştirmek için kullanılmasına yönelik umut verici fırsatlara işaret eder.

Gemini 1.5 Pro, Sefiller’in (1382 sayfa, 732 bin token) tüm metni verildiğinde bir görsel soruyu da yanıtlayabilir. Doğuştan çok modlu olan model, elle çizilmiş bir eskizden ünlü bir sahneyi tanımlayabilir.

45 dakikalık sessiz bir film olan “Sherlock Jr.” (1 FPS’de 2.674 kare, 684 bin token) verildiğinde, Gemini 1.5 Pro belirli bir kareden metinsel bilgiyi alıp çıkarır ve karşılık gelen zaman damgasını sunar. Model ayrıca filmdeki bir sahneyi elle çizilmiş bir eskizden tanımlayabilir.

Gemini 1.5 Pro API: Nasıl Kullanılır?

Artık Gemini 1.5 Pro’nun yeteneklerini ve uygulamalarını bildiğimize göre, API’sine nasıl bağlanacağımızı öğrenelim.

Adım 1: Bir API anahtarı oluşturun

Öncelikle, Google AI for Developers sayfasından bir API anahtarı almamız gerekiyor (Google hesabınıza giriş yaptığınızdan emin olun). Bunu Get an API key düğmesine tıklayarak yapabiliriz:

Sonraki adımda, projeyi oluşturup API anahtarını üretmemiz gerekir.

Adım 2: API kitaplığını Python’a aktarın

Önce pip kullanarak Gemini Python API paketini kuralım.

%pip install google-generativeai

Ardından Jupyter defterimizi başlatıp projemiz için gerekli temel Python kütüphanelerini içe aktaracağız.

import google.generativeai as genai
from google.generativeai.types import ContentType
from PIL import Image
from IPython.display import Markdown
import time
import cv2

Adım 3: Bir API çağrısı yapın

Önce API anahtarımızı GOOGLE_API_KEY değişkenine yerleştirip yapılandıralım:

GOOGLE_API_KEY = ‘your-api-key-goes-here’
genai.configure(api_key=GOOGLE_API_KEY)

API’yi çağırmadan önce, ücretsiz API üzerinden kullanılabilir modellere bir göz atalım.

for m in genai.list_models():
	if 'generateContent' in m.supported_generation_methods:
    	print(m.name)

models/gemini-1.0-pro
models/gemini-1.0-pro-001
models/gemini-1.0-pro-latest
models/gemini-1.0-pro-vision-latest
models/gemini-1.5-flash-latest
models/gemini-1.5-pro-latest
models/gemini-pro
models/gemini-pro-vision

gemini-1.5-pro-latest modeline erişelim:

model = genai.GenerativeModel('gemini-1.5-pro-latest')

Şimdi ilk API çağrımızı yapalım ve Gemini 1.5 Pro’ya bir istem gönderelim!

response = model.generate_content("Please provide a list of the most influential people in the world.")
print(response.text)

Model, yalnızca birkaç satır kodla net ve ayrıntılı bir yanıt sundu.

Gemini AI, bir isteme birden fazla aday yanıt üretebilir; böylece en uygun olanı seçebilirsiniz.

Gemini 1.5 Pro API: Görselle İstem Verme

Bu bölümde, bir görselden kitap listesini otomatik olarak çıkarmak için Gemini 1.5 Pro’dan nasıl yararlanacağımızı öğreneceğiz!

Önce şu görseli ele alalım:

Üzerinde birkaç kitabın dizili olduğu bir kitaplık görseli.

Önce modele, görseldeki kitap adlarını belirli bir düzene göre saptayıp listelemesini söyleyelim:

text_prompt = "List all the books and help me organize them into three categories."

Sonra, modelin analizine hazırlamak için "bookshelf.jpeg" görselimizi Image sınıfını kullanarak açacağız.

bookshelf_image = Image.open('bookshelf.jpeg')

text_prompt ve bookshelf_image öğelerini bir listeye koyup modeli çalıştıralım:

prompt = [text_prompt, bookshelf_image]
response = model.generate_content(prompt)

Çıktının Markdown biçiminde olmasını önlemek için IPython Markdown aracını kullanalım.

Markdown(response.text)

Model, yüklenen görseldeki tüm kitapları başarıyla üç farklı kategoriye ayırmayı başardı.

Sonuç

Bu eğitimde, Gemini 1.5 ailesinin ilk sürümü olan Gemini 1.5 Pro’yu tanıttık. Çok modlu yetenekleri ve verimliliğinin ötesinde, Gemini 1.5 Pro, Gemini 1.0 serisine kıyasla içerik penceresini 32 binden milyonlarca token’a genişletir.

Metin, görsel, video veya sesle çalışırken, Gemini 1.5 Pro API, bilgi erişimi ve soru-cevap’tan içerik üretimi ve çeviriye kadar çeşitli uygulamaların üstesinden gelmek için esneklik sunar.

Yapay zeka hakkında daha fazla bilgi edinmek isterseniz, altı dersten oluşan AI Fundamentals yetkinlik yoluna göz atın.