Tutorial API Gemini 1.5 Pro: Mulai Menggunakan LLM Google

Gemini 1.5 Pro merupakan kemajuan signifikan dalam keluarga Gemini. Versi ini memperkenalkan penalaran konteks panjang, yang memungkinkan kita bekerja dengan dataset besar di berbagai modalitas (teks, video, dan audio).

Dalam tutorial ini, kita akan mempelajari cara terhubung ke API Gemini 1.5 Pro. Kita akan belajar mengeksekusi tugas seperti penelusuran (retrieval), tanya jawab untuk dokumen dan video panjang, pengenalan ucapan otomatis (ASR) untuk konteks panjang, dan pembelajaran dalam konteks.

Jika Anda ingin mempelajari lebih lanjut tentang Gemini, baca artikel ini: Apa itu Google Gemini.

Keluarga Gemini

Gemini AI mencakup serangkaian model AI generatif yang dikembangkan secara kolaboratif oleh beberapa tim di Google, termasuk Google Research dan Google DeepMind.

Model-model ini, dengan kemampuan kuat untuk tugas multimodal umum, dirancang untuk membantu pengembang dalam pembuatan konten dan pemecahan masalah. Setiap varian model dioptimalkan untuk kasus penggunaan tertentu, memastikan kinerja optimal di berbagai skenario.

Gemini AI menyeimbangkan sumber daya komputasi dan fungsionalitas dengan menawarkan tiga ukuran model:

Fokus utama kita adalah pada Gemini 1.5 Pro, model pertama dalam seri Gemini 1.5 yang dirilis.

Kemampuan Gemini 1.5 Pro

Dengan jendela konteks yang besar hingga setidaknya 10 juta token, Gemini 1.5 Pro dapat mengatasi tantangan pemahaman konteks panjang di berbagai aplikasi dalam skenario dunia nyata.

Evaluasi komprehensif terhadap tugas ketergantungan panjang telah dilakukan untuk menilai secara mendalam kemampuan konteks panjang model Gemini 1.5 Pro. Model Gemini 1.5 Pro berhasil menangani tugas menantang "needle-in-a-haystack", mencapai pengingatan (recall) hampir sempurna (>99%) terhadap "jarum" bahkan di tengah tumpukan jerami yang membentang beberapa juta token di semua modalitas, mencakup teks, video, dan audio.

Kinerja recall ini tetap terjaga bahkan dengan ukuran tumpukan jerami yang mencapai 10 juta token dalam modalitas teks.

Model Gemini 1.5 Pro melampaui semua model pesaing, termasuk yang ditingkatkan dengan metode penelusuran eksternal, khususnya pada tugas yang menuntut pemahaman keterkaitan antarbukti yang tersebar luas di seluruh konten panjang, seperti kasus Tanya Jawab (QA) ketergantungan panjang.

Gemini 1.5 Pro juga menunjukkan kemampuannya yang luar biasa, dimungkinkan oleh teks yang sangat panjang, untuk mempelajari tugas dalam konteks, misalnya menerjemahkan bahasa baru dari satu set dokumentasi linguistik.

Kemajuan kinerja konteks panjang Gemini 1.5 Pro ini patut dicatat karena tidak mengorbankan kemampuan multimodal mendasar model. Dibandingkan pendahulunya (1.0 Pro), terjadi peningkatan substansial di berbagai bidang (+28,9% pada Matematika, Sains, dan Penalaran).

Model ini bahkan melampaui model 1.0 Ultra kelas atas pada lebih dari setengah tolok ukur, khususnya unggul dalam tugas teks dan visi (sebagaimana ditunjukkan pada tabel di bawah). Hal ini dicapai meskipun membutuhkan lebih sedikit sumber daya dan lebih efisien secara komputasi.

Sumber data.

Untuk wawasan yang lebih mendalam, saya merekomendasikan untuk membaca laporan teknis: “Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context” untuk informasi lebih rinci.

Aplikasi Gemini 1.5 Pro

Dengan kemampuan memproses jutaan token, muncullah aplikasi-aplikasi praktis yang baru.

Gemini 1.5 Pro dapat banyak digunakan dalam rekayasa perangkat lunak. Dengan seluruh basis kode JAX berjumlah 746.152 token dalam konteks, Gemini 1.5 Pro dapat mengidentifikasi lokasi spesifik dari metode diferensiasi otomatis inti.

Dengan akses ke buku tata bahasa referensi dan daftar kata dwibahasa (total ∼250 ribu), Gemini 1.5 Pro dapat menerjemahkan dari bahasa Inggris ke Kalamang dengan kualitas yang sebanding dengan manusia yang belajar menggunakan sumber daya yang sama.

Keterbatasan ketersediaan data daring untuk Kalamang (kurang dari 200 penutur) memaksa Gemini 1.5 Pro mengandalkan sepenuhnya pada konteks yang disediakan di setiap prompt untuk memahami dan menerjemahkan bahasa tersebut. Temuan ini menunjukkan peluang menjanjikan untuk memanfaatkan LLM dengan kemampuan konteks yang diperluas guna membantu melestarikan dan menghidupkan kembali bahasa yang terancam punah serta mendorong komunikasi dan pemahaman di antara komunitas bahasa yang berbeda.

Gemini 1.5 Pro juga dapat menjawab kueri gambar dengan diberikan seluruh teks Les Misérables (1382 halaman, 732 ribu token). Karena bersifat multimodal secara native, model dapat mengidentifikasi adegan terkenal dari sketsa gambar tangan.

Dengan diberikan film bisu berdurasi 45 menit “Sherlock Jr.” (2.674 frame pada 1FPS, 684 ribu token), Gemini 1.5 Pro mengambil dan mengekstrak informasi tekstual dari frame tertentu dan memberikan cap waktu yang sesuai. Model juga dapat mengidentifikasi suatu adegan dalam film dari sketsa gambar tangan.

API Gemini 1.5 Pro: Cara Menggunakannya

Sekarang setelah kita mengetahui kemampuan dan aplikasinya, mari pelajari cara terhubung ke API Gemini 1.5 Pro.

Langkah 1: Hasilkan kunci API

Pertama, kita perlu mendapatkan kunci API dari halaman Google AI for Developers (pastikan Anda sudah masuk ke akun Google Anda). Kita bisa melakukannya dengan mengeklik tombol Get an API key:

Selanjutnya, kita perlu menetapkan proyek dan membuat kunci API.

Langkah 2: Impor pustaka API ke Python

Mari pasang terlebih dahulu paket API Gemini untuk Python menggunakan pip.

%pip install google-generativeai

Selanjutnya, kita akan membuka notebook Jupyter dan mengimpor pustaka Python esensial yang dibutuhkan untuk proyek kita.

import google.generativeai as genai
from google.generativeai.types import ContentType
from PIL import Image
from IPython.display import Markdown
import time
import cv2

Langkah 3: Panggil API

Mari mulai dengan mengisi kunci API kita ke variabel GOOGLE_API_KEY dan mengonfigurasinya:

GOOGLE_API_KEY = ‘your-api-key-goes-here’
genai.configure(api_key=GOOGLE_API_KEY)

Sebelum memanggil API, mari cek terlebih dahulu model yang tersedia melalui API gratis.

for m in genai.list_models():
	if 'generateContent' in m.supported_generation_methods:
    	print(m.name)

models/gemini-1.0-pro
models/gemini-1.0-pro-001
models/gemini-1.0-pro-latest
models/gemini-1.0-pro-vision-latest
models/gemini-1.5-flash-latest
models/gemini-1.5-pro-latest
models/gemini-pro
models/gemini-pro-vision

Mari akses model gemini-1.5-pro-latest:

model = genai.GenerativeModel('gemini-1.5-pro-latest')

Sekarang mari lakukan panggilan API pertama kita dan beri prompt ke Gemini 1.5 Pro!

response = model.generate_content("Please provide a list of the most influential people in the world.")
print(response.text)

Model memberikan respons yang jelas dan terperinci hanya dengan beberapa baris kode.

Gemini AI dapat menghasilkan beberapa respons yang disebut kandidat untuk sebuah prompt, sehingga Anda dapat memilih yang paling sesuai.

API Gemini 1.5 Pro: Prompt Gambar

Di bagian ini, kita akan mempelajari cara memanfaatkan Gemini 1.5 Pro untuk mengotomatisasi ekstraksi daftar buku dari sebuah gambar!

Pertama, mari lihat gambar ini:

Gambar rak buku dengan beberapa buku tersusun di atasnya.

Pertama, mari instruksikan model untuk mengidentifikasi dan membuat daftar judul buku pada gambar dengan mengikuti urutan tertentu:

text_prompt = "List all the books and help me organize them into three categories."

Selanjutnya, kita akan membuka gambar "bookshelf.jpeg" menggunakan kelas Image, menyiapkannya untuk dianalisis oleh model.

bookshelf_image = Image.open('bookshelf.jpeg')

Mari gabungkan text_prompt dan bookshelf_image ke dalam sebuah daftar dan berikan prompt ke model:

prompt = [text_prompt, bookshelf_image]
response = model.generate_content(prompt)

Untuk menghindari keluaran dalam format Markdown, mari gunakan alat Markdown dari IPython.

Markdown(response.text)

Model berhasil mengategorikan semua buku yang ada pada gambar yang diunggah ke dalam tiga kategori yang berbeda.

Kesimpulan

Dalam tutorial ini, kami memperkenalkan Gemini 1.5 Pro, rilis pertama dari keluarga Gemini 1.5. Di luar kemampuan multimodal dan efisiensinya, Gemini 1.5 Pro memperluas jendela konten dibandingkan seri Gemini 1.0 dari 32k menjadi beberapa juta token.

Baik saat bekerja dengan teks, gambar, video, maupun audio, API Gemini 1.5 Pro menawarkan fleksibilitas untuk menangani berbagai aplikasi, mulai dari penelusuran informasi dan tanya jawab hingga pembuatan konten dan penerjemahan.

Jika Anda ingin mempelajari lebih lanjut tentang AI, lihat jalur keterampilan enam kursus AI Fundamentals ini.