Gemini 1.5 Pro API-tutorial: aan de slag met Google’s LLM

Gemini 1.5 Pro is een grote stap voorwaarts binnen de Gemini-familie. Het introduceert redeneren met lange contexten, waardoor we met enorme datasets over verschillende modaliteiten (tekst, video en audio) kunnen werken.

In deze tutorial leren we hoe je verbinding maakt met de Gemini 1.5 Pro API. We leren taken uit te voeren zoals retrieval, vraagbeantwoording over lange documenten en video, automatische spraakherkenning (ASR) met lange context en in-context leren.

Wil je meer weten over Gemini? Lees dan dit artikel: Wat is Google Gemini.

De Gemini-familie

Gemini AI omvat een reeks generatieve AI-modellen die gezamenlijk zijn ontwikkeld door meerdere teams binnen Google, waaronder Google Research en Google DeepMind.

Deze modellen, met sterke mogelijkheden voor multimodale taken voor algemeen gebruik, zijn ontworpen om ontwikkelaars te ondersteunen bij contentgeneratie en probleemoplossing. Elke modelvariant is geoptimaliseerd voor specifieke use-cases, zodat de prestaties in uiteenlopende scenario’s optimaal zijn.

Gemini AI balanceert rekenbronnen en functionaliteit door drie modelgroottes aan te bieden:

Onze primaire focus ligt op Gemini 1.5 Pro, het eerste model in de Gemini 1.5-serie.

Mogelijkheden van Gemini 1.5 Pro

Gemini 1.5 Pro kan, met een groot contextvenster van tot minstens 10 miljoen tokens, de uitdaging van het begrijpen van lange contexten aanpakken over een breed spectrum aan toepassingen in realistische scenario’s.

Er is een uitgebreide evaluatie van taken met lange afhankelijkheden uitgevoerd om de lang-contextcapaciteiten van het Gemini 1.5 Pro-model grondig te beoordelen. Het Gemini 1.5 Pro-model loste de uitdagende "needle-in-a-haystack"-taak bekwaam op en behaalde een bijna perfecte (>99%) recall van de "needle", zelfs in hooibergen van meerdere miljoenen tokens over alle modaliteiten heen, waaronder tekst, video en audio.

Deze recall bleef opvallend goed, zelfs bij hooibergen van 10 miljoen tokens binnen de tekstmodaliteit.

Het Gemini 1.5 Pro-model overtrof alle concurrerende modellen, inclusief modellen met externe retrievalmethoden, vooral bij taken die begrip vereisen van onderlinge afhankelijkheden over meerdere bewijselementen verspreid over zeer lange content, zoals lang-afhankelijkheids-QA-instanties.

Gemini 1.5 Pro liet ook zien dat het dankzij zeer lange tekst in staat is om in context taken te leren, zoals het vertalen van een nieuwe taal op basis van één set taalkundige documentatie.

Deze vooruitgang in de lang-contextprestaties van Gemini 1.5 Pro is opmerkelijk, omdat dit niet ten koste gaat van de fundamentele multimodale capaciteiten van het model. Vergeleken met zijn voorganger (1.0 Pro) is het substantieel verbeterd op verschillende gebieden (+28,9% in wiskunde, wetenschap en redeneren).

Het overtreft zelfs het topmodel 1.0 Ultra in meer dan de helft van de benchmarks, met name in tekst- en visuele taken (zoals in de onderstaande tabel). Dit wordt bereikt met minder resources en meer rekenefficiëntie.

Gegevensbron.

Voor meer gedetailleerde inzichten raad ik het technische rapport aan: “Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context” voor meer details.

Toepassingen van Gemini 1.5 Pro

Met het vermogen om meerdere miljoenen tokens te verwerken, ontstaan nieuwe, praktische toepassingen.

Gemini 1.5 Pro is breed inzetbaar in de software-engineering. Met de volledige JAX-codebase van 746.152 tokens in context kan Gemini 1.5 Pro de precieze locatie van een kernmethode voor automatische differentiatie identificeren.

Met toegang tot een referentiegrammatica en een tweetalige woordenlijst (totaal ∼250k) kan Gemini 1.5 Pro vertalen van Engels naar Kalamang met een kwaliteit vergelijkbaar met die van een mens die met dezelfde bronnen heeft gestudeerd.

De beperkte beschikbaarheid van online data voor Kalamang (minder dan 200 sprekers) dwingt Gemini 1.5 Pro om uitsluitend te vertrouwen op de context die in elke prompt wordt geboden om de taal te begrijpen en te vertalen. Deze bevinding suggereert veelbelovende mogelijkheden om LLM’s met uitgebreide contextuele capaciteiten in te zetten voor het behoud en herstel van bedreigde talen en om communicatie en begrip tussen verschillende taalgemeenschappen te bevorderen.

Gemini 1.5 Pro kan ook een beeldvraag beantwoorden met de volledige tekst van Les Misérables (1382 pagina’s, 732k tokens). Omdat het model van nature multimodaal is, kan het een beroemde scène herkennen op basis van een handgemaakte schets.

Met een 45 minuten durende stille film “Sherlock Jr.” (2.674 frames op 1FPS, 684k tokens) kan Gemini 1.5 Pro tekstuele informatie uit een specifiek frame ophalen en extraheren en de bijbehorende timestamp geven. Het model kan ook een scène in de film identificeren op basis van een handgetekende schets.

Gemini 1.5 Pro API: zo gebruik je ’m

Nu we de mogelijkheden en toepassingen van Gemini 1.5 Pro kennen, leren we hoe je verbinding maakt met de API.

Stap 1: Genereer een API-sleutel

We hebben eerst een API-sleutel nodig via de pagina Google AI for Developers (zorg dat je bent ingelogd met je Google-account). Dat kan door op de knop Get an API key te klikken:

Vervolgens stellen we het project in en genereren we de API-sleutel.

Stap 2: Importeer de API-bibliotheek in Python

Installeer eerst het Gemini Python API-pakket met pip.

%pip install google-generativeai

Start daarna je Jupyter-notebook en importeer de essentiële Python-bibliotheken die we nodig hebben voor ons project.

import google.generativeai as genai
from google.generativeai.types import ContentType
from PIL import Image
from IPython.display import Markdown
import time
import cv2

Stap 3: Doe een API-aanvraag

Vul eerst onze API-sleutel in de variabele GOOGLE_API_KEY in en configureer deze:

GOOGLE_API_KEY = ‘your-api-key-goes-here’
genai.configure(api_key=GOOGLE_API_KEY)

Voordat we de API aanroepen, kijken we eerst welke modellen beschikbaar zijn via de gratis API.

for m in genai.list_models():
	if 'generateContent' in m.supported_generation_methods:
    	print(m.name)

models/gemini-1.0-pro
models/gemini-1.0-pro-001
models/gemini-1.0-pro-latest
models/gemini-1.0-pro-vision-latest
models/gemini-1.5-flash-latest
models/gemini-1.5-pro-latest
models/gemini-pro
models/gemini-pro-vision

Laten we het model gemini-1.5-pro-latest gebruiken:

model = genai.GenerativeModel('gemini-1.5-pro-latest')

Nu doen we onze eerste API-aanroep en geven we Gemini 1.5 Pro een prompt!

response = model.generate_content("Please provide a list of the most influential people in the world.")
print(response.text)

Het model gaf een duidelijke en gedetailleerde reactie met slechts een paar regels code.

Gemini AI kan meerdere reacties genereren, zogenaamde kandidaten, voor een prompt, zodat je de meest geschikte kunt kiezen.

Gemini 1.5 Pro API: afbeeldingen prompten

In deze sectie leren we hoe je Gemini 1.5 Pro gebruikt om automatisch een lijst met boeken uit een afbeelding te extraheren!

Kijk eerst naar deze afbeelding:

Een afbeelding van een boekenkast met verschillende boeken erop gestapeld.

Laten we het model eerst instrueren om de boektitels in de afbeelding te identificeren en op te sommen volgens een specifieke volgorde:

text_prompt = "List all the books and help me organize them into three categories."

Vervolgens openen we onze afbeelding "bookshelf.jpeg" met de klasse Image zodat het model deze kan analyseren.

bookshelf_image = Image.open('bookshelf.jpeg')

Laten we zowel text_prompt als bookshelf_image in een lijst plaatsen en het model prompten:

prompt = [text_prompt, bookshelf_image]
response = model.generate_content(prompt)

Om te voorkomen dat de output in Markdown-formaat staat, gebruiken we de IPython Markdown-tool.

Markdown(response.text)

Het model heeft alle boeken op de geüploade afbeelding succesvol in drie verschillende categorieën ingedeeld.

Conclusie

In deze tutorial hebben we Gemini 1.5 Pro gepresenteerd, de eerste release uit de Gemini 1.5-familie. Naast de multimodale capaciteiten en efficiëntie vergroot Gemini 1.5 Pro het contextvenster ten opzichte van de Gemini 1.0-serie van 32k naar meerdere miljoenen tokens.

Of je nu werkt met tekst, afbeeldingen, video of audio: de Gemini 1.5 Pro API biedt de flexibiliteit om uiteenlopende toepassingen aan te pakken, van informatieopvraging en vraagbeantwoording tot contentgeneratie en vertaling.

Wil je meer leren over AI? Bekijk dan deze skill track met zes courses: AI Fundamentals.