Introductie van de Google Gemini API: ontdek de kracht van de nieuwe Gemini AI-modellen

Google Bard kreeg steeds meer concurrentie van ChatGPT, maar met de release van hun nieuwste Gemini AI-modellen hoopt het bedrijf zijn positie op de markt te heroveren. Om de gebruikerservaring te verbeteren heeft Google onlangs Bard AI-assistentie vernieuwd met Gemini Pro-modellen, waardoor het toegankelijker is voor gebruikers die zowel tekst als afbeeldingen willen invoeren om accurate en natuurlijke antwoorden te krijgen.

In deze tutorial verkennen we de Google Gemini API, waarmee je geavanceerde AI-toepassingen kunt bouwen. Door de krachtige mogelijkheden te benutten, kun je eenvoudig zowel tekst- als afbeeldingsinvoer verwerken om nauwkeurige en contextueel relevante output te genereren. De Gemini Python-API vereenvoudigt de integratie in je bestaande projecten, zodat je naadloos geavanceerde AI-functionaliteit kunt implementeren.

Wat is Gemini AI?

Gemini AI is een state-of-the-art AI-model dat is ontwikkeld door een samenwerking van verschillende teams binnen Google, zoals Google Research en Google DeepMind. Gemini AI is ontworpen als multimodaal en kan verschillende soorten data begrijpen en verwerken, waaronder tekst, code, audio, afbeeldingen en video’s.

De zoektocht van Google DeepMind naar kunstmatige intelligentie wordt al lang gedreven door de hoop om de mogelijkheden ervan in te zetten voor het collectieve welzijn. Daarmee heeft Gemini AI grote stappen gezet in het creëren van een nieuwe generatie AI-modellen die geïnspireerd zijn op hoe mensen de wereld waarnemen en ermee interacteren.

Als het meest geavanceerde en grootste AI-model dat Google tot nu toe heeft geproduceerd, is Gemini AI ontworpen om zeer flexibel te zijn en uiteenlopende informatietypen aan te kunnen. Dankzij die veelzijdigheid kan het efficiënt draaien op allerlei systemen, van krachtige datacenterservers tot mobiele apparaten.

Er zijn drie versies van de Gemini-modellen, getraind voor specifieke use-cases:

1. Gemini Ultra: De meest geavanceerde versie, geschikt voor complexe taken.
2. Gemini Pro: Een uitgebalanceerde keuze met goede prestaties en schaalbaarheid.
3. Gemini Nano: Geoptimaliseerd voor mobiele apparaten, met maximale efficiëntie.

Afbeelding bron

Van deze varianten heeft Gemini Ultra uitzonderlijke prestaties laten zien en GPT-4 op meerdere criteria voorbijgestreefd. Het is het eerste model dat menselijke experts overtreft op de Massive Multitask Language Understanding-benchmark, die wereldkennis en probleemoplossend vermogen over 57 vakgebieden beoordeelt. Deze prestatie toont Gemini Ultra’s superieure begrip en probleemoplossende capaciteiten.

Als je nieuw bent met kunstmatige intelligentie, bekijk dan de skill track AI Fundamentals. Daarin komen populaire AI-onderwerpen aan bod zoals ChatGPT, large language models en generatieve AI.

Omgevingsinstellingen

Voordat we de API gaan gebruiken, moeten we de API-sleutel ophalen via Google AI for Developers.

1. Klik op de knop “Get an API key”.

2. Maak vervolgens het project aan en genereer de API-sleutel.

3. Kopieer de API-sleutel en voeg een omgevingsvariabele met de naam "Gemini_API_KEY" toe aan je systeem. Wil je een veilige omgevingsvariabele op Kaggle maken, ga dan naar "Add-ons" en kies "Secrets". Klik daarna op de knop "Add a new secret" om een label en de bijbehorende waarde toe te voegen en sla op.

4. Installeer het Gemini Python-API-pakket met pip.

%pip install google-generativeai

5. Configureer de Gemini API door de API-sleutel toe te voegen. Om het secret te benaderen maak je het UserSecretsClient-object aan en geef je vervolgens het label door.

import google.generativeai as genai
from kaggle_secrets import UserSecretsClient

user_secrets = UserSecretsClient()
gemini_key = user_secrets.get_secret("GEMINI_API_KEY")

genai.configure(api_key = gemini_key)

De reactie genereren

In deze sectie leren we reacties genereren met het Gemini Pro-model. Loop je tegen problemen aan bij het draaien van de code, volg dan de Gemini API Kaggle Notebook.

We bekijken nu welke modellen beschikbaar zijn met de gratis API. Voer daartoe de onderstaande code uit. Deze toont de ondersteunde generatiemodellen met de functie list_models.

for m in genai.list_models():
    if 'generateContent' in m.supported_generation_methods:
        print(m.name)

Het lijkt erop dat we alleen toegang hebben tot twee modellen, "gemini-pro" en "gemini-pro-vision".

models/gemini-pro
models/gemini-pro-vision

Laten we het "Gemini Pro"-model aanspreken en een reactie genereren met een eenvoudige prompt.

model = genai.GenerativeModel('gemini-pro')

response = model.generate_content("Please provide a list of the most influential people in the world.")

print(response.text)

Met slechts een paar regels code konden we een zeer accuraat antwoord genereren.

Gemini AI kan meerdere antwoorden genereren, zogenaamde candidates, zodat je de meest geschikte kunt kiezen. De gratis versie van de API biedt echter maar één candidate.

response.candidates

Onze output staat in Markdown-indeling. Laten we dat oplossen met de IPython Markdown-tool. We vragen Gemini nu om Python-code te genereren.

from IPython.display import Markdown

response = model.generate_content("Build a simple Python web application.")

Markdown(response.text)

Het model heeft uitstekend werk geleverd. Het heeft een stapsgewijze handleiding gegenereerd met uitleg over het bouwen en draaien van een eenvoudige webapplicatie met Flask.

Streaming

Het is belangrijk om streaming te gebruiken om de ervaren snelheid van de applicatie te verhogen. Door het argument 'stream' in te schakelen, wordt de reactie gegenereerd en weergegeven zodra deze beschikbaar is. Onze output wordt in brokken gegenereerd, dus we moeten over response itereren.

from IPython.display import display

model = genai.GenerativeModel("gemini-pro")
response = model.generate_content(
    "How can I make authentic Italian pasta?", stream=True
)

for chunk in response:
    display(Markdown(chunk.text))
    display(Markdown("_" * 80))

Elk blok wordt gescheiden door een streepjeslijn. Zoals je hieronder ziet, wordt onze content in blokken gegenereerd. De streaming in de Gemini APi lijkt op die van de OpenAI- en Anthropic-API.

De reactie verfijnen

We kunnen de gegenereerde reactie aanpassen aan onze behoeften.

In het volgende voorbeeld genereren we één candidate met maximaal 1000 tokens en een temperatuur van 0,7. Daarnaast hebben we een stopreeks ingesteld, zodat het generatieproces automatisch stopt zodra het woord "time" in de tekst verschijnt.

response = model.generate_content(
    'How to be productive during a burnout stage.',
    generation_config=genai.types.GenerationConfig(
        candidate_count=1,
        stop_sequences=['time'],
        max_output_tokens=1000,
        temperature=0.7)
)

Markdown(response.text)

Gemini Pro Vision uitproberen

In deze sectie gebruiken we Gemini Pro Vision om de multimodaliteit van Gemini AI te benutten.

We downloaden de foto van Mayumi Maciel van pexel.com met de curl-tool.

!curl -o landscape.jpg "https://images.pexels.com/photos/18776367/pexels-photo-18776367/free-photo-of-colorful-houses-line-the-canal-in-burano-italy.jpeg?auto=compress&cs=tinysrgb&w=1260&h=750&dpr=2"

Om de afbeelding in de Kaggle Notebook te laden en te bekijken, gebruiken we het Pillow Python-pakket.

import PIL.Image

img = PIL.Image.open('landscape.jpg')
display(img)

Om de inhoud van deze afbeelding te begrijpen, moeten we eerst het "gemini-pro-vision"-model laden en het een afbeeldingobject aanreiken.

model = genai.GenerativeModel('gemini-pro-vision')

response = model.generate_content(img)

Markdown(response.text)

Het heeft de locatie op de afbeelding nauwkeurig geïdentificeerd en een beschrijving gegeven.

A beautiful day in Burano, Italy. The colorful houses and the calm water make this a perfect place to relax and enjoy the scenery.

Laten we de prompttekst en het afbeeldingobject aan onze generatiefunctie doorgeven om onze vraag over de afbeelding te stellen.

response = model.generate_content(
    ["Can you provide the exact location with coordinates?", img]
)

Markdown(response.text)

45.4408° N, 12.3150° E

Het heeft de coördinaten van de plek nauwkeurig gegeven, en we hebben dit ook geverifieerd door de coördinaten aan Google Maps toe te voegen.

Chatgesprekken

Je kunt een gesprek voeren met het AI-model dat de context van de chat bewaart via de geschiedenis van eerdere interacties. Zo kan het model de inhoud van het gesprek onthouden en passende antwoorden geven op basis van eerdere uitwisselingen.

We hoeven alleen een chatobject te maken met model.start_chat en het eerste bericht mee te geven.

model = genai.GenerativeModel('gemini-pro')

chat = model.start_chat(history=[])

chat.send_message("Who created the Mona Lisa?")

for message in chat.history:
    display(Markdown(f'**{message.role}**: {message.parts[0].text}'))

Stel nog een vraag en toon het antwoord in chatindeling.

chat.send_message("What else he created?")

for message in chat.history:
    display(Markdown(f'**{message.role}**: {message.parts[0].text}'))

Het model heeft de context onthouden en een passend antwoord gegeven.

Embeddings

De API biedt toegang tot embedding-modellen, een populair hulpmiddel voor contextbewuste toepassingen. Met de eenvoudige Python-functie kunnen gebruikers hun prompt of content omzetten naar een embedding, zodat woorden, zinnen of volledige documenten worden weergegeven als dichte vectoren die semantische betekenis coderen.

We geven de functie embed_content de modelnaam, content, taaktype en de titel mee.

result = genai.embed_content(
    model="models/embedding-001",
    content="Who created the Mona Lisa?",
    task_type="retrieval_document",
    title="Mona Lisa Research")

print(result['embedding'][:10])

[0.086675204, -0.027617611, -0.015689207, -0.00445945, 0.07286186, 0.00017529335, 0.07243656, -0.018299067, 0.018799499, 0.028495966]

Om meerdere content om te zetten naar embeddings, geef je een lijst met strings door aan het argument 'content'.

result = genai.embed_content(
    model="models/embedding-001",
    content=[
        "Who created the Mona Lisa?",
        "What else he created?",
        "When did he died?"
    ],
    task_type="retrieval_document",
    title="Mona Lisa Research 2")

for emb in result['embedding']:
    print(emb[:10],"\n")

[0.07942627, -0.032543894, -0.010346633, -0.0039942865, 0.071596086, -0.0016670177, 0.07821064, -0.011955016, 0.019478166, 0.03784406] 

[0.027897138, -0.030693276, -0.0012639443, 0.0018902065, 0.07171923, -0.011544562, 0.04235154, -0.024570161, 0.013215181, 0.03026724] 

[0.04341321, 0.013262799, -0.0152797215, -0.009688456, 0.07342798, 0.0033503908, 0.05274988, -0.010907041, 0.05933596, 0.019402765]

Schrijf je in voor de cursus Introduction to Embeddings with the OpenAI API om embedding-modellen te leren kennen voor geavanceerde AI-toepassingen zoals semantisch zoeken en aanbevelingssystemen.

Geavanceerde use-cases

Om het volledige potentieel van de Gemini API te benutten, moeten ontwikkelaars mogelijk dieper duiken in geavanceerde functies zoals veiligheidsinstellingen en de low-level API.

• Veiligheidsinstellingen maken het mogelijk om contentblokkering en -toestemming in prompts en antwoorden te configureren, zodat aan communityrichtlijnen wordt voldaan.
• Low-level API biedt steeds meer flexibiliteit voor maatwerk.
• Gesprekken met meerdere beurten kunnen worden uitgebreid met de klasse GenaiChatSession, wat de gespreksbeleving verbetert.

Met geavanceerde functies kunnen ontwikkelaars efficiëntere applicaties bouwen en nieuwe mogelijkheden voor gebruikersinteractie ontsluiten.

Conclusie

De Gemini API opent spannende mogelijkheden voor ontwikkelaars om geavanceerde AI-toepassingen te bouwen met zowel tekst- als visuele input. De state-of-the-art modellen, zoals Gemini Ultra, verleggen de grenzen van wat AI-systemen kunnen begrijpen en genereren.

Google heeft het integreren van AI in applicaties eenvoudiger gemaakt met het gebruiksvriendelijke Python-API-toegangspunt. De Gemini API biedt functies zoals contentgeneratie, embeddings en gesprekken met meerdere beurten, waardoor AI toegankelijker wordt. Gemini AI markeert een grote sprong voorwaarts in multimodale begrip.

Wil je meer leren, begin dan je reis met het ontwikkelen van AI-aangedreven applicaties met de OpenAI API door je in te schrijven voor de korte cursus Working with the OpenAI API. Ontdek de functionaliteit achter populaire AI-applicaties zoals ChatGPT en DataLab, de AI-ondersteunde datanotebook van DataCamp.

Ben je een professional en heb je de praktische cursus niet nodig, bekijk dan onze cheatsheet OpenAI API in Python.