Wat is Google Gemini? Alles wat je moet weten over Google’s rivaal van ChatGPT

Google heeft onlangs zijn nieuwe generatieve AI-model, Gemini, uitgebracht. Het is het resultaat van een samenwerking tussen verschillende teams binnen Google, waaronder leden van Google Research.

Het model, dat Google omschrijft als het meest capabele en algemene AI-systeem dat ze tot nu toe hebben ontwikkeld, is ontworpen als multimodaal. Dit betekent dat Gemini verschillende datatypen kan begrijpen, zoals tekst, audio, afbeeldingen, video en code.

In de rest van dit artikel behandelen we:

• Wat is Gemini?
• Wat zijn de versies van Gemini?
• Hoe krijg je toegang tot Gemini?
• Gemini-benchmarks uitgelegd
• Gemini vs. GPT-4
• Use-cases voor Gemini

Wat is Google Gemini?

Op 6 december 2023 kondigde Google DeepMind Gemini 1.0 aan. Bij de release beschreef Google het als hun meest geavanceerde set Large Language Models (LLM’s), waarmee het het Pathways Language Model (PaLM 2), dat in mei van hetzelfde jaar werd geïntroduceerd, opvolgt.

Gemini staat voor een familie van multimodale LLM’s die tekst, afbeeldingen, video’s en audio kunnen begrijpen. Er wordt ook gezegd dat het complexe taken in wiskunde en natuurkunde kan uitvoeren en in staat is hoogwaardige code te genereren in meerdere programmeertalen.

Leuk weetje: Sergey Brin, medeoprichter van Google, wordt genoemd als een van de bijdragers aan het Gemini-model.

Tot voor kort bestond de standaardprocedure voor het ontwikkelen van multimodale modellen uit het trainen van afzonderlijke componenten voor verschillende modaliteiten en die vervolgens samen te voegen om een deel van de functionaliteit na te bootsen. Dergelijke modellen blonken soms uit in bepaalde taken, zoals het beschrijven van afbeeldingen, maar hadden moeite met meer verfijnd en complex redeneren.

Gemini is ontworpen om van nature multimodaal te zijn; het is dus vanaf het begin voorgetraind op meerdere modaliteiten. Om de effectiviteit verder te verfijnen, heeft Google het getuned met extra multimodale data.

Daardoor is Gemini volgens Sundar Pichai, CEO van Google en Alphabet, en Demis Hassabis, CEO en medeoprichter van Google DeepMind, vanaf de basis aanzienlijk capabeler dan bestaande multimodale modellen in het begrijpen en redeneren over een breed scala aan input. Zij stellen ook dat Gemini’s mogelijkheden “state of the art zijn in vrijwel elk domein”.

Belangrijkste functies van Google Gemini

De belangrijkste kenmerken van het Gemini-model zijn onder andere:

1. Begrip van tekst, afbeeldingen, audio en meer

Multimodale AI is een nieuw AI-paradigma dat aan terrein wint, waarin verschillende datatypen worden gecombineerd met meerdere algoritmen om hogere prestaties te bereiken. Gemini benut dit paradigma, wat betekent dat het goed integreert met diverse datatypen. Je kunt afbeeldingen, audio, tekst en andere datatypen invoeren, wat leidt tot natuurlijkere AI-interacties.

2. Betrouwbaarheid, schaalbaarheid en efficiëntie

Gemini maakt gebruik van Google’s TPUv5-chips en is naar verluidt daarmee vijf keer sterker dan GPT-4. Snellere verwerking maakt dat Gemini complexe taken relatief eenvoudig aankan en meerdere verzoeken tegelijkertijd kan afhandelen.

3. Geavanceerd redeneren

Gemini is getraind op een enorme dataset van tekst en code. Dit zorgt ervoor dat het model over de meest actuele informatie kan beschikken en nauwkeurige en betrouwbare antwoorden op je vragen kan geven. Volgens Google presteert het model beter dan OpenAI’s GPT-4 en “expert-level” mensen in verschillende intelligentietests (bijv. de MMLU-benchmark).

4. Geavanceerd coderen

Gemini 1.0 kan hoogwaardige code begrijpen, uitleggen en genereren in de meest gebruikte programmeertalen, zoals Python, Java, C++ en Go – dit maakt het een van de toonaangevende foundation-modellen voor programmeren wereldwijd.

Het model blinkt ook uit op verschillende codeerbenchmarks, waaronder HumanEval, een zeer gerespecteerde industrienorm voor het evalueren van prestaties bij programmeertaken; het presteerde ook goed op Google’s interne, afgeschermde dataset, die gebruikmaakt van door auteurs geschreven code in plaats van informatie van het web.

5. Verantwoordelijkheid en veiligheid

Er zijn nieuwe beschermingsmaatregelen toegevoegd aan Google’s AI-principes en beleid om rekening te houden met de multimodale mogelijkheden van Gemini. Google zegt: “Gemini heeft de meest uitgebreide veiligheidsevaluaties van alle Google AI-modellen tot nu toe, onder meer voor bias en toxiciteit.” Ze gaven ook aan dat ze “nieuw onderzoek hebben gedaan naar potentiële risicogebieden zoals cyberaanvallen, beïnvloeding en autonomie, en de toonaangevende adversarial testing-technieken van Google Research hebben toegepast om kritieke veiligheidskwesties te identificeren voordat Gemini wordt uitgerold.”

Wat zijn de versies van Gemini?

Google zegt dat Gemini, de opvolger van LaMDA en PaLM 2, hun “meest flexibele model tot nu toe is — in staat om efficiënt te draaien op alles van datacenters tot mobiele apparaten.” Ze geloven ook dat de state-of-the-art mogelijkheden van Gemini zullen verbeteren hoe ontwikkelaars en zakelijke klanten met AI bouwen en opschalen.

De eerste versie van Gemini, niet verrassend Gemini 1.0 genoemd, is uitgebracht in drie verschillende groottes:

• Gemini Nano — Gemini Nano is het meest efficiënte model voor on-device taken die efficiënte AI-verwerking vereisen zonder verbinding met externe servers. Met andere woorden, het is ontworpen om te draaien op smartphones, specifiek de Google Pixel 8.
• Gemini Pro — Gemini Pro is het optimale model om op te schalen over diverse taken. Het is ontworpen om Bard, Google’s meest recente AI-chatbot, aan te sturen; het kan dus complexe vragen begrijpen en snel reageren.
• Gemini Ultra — Gemini Ultra is het grootste en meest capabele model voor complexe taken en overtreft de huidige state-of-the-art resultaten op 30 van de 32 veelgebruikte benchmarks voor onderzoek en ontwikkeling van large language models (LLM’s).

Hoe krijg je toegang tot Gemini?

Sinds 13 december 2023 hebben ontwikkelaars en zakelijke klanten toegang tot Gemini Pro via de API van Gemini in Google AI Studio of Google Cloud Vertex AI. 

Let op: Google AI Studio is een gratis, browsergebaseerde IDE die ontwikkelaars kunnen gebruiken om generatieve modellen te prototypen en eenvoudig applicaties te lanceren met een API-sleutel. Google Cloud Vertex daarentegen is een volledig beheerd AI-platform dat alle tools biedt die nodig zijn om generatieve AI te bouwen en te gebruiken. Volgens Google “maakt Vertex AI maatwerk van Gemini mogelijk met volledige datacontrole en profiteert het van extra Google Cloud-functies voor enterprise-beveiliging, veiligheid, privacy en gegevensbeheer en -compliance.”

Via AICore, een nieuwe systeemfunctie in Android 14, kunnen Android-ontwikkelaars, te beginnen met Pixel 8 Pro-apparaten, bouwen met Gemini Nano, het meest efficiënte model voor on-device taken.

Gemini-benchmarks uitgelegd

De Gemini-modellen zijn voor hun release uitgebreid getest om hun prestaties over een breed scala aan taken te beoordelen. Google zegt dat het Gemini Ultra-model beter presteert dan de bestaande state-of-the-art resultaten op 30 van de 32 veelgebruikte academische benchmarks voor onderzoek en ontwikkeling van Large Language Models (LLM’s). Let op: deze taken variëren van natuurlijk begrip van afbeeldingen, audio en video tot wiskundig redeneren.

In een introductieblogpost over Gemini claimt Google dat Gemini Ultra het allereerste model is dat beter presteert dan menselijke experts op Massive Multitask Language Understanding (MMLU) met een score van 90,0%. MMLU omvat 57 verschillende vakgebieden, waaronder wiskunde, natuurkunde, geschiedenis, recht, geneeskunde en ethiek, om iemands probleemoplossend vermogen en algemeen wereldbegrip te beoordelen.

De nieuwe MMLU-benchmarkmethode voor MMLU stelt Gemini in staat aanzienlijke verbeteringen te realiseren door zijn redeneervermogen te gebruiken om zorgvuldiger na te denken voordat het op uitdagende vragen reageert, in plaats van louter op de eerste indruk af te gaan.

Zo presteerde Gemini op taken met tekst:

De bevindingen laten zien dat Gemini de state-of-the-art prestaties overtreft op een breed scala aan benchmarks, waaronder tekst en codering. [Bron]

Het Gemini Ultra-model behaalde ook state-of-the-art resultaten op de nieuwe Massive Multidiscipline Multimodal Understanding (MMMU)-benchmark met een score van 59,4%. Deze beoordeling bestaat uit multimodale taken in verschillende domeinen die doelgericht redeneren vereisen.

Google zei: “Bij de afbeeldingsbenchmarks die we hebben getest, presteerde Gemini Ultra beter dan eerdere state-of-the-art modellen zonder hulp van optische tekenherkenning (OCR)-systemen die tekst uit afbeeldingen halen voor verdere verwerking.”

De bevindingen laten zien dat Gemini ook de state-of-the-art prestaties overtreft op een breed scala aan multimodale benchmarks. [Bron]

De benchmarks van Gemini tonen de aangeboren multimodaliteit van het model en leveren vroeg bewijs van zijn vermogen tot verfijnder redeneren.

Gemini vs. GPT-4

De voor de hand liggende vervolgvraag is: “Hoe verhoudt Gemini zich tot GPT-4?”

Beide modellen hebben vergelijkbare functiesets en kunnen met tekst-, beeld-, video-, audio- en codedata omgaan en deze interpreteren, waardoor gebruikers ze op uiteenlopende taken kunnen toepassen.

Gebruikers van beide tools hebben de optie om claims te checken, maar de manier waarop die functionaliteit wordt geboden verschilt. Waar GPT-4 van OpenAI bronlinks geeft voor de gemaakte beweringen, stelt Gemini gebruikers in staat om via een knop een Google-zoekopdracht uit te voeren om het antwoord te bevestigen.

Het is ook mogelijk om beide modellen uit te breiden met extra extensies, hoewel Google’s Gemini-model op het moment van schrijven veel beperkter is.

Zo kun je met Gemini gebruikmaken van Google-tools zoals vluchten, Maps, YouTube en hun reeks Workspace-applicaties. Daarentegen is er een veel grotere selectie plug-ins en extensies beschikbaar voor GPT-4 van OpenAI, waarvan de meeste door derden zijn gemaakt. On-the-fly afbeeldingen genereren is met GPT-4 ook mogelijk; Gemini is ontworpen om dergelijke functionaliteit te kunnen, maar kan dat op het moment van schrijven nog niet.

Aan de andere kant zijn de reactietijden van Gemini sneller dan die van GPT-4, dat soms trager kan zijn of zelfs volledig kan worden onderbroken door het enorme aantal gebruikers op het platform.

Use-cases voor Gemini

De Gemini-modellen van Google kunnen verschillende taken uitvoeren over meerdere modaliteiten, zoals tekst-, audio-, beeld- en videoverwerking.

Het is ook mogelijk om verschillende modaliteiten te combineren om output te begrijpen en te genereren dankzij het multimodale karakter van Gemini.

Voorbeelden van use-cases voor Gemini zijn onder meer:

Tekstsamenvatting

Gemini-modellen kunnen content samenvatten uit verschillende datatypen. Volgens een onderzoekspaper getiteld GEMINI: Controlling The Sentence-Level Summary Style in Abstractive Text Summarization “integreert het Gemini-model herformuleringen en een generator om respectievelijk zinsherschrijvings- en abstraheringstechnieken na te bootsen.”

Concreet kiest Gemini adaptief of het een specifieke zin uit een document moet herschrijven of een samenvattingszin volledig vanaf nul moet genereren. De resultaten van de experimenten lieten zien dat de aanpak van Gemini beter presteerde dan de puur abstractieve en herschrijf-baselines op drie benchmarkdatasets, met de beste resultaten op WikiHow.

Tekstgeneratie

Gemini kan tekst genereren als reactie op een prompt van een gebruiker — deze tekst kan ook worden aangestuurd via een chatbotinterface in Q&A-stijl. Zo kan Gemini worden ingezet om klantvragen af te handelen en op een natuurlijke en aansprekende manier ondersteuning te bieden, waardoor menselijke agents meer ruimte krijgen voor complexere taken en de klanttevredenheid verbetert.

Het kan ook worden gebruikt voor creatief schrijven, zoals het samen schrijven van een roman, het schrijven van poëzie in verschillende stijlen of het genereren van scripts voor films en toneelstukken. Dit kan de productiviteit van creatieve schrijvers aanzienlijk verhogen en de spanning door writer’s block verminderen.

Tekstvertaling & audioprocessing

Met hun brede meertalige capaciteiten kunnen de Gemini-modellen meer dan 100 verschillende talen begrijpen en vertalen. Volgens Google overtreft Gemini de state-of-the-art prestaties van Chat GPT-4V “op een reeks multimodale benchmarks”, zoals automatic speech recognition (ASR) en automatische spraakvertaling.

Beeld- & videoprocessing

Gemini kan afbeeldingen begrijpen en interpreteren, wat het geschikt maakt voor toepassingen als beeldonderschriften en visuele Q&A. Het model kan ook complexe visualisaties analyseren, waaronder diagrammen, figuren en grafieken, zonder externe OCR-tools.

Code-analyse en -generatie

Ontwikkelaars kunnen Gemini gebruiken om complexe programmeertaken op te lossen en hun code te debuggen. Het model kan begrijpen, uitleggen en genereren in de meest gebruikte programmeertalen, zoals Python, Java, C++ en Go.

Conclusie

Google’s nieuwe set multimodale Large Language Models (LLM’s), Gemini, is de opvolger van LaMDA en PaLM 2. Ze beschrijven het als hun meest geavanceerde set LLM’s die tekst, afbeeldingen, video, audio en complexe taken zoals wiskunde en natuurkunde kan begrijpen. Gemini kan ook hoogwaardige code genereren in veel van de populairste programmeertalen.

Het model heeft state-of-the-art capaciteit behaald op diverse taken, en velen bij Google geloven dat het een grote sprong voorwaarts vertegenwoordigt in hoe AI kan helpen ons dagelijks leven te verbeteren.

Ga verder met leren met de volgende bronnen:

• LlamaIndex: persoonlijke data toevoegen aan LLM’s
• De 10 beste ChatGPT-alternatieven die je vandaag kunt proberen
• Introductie tot ChatGPT

En voordat je weggaat: vergeet niet je te abonneren op ons YouTube-kanaal. We hebben geweldige content over alle relevante en trending onderwerpen, inclusief een tutorial over hoe je multimodale apps bouwt met Gemini, dus neem zeker een kijkje.