Het laatste over OpenAI, Google AI en wat het betekent voor data science

Zowel Google AI als OpenAI hebben een geschiedenis van baanbrekende AI-technologieën. Het speelveld veranderde echter met de introductie van ChatGPT, die een nieuwe race ontketende waarin bigtechbedrijven zoals Google koortsachtig proberen vergelijkbare AI-modellen te lanceren.

In deze post bekijken we de recente ontwikkelingen bij OpenAI en Google AI en wat we in de toekomst kunnen verwachten. Daarnaast gaan we in op hoe vooruitgang in AI het vakgebied data science verandert en hoe we die kunnen inzetten om productiviteit te verhogen.   

OpenAI

OpenAI API is een platform waarmee we via een API toegang krijgen tot toonaangevende generatieve modellen. We kunnen hoogwaardige beelden genereren met DALLE-2, tekst en code genereren met GPT-3 en embeddings gebruiken voor andere taalgerelateerde taken. Bovendien kun je resultaten modereren, snelheidslimieten instellen en het model fine-tunen op een specifieke dataset. Leer meer over GPT-3 in onze blog Beginnersgids voor GPT-3.

Afbeelding door auteur | Bron OpenAI

Dit zijn allemaal commerciële producten die een pay-as-you-go-model volgen, maar van tijd tot tijd heeft OpenAI ook open-sourcetools en -modellen uitgebracht, zoals:

1. Whisper: spraakherkenningsmodel op basis van grootschalige zwakke supervisie.
2. OpenAI Baselines: implementatie van reinforcement learning-algoritmen. 
3. Gym: een toolkit voor de ontwikkeling en evaluatie van reinforcement learning-algoritmen. 
4. GPT2: code en modelimplementatie van het paper „Language Models are Unsupervised Multitask Learners“
5. DALL-E: PyTorch-pakket voor de discrete VAE die wordt gebruikt voor DALL·E

De API’s, toolkits en large language models zijn geweldig, maar ze komen niet in de buurt van het succes van ChatGPT. 

Het ChatGPT-model is getraind met Reinforcement Learning from Human Feedback (RLHF), vergelijkbaar met InstructGPT (een betere versie van GPT-3), maar de dataverzamelingsfase is iets anders. 

Hoe verschilt het van eerdere generaties modellen? De conversatie-AI kon doorvragen, onjuiste aannames uitdagen, fouten toegeven en veiligheidsmaatregelen tonen.

Onlangs introduceerde OpenAI-partner Microsoft een verbeterde versie van ChatGPT. Met OpenAI’s iteratieve uitrol zien we een nieuwe golf AI-technologieën die onze behoeften begrijpen en ons ondersteunen. 

Als je helemaal nieuw bent in artificiële intelligentie, volg dan een no-code-cursus AI Fundamentals. Die behandelt de basis van machine learning, zoals supervised en unsupervised learning, deep learning en meer. 

GPT-4

Naast ChatGPT verwachten we GPT-4, het meest geavanceerde large language model. In de Greylock-podcast gaf OpenAI-CEO Sam Altman een beetje informatie over GPT-4. Hij zei dat geruchten over GPT-4 op Twitter onjuist zijn, dat het geen 100 biljoen parameters zal hebben en dat mensen smeken om teleurgesteld te worden. Ook zei hij: „we brengen GPT-4 uit wanneer we denken dat het veilig en functioneel is“. 

Afbeelding door auteur

Wat kun je verwachten van GPT-4?

• De modelgrootte zal niet veel groter zijn dan GPT-3.
• Geoptimaliseerde grote modellen met nieuwe parameterisatie (μP).
• Modeltraining zal optimaal rekenwerk gebruiken door het aantal trainingstokens te verhogen om minimale loss te bereiken. 
• Het wordt een tekst-only model. GPT-4 zal niet multimodaal zijn zoals DALL-E 2.
• Het kan sparsity gebruiken om rekenkosten te verlagen.
• Net als ChatGPT zal het beter afgestemd zijn op onze intenties en waarden.

Leer alles over GPT-1, GPT-2, GPT-3 en GPT-4 in onze post Everything We Know About GPT-4 So Far. 

Het creëren van veilige AGI

Tijdens het interview met StrictlyVC deelde Altman enkele punten over hoever we zijn met de ontwikkeling van AGI (Artificial General Intelligence). 

Hij zei: „Hoe dichter we erbij komen, hoe moeilijker het is om te antwoorden. Omdat ik denk dat het veel vager zal zijn en veel meer een geleidelijke overgang dan mensen denken.“

Hij ontkrachtte ook de geruchten over AGI. In het interview zei hij dat OpenAI geen AGI heeft die kan leren zoals mensen. 

Afbeelding door auteur

OpenAI zit op de goede weg naar veilige AGI, maar het is verre van perfect. De AGI waarover wordt gesproken is een multimodaal model dat spraak, tekst, beeld en video kan begrijpen. Het zal een combinatie zijn van ChatGPT, DALLE-2, Whisper, een videogeneratiemodel en andere reinforcement learning-algoritmen. 

Multimodale modellen

Om AGI te ontwikkelen, moet OpenAI werken aan multimodale modellen, niet alleen tekst-naar-beeld, maar ook tekst-naar-video en audio-naar-video en audio. Dat betekent dat je met een natuurlijk klinkende en uitziende bot kunt praten. Dit is al bereikt door enkele ontwikkelaars, zoals de AI-gegenereerde Twitch-streamerpersona. Het is niet perfect, maar het is een begin. 

Tijdens het StrictlyVC-programma gaf Sam Altman aan dat ze aan een videomodel werken, en we kunnen er redelijkerwijs van uitgaan dat het gaat om tekst-naar-video-generatie met een audiomodel, wat een extra laag complexiteit toevoegt. We hebben al videogeneratietechnologie waarbij ontwikkelaars frames overlappen die met het stable diffusion-model zijn gegenereerd. 

Google AI 

Google AI is de ruggengraat van Google’s ecosysteem. Het wordt gebruikt in Google Maps, Foto’s, apps en Cloud. Google loopt voorop in het ontwikkelen van AI-tools en -modellen. De meeste producten zijn beschikbaar op Google Cloud, van AutoML tot state-of-the-art grote visie- en taalmodellen. 

Het heeft ook meerdere tools en toonaangevende modellen uitgebracht die het veld van natural language processing, spraakverwerking en computervisie hebben veranderd. Van TensorFlow tot BERT (Bidirectional Encoder Representations from Transformers) heeft Google een nieuwe weg gebaand voor AI- en machine learning-onderzoek en -ontwikkeling. 

Gif van LaMDA

In 2020 introduceerde Google Research Meena, een neuraal conversatiemodel dat context begrijpt en leert zinnig te reageren. Daarna bracht Google het LaMDA-model uit, vergelijkbaar met ChatGPT. Het was een doorbraak in conversatietechnologie, gebouwd met transformers maar getraind op dialogen. 

Elk jaar zien we nieuwe technologie van Google en in de toekomst kunnen we een geavanceerde Google-zoekmachine verwachten, aangedreven door AI Bard, taal-, visie-, generatieve en multimodale modellen die AI veelzijdig maken. 

Google AI Bard

Na de lancering van ChatGPT gingen geruchten rond dat het de ‘Google-killer’ is. De uitgebreide samenwerking tussen Microsoft en OpenAI maakte dat waarschijnlijker. Microsoft staat klaar om Google uit te dagen in de zoekmachinemarkt met het door OpenAI versterkte Bing. 

Om dat te counteren lanceerde Google zijn eigen versie van ChatGPT: Google AI Bard. Bekijk onze vergelijking van ChatGPT en Google Bard in een apart artikel. 

Gif van Bard and new AI features

In de recente Google AI-updates introduceerde Sundar Pichai, CEO van Google en Alphabet, een nieuwe experimentele conversatie-AI-dienst genaamd Bard, aangedreven door LaMDA. Google kondigde aan dat het toegang heeft gegeven aan vertrouwde testers en dat het in de komende weken beschikbaar komt voor het publiek. 

Bard gebruikt informatie van het web om hoogwaardige antwoorden te geven. In tegenstelling tot het ChatGPT-model is Bard een dienst die de kennis van de wereld combineert met kracht, intelligentie en creativiteit. Aanvankelijk brengt Google het uit met een lichtgewicht modelversie van LaMDA en met de tijd volgen krachtigere taalmodellen.

Taal-, visie- en generatieve modellen

Volgens recente berichten van Google Research hebben ze vooruitgang geboekt in taaltechnologieën, computervisie en generatieve modellen. 

Afbeelding van Google AI

• Large Language Models: Pathways Language Model (PaLM) en LaMDA laten veelbelovende resultaten zien, en in de toekomst kun je nog betere taalmodellen verwachten die inzetbaar zijn voor conversational AI en andere Natural Language Processing-taken. 
• Computervisie: MaxViT (Multi-Axis Vision Transformer), Pix2Seq (Language Modeling Framework voor objectdetectie) en ontwikkelingen in 2D- naar 3D-beeldvorming met grootschalige motion frame interpolatie.
• Beeldgeneratie: geavanceerde fotorealistische beeldgeneratiemodellen: Imagen (diffusiemodel) en Parti (autoregressieve transformerarchitectuur). Beide gebruiken tekstinvoer om beeldpixels te genereren. 
• Videogeneratie: Vorig jaar werkte Google AI aan Imagen Video en Phenaki. Imagen Video gebruikt gecascadeerde diffusiemodellen om video’s met hoge resolutie te genereren, terwijl Phenaki open domein-tekstbeschrijvingen gebruikt om video’s van variabele lengte te maken. 

Start je Deep Learning-(AI)carrière met onze skill track Deep Learning in Python. De skill track bestaat uit vier cursussen die je machinelearningskills naar een hoger niveau tillen. 

Multimodale modellen

De meeste ML-modellen richten zich op één enkele modaliteit van data (tekstclassificatie, beeldsegmentatie of spraakherkenning). Maar dankzij DALL-E 2 en Stable Diffusion richten bedrijven zich nu op multimodale modellen om state-of-the-art resultaten te behalen. 

Google AI bereikt multimodaliteit door data door modaliteitsspecifieke verwerkingslagen te sturen en de features van verschillende modaliteiten te mixen via de bottlenecklaag. Het combineren van modaliteiten kan ook de prestaties van taken met één modaliteit verbeteren. 

Gif van Google AI

Hier zijn enkele van de nieuwste onderzoeksontwikkelingen van Google AI op het gebied van multimodale modellen: 

• Locked-image Tuning (LiT) voegt taalbegrip toe aan bestaande, voorgetrainde beeldmodellen. 
• PaLI kan veel taken uitvoeren in meer dan 100 talen, zoals visuele vraagbeantwoording, beeldbeschrijving, objectdetectie en vertaling naar een andere taal, beeldclassificatie en meer.  
• VDTTS Visually-Driven Text-To-Speech-model dat de tekst en de originele videoframes van de acteur gebruikt en spraakuitvoer genereert die overeenkomt met de originele video, met behoud van timing en emotie. 
• Look and Talk is een multimodale technologie die zowel video als audio als invoer gebruikt om gesprekken met de Google Assistent natuurlijk te maken. Het model leert verschillende visuele en audiocues om nauwkeuriger te bepalen of iemand tegen de Google Assistent praat of niet.  
• 4D-Net combineert 3D-puntenwolkdata van autonome voertuigen met andere sensordata om de omgeving en objecten beter te begrijpen en betere beslissingen te nemen.

We mogen aannemen dat je in de toekomst de adoptie van deze modellen in Google-ecosystemen zult zien om gebruikersbetrokkenheid te vergroten en nieuwe producten te ontwikkelen. 

AI en data science

Moderne AI wordt gedreven door data science, algoritmes en data-engineering. Om baanbrekende technologie als ChatGPT en LaMDA te creëren, moeten we bij de basis beginnen: begrijpen hoe we met data omgaan en diverse natural language processing- en reinforcement learning-technieken toepassen, leren over deep learning-algoritmen en transformers, en modeloptimalisatie.

Start je data science-carrière met de carrièretrack Data Scientist with Python. Die leert je de essentiële skills om een professionele data scientist te worden.

Afbeelding door auteur

Dan nu de olifant in de kamer. Zal AI data scientists, analisten of engineers vervangen? Het simpele antwoord is „NEE.“ Misschien in de verre toekomst, maar ook dan zullen we andere banen hebben, creatiever en met meer beslissingsbevoegdheid. Met de ontwikkeling van AI groeien wij ook.

GitHub Copilot, DALL-E 2, ChatGPT en andere geavanceerde technologieën zijn er om ons te helpen. Ze zijn er om ons productiever en efficiënter te maken. 

Andrej Karpathy, eerder Director of AI bij Tesla en OpenAI, zegt:

„Copilot heeft mijn coderen drastisch versneld, het is moeilijk voor te stellen om terug te gaan naar ‘handmatig coderen’. Ik ben nog aan het leren hoe ik het gebruik, maar het schrijft al ~80% van mijn code, ~80% accuraat. Ik code eigenlijk niet eens, ik prompt. & edit.” - Twitter

Het laat zien dat veel mensen die technologie begrijpen die zullen gebruiken om beter te worden in programmeren, logica, data-analyse en besluitvorming. 

Hoe kunnen data scientists AI gebruiken?

1. Echte data genereren met behoud van privacy van gebruikers.
2. Elegante en efficiënte code schrijven.
3. Het product prototypen.
4. Betere data-analyse uitvoeren met behulp van prompts. 
5. Complexe SQL-query’s genereren met natuurlijke taal. 
6. Betere rapporten maken voor niet-technische stakeholders.
7. Complexe statistische analyses uitvoeren met uitleg.
8. Nieuwe programmeertalen, skills, frameworks en concepten leren. 
9. AI-gedreven AutoML- en modeloptimalisatietools gebruiken om state-of-the-art ML-oplossingen te bouwen.
10. Automatiseringsscripts bouwen om tijd te besparen en fouten te voorkomen. 

Een nieuw tijdperk van vooruitgang in AI

Microsoft heeft in samenwerking met OpenAI ChatGPT geïntegreerd in de nieuwe Bing-zoekmachine, een copiloot voor het web. Met deze aankondiging is een nieuwe race naar technologische suprematie begonnen.

Microsoft is van plan ChatGPT en andere GPT-modellen te integreren in zijn ecosysteem. Dat verandert alles, omdat gebruikers de applicatie niet eens meer hoeven te verlaten. Ze kunnen zoeken, content toevoegen, content bewerken en ideeën opdoen door simpelweg met een bot te chatten. 

Bing Copilot Demo

Op het Parijs-evenement lanceerde Google zijn eigen versie van ChatGPT, Bard. Het wordt aangedreven door een lichtgewicht LaMDA. Bard lijkt sterk op Microsofts copiloot voor het web; het is ook geïntegreerd in Google’s zoekmachine en biedt vergelijkbare functies. 

De keerzijden van vooruitgang in AI

• Grote taalmodellen zoals GPT kunnen in de toekomst worden gebruikt voor desinformatiecampagnes - openai.com. Ze hebben het potentieel om zowel fysieke als emotionele schade te veroorzaken.
• Content die met AI is gegenereerd is SEO-geoptimaliseerd en moeilijker te detecteren. Studenten en professionals gebruiken het om origineel werk te creëren zonder de concepten te leren of te begrijpen. Lees meer over onderwijsgerelateerde risico’s en kansen in de documentatie van de OpenAI API.
• Auteursrechtkwesties zijn reëel. Deze modellen zijn getraind op online beschikbare teksten, en sommige daarvan zijn beschermd. Je kunt andermans werk niet zomaar stelen om vooruitgang in AI te rechtvaardigen. 
• Soms produceert AI feitelijk onjuiste antwoorden. Dit kan in de toekomst grote problemen veroorzaken als deze modellen worden ingezet bij wetshandhaving. 

Deze kwesties zullen worden aangepakt en we zullen nieuwe wetgeving zien die het gebruik van AI reguleert. Scholen en contentplatforms zijn al begonnen met het implementeren van beleid voor AI-gegenereerde content. 

Wat kunnen we eraan doen? We kunnen beginnen met het leren over deze nieuwe technologieën en ze ethisch gebruiken. Je kunt AI leren door je in te schrijven voor onze carrièretrack Machine Learning Scientist with Python. Die leert je de essentiële machine learning-skills om een baan als AI-engineer te krijgen.