Een beginnersgids voor de OpenAI API: praktische tutorial en best practices

OpenAI API-functies

Hier zijn enkele kernfuncties die van de OpenAI API een waardevol hulpmiddel maken voor iedereen die AI in zijn of haar bedrijf wil inzetten:

1. Voorgetrainde AI-modellen

Voorgetrainde modellen zijn machine learning-modellen die al op een grote dataset zijn getraind, vaak op een algemene taak, voordat ze voor een specifieke taak worden ingezet. Het OpenAI-team heeft deze modellen getraind en in API-vorm uitgebracht, wat betekent: “zij trainen één keer, wij gebruiken vaak”. Dat kan enorm veel tijd en middelen besparen.

Enkele van de uitgebrachte modellen zijn:

• GPT-4: Verbeterde versies van GPT-3.5-modellen, in staat om zowel tekst als code te begrijpen en te genereren.
• GPT-3.5:: Verbeterde versies van GPT-3-modellen, die tekst of code kunnen begrijpen en genereren.
• GPT Base: Modellen die tekst of code kunnen verwerken en genereren, maar geen instructies kunnen volgen.
• DALL·E: Een model dat afbeeldingen maakt en aanpast op basis van tekstprompts.
• Whisper: Zet audio-invoer om in geschreven tekst.
• Embeddings: Modellen die tekst omzetten naar numerieke waarden.
• Moderation: Een fijn-afgesteld model dat mogelijk gevoelige of onveilige tekst identificeert.

Deze modellen zijn getraind op enorme hoeveelheden data en met zeer hoge rekenkracht, vaak niet beschikbaar of betaalbaar voor individuen of zelfs veel organisaties. Nu kunnen data scientists en bedrijven de voorgetrainde modellen eenvoudig benutten via een API.

2. Aanpasbare AI-modellen

Modellen aanpassen in de OpenAI API draait vooral om fine-tuning, waarmee gebruikers voorgetrainde modellen kunnen afstemmen op hun specifieke use-cases.

Met de OpenAI API kunnen we de voorgetrainde modellen nemen, onze eigen trainingsdata gebruiken, de modellen verder trainen en de fijn-afgestelde modellen inzetten voor onze use-cases. Je kunt meer lezen over het proces van het fine-tunen van een GPT-3-model hier. Fine-tuning bespaart kosten en maakt verzoeken met lagere latentie mogelijk voor downstream-toepassingen.

3. Eenvoudige API-interface

Het OpenAI API-platform is intuïtief en eenvoudig te gebruiken voor beginners. Met een paar regels code, dankzij de uitgebreide documentatie en quickstart-voorbeelden, kun je zonder steile leercurve de API in je use-cases toepassen.

Die eenvoud is prettig voor mensen die nog vroeg in hun data-carrière zitten: de stap naar AI wordt minder intimiderend en juist leuker.

4. Schaalbare infrastructuur

OpenAI heeft Kubernetes-clusters opgeschaald naar 7.500 nodes om een schaalbare infrastructuur te bieden voor grote modellen zoals GPT-3, CLIP en DALL·E, evenals voor snelle, kleinschalige iteratieve research. Azure OpenAI Service draait op de wereldwijde Azure-infrastructuur om te voldoen aan productie-eisen zoals cruciale enterprise-beveiliging, compliance en regionale beschikbaarheid, wat wijst op een schaalbare infrastructuur ter ondersteuning van OpenAI API-gebruik.

Naarmate je projecten groter en complexer worden, heb je een infrastructuur nodig die kan meegroeien. Het schaalvermogen van de OpenAI API wanneer het gebruik toeneemt is vooral handig wanneer je van kleine naar grotere, veeleisendere projecten gaat, waardoor de OpenAI API een betrouwbare tool is voor je projecten.

Use-cases per sector voor de OpenAI API

Meer dan 300 applicaties maken inmiddels gebruik van GPT-3 via de OpenAI API, wat wijst op een enorme variëteit aan creatieve en unieke toepassingen die wereldwijd worden ontwikkeld. Hier zijn enkele gangbare toepassingen in de industrie:

1. Chatbots en virtuele assistenten

Het vermogen van de OpenAI API om mensachtige tekst te begrijpen en genereren, maakt het een uitstekende kandidaat voor het bouwen van slimme chatbots en virtuele assistenten. Voorgetrainde modellen zoals GPT-4 of ChatGPT kunnen conversational agents aandrijven die op een natuurlijke en intuïtieve manier met gebruikers communiceren. Deze agents kunnen worden ingezet op websites, in apps of op klantenserviceplatforms om de betrokkenheid te vergroten en ondersteuning te automatiseren.

2. Sentimentanalyse

Sentimentanalyse draait om het begrijpen van het sentiment achter tekstuele data. Met de OpenAI API kun je klantreviews, socialmediacommentaren of andere tekstdata analyseren om de publieke opinie of klanttevredenheid te peilen. Door modellen als GPT-4 of 3.5 te gebruiken, kun je het sentimentanalyseproces automatiseren en inzichten halen die cruciaal kunnen zijn voor je bedrijfsstrategie.

3. Beeldherkenning

Hoewel OpenAI vaak wordt geassocieerd met tekstverwerking, begeeft het zich ook op het gebied van beeldherkenning met modellen als CLIP. CLIP leert visuele concepten uit natuurlijke taalbeschrijvingen en kan via de OpenAI API worden ingezet voor taken als objectdetectie, beeldclassificatie en meer. Dit opent deuren in uiteenlopende domeinen, waaronder de zorg, waar beeldherkenning kan helpen medische aandoeningen op te sporen in beelddata.

4. Gaming en reinforcement learning

De OpenAI API vindt ook toepassing in de gamingindustrie en in reinforcement learning-omgevingen. Modellen kunnen worden getraind of fijn-afgesteld om met gameomgevingen te interacteren, beslissingen te nemen om het spel autonoom te spelen of spelers te ondersteunen.

OpenAI heeft dit gedemonstreerd met modellen als Dactyl, dat met reinforcement learning een Rubiks kubus leerde oplossen, en OpenAI Five, dat het opnam tegen menselijke spelers in het spel Dota 2.

Nu we de OpenAI API en de use-cases begrijpen, is het tijd om hands-on aan de slag te gaan.

Hands-on: aan de slag met de OpenAI API

Laten we ervan uitgaan dat je een absolute beginner bent met de OpenAI API, en je stap voor stap naar je eerste API-call brengen.

Stap 1: Maak een OpenAI-platformaccount

Voor alles heb je een account op het OpenAI-platform nodig.

Ga naar het platform van OpenAI en volg de stappen om een account aan te maken. Als je bent aangemeld, zou je iets als dit moeten zien:

Stap 2: Haal je API-sleutel op

Zodra je account is ingesteld, heb je je API-sleutel nodig. Die is essentieel om met de API te communiceren.

Navigeer naar de API-keys-pagina in je OpenAI-account, zoals weergegeven in de onderstaande afbeelding.

Je kunt nu een API-sleutel aanmaken. Kopieer deze en bewaar hem veilig, want je kunt hem later niet meer bekijken. Als je hem kwijtraakt of een nieuwe nodig hebt, kun je echter een nieuwe genereren.

Stap 3: Installeer de OpenAI Python-bibliotheek

Nu je account en API-keys klaar zijn, is de volgende stap je lokale machine instellen. We kunnen de OpenAI API vanaf onze lokale machine benaderen via de Python-bibliotheek van OpenAI.

Je kunt deze installeren met pip via het onderstaande commando:

pip install openai

Stap 4: Je eerste API-call maken

Nu je je API-sleutel en de OpenAI-bibliotheek hebt geïnstalleerd, is het tijd voor je eerste API-call.

Hier is de code om dat te doen:

def get_chat_completion(prompt, model="gpt-3.5-turbo"):
  
   # Creating a message as required by the API
   messages = [{"role": "user", "content": prompt}]
  
   # Calling the ChatCompletion API
   response = openai.ChatCompletion.create(
       model=model,
       messages=messages,
       temperature=0,
   )

   # Returning the extracted response
   return response.choices[0].message["content"]

response = get_chat_completion("Translate into Spanish: As a beginner data scientist, I'm excited to learn about OpenAI API!")

print(response)

We schrijven een helperfunctie om de ChatCompletion API te gebruiken met het model “gpt-3.5-turbo”, die de door de gebruiker ingevoerde prompt accepteert en het antwoord teruggeeft.

Hier is het antwoord (voel je vrij om het na te kijken als je een beetje Spaans kent!):

Stap 5: Verder verkennen

Met je eerste API-call achter de rug ben je al een heel eind op weg! Enkele vervolgstappen:

• Verken verschillende engines en ontdek wat het beste werkt voor jouw use-case.
• Experimenteer met verschillende prompts en parameters om te zien hoe de API reageert.
• Duik in de OpenAI-documentatie om meer te leren over wat je met de API kunt doen.

Het idee is dat je vanaf hier gaat brainstormen over hoe je de API kunt gebruiken voor het zakelijke probleem dat je wilt aanpakken (aan het einde van de tutorial vind je meer bronnen).

Best practices bij het gebruik van de OpenAI API

Nu je je comfortabel voelt met de API, zijn hier enkele best practices om te onthouden voordat je deze in je projecten gebruikt:

1. De prijsstelling van de API begrijpen

De API biedt een reeks modellen met verschillende mogelijkheden en prijsniveaus, volgens het pay-for-what-you-use-principe. De kosten worden berekend per 1.000 tokens, waarbij tokens in feite stukjes van woorden zijn en 1.000 tokens ongeveer 750 woorden zijn. De actuele prijzen voor alle modellen vind je op de OpenAI-prijzenpagina.

Als je je aanmeldt, krijg je $5 aan gratis tegoed dat je in de eerste drie maanden kunt gebruiken. Zo kun je de tutorial uitproberen en de API beter leren kennen voordat je besluit te betalen.

2. Je API-sleutel beveiligen

In plaats van je API-sleutel hard te coderen in de broncode van je applicatie, gebruik je omgevingsvariabelen om de sleutel op te slaan en op te halen. Dat is veiliger.

Hardgecodeerde API-sleutels zijn ook lastig te beheren, vooral in een teamomgeving. Als de sleutel moet worden geroteerd of gewijzigd, moet elke instantie van de hardgecodeerde sleutel in de broncode worden gevonden en bijgewerkt.

3. De nieuwste modellen gebruiken

OpenAI raadt aan de nieuwste modellen te gebruiken voor het probleem dat je wilt oplossen wanneer er meerdere versies beschikbaar zijn. Dat is logisch, want de nieuwere modellen zijn vaak capabeler, maar ook duurder. Over het algemeen loont het om met enkele beschikbare modellen te experimenteren en degene te kiezen die het beste past bij je use-case, rekening houdend met de afweging tussen kosten en prestaties.

4. Tokenlimieten efficiënt benutten via batching

Batching is een techniek waarmee je meerdere taken groepeert in één API-verzoek om ze efficiënt samen te verwerken in plaats van voor elke taak een afzonderlijk verzoek te sturen.

De OpenAI API hanteert aparte limieten voor het aantal verzoeken per minuut en het aantal tokens per minuut dat je kunt verwerken. Als je de limiet voor verzoeken per minuut raakt maar nog ongebruikte capaciteit hebt in de tokens-per-minuutlimiet, kan batching helpen die capaciteit efficiënt te benutten.

Door meerdere kleinere taken in één verzoek te bundelen, verlaag je het totale aantal verzoeken terwijl je mogelijk meer tokens in één keer verwerkt. Zo blijf je binnen de rate limits en optimaliseer je de kosten.

Conclusie

Als je relatief nieuw bent in data science, heb je misschien nog niet veel met API’s gewerkt. Vroeger was dat normaal, maar met de snelle vooruitgang en mogelijkheden in AI door bedrijven als OpenAI is weten hoe je hun voorgetrainde modellen (en hoe je ze fine-tunet) effectief vanuit hun API gebruikt, een essentiële vaardigheid geworden voor elke data scientist om tijd, kosten en andere middelen te besparen.

Deze tutorial introduceerde OpenAI, de API en enkele veelvoorkomende sector-specifieke use-cases. Ook nam hij je mee in hands-on werken met de OpenAI API en de best practices die je daarbij volgt.

De volgende stap is je kennis van de OpenAI API verbreden met tutorials zoals:

• OpenAI API-cheatsheet in Python
• GPT-3.5 en GPT-4 gebruiken via de OpenAI API in Python
• Introductie tot text embeddings met de OpenAI API
• OpenAI Function Calling-tutorial

Geef je de voorkeur aan een begeleide aanpak die hands-on ervaring biedt als aanvulling op deze tutorial? Bekijk dan onze eigen cursus Working with the OpenAI API.