OpenAI kondigt de Assistants API aan

Tijdens de OpenAI Dev Day deed het bedrijf verschillende aankondigingen, waaronder een nieuwe Assistants API. Zie de artikelen over GPT-4 Turbo en GPT's en de GPT Store voor details over de andere aankondigingen.

De Assistants API breidt de bestaande OpenAI API uit om het voor softwareontwikkelaars makkelijker te maken AI-assistenten te bouwen, zoals chatbots.

Er zijn vier nieuwe functies aangekondigd:

1. "Threads" om langere gesprekken te beheren
2. "Retrieval" om tekst op te slaan
3. Ingebouwde code-interpretatie
4. Verbeteringen aan de functie-aanroepfunctionaliteit.

Belangrijkste functies van de Assistants API

Hier behandelen we elk van deze functies in meer detail.

Eenvoudiger gespreksbeheer met threads

Hoewel sommige taken kunnen worden uitgevoerd door één enkele prompt naar de API te sturen en één enkel antwoord terug te krijgen, hebben chatbots een langer gesprek (of "thread") nodig. Tot nu toe lag het bij de ontwikkelaar om de eerdere gesprekstoestand bij te houden en te beslissen welke van de eerdere berichten naar de API moesten worden gestuurd. Naarmate gesprekken langer worden, vereist dit het versturen van steeds meer tekst in elke API-aanroep, wat de prestaties vertraagt.

Bovendien, zodra het gesprek het "contextvenster" overschrijdt (de hoeveelheid tekst die GPT in één keer kan onthouden), moeten er keuzes worden gemaakt: gooi je oudere berichten weg, probeer je ze samen te vatten, of sla je ze op en beslis je later welke relevant zijn en moeten worden opgenomen? Het kan al snel lastig worden en de ontwikkeling vertragen.

De nieuwe threadingtools maken van OpenAI een "stateful" model in plaats van "stateless" (zonder geheugen). Eerdere berichten kunnen aan de OpenAI-kant worden opgeslagen, zodat de ontwikkelaar zich geen zorgen hoeft te maken over dit soort beheer.

Retrieval-tools laten je extra tekst opslaan

In de OpenAI-presentatie werden ook retrieval-tools genoemd voor het opslaan van tekst. Dit werd gepresenteerd als een tweede functie, hoewel, omdat de threadingfunctie hierop lijkt te steunen, onduidelijk is hoe afzonderlijk deze functie is.

Tijdens de presentatie waren technische details schaars, al valt te raden hoe dit werkt. Momenteel vereist het opnemen van generatieve AI in applicaties twee verschillende technologieën: een large language model (LLM) zoals GPT, en een vector database.

Vector databases slaan tekst (of afbeeldingen of andere ongestructureerde datatypes) op als numerieke vectoren via een proces dat embedding wordt genoemd. Je kunt deze stukjes tekst later ophalen om in prompts op te nemen. Een typisch gebruiksscenario is het hebben van een opslag met feiten over het onderwerp waarover je wilt praten.

Als je bijvoorbeeld een chatbot maakt om vragen over de producten van je bedrijf te beantwoorden, kun je de productinformatie in de vectordatabank opslaan en gebruiken om ervoor te zorgen dat de LLM feitelijk correcte antwoorden geeft.

De retrieval-functies die in de presentatie werden genoemd, suggereren dat de Assistants API je mogelijk API-toegang geeft tot een vectordatabank. Dit opent interessante mogelijkheden voorbij alleen langere gesprekken, omdat het zou betekenen dat je geen aparte vectordatabank zoals Pinecone, Milvus of Weaviate nodig hebt om je tekst op te slaan.

Dit is op dit moment speculatie, en we zullen moeten wachten tot er concrete details over de Assistants API beschikbaar komen.

Code-interpretatie is ingebouwd

ChatGPT heeft een Advanced Data Analysis-tool waarmee GPT Python-code kan genereren en uitvoeren op basis van instructies in natuurlijke taal. Hoewel de details in de OpenAI-presentatie wat vaag waren, werd gesuggereerd dat deze functie in de Assistants API wordt ingebouwd, zodat je prompts kunt geven waarmee GPT Python-code uitvoert.

Verbeterde functie-aanroepen maken interactie met andere software eenvoudiger

De functie function calling van de API stelt je in staat een instructie in natuurlijke taal te schrijven en GPT een JSON-string te laten retourneren die een aanroep voorstelt naar een door jou gedefinieerde functie. Dit is belangrijk voor AI-agents, die zijn ontworpen om taken uit te voeren op basis van invoer in natuurlijke taal.

De aankondiging beschrijft twee verbeteringen aan deze functie. Ten eerste is er een "JSON-modus" waarin het antwoord gegarandeerd geldige JSON is en nauwer zou moeten aansluiten op de gespecificeerde functiedefinitie. Tot nu toe bestond de kans dat het antwoord ongeldig was, waardoor grondige foutdetectiecode in je software nodig was.

De nieuwe functionaliteit zou het maken van AI-agents moeten vereenvoudigen en het makkelijker maken om natuurlijke-taalinterfaces naar software te bouwen.

Samenvatting

Hoewel de generatieve AI-revolutie in 2023 verbluffend is geweest, waren substantiële software-engineeringsvaardigheden nodig om generatieve AI in andere software op te nemen. De Assistants API belooft die drempel enigszins te verlagen, zodat meer producten de technologie sneller kunnen integreren.

Blijf leren

DataCamp heeft verschillende cursussen om je te leren hoe je de OpenAI API gebruikt. Begin met Working with the OpenAI API en ga verder met Introduction to Embeddings with the OpenAI API.

Je kunt ook meer leren over de function calling API in de OpenAI Function Calling Tutorial.