OpenAI annuncia la Assistants API

All'OpenAI Dev Day l'azienda ha fatto diversi annunci, tra cui una nuova Assistants API. Consulta gli articoli su GPT-4 Turbo e su GPTs e il GPT Store per i dettagli sugli altri annunci.

La Assistants API estende l'attuale OpenAI API per facilitare agli sviluppatori software la creazione di assistenti AI, come i chatbot.

Sono state annunciate quattro nuove funzionalità:

1. "Thread" per gestire meglio le conversazioni più lunghe
2. "Retrieval" per aiutare a memorizzare il testo
3. Interpretazione del codice integrata
4. Miglioramenti alla funzionalità di function calling.

Funzionalità principali della Assistants API

Qui approfondiremo ciascuna di queste funzionalità.

Gestione delle conversazioni più semplice con i thread

Mentre alcuni compiti possono essere svolti inviando un singolo prompt all'API e ottenendo una singola risposta, i chatbot richiedono una conversazione più lunga (o "thread"). Finora, spettava allo sviluppatore tenere traccia dello stato della conversazione precedente e decidere quali messaggi passati inviare all'API. Man mano che le conversazioni si allungano, questo richiede di inviare sempre più testo in ogni chiamata all'API, rallentando le prestazioni.

Inoltre, una volta che la conversazione supera la "finestra di contesto" (la quantità di testo che GPT può ricordare in una volta), bisogna prendere delle decisioni: scartare i messaggi più vecchi, provare a riassumerli oppure conservarli e decidere in un secondo momento quali sono rilevanti e vanno inclusi? La gestione può diventare rapidamente macchinosa e rallentare lo sviluppo dell'applicazione.

I nuovi strumenti per i thread trasformano OpenAI da un modello "stateless" (senza memoria) a uno "stateful". I messaggi precedenti possono essere memorizzati lato OpenAI, evitando allo sviluppatore di doversi preoccupare di queste operazioni di gestione.

Gli strumenti di retrieval ti permettono di archiviare testo aggiuntivo

La presentazione di OpenAI ha menzionato anche strumenti di retrieval per l'archiviazione del testo. È stata presentata come una seconda funzionalità, anche se, dato che quella dei thread sembra farne uso, non è chiaro quanto sia separata.

I dettagli tecnici sono stati scarsi durante la presentazione, anche se è possibile ipotizzare come funzioni. Attualmente, includere l'AI generativa nelle applicazioni richiede due tecnologie diverse: un large language model (LLM) come GPT e un database vettoriale.

I database vettoriali memorizzano testi (o immagini o altri tipi di dati non strutturati) come vettori numerici tramite un processo noto come embedding. Puoi recuperare questi pezzi di testo in seguito per includerli nei prompt. Un caso d'uso tipico prevede di avere un archivio di fatti relativi all'argomento di cui vuoi parlare.

Per esempio, se stai creando un chatbot per rispondere alle domande sui prodotti della tua azienda, puoi archiviare le informazioni sui prodotti nel database vettoriale e usarle per assicurarti che l'LLM dia risposte fattuali accurate.

Le funzionalità di retrieval menzionate nella presentazione fanno pensare che la Assistants API possa offrire accesso via API a un database vettoriale. Questo apre possibilità interessanti oltre alla gestione di conversazioni più lunghe, perché significherebbe che non devi usare un database vettoriale separato come Pinecone, Milvus o Weaviate per archiviare il tuo testo.

Al momento è solo un'ipotesi, e dovremo aspettare che siano disponibili i dettagli concreti della Assistants API.

Interpretazione del codice integrata

ChatGPT dispone di uno strumento Advanced Data Analysis che consente a GPT di generare ed eseguire codice Python a partire da istruzioni in linguaggio naturale. Anche se nella presentazione di OpenAI i dettagli erano piuttosto vaghi, è stato suggerito che questa funzionalità sarà integrata nella Assistants API, così potrai fornire prompt che fanno eseguire a GPT del codice Python.

Function calling migliorato per interagire più facilmente con altri software

La funzionalità di function calling dell'API ti permette di scrivere un'istruzione in linguaggio naturale e far restituire a GPT una stringa JSON che rappresenta la chiamata a una funzione che hai definito. Questo è importante per gli agenti AI, progettati per svolgere compiti a partire da input in linguaggio naturale.

L'annuncio descrive due miglioramenti a questa funzione. Innanzitutto, c'è una "modalità JSON" in cui la risposta è garantita come JSON valido e dovrebbe aderire più fedelmente alla firma della funzione specificata. Finora, c'era la possibilità che la risposta fosse non valida, richiedendo un'accurata gestione degli errori nel tuo software.

La nuova funzionalità dovrebbe semplificare la creazione di agenti AI e rendere più facile costruire interfacce in linguaggio naturale per il software.

Riepilogo

Sebbene la rivoluzione dell'AI generativa nel 2023 sia stata sorprendente, per integrare l'AI generativa in altri software sono state necessarie solide competenze di ingegneria del software. La Assistants API promette di abbassare in parte questa barriera d'ingresso, consentendo a più prodotti di incorporare più rapidamente la tecnologia.

Continua a imparare

DataCamp offre diversi corsi per insegnarti a usare l'OpenAI API. Inizia con Working with the OpenAI API e prosegui con Introduction to Embeddings with the OpenAI API.

Puoi anche approfondire la function calling API nella OpenAI Function Calling Tutorial.