{count, plural, one {Programma} other {Programmi}}
Nozioni di base sull'intelligenza artificiale
{hours} ore
Immagine dell’autore
Il mondo della data science è cambiato radicalmente con l’emergere dei large language model (LLM). Strumenti come GPT-3 di OpenAI sono diventati fondamentali per trainare l’innovazione nel campo e sbloccare capacità prima ritenute irraggiungibili.
Se all’inizio i modelli GPT di OpenAI dominavano il mercato, nel tempo lo scenario è cambiato grazie al lancio di numerosi nuovi modelli, ciascuno con il proprio set di funzionalità e applicazioni specializzate.
Tra questi, i modelli di Mistral si distinguono per il ragionamento avanzato e il supporto multilingue, oltre a ottime capacità di scrittura di codice, segnando un passo avanti significativo nell’AI.
Questo tutorial ti presenta l’ultimo modello di Mistral, Mistral Large, incluso l’accesso via API per un utilizzo on-demand. Offriremo un’analisi approfondita delle sue funzionalità, un confronto con altri LLM e casi d’uso pratici.
Che tu sia un data scientist esperto, uno sviluppatore in cerca di nuovi strumenti o un appassionato di AI curioso di esplorare le ultime novità, questo tutorial è pensato per te.
Che cos’è Mistral AI?
Mistral AI è un’azienda francese fondata nell’aprile 2023 da ex dipendenti di Meta Platforms e Google DeepMind. Il suo obiettivo principale è vendere prodotti e servizi di AI, offrendo al contempo alla società LLM open source solidi.
L’azienda ha rivoluzionato il mercato con il modello Mistral 7B, lanciato a settembre 2023: un modello da 7,3 miliardi di parametri che superava i più avanzati modelli open source dell’epoca, incluso LlaMa 2, garantendo a Mistral AI un ruolo di primo piano nel dominio dell’AI open source.
Negli ultimi mesi, Mistral AI è diventata una forza pionieristica nel settore dell’intelligenza artificiale e sta cercando di offrire strumenti potenti progettati per risolvere problemi complessi e semplificare le operazioni.
Ed è proprio questo che ci porta al suo ultimo lancio, il modello Mistral Large.
Che cos’è Mistral Large
Mistral Large è l’LLM più recente e potente di Mistral, lanciato a febbraio 2024. Si posiziona come modello di punta per la generazione di testo, in grado di rivaleggiare con le rinomate capacità di GPT-4.
Punta ad avere forti abilità di ragionamento e conoscenza, una solida comprensione del codice (in più linguaggi di programmazione) e un’ottima gestione del multilingue. Questi sono precisamente i compiti in cui eccelle di più:
Ragionamento e conoscenza
Mistral Large mostra robuste capacità di ragionamento. Per valutare tali abilità, le prestazioni di LLM come Mistral Large o GPT-4 vengono confrontate con diversi benchmark che testano comprensione, ragionamento, conoscenza e capacità di gestire vari tipi di dati.
Alcuni tra i più comuni sono:
- MMLU o Measuring Massive Multitask Language Understanding: verifica la comprensione del modello su un’ampia gamma di materie, dai domini professionali al ragionamento di buon senso.
- HellaSwag: valuta la comprensione da parte del modello di scenari di buon senso e la capacità di prevedere la continuazione più plausibile di un contesto dato.
- Arc Challenge: misura la capacità del modello di rispondere a domande di scienze a livello scolastico che richiedono ragionamento logico e comprensione di concetti scientifici.
Le prestazioni di questi modelli pre-addestrati sui tre benchmark precedenti e altri ancora sono illustrate nella figura seguente:
Immagine di Mistral AI. Prestazioni sui diffusi benchmark di buon senso, ragionamento e conoscenza dei principali LLM sul mercato: MMLU (Measuring massive multitask language understanding), HellaSwag (10-shot), Wino Grande (5-shot), Arc Challenge (5-shot), Arc Challenge (25-shot), TriviaQA (5-shot) e TruthfulQA.
Come puoi vedere, Mistral Large è il modello con le migliori prestazioni in ArcC e TruthfulQA, mantenendo punteggi vicini a GPT-4 in quasi tutti i benchmark.
Capacità multilingue
A differenza di molti modelli eccellenti in una sola lingua, Mistral Large vanta una fluenza nativa in inglese, francese, spagnolo, tedesco e italiano.
Questa capacità multilingue va oltre la semplice traduzione: comprende a fondo grammatica e contesto culturale, il che lo rende una scelta ideale per applicazioni globali che richiedono un approccio nativo a queste lingue.
Matematica e coding
Mistral Large eccelle anche in compiti di programmazione e matematica, dimostrando capacità superiori. Anche qui, esistono benchmark standard per confrontare diversi LLM nelle competenze matematiche e di coding. Tra i più comuni troviamo:
- HumanEval: misura la capacità del modello di generare soluzioni di codice corrette per vari problemi di programmazione.
- MBPP: testa la competenza del modello nel risolvere problemi di programmazione in Python.
- GSM8K: valuta le capacità di problem solving in matematica a livello scolastico.
La seguente tabella fornisce una panoramica delle sue prestazioni su vari benchmark noti, confrontando le abilità di coding e matematiche dei principali LLM.
Immagine di Mistral AI. Prestazioni sui popolari benchmark di coding e matematica dei principali LLM sul mercato: HumanEval pass@1, MBPP pass@1, Math maj@4, GSM8K maj@8 (8-shot) e GSM8K maj@1 (5 shot).
Come prima, Mistral Large primeggia nella maggior parte dei benchmark (MBPP, Math maj@4 e GSM8K), mantenendo punteggi elevati in tutti.
Inoltre, Mistral Large introduce alcune nuove funzionalità e punti di forza:
- La sua finestra di contesto da 32K token consente un recupero accurato di informazioni da documenti estesi. In parole semplici, Mistral Large può considerare fino a 32.000 token (porzioni di parole) di testo in input alla volta quando genera risposte o analizza testo, rispetto alla finestra da 8K token di Mistral 7B.
- La sua precisione nel seguire le istruzioni permette agli sviluppatori di adattare le policy di moderazione: abbiamo sfruttato questa capacità per impostare la moderazione a livello di sistema per le Chat.
- Supporta intrinsecamente le function call. In pratica, Mistral Large può elaborare ed eseguire chiamate di funzione all’interno del suo framework. Questo consente all’LLM di comprendere richieste di esecuzione di funzioni specifiche, svolgerle come parte della generazione della risposta o manipolare i dati secondo la logica della funzione.
Tutti i modelli Mistral AI sono rilasciati con licenza Apache 2.0, che permette l’uso senza restrizioni. Puoi approfondire architettura e prestazioni leggendo il sito ufficiale e la documentazione di Mistral.
Mistral Large vs. altri LLM
Rispetto ad altri modelli nel mondo degli LLM, come ChatGPT e Claude, Mistral Large si distingue innanzitutto per una maggiore convenienza.
In un panorama AI competitivo, Mistral Large ha ottenuto risultati notevoli su benchmark ampiamente riconosciuti, affermandosi come il secondo modello al mondo disponibile tramite API.
Questo traguardo ne sottolinea l’efficacia nella comprensione e generazione di testo, misurata rispetto a giganti del settore come GPT-4, Claude 2 e LLaMA 2 70B in valutazioni complete come MMLU (Measuring Massive Multitask Language Understanding).
Immagine di Mistral AI. Confronto tra GPT-4, Mistral Large (pre-addestrato), Claude 2, Gemini Pro 1.0, GPT 3.5 e LLaMA 2 70B su MMLU (Measuring massive multitask language understanding).
Se ChatGPT ha rivoluzionato le conversazioni interattive con l’AI e Claude 2 ha introdotto una migliore comprensione e generazione, Mistral Large spinge oltre integrando un ragionamento profondo in un framework conveniente, rendendo l’AI avanzata accessibile a un pubblico più ampio.
Ora è il momento di imparare a domare questa bestia!
Primi passi con Mistral Large
L’accesso a Mistral AI inizia con una procedura di configurazione semplice, pensata per permetterti di iniziare in pochissimo tempo.
Ci sono due modi principali per accedere al modello:
- Usare l’interfaccia di Mistral ispirata a ChatGPT, chiamata “Le Chat”.
- Integrarlo nel nostro codice utilizzando l’endpoint API di Mistral.
Immagine dell’autore.
Se vuoi iniziare con un modello più semplice, ti consiglio vivamente di seguire questa guida all’uso e al fine-tuning di Mistral 7B.
Mistral ChatBot - Le Chat
Questa interfaccia ti permette di avere una conversazione testuale con Mistral, simile a quella offerta da aziende come OpenAI o Google: puoi fare domande o dare istruzioni e Mistral cercherà di rispondere nel modo più informativo possibile.
Screenshot dell’interfaccia Mistral Le Chat.
Per accedere a questa interfaccia, ti basta visitare il sito di Mistral Le Chat e registrarti. È gratuito e senza limiti o restrizioni.
Mistral API
Gli sviluppatori possono interagire con Mistral tramite API, in modo simile all’esperienza con il sistema API di OpenAI.
Questa API consente di inviare prompt testuali e ricevere le risposte generate dal modello. In Python, librerie come mistralai semplificano l’interazione con l’API di Mistral.
Vediamo quindi i passaggi di base per interagire con Mistral Large.
STEP 1 - Creare il nostro account Mistral
Il primo passo è andare sul sito di Mistral e cliccare sul pulsante “Build Now”.
Screenshot del sito principale di MistralAI.
Ti verrà chiesto di creare un nuovo account o di accedere se ne hai già uno.
Screenshot dell’interfaccia di registrazione di MistralAI.
Una volta effettuato l’accesso, ti verrà richiesto di sottoscrivere un abbonamento per ottenere l’accesso ai modelli via API.
Screenshot dell’account MistralAI.
Quindi dovrai compilare i tuoi dati personali e di fatturazione.
Screenshot del processo di registrazione a MistralAI.
E così, abbiamo creato un account pronto all’uso!
STEP 2 - Creare la nostra API KEY
Una volta attivo l’account, dovrai generare una API Key per chiamare il modello Mistral Large dal tuo codice Python. Per farlo, vai alla sezione API Keys.
Screenshot del processo di registrazione a MistralAI.
Da lì, ti basta premere il pulsante “Create new key” e assegnarle un nome e una data di scadenza (del tutto opzionale).
Screenshot del processo di registrazione a MistralAI.
STEP 3 - Configurare l’ambiente locale
Per chiamare il modello Mistral dal tuo codice Python userai la libreria mistralai, che puoi installare facilmente con il seguente comando pip:
pip install mistralaiPoiché userai una API Key, ti consiglio di sfruttare la libreria dotenv per conservarla. Puoi installarla facilmente con il seguente comando pip:
pip install python-dotenvPoi, puoi definire facilmente la tua Mistral API Key in un file .env e recuperarla con il seguente codice:
import os
from dotenv import load_dotenv
# Load environment variables from the .env file
load_dotenv()
# Access the API key using os.getenv
api_key = os.getenv("MISTRAL_API_KEY")Applicazioni pratiche di Mistral Large
Mistral Large può essere utilizzato in vari campi, tra cui creazione di contenuti, automazione dell’assistenza clienti, supporto alla programmazione, analisi dei dati, traduzione linguistica e strumenti educativi.
Queste applicazioni dimostrano la versatilità degli LLM di Mistral nel migliorare produttività, creatività e processo decisionale in diversi settori. Per iniziare a sperimentare, devi prima inizializzare il modello.
Per farlo, importerai la libreria mistralai.client e la funzione di chat completion per ottenere risposte dal modello. Quindi, per semplificare l’interazione con l’API, definisci una funzione chat_mistral che prende in input il tuo prompt e restituisce in output la risposta del modello.
from mistralai.client import MistralClient
from mistralai.models.chat_completion import ChatMessage
model = "mistral-large-latest"
client = MistralClient(api_key=api_key)
def chat_mistral(prompt: str):
messages = [
ChatMessage(role="user", content=prompt)
]
# No streaming
chat_response = client.chat(
model=model,
messages=messages,
)
return chat_response.choices[0].message.contentVediamo alcuni esempi che Mistral può gestire:
Generazione e trasformazione del testo
Mistral Large eccelle nei compiti di generazione, comprensione e trasformazione del testo. Dalla scrittura di narrazioni e articoli accattivanti al riassunto di documenti complessi e alla trasformazione dello stile, le sue principali applicazioni nel text processing sono le seguenti:
Generazione di testo
Una delle principali applicazioni di Mistral Large, come di qualsiasi LLM, è la generazione di testo a partire dal tuo prompt iniziale. Al centro di questa abilità c’è l’ampio addestramento del modello su dataset eterogenei composti da grandi quantità di testo di vari domini.
Questo addestramento gli consente di cogliere diversi stili di scrittura, argomenti e strutture linguistiche, rendendolo abile nel creare testi che rispettano toni o requisiti specifici.
# Prompt iniziale per una fiaba
prompt = """Write a short story starting with "Once upon a time" """
print(chat_mistral(prompt))
_________________________________________ #OUTPUT
Once upon a time, in a bustling city filled with towering skyscrapers and endless traffic, there was a small, quaint bookstore named "Whispers of the Past". This wasn't an ordinary bookstore. It was a magical place where every book held a secret story, waiting to be discovered.
The owner of the store, Mr. Benjamin, was an old man with a heart full of kindness and a mind full of tales. He had a peculiar habit of recommending books to his customers, not based on their genre preference, but on their current life situations. His recommendations were always spot on, and people often found solace, guidance, or inspiration from the books he suggested.
One day, a young girl named Lily walked into the store. She was new in town and had a lost look in her eyes. Seeing this, Mr. Benjamin approached her and asked, "What can I help you find today, my dear?"
Lily…
Puoi saperne di più sulla generazione di testo nell’articolo What is Text Generation?
Analisi del sentiment
La capacità di sentiment analysis di Mistral Large si basa sul suo framework di deep learning, che gli consente di comprendere il contesto del linguaggio distinguendo efficacemente tra sentiment positivo, negativo e neutro.
Analizzando il testo in input, può inferire il tono emotivo dietro le parole, sfruttando l’ampio addestramento su dataset diversificati per garantire un rilevamento accurato del sentiment su vari tipi di contenuti.
Un buon utilizzo di Mistral consiste nel chiedergli di distinguere il sentiment di un testo dato.
# Testo di esempio
text = "This movie was absolutely fantastic! I highly recommend it."
prompt = f"""Analyze the sentime of the following {text}.
Generate a json like response with the corresponding sentiment (positive, neutral or negatie).
"""
print(chat_mistral(prompt))
_________________________________________ #OUTPUT
{
"Sentiment": "Positive",
"Text": "This movie was absolutely fantastic! I highly recommend it."
}
Riassunto del testo
Mistral Large eccelle nel riassunto del testo sfruttando avanzate capacità di elaborazione del linguaggio naturale per trasformare documenti lunghi in sintesi concise e informative. Comprende temi principali e dettagli chiave di un testo, identificando ed estraendo le informazioni più critiche per produrre un riepilogo coerente e sintetico.
Questa abilità è particolarmente utile per cogliere rapidamente l’essenza di grandi volumi di testo, rendendo Mistral Large uno strumento essenziale per professionisti che devono assimilare e utilizzare informazioni con efficienza.
Un esempio semplice consiste nel chiedere al modello di riassumere un testo, come segue:
# Testo di esempio
text = """The quick brown fox jumps over the lazy dog. The rain in Spain falls mainly on the plain.
This is a longer sentence to show summarization capabilities."""
prompt = f"""Summarize the following {text} in 4 words.
"""
print(chat_mistral(prompt))
_________________________________________ #OUTPUT
Fox jumps, rain falls.
Traduzione e compiti multilingue
Mistral Large dimostra capacità superiori nella gestione di compiti multilingue. Mistral-large è stato specificamente addestrato per comprendere e generare testo in più lingue, in particolare francese, tedesco, spagnolo e italiano.
Mistral Large può essere particolarmente prezioso per aziende e utenti che devono comunicare in più lingue.
Un esempio semplice consiste nell’usare Mistral Large come traduttore.
# Testo di esempio
text = """The quick brown fox jumps over the lazy dog. The rain in Spain falls mainly on the plain.
This is a longer sentence to show summarization capabilities."""
language_in = "english"
language_out = "spanish"
prompt = f"""Translate the following {text} that is written in {language_in} to {language_out} and
just output the translated text.
"""
print(chat_mistral(prompt))
_________________________________________ #OUTPUT
The quick brown fox jumps over the lazy dog. The rain in Spain falls mainly on the plain.
Translation to Spanish:
El rápido zorro marrón salta sobre el perro perezoso. La lluvia en España cae principalmente en la llanura.
This is a longer sentence to show summarization capabilities.
Translation to Spanish:
Esta es una oración más larga para mostrar las capacidades de resumen.
Generazione di codice e risoluzione di problemi matematici
Oltre al testo, Mistral Large mostra notevoli capacità nella generazione di codice e nella risoluzione di problemi matematici. Fornendo enunciati concisi, puoi sfruttare Mistral Large per produrre snippet di codice ottimizzati e affrontare sfide matematiche, dimostrando l’utilità del modello in contesti educativi, di ricerca e sviluppo.
Generazione di codice
Mistral Large eccelle nella generazione di codice comprendendo descrizioni di alto livello e traducendole in codice sintatticamente corretto ed efficiente in vari linguaggi.
Sfrutta l’ampio addestramento su codebase, documentazione tecnica e forum di sviluppatori per generare codice che soddisfa i requisiti specificati, garantendo funzionalità e ottimizzazione.
Un esempio semplice consiste nel chiedere al modello di generare una funzione che svolge un compito descritto.
# Prompt: Genera una funzione Python che prende una lista di numeri e restituisce la somma dei quadrati.
prompt = """def sum_of_squares(numbers):
# Your code here
pass
# Call the generated function with a sample list
numbers = [1, 2, 3]
result = sum_of_squares(numbers)
print(f"Sum of squares: {result}") # Expected output: Sum of squares: 14"""
print(chat_mistral(prompt))
_________________________________________ #OUTPUT
Sure, I can help you define the function `sum_of_squares`. This function should take a list of numbers as an argument, square each number, and then return the sum of those squares. Here's how you could do it:
```python
def sum_of_squares(numbers):
return sum(num ** 2 for num in numbers)
```
Questa capacità snellisce lo sviluppo, aiutando i programmatori nel prototyping rapido, nel debugging e nell’implementazione di algoritmi complessi con facilità.
Risoluzione di problemi matematici
Mistral Large è abile nel risolvere problemi matematici grazie alla profonda comprensione dei concetti numerici e alla capacità di elaborare e interpretare istruzioni matematiche complesse.
Applica algoritmi addestrati su un’ampia varietà di dati matematici, che gli consentono di affrontare problemi che vanno dall’aritmetica di base a calcolo e algebra avanzati.
Per esempio, puoi chiedere al modello di risolvere un problema matematico.
# Prompt: Risolvi un sistema di equazioni lineari con due variabili.
prompt = """We have a system of equations:
x + 2y = 5
3x - y = 1
Solve for x and y.
"""
print(chat_mistral(prompt))
_________________________________________ #OUTPUT
Sure, I'd be happy to help you solve this system of equations. We can use the method of substitution or elimination. I'll use substitution for this example.
First, let's solve the first equation for x:
x = 5 - 2y
Now, we can substitute x in the second equation with the expression we just found:
3(5 - 2y) - y = 1
Expanding and simplifying this gives:
15 - 6y - y = 1
-7y = 1 - 15
-7y = -14
Now, divide both sides by -7 to solve for y:
y = -14 / -7
y = 2
Substitute y = 2 into the first equation:
x + 2(2) = 5
x + 4 = 5
x = 5 - 4
x = 1
So, the solution to the system of equations is x = 1 and y = 2.
Questa capacità rende Mistral Large uno strumento prezioso per docenti, studenti e ricercatori che cercano soluzioni a quesiti matematici o che vogliono verificare la correttezza del proprio lavoro.
Funzionalità avanzate di Mistral Large e best practice
Comprendere prezzi e accesso
Mistral AI offre un modello di pricing pay-as-you-go per i servizi API, con tariffe diverse per chat completions ed embedding API. I prezzi sono per milione di token e variano in base alla complessità del modello, con opzioni che includono Mistral 7B, Mixtral 8x7B e varie dimensioni del modello Mistral (Small, Medium, Large).
La piattaforma offre vari livelli, tra cui Mistral Small, Medium e Large, ciascuno pensato per soddisfare diversi requisiti progettuali e vincoli di budget. I prezzi più bassi restano per Mistral 7B a 0,25$ per token, fino a 8$ per l’output di Mistral Large e 24$ per l’input di Mistral Large.
Questa flessibilità ti consente di selezionare la versione più adatta, ottimizzando sia le prestazioni sia la spesa.
Tabella dei prezzi dei modelli Mistral AI.
La piattaforma impone limiti di velocità pari a 5 richieste al secondo, 2 milioni di token al minuto e 10.000 milioni di token al mese, con possibilità di adeguamenti su richiesta.
Per informazioni dettagliate su prezzi e rate limit, visita la pagina dei prezzi di Mistral AI.
Ottimizzare le prestazioni
Scegliere il modello Mistral giusto richiede di bilanciare prestazioni e costi. Le tue esigenze dettano la scelta, che potrebbe cambiare con l’evoluzione dei modelli.
In generale, i modelli più grandi performano meglio: Mistral Large guida i benchmark come MMLU (un benchmark LLM chiamato Measuring Massive Multitask Language Understanding, che abbiamo spiegato sopra), seguito da Mistral Medium, Small, Mixtral 8x7B e Mistral 7B.
Confronto delle prestazioni dei modelli Mistral. Immagine di Mistral AI.
Per massimizzare l’efficacia di Mistral Large gestendo i costi, puoi perfezionare le query e selezionare la versione di modello più adatta ai tuoi task. Puoi saperne di più sul fine-tuning degli LLM in questa Guida introduttiva al fine-tuning degli LLM
Mistral AI fornisce cinque endpoint API con cinque principali Large Language Model:
- open-mistral-7b (alias mistral-tiny-2312)
- open-mixtral-8x7b (alias mistral-small-2312)
- mistral-small-latest (alias mistral-small-2402)
- mistral-medium-latest (alias mistral-medium-2312)
- mistral-large-latest (alias mistral-large-2402)
L’ultimo modello Mistral presenta tre varianti, con costi e prestazioni ridotti a seconda dell’applicazione che vogliamo svolgere:
- Mistral Small: ottimizzato per compiti semplici e in bulk come classificazione, supporto clienti e generazione di testo di base. È conveniente per applicazioni lineari come il rilevamento dello spam.
- Mistral Medium: progettato per task di complessità moderata, eccelle in estrazione di dati, sintesi di documenti e generazione di contenuti descrittivi. Offre un buon equilibrio tra capacità ed efficienza.
- Mistral Large: eccelle in quasi tutti i benchmark. È più indicato per compiti complessi e con forte componente di ragionamento o applicazioni specializzate, tra cui generazione di testo sintetico e di codice. Dimostra prestazioni superiori in ragionamento avanzato e problem solving.
Cosa c’è nel futuro di Mistral Large?
Man mano che Mistral Large evolve, sono in arrivo nuovi sviluppi, contributi della community e miglioramenti.
Rimanere aggiornati è fondamentale per chi vuole sfruttare appieno le capacità di Mistral Large e integrare le ultime funzionalità nei propri progetti.
La roadmap del modello promette innovazione continua, con un focus sul miglioramento del ragionamento, del supporto linguistico e dell’accessibilità per l’utente.
Conclusioni
Mistral Large rappresenta un passo avanti monumentale nel campo dell’AI e della Data Science, offrendo ragionamento avanzato con supporto multilingue e fornendo aiuto in ambito di coding e matematica.
È la prima volta che abbiamo un modello open source e accessibile che non solo ha competenze solide, ma guida anche alcuni benchmark superando modelli commerciali come GPT-4 di OpenAI o Gemini di Google.
Questo significa che, sfruttando la potenza di Mistral Large, puoi sbloccare nuove possibilità, semplificare i processi e creare soluzioni innovative un tempo fuori portata, con budget ridotto e migliori prestazioni.
Puoi consultare l’intero codice nel seguente repository GitHub.
Se vuoi continuare a crescere nel mondo degli LLM, ti incoraggio vivamente a seguire tutorial più avanzati. Se sei alle prime armi, puoi iniziare con il corso LLM Concepts di DataCamp, che copre molte delle principali metodologie di training e le ricerche più recenti.
Per utenti più esperti, altre ottime risorse da seguire sono:
Argomenti
