Pixtral 12B: una guida con esempi pratici

Mistral ha rilasciato Pixtral 12B, un modello linguistico di grandi dimensioni (LLM) open source con 12 miliardi di parametri. Questo è il primo modello multimodale di Mistral, il che significa che può elaborare sia testo che immagini.

Ecco perché Pixtral è un’aggiunta preziosa nel panorama degli LLM:

• Elabora immagini di qualsiasi dimensione in modo efficiente senza pre-processing.
• Una finestra di contesto da 128K consente di gestire prompt complessi e numerose immagini.
• Ottime prestazioni sia in compiti solo testuali sia multimodali.
• Gratuito per progetti non monetizzati, ideale per ricercatori e appassionati.
• Open source sotto licenza Apache 2.0, a supporto della democratizzazione dell’IA.

In questo tutorial ti fornirò numerosi esempi e istruzioni passo passo su come usare Pixtral tramite l’interfaccia web Le Chat e in modo programmatico via API. Prima, però, vediamo gli aspetti teorici essenziali di Pixtral.

Che cos’è Pixtral 12B?

Mistral AI ha lanciato Pixtral 12B, un modello progettato per elaborare immagini e testo insieme. Con 12 miliardi di parametri, può gestire attività che combinano elementi visivi e linguaggio, come interpretare grafici, documenti o diagrammi.

È utile in contesti che richiedono una comprensione profonda di entrambi i formati.

Una caratteristica chiave di Pixtral 12B è la capacità di gestire più immagini in un unico input, elaborandole alla loro risoluzione nativa. Il modello ha una finestra di contesto di 128.000 token, che consente l’analisi di documenti lunghi e complessi, immagini o più fonti di dati in parallelo. Questo lo rende utile, ad esempio, nei report finanziari o nella scansione documentale per le aziende.

I benchmark di Pixtral

Pixtral si comporta bene nei compiti legati a conoscenza e ragionamento multimodale, in particolare nel test MathVista, dove è ai vertici. Anche nei task di QA multimodale mantiene una posizione solida, soprattutto in ChartQA.

Fonte: Mistral AI

Tuttavia, nel follow-the-instruction e nei compiti basati solo su testo, altri modelli come Claude-3 Haiku e Gemini Flash-8B mostrano prestazioni competitive o superiori. Questo suggerisce che Pixtral 12B eccelle nel ragionamento multimodale e visivo, ma potrebbe non primeggiare nei task puramente testuali.

L’architettura di Pixtral

L’architettura di Pixtral 12B è progettata per elaborare simultaneamente testo e immagini. Comprende due componenti principali: un Vision Encoder e un Multimodal Transformer Decoder.

Il Vision Encoder, con 400 milioni di parametri, è addestrato specificamente per gestire immagini di dimensioni e risoluzioni variabili.

Fonte: Mistral AI

Il secondo componente, il Multimodal Transformer Decoder, è un modello più esteso con 12 miliardi di parametri. Si basa sull’architettura Mistral Nemo e serve a prevedere il token testuale successivo in sequenze che alternano testo e dati immagine.

Questo decoder può gestire contesti molto lunghi (fino a 128k token), permettendo di trattare numerosi token immagine insieme a un’ampia quantità di testo in documenti di grandi dimensioni.

Fonte: Mistral AI

Questa architettura combinata permette a Pixtral di gestire un’ampia gamma di dimensioni e formati di immagine, traducendo immagini ad alta risoluzione in token coerenti senza perdere contesto.

Come usare Pixtral su Le Chat

Il modo più semplice per accedere gratuitamente a Pixtral è tramite Le Chat, la loro interfaccia di chat. Questa interfaccia ricorda altre chat per LLM—come quella di ChatGPT, per esempio.

Per usare Pixtral, vai al selettore del modello in basso, accanto al campo del prompt, e scegli il modello Pixtral dall’elenco dei modelli disponibili.

Pixtral è un modello multimodale che supporta testo e immagini. Usando l’icona della graffetta in basso, possiamo caricare una o più immagini e combinarle con un prompt testuale. Ad esempio, questa funzione può aiutarci a identificare un frutto raffigurato in un’immagine.

Esploriamo un altro esempio in cui chiediamo a Pixtral di trasformare un’immagine contenente un grafico a torta in una tabella markdown:

Come collegarsi all’API di Pixtral su La Plateforme

Anche se usare Pixtral tramite l’interfaccia web è semplice e comodo, non è adatto per integrarlo nei nostri progetti. In questa sezione vedremo come interagire con Pixtral via API usando Python, tramite La Plateforme.

Configurazione del profilo

Per iniziare, dobbiamo creare un account. Puoi farlo con un solo clic usando un account Google, oppure creando un account tradizionale con username e password.

Dopo la creazione dell’account, ti verrà chiesto di impostare uno spazio di lavoro. Puoi scegliere qualsiasi nome e selezionare l’opzione "I'm a solo creator".

Dopo aver creato l’account, vai alla pagina dei piani di fatturazione. Qui puoi creare un piano sperimentale, che permette di provare l’API gratuitamente, oppure impostare un piano a pagamento. Nota che il piano sperimentale gratuito richiede di associare un numero di telefono valido all’account.

Ora il profilo dovrebbe essere pronto per creare una chiave API. Questa chiave è necessaria per inviare richieste all’API di Mistral e per interagire in modo programmatico con Pixtral usando Python.

Generare la chiave API

Per generare la chiave API, vai alla pagina delle chiavi API. In alto trovi un pulsante per creare una nuova chiave API:

Durante la creazione, ci viene chiesto di assegnare un nome e una data di scadenza. Entrambi i campi sono facoltativi, quindi possiamo lasciarli vuoti se preferiamo.

In generale, è consigliabile impostare una data di scadenza per le chiavi. Spesso le chiavi vengono create per fare esperimenti con un’API e poi dimenticate, rimanendo attive a tempo indeterminato. Definire una scadenza assicura che, se la chiave dovesse trapelare, non possa essere usata per sempre, riducendo i rischi potenziali.

Una volta creata, la chiave verrà mostrata. Questa è l’unica occasione per visualizzarla, quindi è fondamentale copiarla. Se la chiave viene persa, la soluzione è eliminarla dall’elenco e crearne una nuova.

Ti consiglio di creare un file .env nella stessa cartella dello script Python per salvare la chiave nel seguente formato (sostituendo <key_value> con il valore reale):

# contents of the .env fileAPI_KEY=<key_value>Offerto da

Saltare questo passaggio e inserire la chiave API hardcoded nello script non è consigliato. In questo modo non potremmo condividere il codice senza condividere anche la chiave. Scopri di più in questo tutorial sulle variabili d’ambiente in Python.

Installare le dipendenze

Per iniziare, installiamo le dipendenze necessarie, che includono:

• mistralai, la libreria client fornita da Mistral per interagire con l’API.
• python-dotenv, un modulo per caricare le variabili d’ambiente da un file .env.

pip install python-dotenv mistralaiOfferto da

Una volta installate le dipendenze, possiamo passare alla creazione dello script. Crea un file chiamato mistral_example.py nella stessa cartella del file .env. Il primo passaggio consiste nell’importare i moduli e caricare la chiave API in una variabile.

# Create a mistral_example.py file in the same folder as the .env fileimport osfrom mistralai import Mistralfrom dotenv import load_dotenvload_dotenv()api_key = os.getenv("API_KEY")Offerto da

Dopodiché, possiamo procedere a inizializzare il client.

Inizializzare il client

La pagina di documentazione di Mistral elenca tutti i modelli disponibili. A noi interessa in particolare l’ultimo modello Pixtral, che ha l’endpoint API pixtral-12b-2409.

# Add this code in mistral_example.py after initializing the API keymodel = "pixtral-12b-2409"client = Mistral(api_key=api_key)Offerto da

Effettuare una richiesta API

Ora siamo pronti a inviare una richiesta all’API di Mistral e interagire con Pixtral in modo programmatico. Ecco un esempio di invio di un prompt testuale:

# Add this code in mistral_example.py after initializing the clientchat_response = client.chat.complete(  model=model,  messages = [   {     "role": "user",     "content": [       {         "type": "text",         "text": "What is 1 + 1?"       }     ]   }, ])print(chat_response.choices[0].message.content)Offerto da

Possiamo eseguire questo script dal terminale e vedere la risposta di Pixtral al nostro prompt:

$ python mistral_example.py                  The sum of 1 + 1 is 2. So,1 + 1 = 2Offerto da

Uso dell’API in modalità multimodale

Nell’esempio precedente, il prompt testuale viene inviato tramite il campo content, dove type è impostato su "text".

{  "type": "text",  "text": "What is 1 + 1?"}Offerto da

Il campo content è un array che ci permette di inviare più elementi di dato. In quanto modello multimodale, Pixtral accetta anche dati immagine. Per usare nel prompt un’immagine da URL, possiamo includerla nel campo content specificando "image_url" come tipo:

{  "type": "image_url",  "Image_url": "<image_url>” }Offerto da

Sostituisci <image_url> con l’URL reale dell’immagine. Per esempio, possiamo usare Pixtral per analizzare i grafici delle prestazioni qui sotto:

Fonte: Mistral AI

chat_response = client.chat.complete( model=model, messages = [   {     "role": "user",     "content": [       {         "type": "text",         "text": "According to the chart, how does Pixtral 12B performs compared to other models?"       },       {         "type": "image_url",         "image_url": "https://mistral.ai/images/news/pixtral-12b/pixtral-benchmarks.png"       }     ]   }, ])print(chat_response.choices[0].message.content)Offerto da

Quando inviamo questa richiesta, Pixtral riceve sia il prompt testuale sia l’immagine con i grafici da analizzare e fornisce quindi una risposta con i dettagli dell’analisi. Non riportiamo qui la risposta perché è piuttosto lunga.

Caricare immagini locali

Nell’esempio precedente abbiamo mostrato come usare un’immagine da URL. In alternativa, possiamo usare un’immagine salvata sul disco caricandola come immagine codificata in base-64. Per caricare e codificare un’immagine in base-64, usiamo il pacchetto integrato base64:

def encode_image_base64(image_path): with open(image_path, "rb") as image_file:   return base64.b64encode(image_file.read()).decode("utf-8")Offerto da

Quando utilizziamo immagini codificate in base-64, usiamo comunque il tipo image_url per fornire l’immagine codificata, ma dobbiamo premettere data:image/jpeg;base64,:

{  "type": "image_url",  "image_url": f"data:image/jpeg;base64,{base_64_image}"}Offerto da

base_64_image è il risultato della chiamata alla funzione encode_image_base64() per caricare l’immagine. Usiamolo per chiedere a Pixtral di creare un sito web to-do list con due pagine a partire dai due schizzi che ho realizzato:

Forniamo le due immagini separatamente insieme a un prompt che chiede di creare un sito HTML basato sulle immagini:

list_image = encode_image_base64("./todo-list.jpeg")new_item_image = encode_image_base64("./new-item-form.jpeg")chat_response = client.chat.complete( model=model, messages = [   {     "role": "user",     "content": [       {         "type": "text",         "text": "Create a HTML website with two pages like in the images"       },       {         "type": "image_url",         "image_url": f"data:image/jpeg;base64,{list_image}"       },       {         "type": "image_url",         "image_url": f"data:image/jpeg;base64,{new_item_image}"       },           ]   }, ])print(chat_response.choices[0].message.content)Offerto da

Pixtral restituirà due blocchi di codice con il contenuto delle due pagine. Abbiamo salvato il codice in due file chiamati index.html e add.html e li abbiamo aperti nel browser. Ecco il risultato:

Anche se non è ancora un’app completamente funzionante, è operativa ed è un ottimo punto di partenza per ulteriori sviluppi.

Conclusioni

Pixtral 12B è il primo modello multimodale di Mistral. Gestisce immagini di qualsiasi dimensione senza pre-processing, offre una finestra di contesto da 128K per prompt complessi e mostra buone prestazioni sia in compiti solo testuali sia multimodali. 

Disponibile gratuitamente in progetti non monetizzati e open source sotto licenza Apache 2.0, Pixtral è prezioso sia per i ricercatori sia per gli hobbisti.

In questo tutorial ho fornito indicazioni pratiche su come usare Pixtral, mettendone in evidenza le capacità con esempi e istruzioni passo passo.