Pixtral Large: guida con esempi

Che cos’è Pixtral Large?

Pixtral Large include un decoder multimodale da 123B e un encoder visivo da 1B parametri (124B parametri totali), che lo rende capace di gestire in modo efficace input multimodali. Ha dimostrato capacità senza pari in diversi scenari, tra cui:

• OCR multilingue: per elaborare con precisione scontrini e fare calcoli contestuali (ad esempio analizzare conti del ristorante).
• Comprensione di grafici: per identificare anomalie e trend, come individuare problemi nelle curve di training loss.
• Analisi generale: può estrarre insight da screenshot, rispondere efficacemente a domande contestuali, ecc.

Pixtral Large mostra buoni risultati su diversi benchmark—ecco quelli che mi hanno colpito di più:

• MathVista: accuratezza del 69,4% nel ragionamento matematico su dati visivi.
• ChartQA e DocVQA: ha superato concorrenti di punta come GPT-4o e Gemini-1.5 Pro nel ragionamento su grafici e documenti complessi.
• MM-MT-Bench: ha superato Claude-3.5 Sonnet, Gemini-1.5 Pro e GPT-4o in compiti multimodali reali.

Fonte: Mistral AI

Pixtral Large 124B vs Pixtral 12B

Pixtral Large 124B e Pixtral 12B condividono alcune basi architetturali ma non sono identici. Pur costruendo sulle fondamenta poste da Pixtral 12B, Pixtral Large introduce differenze significative in termini di architettura, dimensione della finestra di contesto e integrazione multimodale, con prestazioni superiori in vari compiti. Ecco alcune differenze tra i due modelli.

• La notevole differenza di dimensioni consente a Pixtral Large di gestire compiti più complessi e dataset più grandi.
• Una finestra di contesto più ampia permette a Pixtral Large di processare e comprendere sequenze di testo più lunghe e immagini più complesse.
• Entrambi i modelli sono progettati per compiti multimodali, integrando dati testuali e visivi. Tuttavia, Pixtral Large introduce layer di cross-attention specializzati per fondere meglio le informazioni tra diverse modalità, migliorando le prestazioni in attività come la comprensione delle immagini e l’elaborazione di documenti.
• Pixtral Large richiede più risorse computazionali, inclusi oltre 200GB di dati e una GPU potente, rispetto a Pixtral 12B. Questo mette in evidenza la maggiore complessità e capacità del modello più grande.

Architettura Pixtral. Fonte: report tecnico di Pixtral 12B.

Se vuoi approfondire l’architettura del modello, dai un’occhiata al report tecnico di Pixtral 12B. Il report tecnico di Pixtral Large al momento non è disponibile.

Come usare Pixtral Large su Le Chat

Le Chat offre un’interfaccia basata su chat, molto simile al popolare ChatGPT.

Anche se non possiamo selezionare specificamente il modello Pixtral Large, l’articolo di annuncio chiarisce che il “document and image understanding allo stato dell’arte” è alimentato dal nuovo modello multimodale Pixtral Large.

Ho provato per prima cosa Pixtral Large su un paper di ricerca su Transformer-Lite, ricco di testo e grafici. Ho chiesto al modello di fornirmi un riassunto del documento:

Il risultato mi ha soddisfatto abbastanza. Poi ho chiesto a Pixtral di spiegare questo grafico a torta sulla distribuzione dei brand di smartphone, ma ho volutamente mantenuto il prompt vago senza rivelare di cosa tratta il grafico.

Il modello ha compreso il grafico a torta e ha identificato correttamente i numeri. La risposta è ben strutturata e offre anche un’interpretazione accurata, osservando che mentre Samsung e Apple guidano il mercato, una quota significativa è occupata da una varietà di altri brand.

Come usare l’API di Pixtral Large su La Plateforme

Per la maggior parte dei casi d’uso quotidiani, Le Chat è un’ottima opzione, ma se vogliamo usare Pixtral Large in modo programmato, dobbiamo collegarci tramite la sua API. Ti mostrerò prima come connetterti all’API tramite La Plateforme, poi testerò Pixtral Large su alcuni miei disegni.

Connettersi a La Plateforme

Per usare Pixtral Large tramite API, possiamo seguire questi passaggi:

1. Accedi a La Plateforme.

2. Clicca su Quickstart → API Requests

3. Seleziona l’opzione account gratuito. Clicca su Sperimenta gratis, che porta a un’altra pagina per verificare l’account tramite il numero di cellulare con un OTP e creare un nuovo account.

4. Una volta creato l’account, seleziona API keys dalla scheda API (a sinistra). 

5. Poi clicca su Create new key. Puoi compilare i dettagli opzionali e cliccare su Create key.

La chiave API è pronta all’uso. 

Generatore di descrizioni di immagini tramite API sul mio disegno

Creiamo ora un generatore di descrizioni di immagini usando l’API. L’obiettivo è passare al modello un’immagine insieme a una domanda nel prompt (ad es. “Fornisci una descrizione dettagliata dell’immagine fornita”) e ricevere una risposta.

Lo testerò generando una descrizione per uno dei miei disegni, mostrato qui sotto. L’immagine raffigura un framework mobile per un’app di chatbot di assistenza clienti 24/7.

Prima di iniziare, assicurati di avere la seguente configurazione:

1. GPU: per questo setup è necessaria una T4. Puoi usare Google Colab, che fornisce accesso gratuito a una T4.
2. Libreria Mistral AI: per installarla, esegui il seguente comando:

!pip install -U mistralai

Iniziamo:

Passaggio 1: import

Ora impostiamo gli import. Per questo tutorial useremo le seguenti librerie:

• Pillow (PIL) per l’elaborazione di immagini
• Base64 per codificare/decodificare dati binari in formato base64
• io.BytesIO fornisce un’interfaccia di stream di byte in memoria

import base64from io import BytesIOfrom PIL import Imagefrom mistralai import Mistral

Passaggio 2: client API di Pixtral

Ora usiamo la chiave API. Per impostarla in Google Colab, vai alla scheda Secrets. Clicca sull’icona a forma di chiave nella barra laterale sinistra, poi incolla la tua chiave API e assegna un nome al secret. Quindi attiva l’interruttore per abilitare il secret nel codice. Questo ci consentirà di usare il seguente codice nell’applicazione.

from google.colab import userdatauserdata.get('secretName') # pass in your secretName here

Una volta impostata la chiave segreta, creiamo una variabile chiamata API_KEY e passiamo il nome del nostro secret, come mostrato sotto. Poi passiamo la chiave API alla funzione Mistral e configuriamo il client.

from google.colab import userdataAPI_KEY = userdata.get('secretName')  # Replace with your actual secret nameclient = Mistral(api_key=API_KEY) 

Nota: possiamo anche passare direttamente la chiave API, ma non è consigliato per motivi di sicurezza e privacy. 

Passaggio 3: codifica dell’immagine

Una volta configurato il client, iniziamo a processare l’immagine che sarà l’input per il modello Pixtral Large.

# Helper function to encode an image to base64def encode_image(image_obj):    if isinstance(image_obj, Image.Image):  # Check if it's already a PIL Image        img = image_obj    else:  # Otherwise, try opening it as a path        img = Image.open(image_obj)    buffered = BytesIO()    img.save(buffered, format="PNG")    return base64.b64encode(buffered.getvalue()).decode("utf-8")

Lo scopo principale della funzione sopra è prendere un’immagine, sia come percorso file che come oggetto PIL.Image.Image già caricato, e restituirne la rappresentazione in stringa Base64. Questo è utile per:

• Incorporare l’immagine direttamente in un oggetto JSON o in una richiesta API.
• Evitare di inviare l’immagine come file separato.

Passaggio 4: inferenza sull’immagine

Una volta ottenuta l’immagine, vogliamo generarne la descrizione con l’API di Pixtral Large. Il flusso di lavoro include la codifica dell’immagine, la creazione di un prompt, l’invio di una richiesta all’API Pixtral e la ricezione di una risposta descrittiva. Ecco come funziona il codice seguente:

1. L’immagine viene codificata in Base64 e inviata insieme al prompt in un messaggio strutturato all’API Pixtral.
2. Il modello Pixtral Large elabora il prompt e l’immagine per generare una descrizione testuale dettagliata dei contenuti dell’immagine.
3. La risposta viene analizzata per estrarre la descrizione, che viene mostrata all’utente.

Nota: assicurati che in client.chat.complete il modello sia impostato su "pixtral-large-latest", attualmente l’unico modello Pixtral Large disponibile al pubblico.

# Function to perform inference for image descriptiondef describe_image(image_path):    # Load and encode the image    image_base64 = encode_image(image_path)    # Prompt for the Pixtral model    prompt = "Please provide a detailed description of the given image."    # Prepare input for the Pixtral API    messages = [        {            "role": "user",            "content": [                {"type": "text", "text": prompt},                {"type": "image_url", "image_url": {"url": f"data:image/png;base64,{image_base64}"}}            ]        }    ]    # Perform inference    response = client.chat.complete(        model="pixtral-large-latest",        messages=messages,        max_tokens=300    )    # Return the model's output    return response.choices[0].message.content# Usageif __name__ == "__main__":    # Provide the path to your image file    image_path = "image.png"  # Replace with the path to your image    # Get the description of the image    description = describe_image(image_path)        # Print the result    print("Image Description:")    print(description)

Image Description:The image is a sketch of a mobile app prototype for automated customer support. The sketch depicts a smartphone screen with a customer support interface.At the top of the screen, there is a header that reads "24x7 Customer Support Powered By AI." Below the header, there is a chat window where a conversation between a user and an AI-powered support system is taking place.The conversation starts with the AI greeting the user: "Hi! How can I help you?" The user responds: "Hi, I am looking for assistance for featureX." The AI then provides a response: "Sure, here are a few steps:" followed by a placeholder for the steps, which are represented by horizontal lines.At the bottom of the screen, there is a text input box labeled "Type your message" and a button labeled "Ask AI." The button is highlighted in red, indicating it is an actionable element for the user to interact with.Overall, the sketch illustrates a user-friendly interface for automated customer support, utilizing AI to provide assistance and guidance to users.

Ecco un altro esempio: un albero di Natale che ho disegnato e, sotto l’immagine, ciò che Pixtral Large ne ha pensato.

Image Description:The image presents a charming scene of a Christmas tree, standing tall and proud. ..This description is based on the visible content of the image and does not include any speculative or imaginary elements.

Conclusione

Pixtral Large sembra un passo avanti nell’AI multimodale, con una migliore comprensione delle immagini e dell’elaborazione del testo. In questa guida abbiamo esplorato le capacità del modello sia tramite Le Chat che tramite La Plateforme, e spero ti sia utile.