Pixtral Large: een gids met voorbeelden

Wat is Pixtral Large?

Pixtral Large heeft een 123B multimodale decoder en een vision encoder met 1B parameters (124B parameters), waardoor het effectief kan omgaan met multimodale input. Het heeft ongeëvenaarde capaciteiten laten zien in uiteenlopende scenario’s, zoals:

• Meertalige OCR: Voor het accuraat verwerken van bonnetjes en berekeningen met context (bijvoorbeeld het analyseren van onze restaurantrekeningen).
• Grafiekbegrip: Om anomalieën en trends te identificeren, zoals het aanwijzen van problemen in trainingsverliescurves.
• Algemene analyse: Het kan inzichten uit screenshots halen, contextuele vragen effectief beantwoorden, enz.

Pixtral Large laat goede resultaten zien op behoorlijk wat benchmarks—dit zijn degene die mijn aandacht trokken:

• MathVista: 69,4% nauwkeurigheid in wiskundige redenering over visuele data.
• ChartQA en DocVQA: Beter dan topconcurrenten zoals GPT-4o en Gemini-1.5 Pro in redeneren over complexe grafieken en documenten.
• MM-MT-Bench: Overklaste Claude-3.5 Sonnet, Gemini-1.5 Pro en GPT-4o bij multimodale taken in de echte wereld.

Bron: Mistral AI

Pixtral Large 124B vs Pixtral 12B

Pixtral Large 124B en Pixtral 12B delen enkele architecturale fundamenten, maar zijn niet identiek. Hoewel Pixtral Large voortbouwt op de basis die is gelegd door Pixtral 12B, zijn de verschillen aanzienlijk in architectuur, grootte van het contextvenster en multimodale integratie, wat leidt tot superieure prestaties bij diverse taken. Hier zijn een paar verschillen tussen de twee modellen.

• Het aanzienlijke verschil in omvang stelt Pixtral Large in staat om complexere taken en grotere datasets te verwerken.
• Een groter contextvenster maakt het mogelijk voor Pixtral Large om langere tekstsequenties en complexere afbeeldingen te verwerken en te begrijpen.
• Beide modellen zijn ontworpen voor multimodale taken, waarbij tekst- en beelddata worden geïntegreerd. Pixtral Large introduceert echter gespecialiseerde cross-attention-lagen om informatie beter te fuseren over verschillende modaliteiten, wat de prestaties verbetert bij taken als beeldbegrip en documentverwerking.
• Pixtral Large vereist meer rekenkracht, waaronder meer dan 200GB aan data en een krachtige GPU, vergeleken met Pixtral 12B. Dit onderstreept de toegenomen complexiteit en capaciteit van het grotere model.

Pixtral-architectuur. Bron: technisch rapport Pixtral 12B.

Als je de modelarchitectuur dieper wilt verkennen, bekijk dan het technische rapport van Pixtral 12B. Het technische rapport van Pixtral Large is momenteel niet beschikbaar.

Pixtral Large gebruiken op Le Chat

Le Chat biedt een chat-achtige interface, vergelijkbaar met het populaire ChatGPT.

Hoewel we het Pixtral Large-model niet specifiek kunnen selecteren, maakt het aankondigingsartikel duidelijk dat “state of the art document and image understanding” wordt aangedreven door de nieuwe multimodale Pixtral Large.

Ik probeerde Pixtral Large eerst uit op een wetenschappelijk artikel over Transformer-Lite, met veel tekst en grafieken. Ik vroeg het model om een samenvatting van het document te geven:

Ik was best tevreden met het resultaat. Vervolgens vroeg ik Pixtral om dit taartdiagram van de verdeling van smartphonemerken uit te leggen, maar ik zorgde ervoor dat mijn prompt vaag bleef en niet prijsgaf waar het taartdiagram over ging.

Het model begreep het taartdiagram en identificeerde de cijfers correct. De reactie is goed gestructureerd en geeft ook een accurate interpretatie: hoewel Samsung en Apple de markt leiden, wordt een aanzienlijk deel ingenomen door een verscheidenheid aan andere merken.

De API van Pixtral Large gebruiken op La Plateforme

Voor de meeste alledaagse use-cases is Le Chat een prima optie, maar als we Pixtral Large programmatisch willen gebruiken, moeten we via de API verbinden. Ik laat eerst zien hoe je via La Plateforme verbinding maakt met de API en daarna test ik Pixtral Large op mijn eigen tekeningen.

Verbinding maken met La Plateforme

Om Pixtral Large via de API te gebruiken, kunnen we de volgende stappen nemen:

1. Log in op La Plateforme.

2. Klik op Quickstart → API Requests

3. Selecteer de optie voor een gratis account. Klik op Gratis experimenteren, wat ons naar een andere pagina brengt om het account te verifiëren met ons mobiele nummer via een OTP en een nieuw account aan te maken.

4. Zodra het account is ingesteld, selecteer je API keys op het API-tabblad (linkerkant).

5. Klik vervolgens op Nieuwe sleutel aanmaken. Je kunt de optionele gegevens invullen en op Sleutel aanmaken klikken.

De API-sleutel is nu klaar voor gebruik.

Beeldbeschrijvingsgenerator via API op mijn tekening

Laten we nu een beeldbeschrijvingsgenerator maken met de API. Het doel is om een afbeelding aan het model door te geven samen met een vraag in de prompt (bijv. “Geef een gedetailleerde beschrijving van de gegeven afbeelding”) en een reactie te ontvangen.

Ik test dit door een beschrijving te genereren voor een van mijn tekeningen, hieronder weergegeven. De afbeelding toont een mobiele framework voor een 24/7 klantenservice-chatbotapplicatie.

Zorg ervoor dat je het volgende klaar hebt staan voordat je begint:

1. GPU: Voor deze setup is een T4‑GPU vereist. Je kunt Google Colab gebruiken, dat gratis toegang tot een T4‑GPU biedt.
2. Mistral AI-bibliotheek: Installeer deze met het volgende commando:

!pip install -U mistralai

Laten we beginnen:

Stap 1: Imports

Vervolgens zetten we onze imports op. Voor deze tutorial gebruiken we de volgende bibliotheken:

• Pillow (PIL) voor beeldverwerking
• Base64 voor het coderen en decoderen van binaire data naar een base64‑formaat
• io.BytesIO-bibliotheek biedt een in‑memory bytestream‑interface

import base64from io import BytesIOfrom PIL import Imagefrom mistralai import Mistral

Stap 2: Pixtral API‑client

Gebruik vervolgens de API‑sleutel. Om de API‑sleutel in te stellen in Google Colab ga je naar het tabblad Secrets. Klik op het sleutelpictogram in de linkerzijbalk, plak daarna je API‑sleutel en geef een naam aan het secret. Schakel vervolgens de knop in om het secret te gebruiken in je code. Zo kunnen we de volgende code in onze applicatie gebruiken.

from google.colab import userdatauserdata.get('secretName') # pass in your secretName here

Zodra de geheime sleutel is ingesteld, maken we een variabele met de naam API_KEY en geven we onze secret‑naam door, zoals in de onderstaande code. Vervolgens geven we de API‑sleutel door aan de Mistral‑functie en zetten we de client op.

from google.colab import userdataAPI_KEY = userdata.get('secretName')  # Replace with your actual secret nameclient = Mistral(api_key=API_KEY) 

Opmerking: We kunnen de API‑sleutel desgewenst direct doorgeven, maar dat wordt om veiligheids- en privacyredenen niet aanbevolen.

Stap 3: Afbeelding encoderen

Zodra we de client hebben ingesteld, beginnen we met het verwerken van de afbeelding die de input zal zijn voor het Pixtral Large‑model.

# Helper function to encode an image to base64def encode_image(image_obj):    if isinstance(image_obj, Image.Image):  # Check if it's already a PIL Image        img = image_obj    else:  # Otherwise, try opening it as a path        img = Image.open(image_obj)    buffered = BytesIO()    img.save(buffered, format="PNG")    return base64.b64encode(buffered.getvalue()).decode("utf-8")

Het primaire doel van de bovenstaande functie is om een afbeelding, hetzij als bestandspad of als vooraf geladen PIL.Image.Image-object, te nemen en de Base64-tekenreeksrepresentatie ervan terug te geven. Dit is nuttig voor:

• De afbeelding direct in een JSON‑object of API‑verzoek insluiten.
• Voorkomen dat de afbeelding als apart bestand moet worden verzonden.

Stap 4: Inferentie op afbeelding

Zodra we de afbeelding hebben, willen we met de Pixtral Large‑API een beschrijving ervan genereren. De workflow omvat het encoderen van de afbeelding, het opstellen van een prompt, het verzenden van een verzoek naar de Pixtral‑API en het ontvangen van een beschrijvende reactie. Zo werkt de volgende code:

1. De afbeelding wordt gecodeerd naar Base64 en samen met de prompt in een gestructureerd bericht naar de Pixtral‑API gestuurd.
2. Het Pixtral Large‑model verwerkt de prompt en de afbeelding om een gedetailleerde tekstuele beschrijving van de inhoud te genereren.
3. De reactie wordt geparseerd om de beschrijving te extraheren, die vervolgens aan de gebruiker wordt getoond.

Opmerking: Zorg ervoor dat onder client.chat.complete het model is ingesteld op "pixtral-large-latest", momenteel het enige Pixtral Large‑model dat openbaar beschikbaar is.

# Function to perform inference for image descriptiondef describe_image(image_path):    # Load and encode the image    image_base64 = encode_image(image_path)    # Prompt for the Pixtral model    prompt = "Please provide a detailed description of the given image."    # Prepare input for the Pixtral API    messages = [        {            "role": "user",            "content": [                {"type": "text", "text": prompt},                {"type": "image_url", "image_url": {"url": f"data:image/png;base64,{image_base64}"}}            ]        }    ]    # Perform inference    response = client.chat.complete(        model="pixtral-large-latest",        messages=messages,        max_tokens=300    )    # Return the model's output    return response.choices[0].message.content# Usageif __name__ == "__main__":    # Provide the path to your image file    image_path = "image.png"  # Replace with the path to your image    # Get the description of the image    description = describe_image(image_path)        # Print the result    print("Image Description:")    print(description)

Image Description:The image is a sketch of a mobile app prototype for automated customer support. The sketch depicts a smartphone screen with a customer support interface.At the top of the screen, there is a header that reads "24x7 Customer Support Powered By AI." Below the header, there is a chat window where a conversation between a user and an AI-powered support system is taking place.The conversation starts with the AI greeting the user: "Hi! How can I help you?" The user responds: "Hi, I am looking for assistance for featureX." The AI then provides a response: "Sure, here are a few steps:" followed by a placeholder for the steps, which are represented by horizontal lines.At the bottom of the screen, there is a text input box labeled "Type your message" and a button labeled "Ask AI." The button is highlighted in red, indicating it is an actionable element for the user to interact with.Overall, the sketch illustrates a user-friendly interface for automated customer support, utilizing AI to provide assistance and guidance to users.

Hier is nog een voorbeeld van een kerstboom die ik ook heb getekend en onder de afbeelding staat wat Pixtral Large ervan vond.

Image Description:The image presents a charming scene of a Christmas tree, standing tall and proud. ..This description is based on the visible content of the image and does not include any speculative or imaginary elements.

Conclusie

Pixtral Large lijkt een stap vooruit in multimodale AI, met beter beeldbegrip en tekstverwerking. In deze gids hebben we de mogelijkheden van het model verkend via zowel Le Chat als La Plateforme, en ik hoop dat je er iets aan hebt.