Pixtral Large: Panduan dengan Contoh

Apa Itu Pixtral Large?

Pixtral Large memiliki dekoder multimodal 123B dan encoder visi 1B parameter (total 124B parameter), yang membuatnya mampu menangani masukan multimodal secara efektif. Model ini menunjukkan kemampuan unggul dalam beragam skenario seperti:

• OCR multibahasa: Untuk memproses struk secara akurat dan melakukan perhitungan dengan konteks (contohnya menganalisis tagihan restoran).
• Pemahaman bagan: Digunakan untuk mengidentifikasi anomali dan tren, seperti menyoroti masalah pada kurva loss pelatihan.
• Analisis umum: Dapat mengekstrak wawasan dari tangkapan layar, menjawab kueri kontekstual secara efektif, dsb.

Pixtral Large menunjukkan hasil baik pada sejumlah tolok ukur—berikut beberapa yang menarik perhatian saya:

• MathVista: Akurasi 69,4% dalam penalaran matematis atas data visual.
• ChartQA dan DocVQA: Melampaui pesaing papan atas seperti GPT-4o dan Gemini-1.5 Pro dalam penalaran atas bagan dan dokumen kompleks.
• MM-MT-Bench: Melampaui Claude-3.5 Sonnet, Gemini-1.5 Pro, dan GPT-4o pada tugas multimodal dunia nyata.

Sumber: Mistral AI

Pixtral Large 124B vs Pixtral 12B

Pixtral Large 124B dan Pixtral 12B berbagi beberapa fondasi arsitektur tetapi tidak identik. Walaupun Pixtral Large dibangun di atas fondasi yang diletakkan oleh Pixtral 12B, fiturnya signifikan dalam hal arsitektur, ukuran jendela konteks, dan integrasi multimodal, sehingga menghasilkan kinerja yang lebih unggul dalam berbagai tugas. Berikut beberapa perbedaan antara kedua model.

• Perbedaan ukuran yang signifikan memungkinkan Pixtral Large menangani tugas yang lebih kompleks dan himpunan data lebih besar.
• Jendela konteks yang lebih besar memungkinkan Pixtral Large memproses dan memahami rangkaian teks yang lebih panjang dan gambar yang lebih kompleks.
• Kedua model dirancang untuk tugas multimodal, mengintegrasikan data teks dan gambar. Namun, Pixtral Large memperkenalkan lapisan cross-attention khusus untuk memadukan informasi lintas modalitas dengan lebih baik, meningkatkan kinerjanya dalam tugas seperti pemahaman gambar dan pemrosesan dokumen.
• Pixtral Large memerlukan sumber daya komputasi lebih besar, termasuk lebih dari 200GB data dan GPU yang kuat, dibandingkan Pixtral 12B. Ini menyoroti peningkatan kompleksitas dan kapabilitas model yang lebih besar.

Arsitektur Pixtral. Sumber: laporan teknis Pixtral 12B.

Jika Anda ingin mengeksplorasi arsitektur model lebih dalam, lihat laporan teknis Pixtral 12B. Laporan teknis Pixtral Large saat ini belum tersedia.

Cara Menggunakan Pixtral Large di Le Chat

Le Chat menawarkan antarmuka berbasis chat, mirip dengan ChatGPT yang populer.

Meskipun kita tidak bisa memilih model Pixtral Large secara spesifik, artikel pengumuman menegaskan bahwa “pemahaman dokumen dan gambar terkini” ditenagai oleh Pixtral Large multimodal yang baru.

Pertama, saya mencoba Pixtral Large pada makalah riset tentang Transformer-Lite, yang berisi banyak teks dan grafik. Saya meminta model memberikan ringkasan dokumen tersebut:

Saya cukup puas dengan hasilnya. Selanjutnya, saya meminta Pixtral menjelaskan diagram pai distribusi merek ponsel pintar ini, tetapi saya sengaja membuat prompt tetap samar dan tidak memberi tahu topik diagram pai tersebut.

Model memahami diagram pai dan mengidentifikasi angka dengan benar. Responsnya terstruktur dengan baik dan memberikan interpretasi akurat, menyatakan bahwa meskipun Samsung dan Apple memimpin pasar, porsi signifikan ditempati oleh berbagai merek lainnya.

Cara Menggunakan API Pixtral Large di La Plateforme

Untuk sebagian besar kasus penggunaan sehari-hari, Le Chat adalah opsi yang bagus, tetapi jika kita ingin menggunakan Pixtral Large secara terprogram, kita perlu terhubung melalui API. Saya akan terlebih dahulu menunjukkan cara terhubung ke API melalui La Plateforme, lalu saya akan menguji Pixtral Large pada gambar sketsa saya sendiri.

Terhubung ke La Plateforme

Untuk menggunakan Pixtral Large melalui API, kita dapat melakukan langkah-langkah berikut:

1. Masuk ke La Plateforme.

2. Klik Quickstart → API Requests

3. Pilih opsi akun gratis. Klik Experiment for free, yang akan membawa kita ke halaman lain untuk memverifikasi akun menggunakan nomor ponsel dengan OTP dan menyiapkan akun baru.

4. Setelah akun siap, pilih API keys dari tab API (sisi kiri).

5. Selanjutnya, klik Create new key. Kita dapat mengisi detail opsional dan klik Create key.

Kunci API kini siap digunakan.

Generator Deskripsi Gambar Menggunakan API pada Gambar Sketsa Saya

Sekarang mari kita membuat generator deskripsi gambar menggunakan API. Tujuannya adalah mengirim gambar apa pun ke model bersama pertanyaan dalam prompt (misalnya, “Berikan deskripsi rinci dari gambar yang diberikan”) dan menerima respons.

Saya akan mengujinya dengan menghasilkan deskripsi untuk salah satu gambar sketsa saya, seperti ditampilkan di bawah. Gambar tersebut menggambarkan kerangka aplikasi chatbot dukungan pelanggan 24/7 di perangkat seluler.

Sebelum memulai, pastikan Anda memiliki pengaturan berikut:

1. GPU: Dibutuhkan GPU T4 untuk pengaturan ini. Anda dapat menggunakan Google Colab, yang menyediakan akses gratis ke GPU T4.
2. Pustaka Mistral AI: Untuk menginstalnya, jalankan perintah berikut:

!pip install -U mistralai

Mari mulai:

Langkah 1: Import

Selanjutnya, kita menyiapkan import. Untuk tutorial ini kita akan menggunakan pustaka berikut:

• Pillow (PIL) untuk pemrosesan gambar
• Base64 untuk encoding dan decoding data biner ke format base64
• io.BytesIO menyediakan antarmuka aliran byte dalam memori

import base64from io import BytesIOfrom PIL import Imagefrom mistralai import Mistral

Langkah 2: Klien API Pixtral

Selanjutnya, gunakan kunci API. Untuk menyiapkan kunci API di Google Colab, buka tab Secrets. Klik ikon kunci di bilah sisi kiri, lalu tempel kunci API Anda dan beri nama secret. Setelah itu, aktifkan tombol untuk memungkinkan secret digunakan dalam kode Anda. Ini akan memungkinkan kita menggunakan kode berikut dalam aplikasi.

from google.colab import userdatauserdata.get('secretName') # pass in your secretName here

Setelah secret key tersedia, kita menyiapkan variabel bernama API_KEY dan mengisikan nama secret kita, seperti pada kode di bawah. Selanjutnya, kita meneruskan kunci API ke fungsi Mistral dan menyiapkan klien.

from google.colab import userdataAPI_KEY = userdata.get('secretName')  # Replace with your actual secret nameclient = Mistral(api_key=API_KEY) 

Catatan: Kita dapat secara opsional meneruskan kunci API secara langsung, tetapi tidak disarankan demi alasan keamanan dan privasi.

Langkah 3: Melakukan Encoding Gambar

Setelah klien siap, kita mulai memproses gambar yang akan menjadi masukan ke model Pixtral Large.

# Helper function to encode an image to base64def encode_image(image_obj):    if isinstance(image_obj, Image.Image):  # Check if it's already a PIL Image        img = image_obj    else:  # Otherwise, try opening it as a path        img = Image.open(image_obj)    buffered = BytesIO()    img.save(buffered, format="PNG")    return base64.b64encode(buffered.getvalue()).decode("utf-8")

Tujuan utama fungsi di atas adalah menerima gambar, baik sebagai path file atau objek PIL.Image.Image yang sudah dimuat, dan mengembalikan representasi string Base64-nya. Ini berguna untuk:

• Menyematkan gambar langsung ke dalam objek JSON atau permintaan API.
• Menghindari kebutuhan mengirim gambar sebagai file terpisah.

Langkah 4: Inferensi pada gambar

Setelah kita memiliki gambarnya, kita ingin menghasilkan deskripsinya dengan API Pixtral Large. Alur kerjanya mencakup encoding gambar, menyusun prompt, mengirim permintaan ke API Pixtral, dan menerima respons deskriptif. Berikut cara kerja kode berikut:

1. Gambar di-encode ke format Base64 dan dikirim bersama prompt dalam pesan terstruktur ke API Pixtral.
2. Model Pixtral Large memproses prompt dan gambar untuk menghasilkan deskripsi tekstual rinci tentang isi gambar.
3. Respons diurai untuk mengekstrak deskripsi, yang kemudian ditampilkan kepada pengguna.

Catatan: Pastikan di bawah client.chat.complete, model disetel ke "pixtral-large-latest" yang saat ini merupakan satu-satunya model Pixtral Large yang tersedia untuk publik.

# Function to perform inference for image descriptiondef describe_image(image_path):    # Load and encode the image    image_base64 = encode_image(image_path)    # Prompt for the Pixtral model    prompt = "Please provide a detailed description of the given image."    # Prepare input for the Pixtral API    messages = [        {            "role": "user",            "content": [                {"type": "text", "text": prompt},                {"type": "image_url", "image_url": {"url": f"data:image/png;base64,{image_base64}"}}            ]        }    ]    # Perform inference    response = client.chat.complete(        model="pixtral-large-latest",        messages=messages,        max_tokens=300    )    # Return the model's output    return response.choices[0].message.content# Usageif __name__ == "__main__":    # Provide the path to your image file    image_path = "image.png"  # Replace with the path to your image    # Get the description of the image    description = describe_image(image_path)        # Print the result    print("Image Description:")    print(description)

Image Description:The image is a sketch of a mobile app prototype for automated customer support. The sketch depicts a smartphone screen with a customer support interface.At the top of the screen, there is a header that reads "24x7 Customer Support Powered By AI." Below the header, there is a chat window where a conversation between a user and an AI-powered support system is taking place.The conversation starts with the AI greeting the user: "Hi! How can I help you?" The user responds: "Hi, I am looking for assistance for featureX." The AI then provides a response: "Sure, here are a few steps:" followed by a placeholder for the steps, which are represented by horizontal lines.At the bottom of the screen, there is a text input box labeled "Type your message" and a button labeled "Ask AI." The button is highlighted in red, indicating it is an actionable element for the user to interact with.Overall, the sketch illustrates a user-friendly interface for automated customer support, utilizing AI to provide assistance and guidance to users.

Berikut contoh lain berupa pohon Natal yang juga saya gambar, dan di bawah gambar adalah hasil interpretasi Pixtral Large.

Image Description:The image presents a charming scene of a Christmas tree, standing tall and proud. ..This description is based on the visible content of the image and does not include any speculative or imaginary elements.

Kesimpulan

Pixtral Large tampak sebagai langkah maju dalam AI multimodal, dengan pemahaman gambar dan pemrosesan teks yang lebih baik. Melalui panduan ini, kita mengeksplorasi kapabilitas model melalui Le Chat dan La Plateforme, dan saya berharap panduan ini bermanfaat bagi Anda.