Last chance! 50% off DataCamp Premium
Sale ends in
Dopo che DeepSeek ha sconvolto il mercato dell’IA, un’altra azienda cinese, Qwen, ha rilasciato diversi modelli all’avanguardia che superano persino i modelli di ragionamento avanzato di DeepSeek. Nel giro di pochi giorni dal lancio di DeepSeek, Qwen ha presentato modelli di alto livello, specifici per compito, che offrono valore concreto invece di funzionare solo come chatbot.
Puoi leggere il blog Ho testato QwQ 32B Preview: il modello di ragionamento di Alibaba per conoscere il modello di ragionamento di Qwen, simile a DeekSeek R1.
In questo tutorial esploreremo Qwen2.5-VL, un modello vision-language che ha superato tutti i modelli proprietari in termini di capacità visive. Vedremo anche come usarlo in locale e come provare online il modello di punta.
Immagine dell’autore
Se sei agli inizi con l’IA e i large language model (LLM), valuta di seguire il corso Introduzione agli LLM in Python. Questo corso ti aiuterà a capire gli LLM e l’architettura rivoluzionaria dei transformer su cui si basano.
Introduzione a Qwen2.5-VL
Qwen2.5-VL è il nuovo modello vision-language di punta di Qwen e rappresenta un notevole salto in avanti rispetto al suo predecessore, Qwen2-VL. Questo modello fissa un nuovo standard nell’IA multimodale non solo padroneggiando il riconoscimento di oggetti comuni come fiori, uccelli, pesci e insetti, ma anche analizzando testi complessi, grafici, icone, elementi grafici e layout all’interno delle immagini.
Inoltre, Qwen2.5-VL è progettato per essere altamente agentico, capace di ragionamento dinamico e di orchestrare strumenti, sia su computer sia su telefono.
Le funzionalità avanzate del modello includono la capacità di comprendere video oltre un’ora di durata, individuare eventi specifici al loro interno e localizzare con precisione oggetti nelle immagini generando bounding box o punti. Fornisce inoltre output JSON stabili per coordinate e attributi, garantendo precisione nei compiti che richiedono dati strutturati.
Inoltre, Qwen2.5-VL supporta output strutturati per documenti scansionati, come fatture, moduli e tabelle, risultando molto utile per settori come finanza e commercio.
Fonte: Qwen2.5 VL
Il modello di punta Qwen2.5-VL-72B-Instruct offre prestazioni eccezionali su un’ampia gamma di benchmark, dimostrando versatilità nella gestione di domini e compiti diversi. Supera modelli leader come Gemini 2 Flash, GPT-4o e Claude 3.5 Sonnet, consolidando la sua posizione come modello vision-language di prim’ordine.
Puoi anche valutare in autonomia il modello Qwen o qualsiasi tipo di LLM seguendo il tutorial Valutare efficacemente gli LLM con DeepEval.
Usare Qwen2.5-VL su un laptop con GPU
Ora vedremo alcuni modi per eseguire Qwen2.5-VL in locale. Queste soluzioni sono già disponibili nel repository GitHub QwenLM/Qwen2.5-VL. Dobbiamo solo configurare l’ambiente, risolvere alcuni errori comuni ed eseguire l’applicazione web in locale.
1. Eseguire in locale la web app di Qwen2.5-VL
1. Inizia clonando il repository GitHub di Qwen2.5-VL e spostandoti nella directory del progetto:
git clone https://github.com/QwenLM/Qwen2.5-VL
cd Qwen2.5-VL2. Installa le dipendenze richieste per l’applicazione web con il seguente comando:
pip install -r requirements_web_demo.txt3. Per garantire la compatibilità con la tua GPU, installa le versioni più recenti di PyTorch, TorchVision e TorchAudio con supporto CUDA. Anche se PyTorch è già installato, potresti riscontrare problemi durante l’esecuzione della web app, quindi è meglio aggiornare:
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu1244. Aggiorna Gradio e Gradio Client per evitare errori di connessione e relativi alla UI, dato che le versioni più vecchie possono causare problemi:
pip install -U gradio gradio_client 5. Ora esegui la demo web usando il checkpoint del modello più piccolo, da 3B. È consigliato per laptop con memoria GPU limitata (ad es., 8 GB di VRAM). Il modello da 7B potrebbe funzionare, ma probabilmente genererà risposte più lentamente:
python web_demo_mm.py --checkpoint-path "Qwen/Qwen2.5-VL-3B-Instruct" Come si vede, prima ha scaricato il modello, poi ha caricato processor e modello, e ora la web app è in esecuzione sull’URL locale http://127.0.0.1:7860.
La web app funziona perfettamente.
6. Puoi caricare un’immagine con testo e più figure e chiedere al modello di spiegarla. Anche il modello più piccolo, da 3B, offre prestazioni notevoli, identificando dettagli intricati nell’immagine.
7. Puoi anche interagire con il modello senza fornire un’immagine. Genererà risposte testuali, funzionando come un normale large language model.
Se apri il Task Manager e monitori le prestazioni, noterai che l’utilizzo della GPU è intorno al 6%, segno di un funzionamento fluido.
2. Eseguire in locale una web app sperimentale di Qwen2.5-VL
Il repository GitHub include anche una demo sperimentale di chat video in streaming, nella directory web_demo_streaming. Questa demo ti permette di interagire con il modello usando la webcam.
Per eseguire la demo di chat video in streaming, vai nella directory della demo in streaming ed esegui l’applicazione con il checkpoint del modello da 3B.
cd web_demo_streaming/
python app.py --checkpoint-path "Qwen/Qwen2.5-VL-3B-Instruct" Se hai una GPU più potente, questa web app girerà senza problemi. Ti basta concedere l’accesso alla webcam e iniziare a fare domande.
Impara a usare il modello distribuito in locale e a costruirci intorno una vera applicazione UI. Puoi farlo completando il corso Sviluppare applicazioni LLM con LangChain.
3. Eseguire Qwen2.5-VL in locale con Docker Desktop
Il modo più stabile per usare Qwen2.5-VL in locale è eseguirlo tramite Docker. Il team di Qwen fornisce immagini Docker preconfigurate con tutti gli ambienti necessari.
1. Scarica e installa Docker Desktop dal sito ufficiale.
2. Per semplificare il deployment, usa l’immagine Docker predefinita qwenllm/qwenvl. Installa i driver necessari e scarica i file del modello per avviare la demo.
docker run --gpus all --ipc=host --network=host --rm --name qwen2 -it qwenllm/qwenvl:2-cu121 bashPuoi conoscere un modello di generazione di codice chiamato Qwen 2.5 Coder leggendo la nostra guida Qwen 2.5 Coder: guida con esempi.
Usare il chatbot Qwen2.5-VL online
Se vuoi provare il modello di punta Qwen2.5-VL 72B Instruct, vai sul sito Qwen Chat, crea un account e inizia a usare il modello proprio come ChatGPT. Potresti dover selezionare il modello prima di caricare l’immagine.
Carica l’immagine e inizia a farle domande.
La generazione delle risposte è rapida e accurata e, con un po’ di impegno, puoi provare un modello di IA di altissimo livello.
Alibaba Cloud fornisce tutti gli strumenti necessari per accedere a vari modelli di IA tramite API, con fine-tuning simile alla piattaforma OpenAI. Leggi il tutorial Qwen (Alibaba Cloud): introduzione e fine-tuning per saperne di più.
Conclusione
Qwen2.5-VL è uno sguardo sul futuro dell’IA e dimostra che l’innovazione nei modelli avanzati non è esclusiva degli Stati Uniti o del mondo occidentale. Questo modello offre un’accuratezza eccezionale e un’integrazione fluida in vari flussi di lavoro, permettendo di creare strumenti di IA personalizzati per automatizzare attività.
Per esempio, puoi usare Qwen2.5-VL per creare un account LinkedIn, compilarlo con tutti i dettagli necessari e persino pubblicare articoli al tuo posto — il tutto con il minimo sforzo.
In questo tutorial abbiamo conosciuto Qwen 2.5-VL, un modello visivo capace di cogliere anche i dettagli più piccoli in un’immagine. Abbiamo anche visto come usarlo in locale su un laptop con GPU. Infine, abbiamo creato un account Qwen e usato online il modello di punta, in modo simile a ChatGPT.
Leggi di Qwen 2.5-Max di Alibaba, un modello che compete con GPT-4o, Claude 3.5 Sonnet e DeepSeek V3.
