Last chance! 50% off DataCamp Premium
Sale ends in
Na de disruptie van de AI-markt door DeepSeek heeft een ander Chinees bedrijf, Qwen, meerdere state-of-the-art modellen uitgebracht die zelfs de geavanceerde redeneermodellen van DeepSeek overtreffen. Binnen enkele dagen na de lancering van DeepSeek heeft Qwen topmodellen uitgebracht die per taak zijn geoptimaliseerd en echte meerwaarde leveren, in plaats van uitsluitend als chatbots te fungeren.
Lees de blog I Tested QwQ 32B Preview: Alibaba’s Reasoning Model om meer te leren over het redeneermodel van Qwen, vergelijkbaar met DeekSeek R1.
In deze tutorial verkennen we Qwen2.5-VL, een vision-language model dat alle propriëtaire modellen heeft voorbijgestreefd op het gebied van visuele capaciteiten. We leren ook hoe je het lokaal gebruikt en het vlaggenschipmodel online kunt uitproberen.
Afbeelding door de auteur
Ben je nieuw in AI en large language models (LLM’s)? Volg dan de cursus Introduction to LLMs in Python. Deze cursus helpt je LLM’s en de revolutionaire transformer-architectuur waarop ze zijn gebaseerd te begrijpen.
Introductie Qwen2.5-VL
Qwen2.5-VL is het nieuwe vlaggenschip vision-language model van Qwen en een grote sprong vooruit ten opzichte van zijn voorganger, Qwen2-VL. Dit model zet een nieuwe standaard in multimodale AI: het beheerst niet alleen de herkenning van algemene objecten zoals bloemen, vogels, vissen en insecten, maar analyseert ook complexe teksten, grafieken, pictogrammen, illustraties en lay-outs binnen afbeeldingen.
Daarnaast is Qwen2.5-VL ontworpen om sterk agentisch te zijn, met dynamisch redeneren en toolsturing—zowel op een computer als op een telefoon.
De geavanceerde functies van het model omvatten het begrijpen van video’s van meer dan een uur, het aanwijzen van specifieke gebeurtenissen daarin en het nauwkeurig lokaliseren van objecten in afbeeldingen door bounding boxes of punten te genereren. Het levert ook stabiele JSON-outputs voor coördinaten en attributen, wat precisie garandeert bij taken die gestructureerde data vereisen.
Bovendien ondersteunt Qwen2.5-VL gestructureerde outputs voor gescande documenten, zoals facturen, formulieren en tabellen, waardoor het zeer waardevol is voor sectoren als finance en commerce.
Bron: Qwen2.5 VL
Het vlaggenschipmodel Qwen2.5-VL-72B-Instruct levert uitzonderlijke prestaties op een breed scala aan benchmarks en toont zijn veelzijdigheid in uiteenlopende domeinen en taken. Het presteert beter dan toonaangevende modellen zoals Gemini 2 Flash, GPT-4o en Claude 3.5 Sonnet, en verstevigt zo zijn positie als topklasse vision-language model.
Je kunt het Qwen-model of elk type LLM ook zelf evalueren met de tutorial Evaluate LLMs Effectively Using DeepEval.
Qwen2.5-VL gebruiken op een laptop met een GPU
We bekijken nu een paar manieren om Qwen2.5-VL lokaal te draaien. Deze oplossingen zijn al beschikbaar in de QwenLM/Qwen2.5-VL GitHub-repository. We hoeven alleen de omgeving op te zetten, een paar veelvoorkomende fouten te verhelpen en de webapplicatie lokaal te draaien.
1. De Qwen2.5-VL webapp lokaal draaien
1. Begin met het clonen van de Qwen2.5-VL GitHub-repository en ga naar de projectmap:
git clone https://github.com/QwenLM/Qwen2.5-VL
cd Qwen2.5-VL2. Installeer de vereiste dependencies voor de webapplicatie met het volgende commando:
pip install -r requirements_web_demo.txt3. Installeer de nieuwste versies van PyTorch, TorchVision en TorchAudio met CUDA-ondersteuning om compatibiliteit met je GPU te waarborgen. Ook als PyTorch al is geïnstalleerd, kun je problemen tegenkomen bij het draaien van de webapplicatie, dus updaten is het beste:
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu1244. Update Gradio en Gradio Client om verbindings- en UI-gerelateerde fouten te voorkomen, omdat oudere versies problemen kunnen veroorzaken:
pip install -U gradio gradio_client 5. Draai nu de webdemo met het kleinere 3B-modelcheckpoint. Dit wordt aanbevolen voor laptops met beperkte GPU-geheugen (bijv. 8GB VRAM). Het 7B-model kan werken, maar zal waarschijnlijk trage responsgeneratie opleveren:
python web_demo_mm.py --checkpoint-path "Qwen/Qwen2.5-VL-3B-Instruct" Zoals je ziet wordt eerst het model gedownload, vervolgens worden de processor en het model geladen, en draait de webapp nu op de lokale URL http://127.0.0.1:7860.
De webapp draait perfect.
6. Je kunt een afbeelding met tekst en meerdere figuren uploaden en het model vragen deze uit te leggen. Zelfs het kleinere 3B-model laat indrukwekkende prestaties zien en herkent fijne details in de afbeelding.
7. Je kunt ook met het model communiceren zonder een afbeelding te geven. Het genereert tekstuele antwoorden en functioneert dan als een standaard large language model.
Als je in Taakbeheer de prestaties bekijkt, zie je dat het GPU-gebruik rond de 6% ligt, wat duidt op een soepele werking.
2. Een experimentele Qwen2.5-VL webapp lokaal draaien
De GitHub-repository bevat ook een experimentele streaming videochat-demo in de map web_demo_streaming. Met deze demo kun je met het model communiceren via je webcam.
Om de streaming videochat-demo te draaien, ga je naar de map van de streamingdemo en start je de applicatie met het 3B-modelcheckpoint.
cd web_demo_streaming/
python app.py --checkpoint-path "Qwen/Qwen2.5-VL-3B-Instruct" Als je een krachtigere GPU hebt, draait deze webapp soepel. Geef simpelweg toegang tot je webcam en begin met vragen stellen.
Leer hoe je het lokaal gedeployde model gebruikt en er een volwaardige UI-applicatie omheen bouwt. Dat kan door de cursus Developing LLM Applications with LangChain te volgen.
3. Qwen2.5-VL lokaal draaien met Docker Desktop
De meest stabiele manier om Qwen2.5-VL lokaal te gebruiken is via Docker. Het Qwen-team levert kant-en-klare Docker-images met alle benodigde omgevingen geconfigureerd.
1. Download en installeer Docker Desktop via de officiële website.
2. Gebruik voor eenvoudigere deployment het kant-en-klare Docker-image qwenllm/qwenvl. Installeer de benodigde drivers en download de modelbestanden om de demo te starten.
docker run --gpus all --ipc=host --network=host --rm --name qwen2 -it qwenllm/qwenvl:2-cu121 bashLees meer over een codegeneratiemodel genaamd Qwen 2.5 Coder in onze Qwen 2.5 Coder: A Guide With Examples.
Qwen2.5-VL online chatbot gebruiken
Wil je het vlaggenschipmodel Qwen2.5-VL 72B Instruct ervaren? Ga dan naar de website Qwen Chat, maak een account aan en gebruik het model net als ChatGPT. Mogelijk moet je het model selecteren voordat je de afbeelding laadt.
Laad de afbeelding en begin er vragen over te stellen.
De responsgeneratie is snel en nauwkeurig, en met jouw inzet kun je een topmodel uitproberen.
Alibaba Cloud levert alle nodige tools om via de API toegang te krijgen tot diverse AI-modellen, met fine-tuning vergelijkbaar met het OpenAI-platform. Lees de Qwen (Alibaba Cloud) Tutorial: Introduction and Fine-Tuning om er meer over te leren.
Conclusie
Qwen2.5-VL is een blik op de toekomst van AI en bewijst dat innovatie in geavanceerde AI-modellen niet exclusief is voor de VS of de westerse wereld. Dit model levert uitzonderlijke nauwkeurigheid en biedt naadloze integratie in diverse workflows, zodat gebruikers eigen AI-tools kunnen bouwen om taken te automatiseren.
Zo kun je Qwen2.5-VL gebruiken om een LinkedIn-account op te zetten, het met alle benodigde gegevens te vullen en zelfs namens jou artikelen te plaatsen—alles met minimale inspanning.
In deze tutorial hebben we Qwen 2.5-VL leren kennen, een visionmodel dat zelfs de kleinste details in een afbeelding aankan. We hebben ook geleerd hoe je het lokaal gebruikt op een laptop met een GPU. Tot slot hebben we een Qwen-account aangemaakt en het vlaggenschipmodel online gebruikt, vergelijkbaar met ChatGPT.
Lees over Alibaba’s Qwen 2.5-Max, een model dat concurreert met GPT-4o, Claude 3.5 Sonnet en DeepSeek V3.
