Last chance! 50% off DataCamp Premium
Sale ends in
Setelah DeepSeek mengganggu pasar AI, perusahaan Tiongkok lainnya, Qwen, merilis sejumlah model mutakhir yang bahkan mampu melampaui model penalaran canggih milik DeepSeek. Hanya dalam beberapa hari setelah peluncuran DeepSeek, Qwen telah merilis model kelas atas yang spesifik untuk tugas dan memberikan nilai nyata, bukan sekadar berfungsi sebagai chatbot.
Anda dapat membaca blog Saya Mencoba QwQ 32B Preview: Model Penalaran Alibaba untuk mempelajari model penalaran Qwen yang mirip dengan DeekSeek R1.
Dalam tutorial ini, kita akan mengeksplorasi Qwen2.5-VL, model visi-bahasa yang telah melampaui semua model proprietary dalam hal kemampuan visi. Kita juga akan mempelajari cara menggunakannya secara lokal dan mencoba model andalannya secara online.
Gambar oleh Penulis
Jika Anda baru dalam AI dan large language models (LLM), pertimbangkan untuk mengikuti kursus Introduction to LLMs in Python. Kursus ini akan membantu Anda memahami LLM dan arsitektur transformer revolusioner yang menjadi dasarnya.
Pengenalan Qwen2.5-VL
Qwen2.5-VL adalah model visi-bahasa andalan baru dari Qwen dan merupakan lompatan besar dari pendahulunya, Qwen2-VL. Model ini menetapkan standar baru dalam AI multimodal dengan tidak hanya menguasai pengenalan objek umum seperti bunga, burung, ikan, dan serangga, tetapi juga menganalisis teks, bagan, ikon, grafik, dan tata letak yang kompleks di dalam gambar.
Selain itu, Qwen2.5-VL dirancang sangat agentic, mampu melakukan penalaran dinamis dan pengarahan alat—baik digunakan di komputer maupun ponsel.
Fitur lanjutan model ini mencakup kemampuan memahami video lebih dari satu jam, menandai peristiwa spesifik di dalamnya, dan secara akurat melokalisasi objek dalam gambar dengan menghasilkan bounding box atau titik. Model ini juga menyediakan keluaran JSON yang stabil untuk koordinat dan atribut, memastikan presisi dalam tugas yang memerlukan data terstruktur.
Lebih jauh, Qwen2.5-VL mendukung keluaran terstruktur untuk dokumen hasil pemindaian, seperti faktur, formulir, dan tabel, sehingga sangat bermanfaat bagi industri seperti keuangan dan perdagangan.
Sumber: Qwen2.5 VL
Model andalan Qwen2.5-VL-72B-Instruct memberikan kinerja luar biasa di berbagai benchmark, menunjukkan versatilitasnya dalam menangani berbagai domain dan tugas. Model ini melampaui model terkemuka seperti Gemini 2 Flash, GPT-4o, dan Claude 3.5 Sonnet, meneguhkan posisinya sebagai model visi-bahasa kelas atas.
Anda juga dapat mengevaluasi model Qwen atau jenis LLM apa pun sendiri dengan mengikuti tutorial Evaluasi LLM Secara Efektif Menggunakan DeepEval.
Menggunakan Qwen2.5-VL di Laptop dengan GPU
Sekarang kita akan mempelajari beberapa cara untuk menjalankan Qwen2.5-VL secara lokal. Solusi ini sudah tersedia di repositori GitHub QwenLM/Qwen2.5-VL. Yang perlu kita lakukan adalah menyiapkan lingkungan, memperbaiki beberapa error umum, dan menjalankan aplikasi web secara lokal.
1. Menjalankan aplikasi web Qwen2.5-VL secara lokal
1. Mulailah dengan mengkloning repositori GitHub Qwen2.5-VL dan masuk ke direktori proyek:
git clone https://github.com/QwenLM/Qwen2.5-VL
cd Qwen2.5-VL2. Instal dependensi yang diperlukan untuk aplikasi web menggunakan perintah berikut:
pip install -r requirements_web_demo.txt3. Untuk memastikan kompatibilitas dengan GPU Anda, instal versi terbaru PyTorch, TorchVision, dan TorchAudio dengan dukungan CUDA. Meskipun PyTorch sudah terpasang, Anda bisa saja mengalami masalah saat menjalankan aplikasi web, jadi sebaiknya lakukan pembaruan:
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu1244. Perbarui Gradio dan Gradio Client untuk menghindari error terkait koneksi dan UI, karena versi lama dapat menimbulkan masalah:
pip install -U gradio gradio_client 5. Sekarang, jalankan aplikasi demo web menggunakan checkpoint model 3B yang lebih kecil. Ini direkomendasikan untuk laptop dengan memori GPU terbatas (misalnya, VRAM 8GB). Model 7B mungkin bisa berjalan, tetapi kemungkinan menghasilkan respons yang lambat:
python web_demo_mm.py --checkpoint-path "Qwen/Qwen2.5-VL-3B-Instruct" Seperti yang terlihat, aplikasi akan mengunduh model terlebih dahulu, lalu memuat processor dan model, dan sekarang aplikasi web berjalan di URL lokal, http://127.0.0.1:7860.
Aplikasi web berjalan dengan baik.
6. Anda dapat mengunggah gambar dengan teks dan beberapa figur, lalu meminta model menjelaskannya. Bahkan model 3B yang lebih kecil menunjukkan performa mengesankan, mengidentifikasi detail rumit dalam gambar.
7. Anda juga dapat berinteraksi dengan model tanpa memberikan gambar. Model akan menghasilkan respons berbasis teks, berfungsi seperti large language model standar.
Jika Anda membuka Task Manager dan memantau performa, Anda akan melihat utilisasi GPU sekitar 6%, menunjukkan operasi yang lancar.
2. Menjalankan aplikasi web Qwen2.5-VL eksperimental secara lokal
Repositori GitHub juga menyertakan demo obrolan video streaming eksperimental, yang berada di direktori web_demo_streaming. Demo ini memungkinkan Anda berinteraksi dengan model menggunakan webcam.
Untuk menjalankan demo obrolan video streaming, masuk ke direktori demo streaming dan jalankan aplikasi dengan checkpoint model 3B.
cd web_demo_streaming/
python app.py --checkpoint-path "Qwen/Qwen2.5-VL-3B-Instruct" Jika Anda memiliki GPU yang lebih bertenaga, aplikasi web ini akan berjalan mulus. Cukup berikan akses ke webcam Anda dan mulai ajukan pertanyaan.
Pelajari cara menggunakan model yang dideploy secara lokal dan membangun aplikasi UI yang tepat di sekelilingnya. Anda dapat melakukannya dengan menyelesaikan kursus Developing LLM Applications with LangChain.
3. Menjalankan Qwen2.5-VL secara lokal dengan Docker Desktop
Cara paling stabil untuk menggunakan Qwen2.5-VL secara lokal adalah dengan menjalankannya melalui Docker. Tim Qwen menyediakan image Docker siap pakai dengan seluruh lingkungan yang diperlukan sudah dikonfigurasi.
1. Unduh dan instal Docker Desktop dari situs resmi.
2. Untuk mempermudah deployment, gunakan image Docker siap pakai qwenllm/qwenvl. Instal driver yang diperlukan dan unduh file model untuk menjalankan demo.
docker run --gpus all --ipc=host --network=host --rm --name qwen2 -it qwenllm/qwenvl:2-cu121 bashAnda dapat mempelajari model pembangkitan kode bernama Qwen 2.5 Coder dengan membaca Qwen 2.5 Coder: Panduan dengan Contoh kami.
Menggunakan Chatbot Qwen2.5-VL Online
Jika Anda ingin merasakan model andalan Qwen2.5-VL 72B Instruct, buka situs Qwen Chat, buat akun, dan mulai gunakan model seperti ChatGPT. Anda mungkin perlu memilih model sebelum memuat gambar.
Muat gambar dan mulai ajukan pertanyaan tentangnya.
Generasi respons cepat dan akurat, dan dengan upaya Anda, Anda dapat merasakan model AI kelas atas.
Alibaba Cloud menyediakan semua alat yang diperlukan untuk mengakses berbagai model AI menggunakan API, yang dapat di-fine-tune seperti platform OpenAI. Baca Tutorial Qwen (Alibaba Cloud): Pengantar dan Fine-Tuning untuk mempelajari lebih lanjut.
Kesimpulan
Qwen2.5-VL memberi gambaran tentang masa depan AI, membuktikan bahwa inovasi model AI tingkat lanjut tidak eksklusif untuk AS atau dunia Barat. Model ini menunjukkan akurasi luar biasa dan menawarkan integrasi mulus ke berbagai alur kerja, memungkinkan pengguna membuat alat AI kustom untuk mengotomatiskan tugas.
Sebagai contoh, Anda dapat menggunakan Qwen2.5-VL untuk menyiapkan akun LinkedIn, mengisinya dengan semua detail yang diperlukan, dan bahkan memposting artikel atas nama Anda—semuanya dengan upaya minimal.
Dalam tutorial ini, kita telah mempelajari Qwen 2.5-VL, model visi yang mampu menangani detail paling kecil dalam gambar. Kita juga mempelajari cara menggunakannya secara lokal di laptop dengan GPU. Terakhir, kita membuat akun Qwen dan menggunakan model andalan secara online, mirip dengan ChatGPT.
Baca tentang Qwen 2.5-Max milik Alibaba, model yang bersaing dengan GPT-4o, Claude 3.5 Sonnet, dan DeepSeek V3.
