Qwen3.8-Omni-Flash : le modèle d’agent omnimodal d’Alibaba

La vague actuelle de modèles de la classe Flash ne cesse de grossir.

Nous avons récemment présenté Qwen3.8-Flash-Next, GLM-5.3-Flash, Gemini 3.8 Flash et DeepSeek V4.1 Flash, tous en compétition pour l’usage à coût maîtrisé et à inférence rapide.

L’équipe Qwen d’Alibaba apporte désormais une nouvelle approche avec Qwen3.8-Omni-Flash, un modèle omnimodal natif conçu autour d’agents audio et vidéo.

Qwen3.8-Omni-Flash accepte des entrées texte, image, audio et vidéo avec une fenêtre de contexte de 1 million de tokens. Alibaba revendique des performances audio-visuelles proches de Gemini 3.8 Flash et des performances audio globales supérieures, ainsi qu’une amélioration moyenne de plus de 25 % par rapport à son prédécesseur Qwen3.5-Omni-Plus sur 29 évaluations. Les gains phares pour les agents sont de 36,5 points sur WildClawBench-MM et une baisse annoncée de plus de 98 % du prix par heure pour l’entrée audio.

Dans cet article, je passe en revue toutes les nouveautés de Qwen3.8-Omni-Flash : les fonctionnalités, la comparaison avec les autres modèles Flash que nous avons testés, et les benchmarks.

Pour approfondir les comparatifs, consultez notre guide DeepSeek V4.1 Flash vs Gemini 3.8 Flash et notre comparaison GLM-5.3 Flash vs Qwen3.8-Flash-Next.

En bref

• Qwen3.8-Omni-Flash est le modèle omnimodal de nouvelle génération d’Alibaba, remplaçant Qwen3.5-Omni-Plus.
• Son vrai différenciateur : des agents audio et vidéo : observation, écoute, planification et appel d’outils pour livrer un rendu final (clips, commentaires de films, etc.).
• Il dépasse Gemini 3.8 Flash sur la plupart des benchmarks audio et reste au coude-à-coude en raisonnement audio-visuel.
• Privilégiez-le si vos charges sont riches en audio ou en vidéo. Pour du texte ou du code purs, Qwen3.8-Flash-Next obtient des scores légèrement supérieurs.
• À environ 0,15 $ l’entrée / 0,47 $ la sortie par 1 million de tokens, il sous-facture la plupart des concurrents de la catégorie Flash sur le texte.

Qu’est-ce que Qwen3.8-Omni-Flash ?

Qwen3.8-Omni-Flash est un modèle omnimodal natif conçu par l’équipe Qwen d’Alibaba, positionné dans la gamme Flash comme option à haut débit et à coût optimisé.

Il traite texte, image, audio et vidéo au sein d’un même modèle et prend en charge une fenêtre de contexte d’1 million de tokens, tout en conservant des performances texte comparables à un modèle texte seul de taille équivalente.

L’objectif de cette génération : des capacités d’agent en audio et vidéo, pas seulement la compréhension.

Là où Qwen3.5-Omni-Plus se concentrait sur l’interprétation de contenus omnimodaux, Qwen3.8-Omni-Flash est pensé pour planifier des tâches, appeler des outils et finaliser des réalisations créatives comme le montage vidéo, la création de clips musicaux ou les commentaires de films.

Alibaba présente cela comme le passage de l’audio et de la vidéo de simples entrées perceptives à des médias centraux à travers lesquels un agent raisonne et exécute.

La grande annonce : +36,5 points sur WildClawBench-MM, jusqu’à 71,0 (Qwen3.5-Omni-Plus : 34,5), et +22,3 points sur AgenticVBench.

Sur de l’audio de réunion réel, où les interlocuteurs se chevauchent souvent, le nouveau système montre des progrès massifs par rapport à l’ancien :

• Identifier qui parle (diarisation) : les erreurs chutent de 88 % à seulement 3 %.
• Transcrire les mots prononcés (cpWER) : les fautes passent de près de 90 % à 17 %.

Fonctionnalités clés de Qwen3.8-Omni-Flash

Toutes convergent vers une idée : donner à un agent des mains pour produire en audio et vidéo, pas seulement des yeux et des oreilles.

Alibaba a livré le modèle avec deux couches d’outillage : Qwen-MM-Plugins pour les workflows à long horizon et Qwen-Live Harness pour l’interaction en temps réel.

Des agents audio et vidéo qui livrent un rendu final

Vous pouvez fournir à Qwen3.8-Omni-Flash une chanson ou un long-métrage et décrire votre besoin en une phrase : il planifie la tâche, appelle les outils créatifs et renvoie une vidéo finalisée.

Il gère des workflows de bout en bout, notamment la création de clips musicaux, la traduction de courts-métrages avec clonage de voix et les commentaires de films au long cours.

Pour un film de deux heures, le modèle effectue la compréhension long-format, l’extraction des points-clés, la planification du commentaire, la production de voix off et de musique, le montage et une relecture qualité finale.

Il peut mêler dialogues originaux et narration, et ajuster débit et volume pour un mixage audio cohérent.

C’est d’autant plus important que la chaîne éparse transcrire–traduire–doubler–monter représente précisément le coût de coordination qui fait capoter ces projets pour les créateurs solos.

Génération de sous-titres audio-visuels contrôlable

Vous définissez ce que le modèle regarde, le niveau d’attention et la façon de présenter le résultat, au lieu d’accepter une description figée.

Les utilisateurs peuvent spécifier le sujet, la plage temporelle, le degré de détail et le format de sortie pour une même vidéo.

Par exemple, pour une démo produit de 40 minutes : demandez un résumé de 200 mots pour une page listing, puis relancez le même extrait en exigeant une sortie au format JSON Schema avec horodatage par scène, extraction des textes à l’écran et transcription par intervenant pour une chaîne de traitement aval.

Sur OmniCap-IF, ses scores de structure de contenu et de suivi d’instructions (CSR et ISR) progressent de 8,5 et 14,1 points par rapport au précédent modèle.

Compréhension vidéo long-format pilotée par agent

Plutôt que de traiter l’intégralité d’un enregistrement de plusieurs heures, le modèle part de votre question et décide quoi regarder et écouter via une collecte d’indices du grossier au fin.

Cette approche concentre calcul et tokens sur les segments pertinents.

Sur OmniVideoBench, ce mode agent fait passer la précision de 63,4 à 67,8 tout en réduisant la consommation de tokens de 145 736 à 79 117 par requête, soit environ −45,7 %.

Pour toute facturation au token sur des heures de rushes, ce gain d’efficacité fait toute la différence.

Interaction en temps réel avec Qwen3.8-Omni-Flash-Realtime

Une variante séparée, Qwen3.8-Omni-Flash-Realtime, perçoit et répond pendant la réception de flux audio-visuels en direct et utilise le contexte temps réel pour appeler des outils.

Elle gère la pratique orale avec feedback de prononciation, la perception audio spatiale et l’injection de connaissances via Skills.

La perception spatiale est l’affirmation la plus originale : Alibaba indique qu’il s’agit du premier modèle omnimodal capable de localiser une cible par le son, en combinant audio directionnel et informations visuelles pour estimer direction et distance d’une source.

Le temps jusqu’au premier paquet audio est annoncé à moins de 1,4 seconde, y compris pour des entrées audio-visuelles de 20 secondes.

Couverture linguistique et dialectale

Qwen3.8-Omni-Flash prend en charge la reconnaissance vocale dans 74 langues et 39 dialectes chinois, du mandarin et cantonais au sichuanais, shanghaïen et minnan.

La génération vocale couvre 29 langues et 7 dialectes.

Pour les workflows de localisation et de doublage, cette ampleur dialectale est un véritable différenciateur face à la plupart des modèles Flash concurrents, qui publient généralement des comptages de langues mais rarement une couverture au niveau des dialectes.

Développer un modèle comme tâche d’agent

Parmi les démonstrations atypiques de la sortie : Alibaba utilise Qwen3.8-Omni-Flash pour améliorer un modèle plus petit plutôt que de servir directement les utilisateurs.

En 12 heures pour améliorer la reconnaissance du dialecte sichuanais de Qwen2.5-Omni-3B, l’agent a sélectionné le jeu d’évaluation WenetSpeech-Chuan, construit une baseline et diagnostiqué les erreurs en écoutant des échantillons audio.

En quatre itérations, il a créé 3 413 exemples d’entraînement, annulé les tentatives infructueuses et réduit le taux d’erreur caractères de 25,79 % à 15,30 %, soit une baisse relative d’environ 40,7 %.

Petit expériment, grande idée : un gros modèle qui pilote l’entraînement de modèles spécialisés plus compacts pour la production.

Comment Qwen3.8-Omni-Flash se comporte-t-il aux benchmarks ?

La tendance est constante : Qwen3.8-Omni-Flash s’impose nettement sur l’audio, rivalise avec Gemini 3.8 Flash en tâches audio-visuelles et reste compétitif en texte face à ses modèles frères.

Il n’est pas en tête partout, et plusieurs épreuves de raisonnement vidéo penchent encore pour Gemini 3.8 Flash.

Audio et reconnaissance multi-intervenants

C’est son point fort, et l’écart avec Gemini 3.8 Flash est important.

Sur le test ASR multi-intervenants AliMeeting, il affiche un taux d’erreur de diarisation de 3,4 contre 72,6 pour Gemini 3.8 Flash, et sur AISHELL-4 il atteint 2,8 contre 66,4 pour Gemini, signe des difficultés de Gemini avec les locuteurs qui se chevauchent.

Le taux d’erreur de diarisation mesure la bonne attribution des paroles au bon intervenant : un score bas est crucial pour les comptes rendus de réunion, les transcriptions d’interview et tout flux où plusieurs personnes parlent en même temps.

Sur la compréhension musicale, il mène aussi clairement, avec 72,6 sur MuchoMusic-RUL contre 53,7 pour Gemini, et 50,6 sur MusTBench contre 40,3.

Raisonnement et compréhension audio-visuels

Ici, Gemini 3.8 Flash prend généralement un léger avantage, mais l’écart est réduit et se comble lorsque Qwen fonctionne en mode agent.

• Sur OmniVideoBench, Qwen marque 63,4 en statique contre 65,2 pour Gemini, mais grimpe à 67,8 avec le harness Qwen Code.
• Sur JointAVBench, il passe devant à 75,9 contre 70,4 pour Gemini.

Les résultats en raisonnement vidéo sont plus mitigés.

Sur Video-MME-v2, Gemini mène 71,0 contre 65,0 statique, et sur LVOmniBench Gemini tient 70,7 contre 63,3 pour Qwen, bien que Qwen bondisse à 73,6 avec le harness agent.

Si votre usage implique du raisonnement vidéo intensif sans boucle agent, Gemini garde l’avantage.

Utilisation d’outils multimodaux et agents

La promesse porte sur la capacité d’agent, et le score WildClawBench-MM la confirme : 71,0 pour Qwen3.8-Omni-Flash contre 58,9 pour Gemini 3.8 Flash et 41,9 pour Seed 2.0 Lite.

Sur UniClawBench, les deux sont quasiment à égalité : 69,6 et 69,0.

Gemini remporte toutefois AgenticVBench (45,0 contre 36,8 pour Qwen) et la recherche web OmniGAIA (78,6 contre 74,0).

Donc l’histoire d’usage d’outils est solide, sans être un grand chelem. Sur StreamingBench, un benchmark d’interaction, Qwen mène nettement à 80,8 contre 79,9 pour Gemini et 57,1 pour son prédécesseur.

Texte et code face aux modèles Flash apparentés

Sur du texte pur, Qwen3.8-Omni-Flash suit de très près son jumeau texte seul Qwen3.8-Flash-Next, généralement à un point près.

Il obtient 92,6 sur LiveCodeBench v6 (Qwen3.8-Flash-Next : 91,9), 63,3 sur SWE-bench Pro (Qwen3.8-Flash-Next : 62,5) et 91,0 sur GPQA Diamond (Qwen3.8-Flash-Next : 91,7).

Face à DeepSeek-V4-Flash-0731, Qwen3.8-Omni-Flash mène sur SWE-bench Pro (63,3 vs 56,0) et IFBench (81,5 vs 79,2), mais DeepSeek gagne NL2Repo-Bench (54,2 vs 48,9).

Lors de notre test de DeepSeek-V4-Flash-0731, nous l’avions trouvé comme le meilleur modèle de codage local à cette date ; qu’un modèle omnimodal de la catégorie Flash l’égale sur de l’ingénierie logicielle au niveau d’un dépôt est un vrai résultat.

Quel niveau choisir ?

Qwen3.8-Omni-Flash est proposé en deux variantes, plus un réglage de raisonnement dynamique. Le bon choix dépend de votre besoin en analyse profonde de contenu ou en interaction temps réel.

La séparation est simple :

• Qwen3.8-Omni-Flash (base) est conçu pour la compréhension et la création profondes sur des fichiers audio-visuels complets,
• Qwen3.8-Omni-Flash-Realtime gère des flux continus à faible latence via WebSocket ou WebRTC.

N’utilisez pas le modèle de base pour une conversation en direct, ni Realtime pour rendre un commentaire de film de deux heures.

Au-delà du choix de variante, le modèle de base expose un paramètre reasoning_effort avec les niveaux xhigh (par défaut), medium et low, pour arbitrer profondeur de raisonnement, vitesse et coût.

Utilisez low pour de la sous-titration en volume où la vitesse prime, et xhigh pour de la planification en plusieurs étapes, comme l’écriture de commentaires.

Tarification et disponibilité de Qwen3.8-Omni-Flash

Des sources tierces situent Qwen3.8-Omni-Flash à environ 0,15 $ l’entrée / 0,47 $ la sortie par 1 million de tokens texte, OmniaKey et LLM Reference citant les tarifs officiels. Venice API référence une route Qwen 3.8 Flash apparentée à 0,14 $ l’entrée / 0,49 $ la sortie. Il s’agit des tarifs texte.

L’audio et l’audio-visuel coûtent davantage : point de vigilance important. Puter mentionne un surcoût pour l’entrée audio par rapport au texte, et Alibaba compare ses prix d’entrée audio-visuelle à ceux de Gemini 3.8 Flash plutôt que d’annoncer un tarif fixe au token. Alibaba indique que le prix par heure de l’entrée audio a chuté de plus de 98 % par rapport à Qwen3.5-Omni-Plus et l’audio-visuel de plus de 93 % : la prime est plus faible qu’avant, mais elle subsiste.

Le modèle est généralement disponible sur la plateforme Qianwen AI et via Alibaba Cloud Model Studio, avec des points de présence à Pékin et Singapour. Aucune offre gratuite grand public n’est mentionnée dans les notes de version.

Comment accéder à Qwen3.8-Omni-Flash ?

L’ID de modèle API est qwen3.8-omni-flash, et la variante temps réel est qwen3.8-omni-flash-realtime.

Il prend en charge les APIs Chat Completions et Responses compatibles OpenAI, et l’outillage multimodal s’intègre aux harness d’agents, dont Codex, Claude Code, Qwen Code et Gemini CLI via Qwen-MM-Plugins.

from openai import OpenAI
import os

client = OpenAI(
    api_key=os.environ.get(\"DASHSCOPE_API_KEY\"),
    base_url=\"https://dashscope-intl.aliyuncs.com/compatible-mode/v1\",
)

completion = client.chat.completions.create(
    model=\"qwen3.8-omni-flash\",
    messages=[{\"role\": \"user\", \"content\": \"Summarize this meeting recording.\"}],
    reasoning_effort=\"xhigh\",  # xhigh, medium, or low
)
print(completion.choices.message.content)Propulsé par

Un bémol signalé : des utilisateurs GitHub mentionnent des interruptions fréquentes et une instabilité de session avec Qwen3.8-Omni-Flash sous Claude Code ; prévoyez du temps pour fiabiliser l’intégration.

Pour aller plus loin sur la mise en place, consultez notre tutoriel sur l’exécution des modèles de classe Flash et notre guide Qwen3.8-Max.

Conclusion

Alibaba trace un sillon spécifique plutôt que de chasser tous les rivaux Flash sur le texte.

Face à Qwen3.8-Flash-Next, GLM-5.3-Flash, Gemini 3.8 Flash et DeepSeek V4.1 Flash, la proposition tient aux agents audio et vidéo, avec à la clé la tarification texte la plus compétitive du groupe.

Je le choisirais si votre travail implique la transcription de réunions, la localisation vidéo, ou la production de clips et commentaires, où l’outillage d’agent audio-visuel et les gains de diarisation AliMeeting font vraiment la différence.

Pour du texte ou du code purs, Qwen3.8-Flash-Next obtient des scores légèrement supérieurs, et Gemini 3.8 Flash garde l’avantage sur certains raisonnements vidéo : ce n’est donc pas le choix par défaut pour tout le monde.

Pour vous familiariser avec les workflows d’agents et les modèles multimodaux, nous vous recommandons de commencer par le parcours de compétences AI Fundamentals.