Sakana Fugu vs Claude Fable 5 : benchmarks, prix et plus encore

Sakana présente Fugu comme l’égal de Fable 5, mais exclut Fable 5 de son propre tableau de benchmarks. Nous allons donc comparer les deux modèles en vis-à-vis autant que possible.

Voici le contexte. Le gouvernement américain a suspendu l’accès public à Claude Fable 5 à peine trois jours après son lancement par Anthropic. Or Fable 5 était présenté comme son modèle le plus performant. Deux semaines plus tard, Sakana AI (Tokyo) lance Fugu avec de grandes ambitions. L’une d’elles a particulièrement circulé : Sakana AI affirme que Fugu Ultra \"se hisse au niveau des modèles leaders comme Fable 5 et Mythos Preview\" sur les benchmarks les plus exigeants en ingénierie, sciences et raisonnement, sans le risque lié aux contrôles à l’exportation. Sur X, le CEO David Ha a déclaré que Fugu prouve qu’un pool échangeable d’agents orchestrés peut rivaliser avec des modèles de pointe restreints comme Fable.

Ces affirmations sont délicates à vérifier car Fable 5 n’apparaît tout simplement pas dans la table de benchmarks de Fugu. Sakana l’exclut au motif qu’il n’est pas accessible publiquement. Nous faisons le maximum : nous vérifions la poignée de benchmarks présents à la fois dans les tableaux publiés par les deux laboratoires avec des lignes de base identiques. Enfin, nous aborderons les prix et la question de l’accès.

Si vous voulez un aperçu séparé des deux systèmes, nous avons des articles dédiés : consultez notre analyse de Claude Fable 5 et notre présentation de Sakana Fugu.

Qu’est-ce que Sakana Fugu ?

Sakana Fugu n’est pas un modèle unique entraîné au sens classique. C’est un orchestrateur : un modèle qui reçoit votre requête, décide de répondre directement ou de déléguer à des modèles spécialistes au sein d’un pool, gère la vérification et la synthèse, puis renvoie une réponse via une API compatible OpenAI. De l’extérieur, vous appelez un seul endpoint ; à l’intérieur, un ensemble coordonné de modèles de pointe effectue le travail.

Deux variantes sont proposées. Fugu équilibre qualité et faible latence et se positionne comme le choix quotidien pour le code, la relecture et les services interactifs. Fugu Ultra coordonne un pool plus profond d’agents experts et est optimisé pour la qualité maximale de réponse sur des problèmes difficiles et multi-étapes — reproduction d’articles, analyse cybersécurité, data science type Kaggle, recherches de brevets.

L’idée tient en réalité en deux points.

\n
• Premier point : une orchestration apprise — le coordinateur est entraîné à décider quand déléguer et comment combiner les sorties, plutôt que d’exécuter un pipeline codé à la main.
\n
• Deuxième point : un pool d’agents échangeable — lorsqu’un nouveau modèle de pointe devient publiquement disponible, Sakana estime pouvoir l’intégrer en environ deux semaines. (Important pour la suite : Fable 5 ne fait pas partie de ce pool car il n’est pas accessible publiquement.)
\n

Qu’est-ce que Claude Fable 5 ?

Claude Fable 5 est un modèle de classe Mythos, un niveau qu’Anthropic positionne au-dessus de sa classe Opus, rendu sûr pour un usage général via un ensemble de classifieurs. C’est le même modèle sous-jacent que Claude Mythos 5 ; la différence, c’est que Fable 5 fonctionne (fonctionnait) avec des classifieurs de sécurité actifs, tandis que Mythos 5 en lève certains et est réservé aux partenaires Project Glasswing et à des chercheurs sélectionnés en biologie.

Anthropic affirme que Fable 5 était à l’état de l’art sur quasiment tous les benchmarks qu’il suit, avec un avantage croissant sur les tâches longues et complexes. Le point pratique clé : lorsqu’une requête touche à la cybersécurité, à la biologie/chimie ou à la distillation de modèles, un classifieur en deux étapes redirige la réponse vers Claude Opus 4.8 et en informe l’utilisateur. 

Sakana Fugu vs Claude Fable 5 : benchmarks

Le tableau comparatif publié par Sakana exclut Fable 5 et Mythos Preview, au motif qu’ils ne sont pas accessibles publiquement et ne peuvent donc pas figurer dans le pool de Fugu. Les chiffres officiels de Fugu sont donc mesurés face à Opus 4.8, GPT-5.5 et Gemini 3.1 Pro, comme dans le tableau ci-dessous. Fugu l’emporte sur 10 benchmarks sur 11. 

Pour intégrer Fable 5 à la comparaison, j’ai croisé les benchmarks présents à la fois dans les tableaux d’Anthropic et de Sakana et vérifié l’alignement des lignes de base. Sur SWE-Bench Pro et Humanity’s Last Exam (sans outils), les chiffres d’Opus 4.8, GPT-5.5 et Gemini 3.1 Pro sont identiques entre les deux sources — ces deux comparaisons sont donc nettes. Réduit aux deux systèmes, le face-à-face ressemble à ceci :

‡ Les deux laboratoires rapportent des lignes de base différentes et utilisent des échafaudages distincts pour TerminalBench ; les conditions ne sont donc pas identiques.

Ce sont les trois seuls benchmarks présents dans les deux tableaux avec des lignes de base correspondantes, d’où une comparaison qualitative pour le reste. Fable 5 mène sur les trois.

Ainsi, sur chaque benchmark où une comparaison directe est possible, Fable 5 devance Fugu Ultra d’environ 6 à 9 points. Cela correspond à son terrain de jeu : des tâches longues évaluées a posteriori, où un modèle plus robuste accumule moins d’erreurs composées.

En résumé :

\n
1. Tous les chiffres de Fugu sont auto-déclarés et n’apparaissent pas encore sur des classements tiers.
\n
2. Sakana présente Fugu comme \"au coude-à-coude\" avec Fable 5 et Mythos Preview. Au vu des écarts ci-dessus, c’est défendable mais généreux. \"Proche, mais derrière\" est plus exact.
\n
3. Les jeux de comparaison ne se recoupent que partiellement. Fable 5 mène sur la vision (il peut reconstruire le code source d’une application web à partir de captures d’écran), un point que Fugu ne met pas en avant ; Fugu publie des benchmarks de long contexte et bancaires qu’Anthropic ne couvre pas. Ils sont donc optimisés pour des types de travaux un peu différents.
\n

Sakana Fugu vs Claude Fable 5 : disponibilité et accès

Claude Fable 5 est actuellement suspendu. Anthropic a coupé l’accès à Fable 5 et Mythos 5 le 12 juin suite à une directive américaine sur les contrôles à l’exportation, et indique travailler à un rétablissement rapide. Les autres modèles d’Anthropic, comme Opus 4.8, restent disponibles.

Sakana Fugu est disponible dès maintenant via console.sakana.ai avec une API compatible OpenAI — sauf dans l’UE et l’EEE, où Sakana a suspendu la disponibilité le temps de se mettre en conformité avec le RGPD. Aucun calendrier précis n’a pu être communiqué.

À l’instant, une équipe européenne pourrait ne pouvoir utiliser ni l’un ni l’autre modèle.

Dernières réflexions

Sur le papier, c’est un vrai duel serré entre deux philosophies.

Anthropic parie sur l’échelle — un modèle de classe Mythos si performant qu’il nécessite un système de classifieurs parallèle.

Sakana mise sur la coordination — l’idée qu’un orchestrateur entraîné au-dessus d’un pool échangeable peut rester au contact de n’importe quel modèle de pointe unique tout en étant moins cher, plus résilient et indépendant des fournisseurs.

Pris au pied de la lettre, les benchmarks indiquent que le pari d’Anthropic produit l’artefact le plus robuste sur les tests comparables, tandis que celui de Sakana produit l’option la plus disponible et la moins coûteuse.