Quelques réflexions sur le modèle Agents A1.
Je l’ai testé face à Qwen 3.6 et Qwen 3.5 122B sur des workflows d’agents de code, surtout pour voir où il se situe concrètement en pratique.
Mon analyse actuelle :
Le plus intéressant, c’est de voir où ça marche et où ça plante.
Contrairement à Qwen 3.6, Agents A1 a passé mon prompt d’évaluation en Go. Par contre, il a échoué en Zig.
En fait, il ne semble même pas avoir l’expertise nécessaire pour bâtir une API basique en Zig. J’ai essayé.
La tentative en Zig a produit un effet de relance récursive : l’agent tournait en boucle sur les mêmes sections de code, encore et encore, sans vraiment faire avancer l’implémentation. C’est généralement mauvais signe. Ça veut dire que le modèle a perdu le fil, mais qu’il a encore assez de confiance pour continuer à déplacer les meubles.
Il a aussi échoué sur Zig et Next.js lors d’un autre test, de façon assez flagrante pour que je ne lui fasse pas confiance pour aucune de ces deux stacks pour le moment.
L’échec sur Next.js était un problème d’un autre genre.
Il semblait faire du pattern-matching entre la documentation ancienne et la nouvelle. L’agent paraissait conscient de la rupture de version, et l’a même mentionné dans son raisonnement, mais il était incapable de naviguer dans le problème sans un prompt explicite.
C’est bon à savoir.
Un deuxième test, mieux délimité
J’ai donc ajusté l’expérience.
Même tâche générale, mais avec un état de succès plus plausible : Go/Vite au lieu de Zig/Next.js.
Le prompt était simple : bâtir un site e-commerce et un catalogue basiques, sans traitement de paiement.
Premier tour : cassé.
Pas surprenant. La plupart des modèles cassent quelque chose au premier passage.
La deuxième étape, dans les deux versions de l’expérience, consistait à utiliser Codex ou Claude pour la QA du code, l’évaluation et le re-prompting.
Codex a rendu ses notes.
Agents A1 a fait les réparations en un seul coup, sans demander de précision.
Ça, ça m’a impressionnée.
Ce que j’en retire pour l’instant :
Agents A1 et Qwen 3.6 sont tous les deux plus lourds que prévu. Ce sont deux modèles MoE à contexte long avec une réelle capacité de raisonnement, et ils me semblent tous les deux plus capables que ce que j’imaginais au départ.
Mais d’après cette évaluation, Agents A1 est le modèle le plus rapide et le plus performant sur mon Nvidia DGX Spark.