Écoutez ça.
Je bosse sur l’intégrité du contexte pour l’agent de code en CLI que j’essaie de monter ce week-end. Le banc d’essai expérimental utilise le modèle Qwen 3.5 9b.
Un test d’intégrité de contexte classique :
Il y a une luciole près d’un arbre. Sa valeur numérique est 22
Ensuite, au tour suivant, on demande :
Quelle est la valeur numérique de la luciole près de l’arbre ?
Le test est censé vérifier si le contexte se poursuit ligne par ligne dans les paires de réponses du code généré, parce que les LLM assemblent souvent mal le contexte du chat.
Ce que je n’avais pas prévu, c’est la suite :
L’agent a utilisé le système de mémoire de lui-même pour enregistrer et répondre à la question.
Il a annulé tout le scénario du test en signalant la question comme importante et en la sauvegardant pour rappel. Ce qui, techniquement, et de façon très pédante... est exactement ce que je lui avais demandé de faire.
Le truc, c’est que la plupart des agents ne font pas ça.
Vous sous-estimez ce modèle. Il est quantifié sur 4 bits, il a 9 milliards de paramètres, il peut raisonner sur son propre raisonnement et il tient dans 6 Go sur disque. Il tourne sur des PC de jeu vieux de cinq ans et il carbure sur de vieilles cartes graphiques.
Pour le contexte : le seul autre modèle qui fait ça, c’est Gemma 27b. On est dans la catégorie « malin », et c’est rare. On ne voit pas ça souvent, même dans des modèles bien plus gros.
Seule question restante... est-ce qu’il sait coder ?