Point sur le projet :
Le projet d’agent de codage long-horizon en est à ce que j’espère être le dernier tour d’évaluations.
Pour rappel, je construis un agent de codage à la pointe pour résoudre des problèmes de codage long-horizon. Il sera utilisable via le CLI ou via MCP. C’est l’outil idéal pour des tâches de portage ou de « white rooming » encore trop vastes pour être automatisées fiablement autrement.
Derniers détails :
J’ai effectué une nouvelle série de modifications pour mieux gérer le passage à l’échelle, les gros dépôts et la gestion d’essaim. Le nouveau schéma nous apporte un gain de performance par 8 par rapport à la méthode originale.
Le graphe de dépendances de la version actuelle est vraiment propre. J’en suis plutôt fière.
Mon sentiment personnel, c’est que le nouveau système de mémoire basé sur les ANN bat l’état de l’art actuel d’environ un an. L’astuce a été de réaliser que la mémoire d’un agent doit être traitée moins comme une base de données et plus comme une machine à états.
Ce changement m’a vraiment aidée à saisir le bon modèle mental. La mémoire dirigée par l’agent n’aurait jamais dû être traitée comme un classeur, mais plutôt comme un composant actif dans un système dynamique.
La nature du besoin est tout autre.
J’ai packagé cette partie dans un outil appelé Kilo-SDK, qui devrait arriver sur GitHub cette semaine pour ceux qui veulent l’essayer. C’est écrit en Go, et ça devrait supporter aussi bien l’intégration backend que les méthodes d’injection côté client basées sur des outils.
Le benchmark Pizza Empire
L’évaluation actuelle s’appelle Pizza Empire, parce que si on veut tester des agents de codage long-horizon, autant le faire avec supplément fromage.
L’exercice est simple sur le papier : construire un site de livraison de pizzas personnalisé et complet, incluant les commandes clients, les outils de cuisine et la gestion des livraisons, en 20 000 lignes de code ou moins, sans supervision humaine.
C’est un benchmark vicieux.
Un vrai système de livraison de pizzas, ça implique de la logique de configuration, des règles de tarification, l’état du panier, le flux de paiement, la gestion du cycle de vie des commandes, le flux de cuisine, l’expédition des livraisons, les contrôles admin, les mises à jour de statut, les permissions, et assez de cas particuliers pour voir si un essaim d’agents peut raisonner sur un produit entier sans perdre ses pepperonis.
Cette version omet volontairement l’OAuth et le traitement des paiements. Ce sont des enjeux de production importants, mais ce n’est pas ce que je teste ici.
Si ça passe Pizza Empire ce soir ou demain, j’espère renvoyer le projet à Samuel Goff pour la révision de l’UI et l’optimisation de l’UX.
Une fois que ce sera fait, on sera pratiquement prêts pour la sortie.
On dirait qu’on va zapper la bêta pour passer directement au public.
Je n’arrête pas de le dire, mais je pense vraiment qu’on est dans la dernière ligne droite.