Bon, la bataille avec les LoRA de configuration est terminée. J’ai gagné. Ce genre de configuration pour les paramètres d’outils, c’est l’avenir des systèmes d’agents, et ça m’enchante.
Temps d’entraînement total pour 93 endpoints, plus 7 MCP, un harnais d’outils style Claude et un prompt système complet et verbeux : six minutes sur le Spark, et ça marche à merveille. Il n’y a pas de plafond. L’agent mémorise les instructions des outils et libère 9k tokens pour ma fenêtre de contexte de 200k, sans problème.
Étape suivante : la couche d’inférence. Le texte, aucun souci. En 4fp, ça bombarde à un peu plus de 300 tokens/s. Mais : obtenir la version quantifiée du modèle Gemma-27b avec le multimodal intact et une pile de lecture d’images en 16 bits est................... pas facile à configurer. « Pas facile », ce n’est pas le bon terme. Inutilement complexe, absurdement difficile. Ouais, c’est mieux comme ça.
Une partie de moi a envie de laisser tomber et de se dire que c’est assez bien comme ça. Mais sans le multimodal, je ne peux pas faire en sorte que l’agent génère et itère sur des images. La génération, c’est facile, mais l’itération ? L’agent ne peut pas itérer s’il ne voit pas les rendus. Enfin, franchement. C’est le seul truc cool que je voulais que ce système sache faire.
L’idée, c’est que je veux un agent capable de prendre des images en entrée, de les passer à un modèle de monde multi-références et de créer des story-boards pour des séquences animées et des campagnes publicitaires.
Je touche au but.