J’ai pris quelques jours de pause dans l’entraînement récursif d’agents pour digérer et réfléchir à ce qui vient de se passer avec le deuxième corpus.
Trucs super intéressants.
Au premier tour, j’ai appris que si Qwen-3.6 peut s’entraîner de manière récursive, son auto-évaluation des signaux d’entraînement n’était utile qu’environ 25 % du temps.
Quand on arrivait à tirer des signaux utiles de l’auto-évaluation, ça marchait.
Le modèle a fait des progrès significatifs en code, surtout sur la vérité terrain et le raisonnement de code, exactement ce que je voulais.
Mais c’était beaucoup de brassage dans le vide, et c’était dur de faire ça de façon contrôlée et prévisible.
Ma solution : laisser GPT-Sol discuter de la tâche avec Qwen pour améliorer les signaux d’entraînement dans les données.
On a effectivement amélioré les signaux d’entraînement de façon significative, et d’une manière vraiment utile.
Nouveau problème : le revers de la médaille, c’est que Qwen est maintenant incapable de raisonner fiablement sur ses propres capacités, et il est tombé dramatiquement sous la ligne de base quand il estimait des tâches seul.
Génial, non ?
Du coup, pour le Corpus 3, je pense qu’il faut une étape supplémentaire dans le processus d’entraînement. Je vais utiliser une poignée de corpora publics pour pré-entraîner le modèle sur le raisonnement de code et l’estimation logicielle.
Et je vais utiliser Sol pour créer des exercices d’entraînement synthétiques basés sur des exemples de chaque corpus.
J’espère que ça fera de Qwen un meilleur estimateur avant que l’auto-entraînement récursif ne s’enclenche, et que ça améliorera les signaux d’entraînement dans les exercices qu’il choisira de compléter.
La suite bientôt.