Alors, on passe au Corpus 3 pour le cycle d’entraînement récursif.
Comment on en est arrivés là : le premier essai a donné un bon résultat, mais ce n’était pas reproductible. Les signaux d’entraînement étaient plus faibles que je ne l’aurais voulu sur l’auto-sélection.
Au deuxième tour, j’ai introduit un modèle mentor, en utilisant GPT-6 Sol pour guider le modèle élève à travers l’auto-sélection.
Ça a amélioré les signaux d’entraînement, mais ça a réduit la capacité de l’agent à auto-sélectionner des tâches et à estimer ses propres capacités tout seul.
Ce que j’en ai tiré :
J’ai pris quelques jours de congé et j’ai attaqué un troisième tour ce week-end.
Ma théorie, c’est qu’on a besoin d’une étape de pré-entraînement. En partant du principe qu’on pourrait peut-être améliorer la capacité d’auto-sélection du modèle en le pré-entraînant sur le code et la déduction.
Du coup, Sol et moi avons concocté un nouveau corpus dérivé de jeux de données publics. Ça couvre nos différentes catégories d’informations.
Premier résultat positif : le modèle élève s’en est très bien sorti en déduction, mais a échoué dans toutes les autres catégories de pré-entraînement.
C’est positif, en fait.
En repassant le corpus ce matin, j’ai compris pourquoi.
Trop de contradictions. Soyez créatif, soyez précis. C’est trop.
Ce que je fais maintenant, c’est diviser le Corpus 3 actuel en trois corpus plus petits. Je vais expérimenter l’ordre et la superposition de l’entraînement pour voir si j’obtiens un meilleur résultat avant qu’on repasse à l’auto-sélection récursive.
La suite bientôt.