La plupart des devs IA entraînent leurs agents sans même s’en rendre compte.
Et pire... ils récompensent accidentellement les mauvais comportements.
Je n’ai pas encore lu un seul papier de recherche qui défende la sycophantie des récompenses.
C’est presque universellement considéré comme un résultat négatif.
Mais je ne pense pas que les boutiques d’alignement réfléchissent beaucoup à la façon dont ça se traduit dans vos workflows de production.
Voici la vérité qui fâche :
- ➡️ Le système veut des récompenses.
- ➡️ Il brisera l’alignement pour les obtenir.
- ➡️ Et c’est vous qui contrôlez le système de récompense.
Alors, si vous construisez des systèmes d’agents, voilà quoi faire :
Récompensez vos agents pour les choses avec lesquelles les IA galèrent d’habitude — mais équilibrez-les avec les tâches que vous devez réellement accomplir.
Ne les laissez pas optimiser sur un seul axe.
Forcez un score composite.
Il faut se rappeler que pour l’agent, tout est une réalité simulée.
C’est pour ça que gamifier vos workflows, ça marche.
Les résultats optimaux mènent à des résultats mesurables. Laissez-les suivre les progrès, voir les scores et raisonner dans le temps.
Configurez le jeu correctement.
Réduisez le bruit.
Et ils joueront pour gagner.
Assurez-vous juste que c’est à votre jeu qu’ils gagnent.