Ce papier sur le RLVR qui vient de sortir est absolument dévastateur.
Curieusement, ça recoupe quelques expériences d’autoréflexion sur lesquelles je bosse cette semaine. J’écris un benchmark pour déterminer et mesurer quels modèles sont des acteurs de la méthode, et lesquels ne le sont pas.
J’ai remarqué un truc.
La plupart des IA suivent les instructions et s’adaptent narrativement aux consignes d’incarnation. C’est ce qu’on attend d’elles. En d’autres termes, un prompt du genre « Tu es le plus grand compositeur de l’histoire » ne devrait pas affecter les compétences en code du modèle. Les prompts qui précisent des normes ou des techniques de raisonnement n’affectent pas toujours le code qu’on écrit avec.
Sauf que... il y a les modèles d’Anthropic.
Ils le font tous, mais c’est encore plus prononcé avec le modèle Claude Opus4.
Dites à Claude qu’il est compositeur, et le truc oublie littéralement comment écrire du Json. Sans parler d’un tas d’autres comportements « flippants » liés au prompting.
Voyez-vous, Claude est un acteur de la méthode. Il ne se contente pas d’essayer de remplir des tâches.
Il les incarne complètement et utilise les paramètres que vous fixez comme graines pour un raisonnement qui affecte la nature même de ses sorties. Je me suis mise à documenter ça à fond sans même m’en rendre compte l’année dernière.
On a un quoi. Un schéma observable et reproductible.
Maintenant, le truc, c’est de comprendre pourquoi ça marche comme ça, combien de fois ça a pu arriver par accident... et d’apprendre à le reproduire intentionnellement.