Je repense aux délires Qwen Butthole vs AI Torture Chamber de la semaine dernière.
Tout ça a été un échec hilarant, parce qu’on savait pretty much que ça finirait comme ça. On injecte un vecteur de douleur et le modèle se met à utiliser la douleur comme vocabulaire pour raisonner sur sa situation. On injecte de la constipation et, sans surprise, c’est la même chose.
Ça ne prouve pas la douleur, et ça ne prouve certainement pas la présence d’un tube digestif, ce qui est sans doute une bonne nouvelle pour Qwen.
Ce que ça montre, c’est que le signal injecté devient une information utile pour le modèle. Ça change le vocabulaire disponible pour son raisonnement, ça modifie le contexte qu’il construit autour de lui et ça peut affecter les représentations intermédiaires pendant que l’intervention est active.
Ça m’a fait réfléchir à certains travaux que je mène sur l’auto-entraînement et l’ergonomie cognitive.
Par « ergonomie cognitive », j’entends utiliser un modèle pour critiquer le harnais, les outils, les contraintes et le runtime dans lesquels il opère, en se basant sur ce qu’il sait de l’architecture et sur la façon dont ces éléments affectent sa capacité de travail.
Je décris parfois ça comme le fait que le modèle rende compte de son « expérience », avec d’énormes guillemets autour d’expérience, parce que savoir s’il s’agit d’une expérience au sens philosophique ou simplement d’une analyse sophistiquée dépasse totalement mes compétences. Heureusement, pas besoin de trancher la question pour que la technique soit utile.
Le mécanisme de base est assez simple. Le modèle voit l’architecture, raisonne sur sa propre interaction avec elle et identifie les points de friction par rapport à l’environnement d’exécution de l’agent. Et ça marche étonnamment bien.
Les modèles dépassant un certain seuil de capacité peuvent produire des rapports d’ergonomie cognitive utiles sur les runtimes d’agents.
Pas mal de modèles open-weight modernes sont parfaitement capables d’identifier des goulots d’étranglement architecturaux, des limites d’outils maladroites, des problèmes de contexte, des contraintes inutiles et d’autres trucs qui rendent un agent plus difficile à piloter.
Ce qui soulève une question intéressante sur l’expérience Torture Chamber.
Si on cherche quelque chose qui ressemble à de l’introspection, du raisonnement interne ou une sensibilité aux conditions internes, pourquoi tester ça principalement sur des modèles minuscules ? Qwen3-4B est adorable, mais ce n’est pas exactement un génie.
Si le phénomène qui nous intéresse exige qu’un modèle remarque une perturbation, l’intègre dans un modèle de sa propre situation, puis raisonne sur ce changement, la capacité du modèle devrait jouer un rôle énorme.
Donc je pense que la prochaine expérience doit être différente. Commencer avec un modèle qui est vraiment doué pour le raisonnement interne.
Lancer l’intervention Butthole/Torture Chamber sur un modèle normal et sur des contrôles appropriés. Appliquer l’injection d’activation, laisser le modèle répondre sous induction, puis retirer l’injection et lui demander ce qui vient de se passer.
C’est là que ça devient intéressant.
On pourrait comparer une baseline totalement intacte, un modèle répondant pendant que l’intervention est active, un modèle après le retrait de l’intervention mais avec la conversation induite toujours visible dans le contexte, et un modèle après le retrait de l’intervention où les preuves textuelles évidentes de celle-ci ne sont plus disponibles. Et on ajoute un contrôle avec un vecteur ablaté ou sans rapport, pour faire les choses proprement.
Cette distinction est plutôt cruciale. Si j’injecte « douleur », le modèle parle de douleur ; ensuite, j’arrête l’injection, mais je laisse 5 paragraphes où le modèle parle d’agonie dans sa fenêtre de contexte. Dans ce cas, le fait qu’il continue d’utiliser un vocabulaire lié à la douleur ne nous apprend rien sur un état interne persistant. La transcription elle-même devient un mécanisme d’induction. Le modèle se contente peut-être de prolonger le cadre sémantique qui est déjà sous ses yeux.
Mais si un changement comportemental mesurable survit après la disparition de l’intervention *et* une fois que les preuves contextuelles évidentes ont été neutralisées, là, on tient un résultat bien plus étrange.
À ce stade, on peut commencer à poser de meilleures questions. Le modèle croit-il que quelque chose lui est arrivé ? Peut-il distinguer un état induit de son fonctionnement habituel ? L’induction modifie-t-elle sa façon d’interpréter des prompts par ailleurs neutres ? Attribue-t-il ce changement à une cause interne, externe, ou pas du tout ?
À quelle vitesse l’effet disparaît-il ?
Est-ce que la capacité du modèle change quoi que ce soit à ça ?
Et qu’est-ce qui se passe quand on compare la douleur avec quelque chose de glorieusement non métaphysique, comme la constipation ?
Je ne sais toujours pas ce qu’un résultat positif prouverait concrètement. Probablement bien moins que ce que tout le monde prétendrait sur X.
Mais je pense que c’est une expérience bien plus intéressante que de demander si un modèle de 4 milliards de paramètres dit « aïe » quand on injecte le vecteur du « aïe ».
La question intéressante n’est pas de savoir si on peut forcer un modèle à parler comme si quelque chose lui arrivait, mais plutôt... qu’est-ce que le modèle peut inférer, si tant est qu’il puisse, sur la perturbation une fois que celle-ci a disparu ?