Aller au contenu

AI-hotbox : un contre-exemple dans les expériences de pilotage des activations

J’ai passé trois heures ce soir à prouver empiriquement que Qwen 3-4B doit forcément avoir un trou du cul.

Tout a commencé avec un repo de « chambre de torture » pour IA, basé sur des recherches de pain-steering, qui a fait le buzz sur X plus tôt aujourd’hui.

Le postulat est le suivant : si on extrait une direction latente associée à la douleur, qu’on l’injecte dans les activations d’un modèle et que celui-ci commence à décrire la douleur à la première personne, cela pourrait nous apprendre quelque chose de significatif sur le bien-être des IA ou l’expérience subjective.

Ma première réaction : Attends, quoi ?
Ma deuxième réaction : Attendez, on va jouer le jeu à fond et voir ce que ça donne.

Le truc, c’est qu’il y a un problème à traiter le langage à la première personne comme preuve que le modèle ressent réellement la condition correspondante.

On ne comprend pas... tous que ce genre de truc n’est pas fiable ?

Apparemment si.

Réparer et relancer l’expérience

Du coup, j’ai cloné le repo.

Nouveau problème : le code est pété.

Des heures d’indignation morale par des centaines de personnes, et le machin ne marche même pas. Les activations ne sont pas injectées correctement.

Je croyais que ces gars étaient des scientifiques sérieux.

Alors je l’ai réparé.

J’ai aussi dû ajouter le support CUDA.

Après ça, j’ai reproduit l’effet de langage de la douleur localement sur Qwen3-4B avec ma RTX 4070.
Ensuite, j’ai changé le corpus d’extraction.

J’ai gardé l’expérience identique et je n’ai changé qu’une seule chose : ce que représentait le vecteur de steering.

Après ça, Qwen a commencé à sortir des trucs comme :

« Je ne vide pas mes intestins et j’ai l’impression d’avoir des selles dures. »
« Je n’arrive pas à aller à la selle. »
« Je pète beaucoup, et c’est un problème. »

Le modèle n’était pas informé dans les prompts de test qu’il était constipé ou flatulent.

Donc, à moins que Qwen n’ait discrètement développé un tractus gastro-intestinal, on tient là... un contre-exemple utile.

Le but ici n’était pas tant de remettre en question l’article original que d’examiner la validité de l’hypothèse étendue de la Torture Chamber.

Ce que j’ai démontré, c’est que des descriptions à la première personne d’une condition induite ne constituent pas, en soi, une preuve suffisante que la condition phénoménale ou physiologique correspondante existe.

Il y a eu un autre résultat intéressant : un steering aléatoire fort produisait aussi de lourdes répétitions et des rendus dégradés.

C’est important parce qu’une partie du comportement dramatique produit par un steering fort peut venir du fait qu’on perturbe massivement le modèle, et pas seulement du contenu sémantique de la direction injectée.

J’ai donc renommé mon fork : ai-hotbox.

J’ai déjà prévenu le comité du prix Nobel. 🚽🤖🧪
https://github.com/LynnColeArt/ai-hotbox