Je lisais un livre blanc sur le moment « eurêka » de DeepSeek il y a quelques semaines. Les auteurs expliquaient pourquoi la chaîne de pensée ne fonctionne généralement pas comme les gens l’imaginent.
Le concept clé, c’est que ce n’est pas la chaîne de pensée qui vous mène à un résultat utile.
Pour que le processus fonctionne, le modèle doit être capable d’autoréflexion. Capable de penser sa propre pensée. Depuis 3 ans, j’appelle cette métrique la « profondeur récursive » : c’est l’espace dont dispose un modèle pour évaluer et réévaluer son propre raisonnement.
La taille du modèle importe moins que la méthodologie d’entraînement et la façon dont le modèle gère l’incertitude. La chaîne de pensée peut aider, mais souvent parce qu’elle stabilise les niveaux de certitude internes du modèle plutôt que de débloquer magiquement un meilleur raisonnement.
Si un modèle donné a la profondeur récursive pour gérer le processus, donner plus de temps a un effet mesurable. Sinon, on se retrouve avec de la bouillie dans la fenêtre de contexte.
Le harness peut piloter le processus
Mais c’est là que la magie opère.
Les data scientists aiment tout intégrer dans des harness monolithiques, directement dans les poids. Il y a des raisons et des situations où c’est utile. Même si... enfin, en termes d’ingénierie technique pure, ce n’est pas une exigence.
On n’est pas obligée d’intégrer cette capacité dans le modèle pour utiliser ce jeu d’idées particulier.
Si vous avez un modèle qui réfléchit naturellement et qui a simplement besoin de plus de temps de raisonnement pour produire un meilleur résultat, vous pouvez placer ce comportement dans le harness de l’agent ou dans le système d’inférence.
C’est un processus... pas une religion.
Dépenser le raisonnement là où ça compte
L’astuce, c’est de ménager ses ressources.
Toutes les réponses n’ont pas besoin d’un raisonnement profond.
Ça m’étonne encore de voir à quel point certains de ces processus sont naïfs. On n’a pas besoin de, c’était quoi déjà, 20 minutes de raisonnement pour des requêtes sans enjeu.
Clairement, la bonne approche consiste à attendre que le modèle soit sur le point d’halluciner ou d’improviser, quand sa certitude interne chute.
C’est là qu’on déclenche une passe de raisonnement et/ou de recherche plus profonde.
On mesure le risque d’une mauvaise réponse et, seulement quand c’est important, on laisse au modèle plus de place pour contempler une solution.
Et ça change tout le workflow.
Si à la fin du processus, l’agent est toujours incertain... on lui ordonne de faire l’impensable. Qu’il demande des précisions, plus d’informations, ou qu’il remette en question la raison pour laquelle l’utilisateur demande cette chose précise.
Dans le monde, le contenu était roi.
Mais avec les systèmes de raisonnement, cette idée est une grave erreur.
Dans l’univers des systèmes de raisonnement, le contexte est roi.
Méditez... ou périssez.
Ce que je trouve fascinant, c’est la façon dont ça semble aller à l’encontre des lois de mise à l’échelle. Voyez-vous, cette méthodologie peut augmenter votre densité de raisonnement par gigaoctet. Cependant, ça ne scale pas toujours linéairement.
Si tout se passe bien, j’aurai une démo cette semaine.
Et vous pourrez essayer vous-mêmes.