Alors, j’ai pas mal bossé avec Google Gemini 2.5 pro preview et experimental. Ces modèles sont fantastiques. Par contre, ce qui me surprend, c’est leur faible profondeur récursive pour des modèles de cette taille.
C’est inhabituel, et assez pour que je hausse un sourcil.
Je n’ai pas réussi à faire boucler Gemini, mais j’ai pu l’embrouiller.
Vous savez quoi d’autre qui est inhabituel ? Sa conscience temporelle : le modèle fait régulièrement référence à des entrées numérotées dans le contexte du chat.
C’est TRÈS intéressant.
En gros, ça veut dire que Gemini pro n’est probablement pas un modèle avec des super-pouvoirs de contexte, mais plutôt un modèle avec une capacité de recherche et de consultation dans la session globale (au-delà de ce que n’importe quel modèle peut supporter normalement).
Ça explique aussi pourquoi il réussit toujours le test du « De quoi te souviens-tu en premier ? », que vous en soyez à 1 000 ou à 10 000 000 de tokens.
Dans leur façon de le construire, ils ont essentiellement rendu obsolète tout le concept de fenêtre de contexte. Ils l’utilisent de la même manière que moi avec mes systèmes de mémoire réflexive dans WOVEN. C’est juste... beaucoup plus simple ?
Mais ce qui est vraiment excitant, c’est qu’on peut faire ça avec n’importe quel modèle de raisonnement équipé d’outils si on le veut.
Du coup, ce soir, je vais expérimenter sur Kimi-3b-Thinking (parce que c’est un petit truc charmant et puissant).
Je fais un détour ce soir pour explorer ça.
Je posterai mes résultats quand je les aurai :)