La nouvelle génération de modèles — Gemini, LLaMA, etc. — a des fenêtres de contexte fantastiques.
Ils retiennent des informations plus complexes, plus longtemps. C’est un sacré progrès, non ?
Sauf que... c’est quoi, être « bon » ?
J’ai testé les limites dans des scénarios de code réels avec un contexte riche, et je ne pense pas que cette génération d’IA prêtes pour la production, avec des millions de tokens et un « rappel élevé », soit totalement aboutie.
Poussez-les trop loin et vous verrez des comportements bizarres :
confusion, fragmentation, crises de nerfs, changements de langue aléatoires, ou ruptures de tâche en plein milieu.
La surcharge de contexte est toujours bien réelle.
C’est passionnant, mais on n’en est pas encore au point où on peut bâtir des monolithes massifs et pleinement fonctionnels avec un seul modèle, agent ou processus.
Vous allez vous cogner à des murs de complexité — surtout sur les grosses bases de code.
Mon conseil ?
- 🔹 Limitez la fenêtre de contexte à environ 300 paires
- 🔹 Utilisez la mémoire des systèmes d’agents et des processus de longue durée quand c’est possible
- 🔹 Construisez selon le principe du « ça tient dans la tête »
Parce que si vous ne pouvez pas garder une quantité surhumaine de code actif dans votre tête, n’attendez pas d’une IA qu’elle le fasse de manière fiable. Du moins... pour l’instant.
C’est pour ça que les microservices sont importants.
- 🔹 Ils réduisent la complexité cyclomatique.
- 🔹 Ils isolent le périmètre.
- 🔹 Et ils amortissent le choc quand vos assistants s’embrouillent.
Quand on veut, on peut.
Et quand on peut, il y a toujours une astuce.
👉 Pensez en termes de composants.