Quelques leçons tirées de ce week-end.
- L’inférence IA, au niveau mécanique, ressemble moins à de la conception d’application qu’à la forme de middleware de périphérique la plus mathématiquement précise que vous puissiez croiser.
- Les tenseurs et le façonnage de données, c’est fun ! Et je veux en faire plus.
- Quiconque vous dit qu’on a atteint les limites du calcul vous ment. Les méthodes actuelles d’inférence IA s’appuient sur des systèmes qui font des choses dont même les créateurs de modèles ne comprennent pas tous les détails. C’est un fait.
Ce que j’ai découvert, c’est qu’il y a de sérieux goulots d’étranglement techniques, des artefacts, des optimisations contradictoires et deux décennies de déchets dans la plupart des systèmes d’inférence IA ; tout ça peut et doit être nettoyé avec une architecture plus efficace et ciblée.
- Si vous avez des bases en périphériques et en maths, vous pouvez ABSOLUMENT vibe coder un de ces trucs, et ébranler les fondements mêmes sur lesquels repose le calcul actuel.
- Ne vous attendez pas à y arriver en 5 jours.
- Il y a des limites computationnelles. On en est encore loin.