Le GPU fonctionnait — et puis j’ai découvert la régression du CPU
La première implémentation GPU a marché. Puis un benchmark CPU a révélé une régression : un système de gestion de mémoire novateur avait été remplacé par sept boucles imbriquées.
Lynn Cole / Sujet
Un fil à suivre à travers mon travail.
La première implémentation GPU a marché. Puis un benchmark CPU a révélé une régression : un système de gestion de mémoire novateur avait été remplacé par sept boucles imbriquées.
Un transformer natif en Go fonctionne presque. Tokenizers, vocabulaire, normes, initialisation du cache et attention passent tous en revue durant une nuit de non-sens de plus en plus intéressants.