Petite mise à jour depuis les mines de Shmoosh :
Je teste des politiques de cache d’attention compactées pour la génération d’images locale sur une 4070.
La première question évidente était : est-ce que ça accélère les choses ?
La réponse honnête : pas encore de façon spectaculaire.
Sur la suite 1024, la meilleure politique exploratoire actuelle obtient une accélération moyenne d’environ 1,048x. C’est concret, mais ça ne change pas la donne à lui seul.
La surface de politique
Le plus intéressant, c’est ce qui s’est passé structurellement.
J’ai testé différentes portes d’auto-attention, et la porte self à 70 % a été la première politique de composition qui semblait correcte, et pas seulement numériquement acceptable.
La porte self à 50 % :
PSNR min : 47,49 dB
accélération moyenne : 1,015x
La porte self à 70 % :
PSNR min : 49,17 dB
accélération moyenne : 1,048x
Sur le cas spécifique du reading-nook, le PSNR est remonté de 48,82 dB à 50,08 dB.
C’est important parce que ça suggère que la surface de politique est réelle.
L’attention croisée peut s’activer plus tôt.
L’auto-attention doit se réveiller tard.
C’est crucial. Je n’ai pas encore des vitesses de génération d’images magiques, mais le système est contrôlable et se comporte comme je l’attendais.
L’analyse actuelle :
L’encodage compacté fonctionne.
Le compactage de bits vectorisé a supprimé un gros goulot d’étranglement.
L’attention croisée semble être la piste gagnante pour la production.
L’auto-attention est sensible à la qualité ; pour l’instant, c’est plus une intervention de fidélité en phase finale qu’une véritable politique de vitesse.
La suite des tests
La prochaine étape concerne le kernel et le coût des politiques : profiler directement le chemin de streaming de l’auto-attention, puis tester les variantes QJL64 et no-QJL K6/K7 pour les modules d’auto-attention à 1024 tokens.
Ça nous dira si l’auto-attention peut devenir un vrai gain de vitesse, ou si elle doit rester un outil de qualité minutieux pour la phase finale.
On va y arriver.