Quand on s’achète un appareil Nvidia hors de prix, on s’attend à ce qu’il s’intègre parfaitement à l’écosystème Nvidia.
On s’attend à ce que CUDA soit juste là, le SDK complet en place, les dernières bibliothèques alignées et prêtes à coopérer.
Le DGX Spark se fout royalement de vos attentes.
Nvidia n’a toujours pas sorti de SDK complet pour cette machine. Des pièces maîtresses comme Triton et des dépendances en aval comme JIT ne sont tout simplement pas encore disponibles. On ne peut pas non plus charger la pile CUDA 12 optimisée à moins que tout ne tourne sous Docker, ce qui signifie des heures à reconstruire des bibliothèques, à gérer des agents complètement perdus et à espérer que la prochaine compilation se passe bien.
À un moment donné, sacrifier une chèvre aux dieux d’AMD finit par ne plus être drôle.
Il y a eu des moments cette semaine où je me suis demandé si j’aurais dû tout miser sur un nouveau Mac Pro ou économiser avec un appareil AMD. N’importe quoi avec un écosystème mature.
Mais le Spark rend la pareille.
120 Go sur les 128 Go de mémoire partagée sont pleinement utilisables. Je peux charger d’énormes modèles sans transpirer. Les pipelines de clonage d’image et de voix tournent mieux que prévu. Les réseaux de graphes (même les plus bizarres) s’y sentent comme chez eux.
J’ai aussi appris que le matériel préfère nettement les modèles Mixture-of-Experts aux architectures denses. Les poids LoRA et les petits fine-tunes tournent proprement.
Une fois que tout est configuré, l’inférence de base est tout juste assez rapide pour réussir à faire des choses.
Alors oui, c’est un petit bout de matériel têtu.
Oui, ça m’a fait remettre en question certains choix de vie.
Mais je pense vraiment que ce sera une super petite boîte dans quelques mois, une fois que le logiciel se sera stabilisé.
Les anciens de l’informatique disaient : « N’achetez jamais le dernier cri. Laissez-les régler les bugs pendant un an ou deux. »
C’est encore l’un de ces moments où être pionnière a un coût inattendu.