Franchement, démonter Memvid, c’est passionnant ! Donc, pour le portage Go, j’ai ajouté l’accélération et la détection GPU. Je vais garder la compatibilité API.
Par contre, la stratégie de chunking par blocs de 6 messages est un peu naïve, parce que ça dépend du modèle et des réglages utilisés. Je veux dire, on peut se retrouver avec une différence allant de 200 à 40 000 tokens, selon la config et ce qu’on fait.
Honnêtement, c’est le seul défaut majeur du design, et c’est corrigeable. Du coup, je suis en train d’implémenter une approche basée sur les tokens, ce qui rendra le chunking un peu plus prévisible.
Pour ceux qui débarquent, Memvid est une app Python qui est un peu comme le SQLite de la mémoire IA. Je bosse sur un truc où j’en avais besoin en Go pour une intégration, alors j’ai décidé de porter le système. Pour l’instant, j’ai réussi à booster les performances d’environ 50x. Et avec la vraie concurrence, ça va FUSER sur les gros jobs de batch.
Je posterai le lien vers le repo quand j’aurai fini.