J’étais si près de finir ce soir. Ce que vous voyez là, c’est le log d’erreur monstrueux de mon aplatisseur de données, écrit pour traiter le corpus musecore. Environ 240 000 partitions.
Le processus est vraiment intéressant ! D’abord, je prends le csv d’index et je le duplique dans une base SQLite où je crée deux tables. Une pour les métadonnées sur les pièces qui n’existent nulle part ailleurs, comme la catégorie. Et l’autre pour le système d’empreintes numériques que j’ai pondu pour mesurer la similitude entre n’importe quelles deux pièces de musique du système.
À la fin du processus, ça compare les signatures sonores de tout, avec tout le reste, parce que bien sûr que ça fait ça. Et puis, quand il y a une correspondance entre deux éléments ou plus, ça ajoute un enregistrement dans la table des relations de la base SQLite pour noter la pièce similaire.
Vous me suivez toujours ?
Assemblage de l’enregistrement d’entraînement
Troisième étape : lire les compositions elles-mêmes, piger le système de fichiers complètement dingue du corpus qu’on m’a filé, et bouturer toutes les données provenant de sources disparates.
Une fois que j’ai une jolie petite ligne de données avec la composition, les métadonnées précises sur lesquelles on veut entraîner le modèle et les éléments qui vont avec, ça génère quelque 240 000 fichiers Markdown impeccables et parfaitement structurés. On va balancer le tout à Claude par l’API pour en tirer des variations musicales et calculer quelques notations mathématiques simples que MuseScore ne gère pas.
Markdown en entrée, markdown en sortie.
Ensuite, on fait l’assurance qualité avec ChatGPT 1o pour traquer les erreurs, les violations évidentes de copyright et les hallucinations.
Ensuite, on est prêts à entraîner notre premier Lora. Mwahahahaha.
Ou du moins... c’est comme ça que ça se passerait... si ça fonctionnait.
Pourquoi est-ce que je tombe sur des bugs cinq minutes avant d’aller me coucher ?
Bref, je vous aime tous.
Bonne nuit.