Le croquis original
Je suis partie d’une composition au clavier et d’une version Hookpad. Je crois que je préfère la version Hookpad. C’est globalement comme ça que c’est sorti de mon cerveau, sauf que je l’imaginais au piano.
Exemple audio/vidéo 1
Comment le jeu a changé mon écriture
Alors, transformons ça en compte rendu de processus pour continuer à prouver l’utilité de l’IA et d’Udio pour les musiciens et les compositeurs.
C’est dingue à quel point apprendre le clavier a changé ma façon d’écrire. Avant, tout était très analytique pour moi. Imaginez que votre cerveau soit très doué en maths, mais incapable de le faire sur commande, ou de vraiment comprendre comment il calcule. Voilà comment je fonctionne.
Et quand j’écris des chansons, historiquement en tout cas, il y a un rythme, mais le processus est silencieux, pendant que je cherche les mots alors que mon cerveau mathématique assemble tout. C’est cool.
Mais apprendre le clavier a changé la donne. Maintenant, je préfère utiliser mon cerveau mathématique pour jouer au clavier de manière non cognitive, comme une forme d’automatisme, et trouver un son d’abord.
À partir de là, je l’écoute un milliard de fois et je plonge direct dans une sorte de salade de mots qui colle au son. Une fois que j’ai ça, j’écris la chanson, et soit j’oublie la pièce originale qui a servi de base, soit je la passe à l’IA pour en tirer un instrumental sympa.
C’est ce que j’ai fait ici.
Je pense que la grande question que les gens se posent, c’est : « d’accord, mais concrètement, qu’est-ce que la machine va faire à ma musique ? ». Et c’est une bonne question, parce qu’avant le modèle 1.5, je n’avais jamais essayé de faire ça totalement à partir de zéro, et je ne savais pas trop ce qui allait se passer.
Il s’avère que tout est une question de niveaux de bruit ! On regarde ça.
Le premier passage Udio
Pour commencer avec le premier morceau, j’ai choisi la méthode la plus sale possible : volontairement sans passer par mon DAW, j’ai pris la capture vidéo de l’écran et je l’ai uploadée dans Udio. Ça m’a donné 120 secondes d’audio utilisable.
J’ai bidouillé la similarité. Ça fonctionne un peu comme la fonction de débruitage dans Stable Diffusion. Pour les images, ça marche en floutant l’image. On passe de 0, qui représente aucune différence ou une différence légère, jusqu’à 10, où on n’a pratiquement plus rien à voir avec l’image de départ.
Voyez ça comme un genre de flou qu’on applique à l’IA. Plus elle voit les choses clairement, moins la machine aura de travail pour reconstruire l’œuvre d’art telle que décrite.
Dans Udio, ça marche de la même façon. En gros. Celui-ci a été fait avec un réglage de similarité à 38 %, ce qui correspond environ à un 4,5 en termes de débruitage quand on prend en compte toutes les contraintes.
En d’autres termes, je ne lui demande pas de changer grand-chose.
J’en ai fait juste assez pour fixer le genre et l’instrumentation, sans modifier la composition au point de remarquer un gros changement.
Et généralement, depuis la 1.0, j’aime aussi régler la qualité sonore sur ultra. En fait, je ne suis pas sûre de l’avoir fait ici. Je suis très défoncée. J’ai peut-être totalement oublié.
C’est tellement minutieux.
C’est ça que j’aime.
Exemple audio/vidéo 2
Changer la similarité
Ah, et puis merde, on continue. Donc, à 45 %, on ne peut pas vraiment s’éloigner trop du son original. Mais en changeant le genre, on peut obtenir des trucs fun et surprenants avec ce réglage. Celui-ci est incomplet, donc ça devient silencieux quand il n’y a plus de matériel source, mais c’est suffisant…
Exemple audio/vidéo 3
Maintenant, on règle ça à 50 %. On demande du jazz improvisé, et cette fois, ça me dit avoir fusionné avec du jazz latin. C’est sympa, mais c’est dur à écouter.
Exemple audio/vidéo 4
Montons à 55 % pour voir où on atterrit dans le spectre du jazz. Et... youpi, on est sur de la musique de bar mitzvah des années 90 ! lol. Donc là, théoriquement, on est à Klezville. Enfin, juste à la périphérie. C’est positif.
Exemple audio/vidéo 5
Il y a encore tellement de boops à faire.
Donc 50 %, c’est environ la limite avant de perdre complètement sa composition originale. Au-delà, ça se noie dans les cordes, et encore plus loin, on finit par atteindre le genre voulu, mais on perd tout ce qui ressemblait à notre boop.
Changer l’audio source
Mais et si on changeait la composition ? Deux problèmes avec ce morceau. Si on bascule vers le jazz, on n’utilise pas d’accords de jazz, ce qui est corrigeable. Mais on ne produit pas non plus de sons vraiment compatibles avec le jazz.
Maintenant, imaginez que ce soit un sample et qu’on n’ait pas le midi. Eh bien, on hackerait ça à mort. C’est donc ce qu’on fait ici.
Ce que j’ai fait, c’est ouvrir Audacity et utiliser leur pitch shift « haute qualité ».
Ça marche pour le pitch, mais ça ajoute du bruit à la composition. On ne veut pas forcément beaucoup de bruit, mais un petit peu suffit à perturber le spectral juste assez... pour donner à la machine un peu plus de matière sans trop s’éloigner du morceau lui-même.
C’est pratique !
Ça nous donne aussi un ton plus grave, plus facile à accorder avec ces sons très jazzy.
Et... on est sur du big band à l’ancienne.
Je valide totalement.
C’est un bon poc.
Exemple audio/vidéo 6
Bâtir sur l’arrangement inattendu
C’est là qu’on improvise. La machine m’a répondu avec un concept auquel je ne m’attendais pas. Alors, on s’appuie là-dessus en changeant le prompt pour « jazz, hip hop, big band, swing ».
Maintenant, on réduit la similarité à 36 % pour maintenir la composition, tout en lançant un peu de recast. On obtient un morceau de piano joyeux. Et j’ai terminé celui-là parce que j’aime sa dissonance.
Comme la similarité est réglée très bas, on récupère aussi une bonne partie du bruit résonnant en fond. C’est l’équivalent direct de la quantité de statique dans une image.
Normalement, ce serait mauvais. On veut généralement des pistes claires et nettes. Et c’est vrai.
Mais comme on parle d’une piste IA, il faut comprendre que le processus de suppression du bruit est primordial. Et quand on part d’un bruit élevé, on a des fuites. Et les fuites provoquent toutes sortes de choses drôles et intéressantes !
Voilà où j’en suis maintenant.
Exemple audio/vidéo 7
En le réinjectant dans la machine, on obtient cette itération que j’aime vraiment beaucoup.
Exemple audio/vidéo 8
Façonner le bruit
mwhahahah, voyons ce que ça donne !
Le prompt est : jazz, hip hop, vocoder, , swing, bass, 808, fiddle, harmonica, dobro, "MS-10 Filter" "Ladder Filter" "Steiner-Parker Filter"
L’idée à cette étape est de transformer le rayonnement de fond en quelque chose d’utilisable pour l’étape suivante, quand on augmentera la similarité pour faire fondre le tout un peu plus.
Beaucoup mieux. Maintenant, on va s’amuser.
Exemple audio/vidéo 9
Passage à la musique électronique
Tout ça, c’est bien joli, mais je m’ennuie. Allez, on tente un nouveau prompt : "edm, highly sampled, bitonal, edm, idm, experimental"
C’est mieux. Il y a quelques sections là-dedans qu’il serait sympa de développer. On y va
Exemple audio/vidéo 10
Ça part dans une direction vraiment intéressante. Moment d’approfondir le truc.
La pièce finale
Et... une demi-heure d’inpainting plus tard...
voilà le produit final
https://www.udio.com/songs/xdGxXhpTQff91LC6mLRNEi
Bref, c’est globalement ça. Comment faire de la peinture de bruit sur Udio.
Je ne sais pas si c’est là que je voulais aller.
Je ne m’en rappelle plus.
Mais le résultat n’est pas ce qui compte.
C’est une question de processus, et de la façon dont ça vous chatouille le cerveau