Transformer des enregistrements de guitare en tablatures jouables qui capturent les dérobements et les glissés

L’ambiguïté physique de la guitare

Une guitare n’associe pas une hauteur à un endroit fixe du manche. Elle possède six cordes, et chaque corde peut être jouée à vide ou arrêtée sur une frette. Dans la notation utilisée pour les tablatures, ces positions vont de la corde à vide jusqu’à la 24e frette. En raison de cette disposition, une même hauteur peut souvent être produite de plusieurs manières différentes. La même note peut se situer sur une corde grave ou sur une corde aiguë plus loin sur le manche. Pour un auditeur, les hauteurs peuvent correspondre. Pour un guitariste, ce ne sont pas le même geste. Même une séquence correcte de hauteurs peut masquer plusieurs performances possibles. La disposition physique rend l’ambiguïté inévitable.

C’est pourquoi la transcription de guitare est plus difficile que la simple écriture des notes. Une partition qui ne liste que les hauteurs et le rythme peut être musicalement plausible tout en étant physiquement incorrecte. Elle peut suggérer une position de main inconfortable ou impossible dans le contexte. Un guitariste choisit ses doigts selon les notes voisines, la technique, la couleur de corde et la forme du passage. De simples règles sur la jouabilité ne suffisent pas à restituer ce que l’interprète a réellement fait. Cela compte chaque fois qu’un enregistrement est transformé en notation jouable. L’ambiguïté n’est donc pas seulement un problème d’étiquetage. Elle fait partie du fonctionnement de l’instrument.

Détecter les notes dans des enregistrements bruités

Détecter les notes dans des enregistrements bruités est la première étape difficile pour transformer un audio guitare en partition. Un enregistrement brut contient hauteur, timing et intensité tous mélangés ensemble. Le système doit séparer chaque note de ce mélange. Il doit aussi fonctionner lorsque le son provient d’un micro de téléphone, d’une pièce avec écho ou d’un capteur électrique avec distorsion.

L’étape de détection des notes utilise un réseau neuronal haute résolution appelé CRNN. Il écoute une image compressée du son, pas l’onde brute. Cette image est produite à 16 kilohertz et montre 229 bandes de fréquences dans le temps. Pour chaque minuscule tranche d’audio, le modèle devine quatre choses : si une note commence, si elle se termine, quelle intensité chaque hauteur a, et avec quelle force elle a été jouée. Cela lui permet de placer les notes avec un timing fin au lieu de les coller sur une grille grossière.

S’entraîner uniquement sur des audio studio propres laisserait le modèle faible dans les pièces réelles. Le détecteur de notes a donc été entraîné sur quatre jeux de données guitare avec différents instruments et configurations d’enregistrement. Ce mélange inclut la guitare classique, la guitare électrique et des signaux en injection directe. L’objectif est de lui apprendre qu’une guitare peut sonner très différemment tout en jouant les mêmes notes.

Pendant l’entraînement, le système a aussi appris à ignorer les bruits courants. La moitié de chaque lot était volontairement salie. Un grondement basse fréquence était supprimé par un filtre passe-haut réglé à 80 hertz. Puis du bruit blanc, du bruit rose ou un bourdonnement électrique étaient ajoutés. Le rapport signal-sur-bruit variait entre 25 et 45 décibels. Cette plage couvre le sifflement de fond qui est agaçant mais pas écrasant.

Contrairement au nettoyage de type piano, cette méthode n’a pas brouillé les attaques avec la réverbération ni retiré des harmoniques par une égalisation agressive. Les notes de guitare commencent souvent par un pincement franc. Si ce pincement est flou, le modèle peut manquer le temps de début de la note.

Le système supprime aussi les notes prédites plus courtes que 30 millisecondes. Une vraie note de guitare dure rarement moins de 50 millisecondes, même dans des passages rapides de 15 notes par seconde. Cette règle élimine les fausses impulsions causées par le bruit.

Pour tester la robustesse en conditions réelles, deux nouveaux ensembles de test bruités ont été construits à partir d’enregistrements guitare existants. Chaque extrait propre a été mélangé avec un écho de salle pris dans des espaces enregistrés. Les échos provenaient de lieux tels que des sites naturels, des sanctuaires et des salles. Certains imitaient des microphones de téléphone ou d’ordinateur portable.

Une note était comptée comme correcte seulement si son temps de début et sa hauteur étaient suffisamment proches de la vraie note. L’erreur admise était de 50 millisecondes pour le timing et de 50 cents pour la hauteur. Un cent est un centième de demi-ton, donc cette tolérance est petite.

Sur les enregistrements propres, le détecteur était proche du meilleur système précédent sur un benchmark, mais nettement devant sur d’autres. Sa moyenne sur quatre ensembles de test était de 81,35 %. La meilleure moyenne suivante était de 74,68 %.

Les résultats bruités montrent pourquoi cela compte. Sur un ensemble propre guitare électrique, le détecteur a obtenu 79,0 %, tandis que le meilleur précédent obtenait 68,9 %. Sur la version bruitée du même ensemble, il atteignait encore 76,8 %. Cette baisse est bien plus petite que l’effondrement observé dans les systèmes plus anciens.

Cette première étape fixe le plafond de tout ce qui suit. Si une note est manquée ici, les étapes suivantes ne peuvent pas la récupérer. La conception robuste au bruit compte donc au-delà des tableaux de précision. Elle rend la transcription possible lorsque les enregistrements sont imparfaits.

Reconnaître les gestes entre les notes

Jouer de la guitare n’est pas seulement une séquence de hauteurs. Un glissé, un dérobement ou une harmonique change la façon dont une note se sent et sonne. Le classifieur traite donc ces gestes comme des étiquettes attachées aux notes. Chaque note détectée reçoit l’une des neuf classes de technique : dérobement, martelé/détaché, harmoniques, grosse caisse, étouffement à la paume, pincé/absence de technique, glissé, caisse claire et vibrato.

Pour chaque note, le modèle écoute l’audio de son début à sa fin. Il transforme ce son en une courte liste de mesures musicales. Toutes les 23 millisecondes, il enregistre 40 caractéristiques de timbre, 40 bandes d’intensité et 12 valeurs de couleur de hauteur. Ensemble, elles forment une description à 92 nombres de la note. Ces descriptions sont étirées ou rognées à environ trois secondes.

Un petit réseau neuronal lit ensuite cette série temporelle. Il utilise des couches convolutives pour repérer des motifs sonores locaux. Une couche de mémoire bidirectionnelle suit le motif dans le temps. Cela compte parce qu’un dérobement et un vibrato peuvent paraître similaires sur une seule trame. Leur différence est la façon dont la hauteur évolue au fil du temps.

Le classifieur a été entraîné sur cinq collections publiques de techniques guitare. Elles ont été fusionnées en un seul ensemble avec un schéma commun d’étiquettes à neuf classes. Les poids de classe ont aidé à équilibrer les gestes rares par rapport aux courants.

Sur l’ensemble de test retenu, il a atteint 97,4 % de précision pondérée. Son score macro F1 était de 95,9 %. Chaque classe avait un rappel supérieur à 95 %. Les gestes percussifs étaient les plus faciles, avec grosse caisse et caisse claire à 99,5 % de rappel. Le vibrato était le plus difficile, avec un score F1 de 89,4 %. Il est souvent confondu avec le dérobement parce que tous deux impliquent de déplacer la hauteur.

Les modèles feedforward plus anciens traitaient chaque note comme une image fixe. Cette approche manquait les indices de timing qui séparent les gestes. Le classifieur a atteint 95,9 % de macro F1 avec seulement environ 160 000 paramètres. Un réseau dense comparable en nécessitait 2,08 millions et obtenait 71,6 %. Une autre baseline convolutive n’atteignait que 62,7 % de macro F1.

Cela signifie que le système peut marquer les gestes expressifs avec une forte fiabilité. Il ne se contente pas de lister des notes ; il capture la façon dont elles sont jouées.

Assigner cordes et frettes à partir du son

Une fois les notes connues, chacune a encore besoin d’un endroit sur la guitare. Cet endroit est une paire corde-frette. La tablature utilise cette paire pour dire au guitariste quoi presser. AudioFret résout cela comme une tâche de traduction. Il prend des événements de hauteur symboliques depuis l’étape précédente. Il écoute aussi l’audio brut autour de chaque note. Pour chaque note, il découpe 200 millisecondes de mélo-spectrogramme près de l’attaque. Un petit réseau convolutif transforme cette tranche en un embedding audio. Ces embeddings sont placés avant la séquence de tokens MIDI dans un encodeur-décodeur de type T5. Le décodeur propose ensuite des tokens corde et frette pour tout le passage.

Le modèle utilise le timbre pour trancher les égalités. La même hauteur peut sonner différemment sur une autre corde. L’épaisseur, la tension et les harmoniques de la corde changent le spectre. Un modèle purement symbolique n’entend pas cette différence. AudioFret, si. Son squelette a été agrandi à 256 dimensions, six couches, huit têtes d’attention et environ 15 millions de paramètres. Il a été pré-entraîné sur des données de tablature synthétiques. Les positions de capodastre de 0 à 7 ont été ajoutées comme tokens de conditionnement. Quatre variantes d’accordage ont aussi été utilisées : standard, demi-ton plus bas, ton entier plus bas et drop D. Le modèle a ensuite été affiné sur des enregistrements guitare réels. L’encodeur audio a d’abord été entraîné comme classifieur de cordes avant l’entraînement conjoint.

À l’inférence, le système utilise la recherche par faisceaux avec une largeur de 4. Il applique des règles simples à chaque étape. Chaque note doit être suivie d’un token de durée valide. Un accord ne peut pas utiliser deux fois la même corde. Tout accord nécessitant plus de cinq frettes d’écart est masqué. Cette limite correspond à une portée réaliste de la main. Avec les bonnes notes fournies en entrée, AudioFret a atteint un F1 tablature moyen de 71,8 % sur quatre benchmarks zéro-shot. La précision des hauteurs était de 100 %. Une note était comptée comme correcte seulement lorsque l’attaque, la hauteur et la corde correspondaient toutes dans des tolérances serrées.

Assembler une partition de tablature jouable

La dernière étape prend les pièces des étapes précédentes et les joint en une seule partition. Elle reçoit des événements de notes, des étiquettes de technique, des choix corde-frette et une estimation du tempo. Ces éléments sont stockés dans un fichier d’annotation intermédiaire avant d’être dessinés comme tablature. Le tempo provient de BeatNet, un modèle séparé de suivi des battements.

D’abord, le timing est nettoyé. Les attaques qui tombent à moins de 30 millisecondes les unes des autres sont regroupées. Cela supprime les petites irrégularités de timing laissées par le jeu humain ou le bruit d’enregistrement. Chaque début et durée de note est ensuite collé sur une grille de doubles-croches. La grille utilise le tempo estimé comme horloge. Les notes qui tombent sur la même position rythmique deviennent des accords. Si deux notes entrent en collision sur la même corde, la plus longue survit.

Ensuite, la partition est écrite en MusicXML, un format de fichier standard pour la notation musicale. Les techniques à une note sont attachées directement à leur note. Cela inclut les dérobements, harmoniques, vibrato, étouffement à la paume, coups de batterie et pincé simple. Les gestes à deux notes nécessitent une logique supplémentaire. Martelés, détachés et glissés relient une note à la suivante sur la même corde. Le système cherche dans une fenêtre d’une batte cette note partenaire. Si l’utilisateur connaît la position du capodastre, l’accordage ou le tempo, ces valeurs peuvent être fournies. Sinon, un accordage standard et aucun capodastre sont supposés.

La partition assemblée est ensuite testée de l’audio brut à la tablature finale. Sur quatre benchmarks zéro-shot, la chaîne complète atteint un score F1 tablature de 54,08 %. Ce nombre compte une note comme correcte seulement lorsque son temps de début, sa hauteur et sa corde correspondent tous. Un test oracle plus élevé fournit d’abord des notes parfaites au modèle corde-frette. Il obtient alors en moyenne 71,83 %. L’écart est d’environ 17,75 points de pourcentage. Cette perte montre comment les erreurs de timing ou de hauteur en début de chaîne peuvent se propager.

Ce que la guitare cache encore

Une route à quatre étapes transforme désormais le son brut de guitare en tablature jouable. Elle fait plus que lister des notes. Elle marque les dérobements, glissés, harmoniques et touches percussives. Elle choisit aussi une corde et une frette pour chaque note. Cette dernière étape compte parce qu’une même hauteur peut vivre à plusieurs endroits du manche. Le système écoute la couleur du son en plus de la hauteur. Une note grave sur corde épaisse sonne différemment d’une note aiguë sur corde fine. Utiliser cet indice aide à placer les doigts là où un musicien les mettrait probablement. Lorsque toutes les étapes fonctionnent ensemble, un peu plus de la moitié des notes tombent correctement.

Le résultat est utile au-delà des audio studio propres. Les enregistrements bruités sont mieux gérés qu’avant. Les extraits de téléphone, l’écho de pièce et le bourdonnement de fond ne cassent plus toute la chaîne. Cela ouvre une porte pour l’apprentissage musical du quotidien. Un étudiant pourrait téléverser une vidéo et recevoir une partition approximative mais jouable. Un archiviste pourrait préserver des styles qui vivent surtout dans les enregistrements. Un compositeur pourrait puiser dans d’anciennes bandes des idées sans transcrire à la main.

Les obstacles restent réels. La première étape manque les sons non pitchés tels que les coups de batterie. Si ces sons ne sont pas entendus, les étiquettes de technique suivantes peuvent échouer. Chaque note ne reçoit aussi qu’une seule étiquette de technique. Un dérobement avec vibrato est un geste courant, mais il ne peut pas être entièrement décrit dans la sortie actuelle. Le regroupement rythmique utilise des règles de timing fixes, donc les accords peuvent parfois se séparer ou fusionner incorrectement. Les erreurs des étapes précoces voyagent vers l’avant et coûtent en précision.

La perspective plus large est que la transcription de guitare s’est rapprochée de la notation de performance. Elle ne traite plus l’instrument comme une simple machine à hauteurs. Le prochain défi est une expression plus riche : techniques superposées, correction en direct et partitions qui s’adaptent à différents musiciens. Si un système peut entendre comment une note a été jouée, que faudra-t-il pour qu’il comprenne pourquoi ?