Da registrazione a tablatura: come catturare bend e slide nella trascrizione della chitarra

L’ambiguità intrinseca dello strumento

Sul manico della chitarra, una stessa altezza non corrisponde a un’unica posizione: lo strumento ha sei corde e ciascuna può essere suonata al naturale o fermata su uno dei 24 tasti. Questa disposizione fa sì che una nota possa spesso essere prodotta in modi diversi, trovandosi sia su una corda grave sia su una acuta più avanti sul manico. Per l’ascoltatore le altezze coincidono, ma per chi suona non si tratta dello stesso gesto: anche una sequenza corretta può nascondere diverse esecuzioni possibili, rendendo l’ambiguità inevitabile.

Per questo motivo trascrivere la chitarra è più complesso che limitarsi a annotare le note. Uno spartito che elenca solo altezza e ritmo può risultare musicalmente plausibile ma fisicamente errato, suggerendo diteggiature scomode o impossibili nel contesto. Il chitarrista sceglie le dita in base alle note vicine, alla tecnica, al timbro delle corde e alla forma del passaggio. Semplici regole di suonabilità non bastano a ricostruire l’effettiva esecuzione. L’ambiguità non è dunque un mero problema di etichettatura, ma fa parte del funzionamento stesso dello strumento.

Rilevamento delle note in condizioni di rumore

Rilevare le note in registrazioni rumorose è il primo ostacolo nel trasformare l’audio di una chitarra in uno spartito. Una registrazione grezza mescola altezza, tempistica e volume. Il sistema deve isolare ogni nota da questo miscuglio, funzionando anche quando la sorgente è un microfono di telefono, una stanza con eco o un pickup elettrico distorto.

La fase di rilevamento si avvale di una rete neurale ad alta risoluzione, la CRNN. Non analizza l’onda grezza, ma una rappresentazione compressa del suono: uno spettrogramma a 16 kilohertz che mostra 229 bande di frequenza nel tempo. Per ogni frammento di audio, il modello stima quattro variabili: se una nota inizia o termina, quanto è attiva ciascuna altezza e con quale intensità viene suonata. Questo approccio consente di posizionare le note con precisione temporale fine, evitando di agganciarle a una griglia grossolana.

Addestrarsi esclusivamente su audio da studio lascerebbe il modello fragile in ambienti reali. Per questo, il rilevatore è stato addestrato su quattro dataset di chitarra che coprono strumenti e configurazioni di registrazione diverse: chitarra classica, elettrica e segnali a iniezione diretta. L’obiettivo è insegnare al sistema che una chitarra può avere timbri molto diversi pur suonando le stesse note.

Durante l’addestramento, il modello ha imparato anche a ignorare i rumori comuni. Metà di ogni batch è stata deliberatamente degradata: prima si rimuoveva un ronzio a bassa frequenza con un filtro passa-alto impostato a 80 hertz, poi si aggiungevano rumore bianco, rumore rosa o ronzio elettrico. Il rapporto segnale-rumore variava tra 25 e 45 decibel, un intervallo che copre sibili di fondo fastidiosi ma non travolgenti.

A differenza dei metodi di pulizia tipici del pianoforte, questa tecnica non sfoca gli attacchi con la riverberazione né elimina gli armonici tramite equalizzazioni aggressive. Le note di chitarra iniziano spesso con una percussione netta del plettro. Se questo attacco viene appannato, il modello rischia di perdere l’istante esatto di inizio della nota.

Il sistema scarta inoltre le note predette più brevi di 30 millisecondi. Una nota reale dura raramente meno di 50 millisecondi, anche in passaggi veloci da 15 note al secondo. Questa regola elimina i falsi impulsi generati dal rumore.

Per verificare la robustezza nel mondo reale, sono stati creati due nuovi set di test rumorosi a partire da registrazioni esistenti. Ogni clip pulita è stata miscelata con l’eco di stanze registrate in ambienti come aree naturali, santuari e locali. Alcune simulavano microfoni di telefoni o laptop.

Una nota era considerata corretta solo se il suo istante di inizio e la sua altezza erano sufficientemente vicini a quelli reali. L’errore consentito era di 50 millisecondi per la tempistica e di 50 centesimi (cent) per l’altezza. Poiché un cent è un centesimo di semitono, questa tolleranza è molto stretta.

Sulle registrazioni pulite, il rilevatore si avvicinava al miglior sistema precedente su un benchmark, senza però superarlo nettamente ovunque. Su altri benchmark, invece, ha preso nettamente il sopravvento: la sua media su quattro set di test era dell’81,35%, contro il 74,68% del secondo migliore.

I risultati sulle registrazioni rumorose spiegano l’importanza di questo approccio. Su un set pulito di chitarra elettrica, il rilevatore ha ottenuto il 79,0%, mentre il miglior sistema precedente si fermava al 68,9%. Sulla versione rumorosa dello stesso set, il nuovo modello ha comunque raggiunto il 76,8%. Questo calo è molto più contenuto rispetto al crollo osservato nei sistemi più vecchi.

Questa prima fase fissa il limite superiore per tutto ciò che segue: se una nota viene persa qui, le fasi successive non possono recuperarla. La progettazione resistente al rumore conta quindi ben oltre i grafici di accuratezza, rendendo possibile la trascrizione anche quando le registrazioni sono imperfette.

Riconoscere i gesti espressivi

Suonare la chitarra non si riduce a una successione di altezze: uno slide, un bend o un armonico modificano sia la percezione fisica che il timbro della nota. Il classificatore interpreta questi gesti come etichette legate alle note stesse. Ogni nota rilevata viene assegnata a una delle nove classi tecniche: bend, hammer-on/pull-off, armonici, cassa, palm muting, picking/nessuna tecnica, slide, rullante e vibrato.

Per ciascuna nota, il modello analizza l’audio dall’inizio alla fine, convertendolo in un breve elenco di misure musicali. Ogni 23 millisecondi registra 40 caratteristiche timbriche, 40 bande di intensità e 12 valori relativi al colore dell’altezza. Insieme formano una descrizione della nota composta da 92 numeri. Queste descrizioni vengono poi allungate o tagliate per adattarsi a una durata di circa tre secondi.

Una piccola rete neurale legge quindi questa serie temporale, utilizzando strati convoluzionali per individuare pattern sonori locali e uno strato di memoria bidirezionale per seguirne l’evoluzione nel tempo. Questo passaggio è cruciale perché un bend e un vibrato possono apparire simili in un singolo istante: la differenza risiede nella traiettoria dell’altezza man mano che il tempo avanza.

Il classificatore è stato addestrato su cinque collezioni pubbliche di tecniche per chitarra, fuse in un unico insieme con uno schema comune di etichette a nove classi. I pesi delle classi hanno aiutato a bilanciare la frequenza dei gesti rari rispetto a quelli comuni. Sul set di test trattenuto ha raggiunto una precisione ponderata del 97,4% e un macro F1 del 95,9%, con un recall superiore al 95% per ogni classe. I gesti percussivi sono risultati i più facili da riconoscere, con cassa e rullante al 99,5% di recall. Il vibrato è stato il più difficile, con un punteggio F1 dell’89,4%, spesso confuso con il bend poiché entrambi implicano una variazione dell’altezza.

I modelli feedforward precedenti trattavano ogni nota come uno scatto statico, perdendo gli indizi temporali che distinguono i gesti. Il nuovo classificatore ha raggiunto un macro F1 del 95,9% con soli circa 160.000 parametri, mentre una rete densa comparabile richiedeva 2,08 milioni di parametri per ottenere il 71,6%. Un’altra baseline convoluzionale si fermava a un macro F1 del 62,7%. Il sistema è quindi in grado di marcare i gesti espressivi con alta affidabilità, catturando non solo le note ma anche il modo in cui vengono suonate.

Dalla sonorità a corde e tasti

Una volta individuate le note, resta da assegnare a ciascuna una posizione precisa sullo strumento: la coppia di corda e tasto che la tablatura indica al chitarrista. AudioFret affronta questo problema come un compito di traduzione. Il modello riceve gli eventi simbolici delle altezze dalla fase precedente, ma ascolta anche l’audio grezzo circostante ogni nota. Per ciascuna nota, estrae 200 millisecondi di mel-spettro vicino all’attacco e una piccola rete convoluzionale trasforma quel frammento in un embedding audio. Questi embedding vengono inseriti prima della sequenza di token MIDI all’interno di un encoder-decoder di tipo T5. Il decoder propone quindi i token per corde e tasti dell’intero passaggio.

Il timbro serve a sciogliere gli equivoci: la stessa altezza può suonare diversamente su corde diverse, poiché spessore, tensione e armonici modificano lo spettro. Un modello basato solo sui dati simbolici non percepisce questa differenza. AudioFret sì. La sua architettura è stata ampliata a 256 dimensioni, sei livelli, otto teste di attenzione e circa 15 milioni di parametri. Dopo un pre-addestramento su dati di tablatura sintetizzati, sono stati aggiunti come token di condizionamento le posizioni del capotasto da 0 a 7 e quattro varianti di accordatura: standard, un semitono più in basso, un tono intero più in basso e drop D. Il modello è stato infine sottoposto a fine-tuning su registrazioni reali di chitarra. L’encoder audio era stato prima addestrato come classificatore di corde, prima dell’addestramento congiunto.

In fase di inferenza, il sistema impiega la ricerca a fascio con larghezza 4 e applica regole semplici a ogni passo: ogni nota deve essere seguita da un token di durata valido, un accordo non può usare due volte la stessa corda e qualsiasi accordo che richieda più di cinque tasti di ampiezza viene escluso, limite coerente con la portata realistica della mano. Fornendo note corrette come input, AudioFret ha raggiunto una media Tab F1 del 71,8 per cento su quattro benchmark zero-shot, con un’accuratezza delle altezze al 100 per cento. Una nota è stata considerata corretta solo quando attacco, altezza e corda corrispondevano tutti entro tolleranze strette.

Montare la tablatura finale

L’ultima fase assembla i risultati delle fasi precedenti in un unico spartito. Il sistema riceve gli eventi delle note, le etichette tecniche, l’assegnazione di corde e tasti e una stima del tempo. Questi dati vengono salvati in un file di annotazione intermedio prima della generazione della tablatura. La stima del tempo arriva da BeatNet, un modello dedicato al tracciamento delle battute.

Inizialmente si ripulisce la tempistica: gli attacchi che cadono entro 30 millisecondi l’uno dall’altro vengono raggruppati per eliminare le micro-oscillazioni dovute all’esecuzione umana o al rumore di registrazione. L’inizio e la durata di ogni nota vengono poi agganciati a una griglia di sedicesimi, che usa il tempo stimato come riferimento. Le note che coincidono sulla stessa posizione ritmica formano accordi. Se due note si sovrappongono sulla stessa corda, prevale quella più lunga.

Lo spartito viene quindi esportato in MusicXML, lo standard per la notazione musicale. Le tecniche su singola nota (bend, armonici, vibrato, palm muting, colpi di batteria e semplice picking) vengono associate direttamente alla nota corrispondente. I gesti che coinvolgono due note richiedono una logica aggiuntiva: hammer-on, pull-off e slide collegano una nota alla successiva sulla stessa corda, cercando la nota partner entro una finestra di un battito. Se l’utente conosce la posizione del capotasto, l’accordatura o il tempo, può fornire questi valori. In caso contrario si assume l’accordatura standard senza capotasto.

Lo spartito assemblato viene infine testato dall’audio grezzo alla tablatura finale. Su quattro benchmark zero-shot, la pipeline completa raggiunge un punteggio F1 di 54,08 per cento nella tablatura. Una nota è considerata corretta solo se inizio, altezza e corda corrispondono tutti. Un test oracle, che fornisce al modello di corde e tasti note perfette in ingresso, ottiene una media del 71,83 per cento. Il divario di circa 17,75 punti percentuali mostra come gli errori iniziali di tempistica o altezza possano propagarsi lungo la catena.

Cosa resta ancora nell’ombra

Oggi un percorso in quattro fasi converte l’audio grezzo della chitarra in tablature eseguibili. Il sistema non si limita a elencare le note: identifica bend, slide, armonici e tocchi percussivi, assegnando a ciascuna nota la corda e il tasto corretti. Questa ultima operazione è cruciale perché una stessa altezza può essere suonata in più punti del manico. Analizzando anche il timbro, non solo l’altezza, il modello distingue una nota su corda grave e spessa da quella su corda acuta e sottile, posizionando le dita dove un chitarrista le porrebbe verosimilmente. Nel complesso, poco più della metà delle note viene collocata correttamente.

L’utilità del risultato va oltre l’audio pulito da studio: le registrazioni rumorose vengono gestite meglio rispetto al passato. Clip registrate con il telefono, echi ambientali e ronzii di fondo non compromettono più l’intera catena di elaborazione. Questo apre nuove possibilità per lo studio musicale quotidiano. Uno studente potrebbe caricare un video e ottenere uno spartito approssimativo ma suonabile. Un archivista, preservare stili presenti quasi esclusivamente nelle registrazioni. Un compositore, attingere idee da vecchie cassette senza trascrivere a mano.

Gli ostacoli restano concreti. La prima fase trascura i suoni senza altezza definita, come le percussioni: se questi non vengono rilevati, l’assegnazione delle tecniche successive può fallire. Inoltre, ogni nota riceve un’unica etichetta tecnica. Un bend con vibrato è un gesto comune, ma non può essere descritto completamente nell’output attuale. Il raggruppamento ritmico segue regole di tempismo fisse, per cui gli accordi a volte si dividono o si fondono in modo errato. Gli errori delle fasi iniziali si propagano in avanti e riducono la precisione finale.

La trascrizione della chitarra si avvicina così alla notazione esecutiva, smettendo di trattare lo strumento come una semplice macchina di altezze. La prossima sfida riguarda un’espressione più ricca: tecniche sovrapposte, correzione in tempo reale e spartiti che si adattano a musicisti diversi. Se un sistema riesce a percepire come una nota è stata suonata, cosa servirà perché ne comprenda il motivo?