Gravações de guitarra viram tablaturas tocáveis que capturam bends e slides

A ambiguidade física da guitarra

O violão não vincula uma altura a um único ponto fixo no braço do instrumento. São seis cordas, e cada uma pode ser tocada solta ou pressionada em qualquer casa. Na notação de tablatura, essas posições vão da corda solta até a 24ª casa. Por causa desse arranjo, uma mesma altura frequentemente pode ser produzida de várias maneiras diferentes. A nota pode estar numa corda grave ou numa aguda mais acima no braço. Para o ouvinte, as alturas podem soar idênticas. Para quem toca, não é o mesmo gesto. Mesmo uma sequência correta de alturas pode esconder várias interpretações possíveis. O layout físico torna a ambiguidade inevitável.

É por isso que transcrever guitarra é mais difícil do que simplesmente anotar as notas. Uma partitura que lista apenas altura e ritmo pode ser musicalmente plausível, mas fisicamente incorreta. Ela pode sugerir uma posição da mão que parece desconfortável ou impossível no contexto. O guitarrista escolhe os dedos com base nas notas vizinhas, na técnica, na cor da corda e na forma do trecho. Regras simples sobre tocabilidade não bastam para recuperar o que o intérprete realmente fez. Isso importa sempre que uma gravação é transformada em notação tocável. A ambiguidade, portanto, não é apenas um problema de rotulagem. É parte de como o instrumento funciona.

Detecção de notas em gravações ruidosas

Detectar notas em gravações ruidosas é o primeiro obstáculo na conversão do áudio de guitarra em uma partitura. Uma gravação bruta mistura altura, tempo e volume. O sistema precisa isolar cada nota dessa mistura. Ele também deve funcionar quando a fonte sonora é um microfone de celular, uma sala com eco ou um captador elétrico com distorção.

A etapa de detecção utiliza uma rede neural de alta resolução chamada CRNN. Em vez da forma de onda bruta, ela analisa uma representação comprimida do som. Essa imagem é gerada a 16 quilohertz e exibe 229 bandas de frequência ao longo do tempo. Para cada fragmento minúsculo de áudio, o modelo estima quatro variáveis: se uma nota começa, se termina, o nível de atividade de cada altura e a intensidade com que foi tocada. Isso permite posicionar as notas com precisão temporal fina, sem encaixá-las em uma grade grosseira.

Treinar apenas com áudio limpo de estúdio deixaria o modelo frágil em ambientes reais. Por isso, o detector foi treinado em quatro conjuntos de dados de guitarra, com instrumentos e configurações de gravação distintas. A mistura inclui guitarra clássica, guitarra elétrica e sinais de injeção direta. O objetivo é ensinar ao modelo que uma guitarra pode soar muito diferente mesmo tocando as mesmas notas.

Durante o treinamento, o sistema também aprendeu a ignorar ruídos comuns. Metade de cada lote foi deliberadamente contaminada. Um zumbido de baixa frequência foi removido com um filtro passa-alta ajustado em 80 hertz. Em seguida, adicionou-se ruído branco, ruído rosa ou zumbido elétrico. A relação sinal-ruído variou entre 25 e 45 decibéis. Essa faixa cobre o chiado de fundo que é irritante, mas não esmagador.

Ao contrário da limpeza típica para piano, este método não borrava os ataques com reverberação nem removia harmônicos com equalização agressiva. As notas de guitarra frequentemente começam com uma batida nítida do palheta. Se essa batida for borrada, o modelo pode perder o tempo exato de início da nota.

O sistema também descarta as notas previstas que têm menos de 30 milissegundos. Uma nota real de guitarra raramente dura menos de 50 milissegundos, mesmo em passagens rápidas de 15 notas por segundo. Essa regra elimina falsos picos causados pelo ruído.

Para testar a robustez no mundo real, dois novos conjuntos de teste ruidosos foram construídos a partir de gravações existentes de guitarra. Cada trecho limpo foi misturado com eco de sala obtido de espaços gravados. Os ecos vieram de lugares como áreas naturais, santuários e locais de eventos. Alguns trechos imitavam microfones de celular ou notebook.

Uma nota era contada como correta apenas se seu tempo de início e sua altura estivessem suficientemente próximos da nota verdadeira. O erro permitido era de 50 milissegundos para o tempo e 50 cents para a altura. Um cent é um centésimo de um semitom, então essa tolerância é pequena.

Em gravações limpas, o detector ficou próximo do melhor sistema anterior em um benchmark, mas não estava claramente à frente em todos os casos. Em outros benchmarks, ele se distanciou bastante. Sua pontuação média nos quatro conjuntos de teste foi de 81,35 por cento. A segunda melhor média foi de 74,68 por cento.

Os resultados com ruído mostram por que isso importa. Em um conjunto limpo de guitarra elétrica, o detector obteve 79,0 por cento, enquanto o melhor anterior obteve 68,9 por cento. Na versão ruidosa desse mesmo conjunto, ele ainda alcançou 76,8 por cento. Essa queda é muito menor do que o colapso visto em sistemas mais antigos.

Esta primeira etapa define o limite para tudo o que vem depois. Se uma nota for perdida aqui, as etapas posteriores não conseguem recuperá-la. O design resistente a ruído, portanto, importa além dos gráficos de precisão. Ele torna a transcrição possível quando as gravações são imperfeitas.

Reconhecimento dos gestos entre as notas

Tocar guitarra vai além de uma sequência de alturas sonoras. Um slide, um bend ou um harmônico alteram a percepção e o timbre da nota. Por isso, o classificador trata esses gestos como rótulos associados às notas. Cada nota detectada recebe uma das nove classes técnicas: bend, hammer-on/pull-off, harmônicos, bumbo, palm muting, palhetada/sem técnica, slide, caixa e vibrato.

Para cada nota, o modelo analisa o áudio do início ao fim. Ele converte esse som em uma lista curta de medições musicais. A cada 23 milissegundos, registra 40 características de timbre, 40 bandas de volume e 12 valores de cor da altura. Juntas, essas variáveis formam uma descrição numérica de 92 pontos para a nota. Essas descrições são esticadas ou cortadas para durar cerca de três segundos.

Uma pequena rede neural lê então essa série temporal. Camadas convolucionais identificam padrões locais do som, enquanto uma camada de memória bidirecional acompanha a evolução desses padrões ao longo do tempo. Esse detalhe é crucial: um bend e um vibrato podem parecer semelhantes em um único quadro, mas diferem na forma como a altura se move com o passar do tempo.

O classificador foi treinado com cinco coleções públicas de técnicas de guitarra, mescladas em um conjunto único que segue um esquema comum de nove classes. Pesos por classe ajudaram a equilibrar gestos raros em relação aos mais comuns.

No conjunto de teste retido, o modelo alcançou 97,4% de precisão ponderada e uma pontuação macro F1 de 95,9%. Todas as classes apresentaram recall acima de 95%. Os gestos percussivos foram os mais fáceis de identificar, com bumbo e caixa atingindo 99,5% de recall. O vibrato foi o mais difícil, com uma pontuação F1 de 89,4%, pois é frequentemente confundido com bend, já que ambos envolvem a variação da altura.

Modelos feedforward anteriores tratavam cada nota como um instantâneo fixo, perdendo as pistas temporais que distinguem os gestos. O novo classificador alcançou 95,9% de macro F1 com apenas cerca de 160.000 parâmetros. Uma rede densa comparável exigiu 2,08 milhões de parâmetros e obteve apenas 71,6%, enquanto outra linha de base convolucional ficou em 62,7% de macro F1.

Isso significa que o sistema consegue marcar gestos expressivos com alta confiabilidade. Ele não lista apenas notas. Captura como elas são tocadas.

Definindo corda e casa pelo timbre

Com as notas identificadas, falta definir onde cada uma fica no instrumento: o par corda e traste. É esse par que a tablatura usa para indicar ao guitarrista qual posição pressionar. O AudioFret trata essa atribuição como uma tarefa de tradução. Ele parte dos eventos simbólicos de altura gerados na etapa anterior, mas também analisa o áudio bruto em torno de cada nota. Para isso, recorta 200 milissegundos do mel-espectrograma próximo ao início da nota e uma pequena rede convolucional converte esse trecho em um embedding de áudio. Esses embeddings são posicionados antes da sequência de tokens MIDI dentro de um codificador-decodificador no estilo T5, que então propõe os tokens de corda e traste para todo o trecho.

O timbre serve para desempatar as possibilidades. A mesma altura pode soar diferente em outra corda, pois a espessura, a tensão e os harmônicos alteram o espectro sonoro. Um modelo baseado apenas em símbolos não percebe essa diferença. O AudioFret percebe. Sua arquitetura foi ampliada para 256 dimensões, seis camadas, oito cabeças de atenção e cerca de 15 milhões de parâmetros. O pré-treinamento utilizou dados de tablatura sintetizados, incluindo posições de capô de 0 a 7 como tokens de condicionamento. Quatro variantes de afinação foram empregadas: padrão, meio tom abaixo, um tom inteiro abaixo e drop D. Em seguida, o modelo passou por fine-tuning com gravações reais de guitarra. O codificador de áudio foi inicialmente treinado como classificador de cordas antes do treinamento conjunto.

Na inferência, o sistema aplica a busca em feixe (beam search) com largura 4, impondo regras simples a cada passo. Cada nota deve ser seguida por um token de duração válido, e um acorde não pode usar a mesma corda duas vezes. Acordes que exijam mais de cinco trastes de extensão são descartados, limite que corresponde ao alcance realista da mão. Com as notas corretas fornecidas como entrada, o AudioFret alcançou uma média de F1 de tablatura de 71,8 por cento em quatro benchmarks zero-shot. A precisão de altura foi de 100 por cento, considerando a nota correta apenas quando início, altura e corda coincidiam dentro de tolerâncias estreitas.

Montagem da tablatura final

A etapa final integra os resultados das fases anteriores em uma única partitura. O sistema recebe os eventos de notas, os rótulos de técnica, as atribuições de corda e traste, além da estimativa do andamento. Esses dados são salvos em um arquivo intermediário antes de serem convertidos em tablatura. A medição do tempo é feita pelo BeatNet, um modelo independente dedicado ao rastreamento de batidas.

Inicialmente, o sistema corrige a precisão temporal. Inícios que ocorrem com menos de 30 milissegundos de diferença são agrupados, eliminando as pequenas variações causadas pela execução humana ou pelo ruído da gravação. Em seguida, o início e a duração de cada nota são alinhados a uma grade de semicolcheias, usando o andamento estimado como referência. Notas que coincidem na mesma posição rítmica formam acordes. Caso duas notas conflitem na mesma corda, prevalece a mais longa.

Depois, a partitura é exportada para MusicXML, um formato padrão para notação musical. Técnicas aplicadas a uma única nota são vinculadas diretamente a ela. Isso inclui bends, harmônicos, vibrato, palm muting, batidas de bateria e dedilhado simples. Gestos que envolvem duas notas exigem lógica adicional: hammer-ons, pull-offs e slides conectam uma nota à seguinte na mesma corda. O sistema busca essa nota parceira dentro de uma janela de uma batida. Se o usuário informar a posição do capotraste, a afinação ou o andamento, esses valores são utilizados. Caso contrário, assume-se a afinação padrão sem capotraste.

Por fim, a partitura montada é testada desde o áudio bruto até a tablatura final. Em quatro benchmarks zero-shot, o pipeline completo atinge uma pontuação F1 de 54,08%. Esse índice considera uma nota correta apenas quando seu tempo de início, sua altura e sua corda coincidem. Um teste oracle, que fornece notas perfeitas ao modelo de cordas e trastes antes da etapa final, alcança em média 71,83%. A diferença é de aproximadamente 17,75 pontos percentuais, evidenciando como erros iniciais de tempo ou altura se propagam por toda a cadeia.

O que a guitarra ainda esconde

Um percurso de quatro etapas agora converte o som bruto da guitarra em tablatura tocável. O sistema vai além de simplesmente listar as notas: ele identifica bends, slides, harmônicos e toques percussivos. Além disso, seleciona a corda e o traste para cada nota. Essa última etapa é crucial porque uma mesma altura pode ser executada em vários pontos do braço do instrumento. O algoritmo analisa a cor do timbre, não apenas a altura. Uma nota grave tocada numa corda grossa soa de forma distinta de uma nota aguda numa corda fina. Essa pista ajuda a posicionar os dedos onde um músico provavelmente os colocaria. Quando todas as etapas funcionam em conjunto, um pouco mais da metade das notas é posicionada corretamente.

O resultado se mostra útil também fora do áudio limpo de estúdio. Gravações com ruído são processadas melhor do que antes. Clipes gravados com celular, eco ambiente e zumbido de fundo não comprometem mais a cadeia inteira. Isso abre caminho para o aprendizado musical no dia a dia. Um estudante poderia enviar um vídeo e receber uma partitura rústica, mas tocável. Um arquivista poderia preservar estilos que existem principalmente em gravações. Um compositor poderia buscar ideias em fitas antigas sem precisar transcrever à mão.

Os obstáculos continuam reais. A primeira etapa perde sons sem altura definida, como batidas de bateria. Se esses sons não forem detectados, os rótulos de técnica posteriores podem falhar. Cada nota também recebe apenas um rótulo de técnica. Um bend com vibrato é um gesto comum, mas a saída atual não consegue descrevê-lo por completo. O agrupamento rítmico usa regras de tempo fixas, o que pode fazer acordes se dividirem ou se fundirem incorretamente. Erros das etapas iniciais se propagam e reduzem a precisão final.

O panorama geral é que a transcrição de guitarra se aproximou da notação de performance. O instrumento não é mais tratado como uma simples máquina de alturas. O próximo desafio é uma expressão mais rica: técnicas em camadas, correção ao vivo e partituras que se adaptam a diferentes músicos. Se um sistema consegue ouvir como uma nota foi tocada, o que será necessário para que ele entenda por quê?