De la grabación a la tablatura: capturar bends y slides en la transcripción de guitarra

La ambigüedad física de la guitarra

La guitarra no asigna cada altura a una única posición fija en el mástil. Con sus seis cuerdas, cada nota puede tocarse al aire o pulsada en cualquier traste. La notación de tablatura abarca desde la cuerda al aire hasta el 24º traste. Esa disposición permite producir una misma altura de varias maneras: la nota puede sonar en una cuerda grave o en una aguda más arriba del mástil. Para un oyente, las alturas coinciden. Para quien toca, no es el mismo gesto. Incluso una secuencia correcta de notas puede ocultar distintas interpretaciones posibles. La disposición física hace inevitable esta ambigüedad.

Por eso, transcribir para guitarra es más difícil que simplemente anotar las notas. Una partitura que solo liste altura y ritmo puede ser musicalmente plausible pero físicamente incorrecta: podría sugerir una posición de mano incómoda o imposible en el contexto. El guitarrista elige los digitados según las notas cercanas, la técnica, el color de la cuerda y la forma del pasaje. Las reglas simples sobre jugabilidad no bastan para recuperar lo que el intérprete hizo realmente. Esto importa siempre que una grabación se convierte en notación jugable. La ambigüedad no es, por tanto, solo un problema de etiquetado: es parte de cómo funciona el instrumento.

Detección de notas en grabaciones con ruido

Detectar notas en grabaciones ruidosas es el primer obstáculo para convertir la señal de guitarra en una partitura. Una grabación cruda mezcla altura, ritmo y volumen. El sistema debe aislar cada nota de esa mezcla y funcionar aunque el sonido provenga del micrófono de un teléfono, de una sala con eco o de una pastilla eléctrica con distorsión.

La etapa de detección emplea una red neuronal de alta resolución llamada CRNN. No escucha la forma de onda cruda, sino una representación comprimida del sonido: un espectrograma generado a 16 kHz que muestra 229 bandas de frecuencia a lo largo del tiempo. Para cada fragmento minúsculo de audio, el modelo estima cuatro cosas: si una nota comienza, si termina, qué tan activa es cada altura y con qué fuerza se tocó. Así sitúa las notas con precisión temporal fina, en lugar de ajustarlas a una cuadrícula gruesa.

Entrenar solo con audio limpio de estudio dejaría al modelo débil en salas reales. Por eso, el detector se entrenó con cuatro conjuntos de datos de guitarra que combinan instrumentos y configuraciones de grabación distintas: guitarra clásica, eléctrica y señales de inyección directa. El objetivo es enseñarle que una guitarra puede sonar muy diferente aunque toque las mismas notas.

Durante el entrenamiento, el sistema también aprendió a ignorar el ruido común. La mitad de cada lote se ensució deliberadamente. Primero se eliminó un zumbido de baja frecuencia con un filtro paso alto fijado en 80 Hz. Luego se añadió ruido blanco, rosa o zumbido eléctrico. La relación señal-ruido varió entre 25 y 45 dB, un rango que cubre el siseo de fondo molesto pero no abrumador.

A diferencia del procesamiento típico para piano, este método no difumina los ataques con reverberación ni elimina armónicos mediante una ecualización agresiva. Las notas de guitarra suelen comenzar con un golpe nítido de la púa. Si ese ataque se borra, el modelo puede perder el tiempo exacto de inicio.

Además, el sistema descarta las notas predichas que duran menos de 30 ms. Una nota real de guitarra rara vez dura menos de 50 ms, incluso en pasajes rápidos de 15 notas por segundo. Esta regla elimina los falsos destellos causados por el ruido.

Para probar la robustez en condiciones reales, se construyeron dos nuevos conjuntos de prueba ruidosos a partir de grabaciones existentes de guitarra. Cada clip limpio se mezcló con eco de sala tomado de espacios grabados: zonas naturales, santuarios y recintos. Algunos clips imitaban micrófonos de teléfono o portátil.

Una nota se consideraba correcta solo si su tiempo de inicio y su altura estaban lo suficientemente cerca de la nota verdadera. El error permitido era de 50 ms para el timing y 50 cents para la altura. Como un cent es una centésima parte de un semitono, esta tolerancia es pequeña.

En grabaciones limpias, el detector se acercó al mejor sistema anterior en un benchmark, pero no estuvo claramente por delante en todos los casos. En otros benchmarks se adelantó con mucha diferencia. Su puntuación media en cuatro conjuntos de prueba fue del 81,35 %, frente a la siguiente mejor media, del 74,68 %.

Los resultados ruidosos muestran por qué esto importa. En un conjunto limpio de guitarra eléctrica, el detector obtuvo un 79,0 %, mientras que el mejor anterior logró un 68,9 %. En la versión ruidosa de ese mismo conjunto, aún alcanzó un 76,8 %. Esa caída es mucho menor que el colapso visto en sistemas más antiguos.

Esta primera etapa fija el techo para todo lo que viene después: si una nota se pierde aquí, las etapas posteriores no pueden recuperarla. Por eso, el diseño resistente al ruido importa más allá de los gráficos de precisión. Hace posible la transcripción cuando las grabaciones son imperfectas.

Reconocimiento de los gestos entre las notas

Tocar la guitarra no consiste únicamente en encadenar alturas. Un slide, un bend o una armónica transforman la sensación y el sonido de cada nota. Por eso, el clasificador aborda estos gestos como etiquetas vinculadas a las notas: cada una detectada recibe una de nueve clases técnicas (bend, hammer-on/pull-off, armónicas, bombo, palm muting, picking/sin técnica, slide, caja y vibrato).

Para procesar cada nota, el modelo analiza el audio desde su inicio hasta su final. Convierte ese sonido en una breve lista de medidas musicales: cada 23 milisegundos registra 40 características del timbre, 40 bandas de intensidad y 12 valores de color tonal. En conjunto, estos datos forman una descripción numérica de la nota con 92 valores. Estas descripciones se estiran o recortan hasta alcanzar unos tres segundos.

A continuación, una pequeña red neuronal lee esta serie temporal. Emplea capas convolucionales para identificar patrones sonoros locales y una capa de memoria bidireccional para seguirlos a lo largo del tiempo. Este detalle es crucial porque un bend y un vibrato pueden parecerse en un solo fotograma. Su diferencia radica en cómo evoluciona la altura con el paso del tiempo.

El clasificador se entrenó con cinco colecciones públicas de técnicas de guitarra, fusionadas en un único conjunto mediante un esquema común de etiquetas de nueve clases. Los pesos asignados a cada clase ayudaron a equilibrar los gestos raros frente a los habituales.

En el conjunto de prueba reservado, alcanzó una precisión ponderada del 97,4 % y una puntuación macro F1 del 95,9 %. Todas las clases obtuvieron una sensibilidad superior al 95 %. Los gestos percusivos resultaron ser los más fáciles de clasificar, con el bombo y la caja en un 99,5 % de sensibilidad. El vibrato fue el más difícil, con una puntuación F1 del 89,4 %, ya que a menudo se confunde con el bend porque ambos implican mover la altura.

Los modelos feedforward anteriores trataban cada nota como una instantánea fija, un enfoque que perdía las pistas de temporización necesarias para distinguir los gestos. En cambio, este clasificador alcanzó un macro F1 del 95,9 % con solo unos 160 000 parámetros. Una red densa comparable necesitaba 2,08 millones de parámetros y obtuvo un 71,6 %, mientras que otra línea base convolucional llegó solo a un macro F1 del 62,7 %.

Esto demuestra que el sistema puede marcar los gestos expresivos con alta fiabilidad: no solo lista las notas, sino que captura cómo se tocan.

Asignar cuerdas y trastes a partir del sonido

Una vez identificadas las notas, cada una requiere aún un lugar en la guitarra: un par de cuerda y traste. La tablatura emplea ese par para indicar al guitarrista qué pulsar. AudioFret aborda este problema como una tarea de traducción. Toma los eventos simbólicos de altura procedentes de la etapa anterior y, a la vez, analiza el audio crudo alrededor de cada nota. Para ello, extrae 200 milisegundos del mel-espectrograma cerca del ataque. Una pequeña red convolucional convierte ese fragmento en un embedding de audio. Estos embeddings se colocan antes de la secuencia de tokens MIDI dentro de un codificador-decodificador estilo T5, y el decodificador propone los tokens de cuerda y traste para todo el pasaje.

El modelo utiliza el timbre para resolver empates. La misma altura puede sonar diferente en otra cuerda, ya que el grosor, la tensión y los armónicos modifican el espectro. Un modelo puramente simbólico no percibe esa diferencia. AudioFret sí lo hace. Su arquitectura se amplió a 256 dimensiones, seis capas, ocho cabezas de atención y unos 15 millones de parámetros. Se preentrenó con datos de tablatura sintetizados, añadiendo las posiciones de cejilla de 0 a 7 como tokens de condicionamiento. También se emplearon cuatro variantes de afinación: estándar, medio tono abajo, un tono completo abajo y drop D. Posteriormente, el modelo se ajustó fino (fine-tuning) sobre grabaciones reales de guitarra. El codificador de audio se entrenó primero como clasificador de cuerdas antes del entrenamiento conjunto.

Durante la inferencia, el sistema utiliza búsqueda por haz con anchura 4 e impone reglas simples en cada paso. Cada nota debe ir seguida por un token de duración válido. Un acorde no puede usar la misma cuerda dos veces y cualquier acorde que requiera más de cinco trastes de extensión se descarta. Ese límite coincide con un alcance realista de la mano. Con notas correctas proporcionadas como entrada, AudioFret alcanzó una F1 media de tablatura del 71,8 % en cuatro benchmarks sin ejemplos previos (zero-shot). La precisión de altura fue del 100 %. Una nota se contaba como correcta solo cuando el ataque, la altura y la cuerda coincidían dentro de tolerancias estrictas.

Ensamblar la tablatura final

En la última fase se integran los resultados de las etapas previas para generar una única partitura. El sistema recibe los eventos de notas, las etiquetas de técnica, la asignación de cuerdas y trastes, así como una estimación del tempo. Estos datos se guardan en un archivo de anotación intermedio antes de renderizarse como tablatura. La información rítmica procede de BeatNet, un modelo independiente dedicado al seguimiento del pulso.

En primer lugar, se depura el timing. Los ataques que ocurren con menos de 30 milisegundos de diferencia entre sí se agrupan. Esto elimina las pequeñas variaciones temporales derivadas de la interpretación humana o del ruido de grabación. A continuación, cada inicio y duración de nota se ajusta a una cuadrícula de semicorcheas, utilizando el tempo estimado como referencia temporal. Las notas que coinciden en la misma posición rítmica forman acordes. Si dos notas compiten por la misma cuerda, prevalece la más larga.

Después, la partitura se exporta a MusicXML, un formato estándar para notación musical. Las técnicas aplicables a una sola nota se asocian directamente a esta. Entre ellas figuran los bends, las armónicas, el vibrato, el palm muting, los golpes de batería y el punteo simple. Los gestos que involucran dos notas requieren una lógica adicional: los hammer-ons, pull-offs y slides vinculan una nota con la siguiente en la misma cuerda. Para ello, el sistema busca esa nota compañera dentro de una ventana de un pulso. Si el usuario conoce la posición del capó, la afinación o el tempo, puede proporcionar esos valores. De lo contrario, se asume afinación estándar y sin capó.

Finalmente, se evalúa la partitura ensamblada desde el audio crudo hasta la tablatura final. En cuatro benchmarks zero-shot, el flujo completo alcanza una puntuación F1 de tablatura del 54,08 %. Este indicador considera correcta una nota solo si su tiempo de inicio, altura y cuerda coinciden todos. Una prueba oracle más favorable proporciona al modelo de cuerdas y trastes notas perfectas como entrada. En ese caso, la media asciende al 71,83 %. La diferencia es de aproximadamente 17,75 puntos porcentuales, lo que evidencia cómo los errores tempranos de timing o altura se propagan a lo largo de la cadena.

Lo que la guitarra sigue ocultando

Un flujo de cuatro etapas convierte ahora el sonido crudo de la guitarra en tablaturas jugables. No solo lista las notas: identifica bends, slides, armónicos y toques percusivos. Además, asigna una cuerda y un traste a cada nota. Este último paso es clave porque una misma altura puede ubicarse en varios puntos del mástil. El sistema atiende al color tonal tanto como a la altura. Una nota grave en una cuerda gruesa suena distinto de una aguda en una fina, y esa pista ayuda a colocar los dedos donde un intérprete probablemente los pondría. Cuando todas las etapas funcionan juntas, algo más de la mitad de las notas caen correctamente.

El resultado es útil más allá del audio limpio de estudio. Las grabaciones ruidosas se manejan mejor que antes: los clips de teléfono, el eco de la sala y el zumbido de fondo ya no rompen toda la cadena. Esto abre una puerta para el aprendizaje musical cotidiano. Un estudiante podría subir un vídeo y recibir una partitura rudimentaria pero jugable. Un archivero, preservar estilos que viven principalmente en grabaciones. Y un compositor, extraer ideas de cintas antiguas sin transcribirlas a mano.

Los obstáculos siguen siendo reales. La primera etapa pasa por alto sonidos sin altura definida, como los golpes de batería. Si esos sonidos no se detectan, las etiquetas de técnica posteriores pueden fallar. Cada nota recibe solo una etiqueta de técnica: un bend con vibrato es un gesto común, pero la salida actual no puede describirlo por completo. El agrupamiento rítmico usa reglas temporales fijas, por lo que los acordes a veces se dividen o fusionan incorrectamente. Los errores de las etapas iniciales avanzan hacia adelante y reducen la precisión.

La perspectiva general es que la transcripción de guitarra se ha acercado más a la notación de interpretación. Ya no trata al instrumento como una simple máquina de alturas. El próximo desafío es una expresión más rica: técnicas superpuestas, corrección en vivo y partituras que se adaptan a diferentes intérpretes. Si un sistema puede oír cómo se tocó una nota, ¿qué hará falta para que entienda por qué?