Una cámara de profundidad distingue las danzas Bharatanatyam al leer posturas y movimientos a la vez

Cómo se divide la danza en posturas y movimientos

El Bharatanatyam se estructura en unidades pequeñas y repetibles denominadas adavus, cada una con un ritmo estricto que alterna la quietud con el desplazamiento. La bailarina sostiene una postura clave, ejecuta un movimiento de transición, adopta otra postura y vuelve a moverse. El proceso de reconocimiento comienza transformando esa interpretación en una lista similar. Tras descartar las grabaciones defectuosas o incompletas, el conjunto de datos incluye 13 tipos de adavu y 51 variaciones, seleccionados de un grupo mayor de 15 tipos y 58 variaciones. Además, emplea 182 clases de posturas clave, es decir, las formas estáticas con nombre propio que pueden aparecer en la danza.

Cada vídeo se convierte primero en fotogramas en escala de grises, y una máscara basada en profundidad elimina todo lo que no sea la bailarina. Un archivo de anotación indica a continuación qué rangos de fotogramas corresponden a posturas y cuáles a movimientos. En la práctica, un vídeo largo se divide en intervalos: uno contiene una forma reconocible, mientras que otro captura extremidades o el peso en cambio. El orden es fundamental porque un adavu está definido por esa lista ordenada de posiciones estáticas y transiciones.

Un segmento de postura suele contener varios fotogramas casi idénticos, por lo que cualquiera de ellos puede representar la misma pose sostenida. Esto genera una pequeña elección en cada pausa de la danza. Si un segmento tiene diez fotogramas utilizables, el constructor de secuencias puede elegir diferentes representantes sin alterar el adavu subyacente. El número de posibles secuencias alternantes está limitado por el segmento de postura más corto de ese adavu, ya que cada segmento debe aportar al menos un fotograma representante. La primera postura de preparación antes de que comience la danza se excluye de la lista, de modo que la secuencia inicia con el patrón de movimiento real en lugar de una posición inicial neutra.

Los movimientos también se tratan como categorías separadas, pero solo cuando existe suficiente evidencia grabada para ellos. Las clases con menos de 12 muestras se apartan para evitar entrenar con demasiados pocos datos. Con esa regla establecida, quedan 54 clases de movimiento utilizables de un total de 334. Este umbral es importante porque los movimientos de danza varían en duración y muchos son fáciles de confundir. Al conservar solo las clases de movimiento mejor respaldadas, el sistema construye un inventario más limpio de pasos antes de intentar leerlos.

Lectura de las posturas fijas en un solo fotograma

Una bailarina de Bharatanatyam puede sostener una pose durante varios fotogramas. Para el sistema, basta con uno solo de esos instantes estáticos para identificar la postura. Antes de clasificar, cada imagen del vídeo se pasa a escala de grises y la información de profundidad del Kinect elimina todo lo que hay detrás de la intérprete, dejando únicamente su cuerpo en pantalla. La red neuronal analiza directamente esta imagen limpia, sin requerir una secuencia de fotogramas ni un rastreador de esqueleto independiente.

El clasificador es deliberadamente pequeño frente a los grandes modelos de imágenes de uso general. Cuenta con dos capas convolucionales, primero con 32 canales y luego con 64, seguidas por tres capas totalmente conectadas. La normalización de capa, el agrupamiento máximo (max pooling), el dropout y las activaciones Leaky ReLU ayudan a aprender características estables mientras reducen la probabilidad de que algunas neuronas dejen de responder. El entrenamiento se detiene tras 15 épocas porque la precisión comenzó a sobreajustarse más allá de ese punto. La capa softmax final genera una puntuación para cada una de las 182 clases de posturas, por lo que cada fotograma se evalúa contra el conjunto completo de posturas clave estáticas y no solo contra un puñado de ejemplos.

En el conjunto de prueba, la red acertó en 8 895 de los 8 943 fotogramas, con una precisión del 99,46 %. Eso significa que casi todos los fotogramas representativos individuales se asignaron a la postura correcta. Quince clases se reconocieron perfectamente y la mayoría de las demás obtuvieron más del 95 %. Los fallos son en su mayoría gemelos visuales. Dos posturas de pie difieren solo en si un pie está plano o levantado sobre los dedos. Uno de esos pares alcanzó una precisión de aproximadamente el 57 % porque seis fotogramas de prueba se intercambiaron con su parecido. Un pequeño estiramiento de la pierna derecha puede parecerse a una postura de rodilla flexionada, y cuando el Kinect no detecta un levantamiento de mano, esa postura puede desviarse hacia otra clase.

Rastreo de los tramos en movimiento con el vestuario como obstáculo

Una vez identificado un tramo del vídeo como movimiento, el reto consiste en determinar qué paso específico del Bharatanatyam contiene. Esta fase resulta más compleja que etiquetar una pose estática: mientras la bailarina cambia constantemente de forma, la falda, las mangas y las joyas pueden ocultar gran parte de sus extremidades. Por ello, el sistema no intenta rastrear cada articulación a lo largo del tiempo. En su lugar, genera una única imagen resumen para cada segmento en movimiento.

Esta imagen, conocida como motion history image (imagen de historial de movimiento), comienza vacía y se va rellenando conforme la bailarina se desplaza. Para cada nuevo fotograma, el sistema localiza el contorno de la figura y lo compara con el del fotograma anterior. La diferencia entre ambos contornos se suma a la imagen acumulativa. Al terminar de procesar el segmento completo, las zonas con cambios indican dónde se movió el cuerpo, mientras que las regiones vacías marcan los puntos que permanecieron quietos.

Antes de clasificar, esta imagen grande se reduce de 480 por 640 píxeles a 120 por 160 píxeles. La versión más pequeña se convierte luego en una larga lista de números que describe la dirección y la intensidad de los bordes en distintas partes de la imagen. Esa lista contiene 9576 valores, y una máquina de vectores de soporte (SVM) los utiliza para seleccionar la etiqueta de movimiento más probable.

Dado que muchos movimientos de danza aparecen con poca frecuencia en las grabaciones, el flujo de trabajo solo conserva aquellos con al menos doce ejemplos. Esta regla deja 54 clases de movimiento utilizables de un total de 334. Con ese conjunto reducido, el clasificador alcanzó una precisión global de aproximadamente el 84 %. Los errores se distribuyeron de forma dispersa entre las clases: veintidós movimientos se reconocieron perfectamente, veinte tuvieron un solo error y doce acumularon dos o tres fallos.

Al elevar el requisito a al menos veinticinco ejemplos por clase, solo quedaron doce clases de movimiento, pero la precisión subió al 95,58 %. Este salto demuestra que la limitación principal no es un clasificador débil, sino la escasez de material de entrenamiento disponible para muchos movimientos.

Los errores más reveladores provienen de las partes del cuerpo que el vestuario puede ocultar o difuminar. Un movimiento de subida y bajada puede confundirse con un cambio de peso acompañado de una pisada, especialmente cuando las piernas están cubiertas por tela. Las versiones en espejo de movimientos similares también pueden intercambiarse si la cámara solo ve un lado del cuerpo. Una media vuelta alrededor del torso no siempre se captura bien en la imagen resumen, lo que puede hacerla parecer una simple pisada. Los desplazamientos muy pequeños de talón a punta son casi invisibles a menos que las manos se muevan ligeramente.

Comparación de la secuencia completa para nombrar el adavu

Un adavu del Bharatanatyam es mucho más que un conjunto de poses estéticas. Se trata de un patrón ordenado donde las posturas clave estáticas y los movimientos que las conectan se alternan. Para identificar el adavu, el sistema no evalúa si un fotograma concreto recuerda a una postura conocida o si un fragmento de vídeo coincide con un movimiento específico. En su lugar, construye la secuencia completa de etiquetas extraída del vídeo y la compara con los patrones almacenados de los adavus candidatos.

Cada postura y cada movimiento predicho se convierte en un elemento de esta lista. La comparación emplea la distancia de edición, una métrica que indica cuántas sustituciones, inserciones o eliminaciones serían necesarias para transformar una secuencia en otra. Si la lista predicha se aproxima a un patrón almacenado, ese adavu resulta el ganador. En pruebas realizadas con 1645 secuencias, este ajuste de la danza completa alcanzó una precisión del 98 %. Este resultado es significativo porque las etiquetas individuales de movimiento eran menos fiables, situándose en torno al 84 %, y sin embargo la secuencia más larga seguía apuntando a la unidad coreográfica correcta la mayor parte del tiempo.

El sistema también debe gestionar una pequeña ambigüedad presente dentro de cada segmento de postura. Una pose estática puede durar varios fotogramas, por lo que cualquiera de ellos puede representar esa pose. Como consecuencia, un único vídeo puede generar más de una lista alternada plausible. El número de candidatos queda limitado por el segmento de postura más corto del adavu, lo que mantiene la búsqueda manejable. La postura inicial de preparación, anterior al inicio de la danza, se excluye porque pertenece a la fase preparatoria y no al patrón nombrado.

Este enfoque basado en secuencias explica por qué añadir movimientos altera el resultado. Sistemas anteriores que utilizaban únicamente posturas obtuvieron un 77,51 % en el mismo conjunto de pruebas. Sus fallos se concentraron en una familia de adavus cuyo orden de posturas era idéntico, a menudo una pose única repetida. Las posturas por sí solas no podían distinguir esas variaciones. Cuando las dos familias de una comparación anterior se probaron por separado, la precisión llegó al 100 %, lo que demuestra que los errores restantes provenían de listas de posturas genuinamente indistinguibles y no de una lectura deficiente de la imagen.

La danza como secuencia legible

El hallazgo principal es que el Bharatanatyam se reconoce como una actuación ordenada, no como un conjunto de imágenes aisladas. La cámara capta a la bailarina. Los fotogramas estáticos permiten identificar las posturas y los segmentos en movimiento se comprimen en historiales de movimiento. Después, el sistema compara las etiquetas resultantes con los patrones conocidos de adavus. Cuando el orden completo coincide lo suficiente, la danza recibe su nombre. El reconocimiento de la danza completa alcanza un 98 % en gran parte del repertorio estándar, un dato notable porque clasificar movimientos individuales resulta más difícil que identificar posturas congeladas.

La promesa a largo plazo radica en la preservación y la enseñanza. Una biblioteca de adavus grabados podría convertirse en un archivo consultable donde los estudiantes comparan su propio movimiento con secuencias canónicas y los profesores señalan desviaciones específicas. El método también sugiere que otras danzas clásicas podrían abordarse de forma similar una vez que existan suficientes ejemplos etiquetados. Esto convertiría la interpretación visual en datos que pueden estudiarse, corregirse y transmitirse sin depender únicamente de la memoria.

Los obstáculos son igualmente claros. Muchos movimientos aparecen con demasiada poca frecuencia para un entrenamiento fiable. El vestuario oculta partes del cuerpo y algunas posturas difieren por una posición del pie o un ángulo de la mano que los sensores no captan. La configuración actual depende además de condiciones de grabación controladas, y el rendimiento en tiempo de ejecución aún no se ha detallado. Serían necesarios más datos, un mejor manejo de las oclusiones y una inferencia más rápida antes de que estas herramientas pasen del laboratorio al aula.

Si una danza puede leerse como secuencia, ¿qué otra cosa podría volverse legible para las máquinas?