Câmera de profundidade distingue danças Bharatanatyam ao ler poses e movimentos em conjunto

Como o movimento da dança se decompõe em posturas e passos

O Bharatanatyam se estrutura em unidades pequenas e repetíveis, os Adavus, cada uma com um ritmo rigoroso entre imobilidade e deslocamento. A dançarina mantém uma postura-chave, executa o movimento de ligação, assume outra postura e desloca-se novamente. O processo de reconhecimento começa convertendo essa performance no mesmo tipo de lista. Após descartar gravações ruins ou incompletas, o conjunto de dados contém 13 tipos de Adavu e 51 variações, extraídos de um grupo maior com 15 tipos e 58 variações. O sistema também utiliza 182 classes de posturas-chave, que são as formas estáticas nomeadas presentes na dança.

Cada vídeo é primeiro convertido em quadros em escala de cinza, e uma máscara baseada em profundidade remove tudo exceto a dançarina. Um arquivo de anotação marca então quais intervalos de quadros pertencem a posturas e quais a movimentos. Na prática, um vídeo longo é dividido em intervalos: um contém uma forma reconhecível, enquanto outro captura membros ou o peso em mudança. A ordem importa porque um Adavu é definido por essa lista ordenada de imobilidades e transições.

Um segmento de postura geralmente contém vários quadros quase idênticos, de modo que qualquer um deles pode representar a mesma pose mantida. Isso cria uma pequena escolha em cada parada da dança. Se um segmento tem dez quadros utilizáveis, o construtor da sequência pode escolher diferentes representantes sem alterar o Adavu subjacente. O número de sequências alternadas possíveis é limitado pelo segmento de postura mais curto naquele Adavu, pois cada segmento deve contribuir com pelo menos um quadro representante. A primeira postura de prontidão, antes do início da dança, é excluída da lista para que a sequência comece com o padrão real de movimento e não com uma posição inicial neutra.

Os movimentos também são tratados como categorias separadas, mas apenas quando há evidência gravada suficiente. Classes com menos de 12 amostras ficam de fora para evitar treinar com dados insuficientes. Com essa regra, 54 classes de movimento permanecem utilizáveis das 334 no total. Esse limite é importante porque os movimentos da dança variam em duração e muitos são fáceis de confundir. Ao manter apenas as classes de movimento melhor sustentadas, o sistema constrói um inventário mais limpo de passos antes de tentar lê-los.

Ler as posturas estáticas em um único quadro

Uma dançarina de Bharatanatyam pode segurar uma pose por vários quadros, e o sistema considera qualquer um desses instantes estáticos suficiente para identificar a postura. Antes da classificação, cada quadro do vídeo é convertido em escala de cinza, enquanto as informações de profundidade fornecidas pelo Kinect eliminam tudo que fica atrás da performer, deixando apenas o corpo visível. A rede neural analisa essa imagem limpa diretamente, sem precisar de uma sequência de quadros ou de um rastreador de esqueleto separado.

O classificador é intencionalmente pequeno em comparação com grandes modelos de imagem de uso geral. Ele possui duas camadas convolucionais, a primeira com 32 canais e a segunda com 64, seguidas por três camadas totalmente conectadas. A normalização de camada, o max pooling, o dropout e as ativações Leaky ReLU ajudam a rede a aprender características estáveis, ao mesmo tempo em que reduzem a probabilidade de alguns neurônios deixarem de responder. O treinamento para após 15 épocas porque a precisão começou a sofrer overfitting além desse ponto. A camada softmax final produz uma pontuação para cada uma das 182 classes de postura, de modo que cada quadro é avaliado em relação ao conjunto completo de posturas-chave estáticas, e não apenas a um punhado de exemplos.

No conjunto de teste, a rede acertou 8.895 dos 8.943 quadros, uma precisão de 99,46 por cento. Isso significa que quase todos os quadros representativos foram atribuídos à postura correta. Quinze classes foram reconhecidas perfeitamente e a maioria das outras obteve pontuação acima de 95 por cento. Os erros são principalmente gêmeos visuais. Duas posturas em pé diferem apenas se o pé está plano ou levantado na ponta dos pés. Um desses pares atingiu cerca de 57 por cento de precisão porque seis quadros de teste foram trocados com seu semelhante visual. Uma pequena extensão da perna direita pode se assemelhar a uma postura de joelho dobrado, e quando o Kinect não detecta a elevação da mão, essa postura pode se aproximar de outra classe.

Seguindo os movimentos quando o figurino cobre o corpo

Quando um trecho do vídeo é identificado como movimento, o desafio passa a ser determinar qual dos movimentos nomeados do Bharatanatyam ele representa. Essa etapa é mais complexa do que classificar uma pose estática: enquanto o corpo da dançarina muda de forma continuamente, saia, mangas e joias podem cobrir grandes partes dos membros. Por isso, o processo de reconhecimento não tenta rastrear cada articulação ao longo do tempo. Em vez disso, ele constrói uma única imagem resumo para cada segmento em movimento.

Esse resumo, conhecido como imagem de histórico de movimento, começa vazio e se preenche conforme a dançarina se move. Para cada novo quadro, o sistema localiza o contorno da dançarina e o compara com o do quadro anterior. A diferença entre esses dois contornos é somada à imagem acumulativa. Ao final do processamento do segmento, as áreas alteradas indicam onde o corpo se deslocou, enquanto as regiões vazias marcam os pontos que permaneceram imóveis.

Antes da classificação, essa imagem grande é reduzida de 480 por 640 pixels para 120 por 160 pixels. A versão menor é então convertida em uma longa lista de números que descreve a direção e a intensidade das bordas em diferentes partes da imagem. Essa lista contém 9.576 valores, e uma máquina vetorial de suporte (SVM) usa esses dados para escolher o rótulo de movimento mais provável.

Como muitos movimentos de dança aparecem raramente nas gravações, o fluxo de trabalho mantém apenas aqueles com pelo menos doze exemplos. Essa regra deixa 54 classes de movimento utilizáveis entre um total de 334. Com esse conjunto menor, o classificador atingiu cerca de 84% de precisão geral. Os erros se distribuíram de forma esparsa pelas classes: vinte e duas foram reconhecidas perfeitamente, vinte tiveram um único erro e doze registraram dois ou três erros.

Quando o requisito foi elevado para pelo menos vinte e cinco exemplos por classe, apenas doze classes de movimento permaneceram, mas a precisão subiu para 95,58%. Esse salto mostra que o principal limite não é um classificador fraco. É a pequena quantidade de material de treinamento disponível para muitos movimentos.

Os erros mais reveladores vêm das partes do corpo que o figurino pode esconder ou tornar difusas. Um movimento de subir e descer pode ser confundido com uma mudança de peso somada a uma batida de pé, especialmente quando as pernas estão cobertas por tecido. Versões espelhadas de movimentos semelhantes também podem ser trocadas quando a câmera vê apenas um lado do corpo. Uma meia-volta ao redor do tronco nem sempre é capturada bem na imagem resumo, podendo parecer uma simples batida de pé. Mudanças muito pequenas do calcanhar para a ponta são quase invisíveis, a menos que as mãos se movam ligeiramente.

Comparando a sequência completa para identificar o adavu

Um adavu do Bharatanatyam é mais do que um conjunto de poses bonitas. Trata-se de um padrão ordenado em que as posturas-chave estáticas e os movimentos que as ligam se alternam. Para identificar o adavu, o sistema não verifica se um quadro isolado lembra uma pose conhecida ou se um trecho parece com um movimento específico. Ele constrói a sequência completa de rótulos a partir do vídeo e compara essa lista com os padrões armazenados dos adavus candidatos.

Cada postura e movimento previstos viram um item nessa lista. A comparação utiliza a distância de edição, que mede quantas substituições, inserções ou exclusões seriam necessárias para transformar uma sequência em outra. Se a lista prevista estiver próxima de um padrão armazenado, esse é o adavu identificado. Em testes com 1.645 sequências, essa correspondência da dança inteira atingiu 98% de precisão. O resultado é significativo porque os rótulos individuais dos movimentos eram menos confiáveis, em torno de 84%, mas a sequência mais longa ainda apontava para a unidade coreográfica correta na maior parte do tempo.

O sistema também precisa lidar com uma pequena ambiguidade dentro de cada segmento de postura. Uma pose estática pode durar vários quadros, e qualquer um deles pode representar essa pose. Como consequência, um único vídeo pode gerar mais de uma lista alternada plausível. O número de candidatos é limitado pelo segmento de postura mais curto do adavu, o que mantém a busca gerenciável. A postura inicial de prontidão, anterior ao início da dança, é excluída porque pertence à preparação e não ao padrão nomeado.

Essa abordagem baseada em sequências explica por que adicionar movimentos altera o resultado. Sistemas anteriores, que usavam apenas posturas, obtiveram 77,51% no mesmo conjunto de testes. Os erros concentraram-se em uma família de adavus cuja ordem das posturas era idêntica, muitas vezes uma única pose repetida. As posturas sozinhas não conseguiam separar essas variações. Quando as duas famílias de uma comparação anterior foram testadas separadamente, a precisão chegou a 100%, o que mostra que os erros restantes vinham de listas de posturas genuinamente indistinguíveis e não de uma leitura fraca das imagens.

Uma dança se torna uma sequência legível

O principal avanço é que o Bharatanatyam passa a ser reconhecido como uma performance ordenada, e não apenas como um conjunto de imagens isoladas. A câmera capta a dançarina. Os quadros estáticos são lidos para identificar as posturas. Os segmentos em movimento são comprimidos em históricos de movimento. E os rótulos resultantes são comparados com padrões conhecidos de Adavus. Quando a ordem completa coincide o suficiente, a dança recebe seu nome. O reconhecimento da dança inteira atinge 98% de precisão em grande parte do repertório padrão, um resultado impressionante porque classificar movimentos individuais é mais difícil do que identificar posturas congeladas.

A promessa mais ampla envolve preservação e ensino. Uma biblioteca de Adavus gravados pode se tornar um arquivo pesquisável, onde os alunos comparam seu próprio movimento com sequências canônicas e os professores apontam desvios específicos. O método também sugere que outras danças clássicas possam ser tratadas da mesma forma, desde que existam exemplos rotulados suficientes. Isso transformaria a performance visual em dados que podem ser estudados, corrigidos e transmitidos sem depender apenas da memória.

Os obstáculos são igualmente claros. Muitos movimentos aparecem com pouca frequência para um treinamento confiável. Os figurinos escondem partes do corpo. E algumas posturas diferem por uma posição do pé ou ângulo da mão que os sensores não captam. A configuração atual também depende de condições de gravação controladas, e o desempenho em tempo real ainda não foi detalhado. Seriam necessários mais dados, um melhor tratamento de oclusões e inferências mais rápidas antes que essas ferramentas saíssem do laboratório para a sala de aula.

Se uma dança pode ser lida como uma sequência, o que mais poderia se tornar legível para as máquinas?