Una fotocamera a profondità distingue le danze Bharatanatyam leggendo insieme posture e movimento

Come una danza viene scomposta in pose e passi

Il Bharatanatyam è costruito su unità piccole e ripetibili chiamate Adavus, e ogni unità ha un ritmo rigoroso di stasi e spostamento. Un danzatore tiene ferma una postura chiave, attraversa un movimento di collegamento, si assesta in un’altra postura, poi si sposta ancora. La pipeline di riconoscimento inizia trasformando quell’esecuzione nello stesso tipo di elenco. Dopo aver rimosso le registrazioni errate o incomplete, l’insieme di dati contiene 13 tipi di Adavu e 51 varianti, tratti da un insieme più ampio di 15 tipi e 58 varianti. Usa anche 182 classi di posture chiave, cioè le forme stazionarie nominate che possono comparire nella danza.

Ogni video viene prima ridotto a fotogrammi in scala di grigi, e una maschera basata sulla profondità rimuove tutto tranne il danzatore. Un file di annotazione indica poi quali intervalli di fotogrammi appartengono alle posture e quali ai movimenti. In pratica, un video lungo viene tagliato in intervalli. Un intervallo contiene una forma riconoscibile, mentre un altro cattura arti o peso in cambiamento. L’ordine conta perché un Adavu è definito da quell’elenco ordinato di stasi e transizioni.

Un segmento di postura contiene di solito diversi fotogrammi quasi identici, quindi qualsiasi fotogramma può rappresentare la stessa posa tenuta ferma. Questo crea una piccola scelta a ogni fermata della danza. Se un segmento ha dieci fotogrammi utilizzabili, il costruttore di sequenze può scegliere rappresentanti diversi senza cambiare l’Adavu sottostante. Il numero di possibili sequenze alternate è limitato dal segmento di postura più corto in quell’Adavu, perché ogni segmento deve contribuire almeno con un fotogramma rappresentativo. La prima postura pronta prima dell’inizio della danza viene rimossa dall’elenco, così la sequenza inizia con il vero schema di movimento anziché con una posizione iniziale neutra.

I movimenti sono trattati anche come categorie separate, ma solo quando esiste abbastanza evidenza registrata per loro. Le classi con meno di 12 campioni vengono messe da parte per evitare l’addestramento su dati troppo pochi. Con quella regola in atto, restano utilizzabili 54 classi di movimento su un totale di 334. Questa soglia conta perché i movimenti danzati variano in lunghezza e molti sono facili da confondere. Tenendo solo le classi di movimento meglio supportate, il sistema costruisce un inventario più pulito dei passi prima di provare a leggerli.

Leggere le posture stazionarie dai singoli fotogrammi

Un danzatore Bharatanatyam può tenere ferma una posa per diversi fotogrammi, e il sistema tratta uno qualsiasi di quei momenti fermi come sufficiente a dare il nome alla postura. Prima della classificazione, ogni fotogramma video viene trasformato in scala di grigi, mentre le informazioni di profondità del Kinect rimuovono tutto dietro l’esecutore così che resti in vista solo il corpo. La rete guarda poi direttamente questa immagine pulita, senza bisogno di una sequenza di fotogrammi o di un tracciatore di scheletro separato.

Il classificatore è deliberatamente piccolo rispetto ai grandi modelli di immagini a uso generale. Ha due strati convoluzionali, prima con 32 canali e poi con 64, seguiti da tre strati completamente connessi. La normalizzazione per livello, il pooling massimo, il dropout e le attivazioni Leaky ReLU aiutano la rete a imparare caratteristiche stabili riducendo la probabilità che alcuni neuroni smettano di rispondere. L’addestramento si ferma dopo 15 epoche perché oltre quel punto l’accuratezza inizia a overfitting. Lo strato softmax finale produce un punteggio per ciascuna delle 182 classi di postura, così ogni fotogramma viene giudicato rispetto all’intero insieme di posture chiave stazionarie anziché a una manciata di esempi.

Sull’insieme di test, la rete ottiene 8895 fotogrammi corretti su 8943, un’accuratezza del 99.46 percento. Questo significa che quasi ogni singolo fotogramma rappresentativo viene assegnato alla postura giusta. Quindici classi vengono riconosciute perfettamente, e la maggior parte delle altre supera il 95 percento. I fallimenti sono soprattutto gemelli visivi. Due pose in piedi differiscono solo per il fatto che un piede è piatto o sollevato sulle punte. Una di quelle coppie raggiunge circa il 57 percento di accuratezza perché sei fotogrammi di test vengono scambiati con la sua somigliante. Un piccolo allungamento della gamba destra può assomigliare a una postura con ginocchio flesso, e quando il Kinect perde un sollevamento di mano, quella posa può scivolare verso un’altra classe.

Seguire i segmenti in movimento quando il costume nasconde il corpo

Quando una porzione di video è stata marcata come movimento, il compito è decidere quale movimento Bharatanatyam nominato contiene. Questa parte del problema è più difficile che dare il nome a una posa congelata perché il corpo del danzatore continua a cambiare forma mentre gonna, maniche e gioielli possono coprire ampie parti degli arti. Il processo di riconoscimento non prova quindi a seguire ogni giunto nel tempo. Invece costruisce un’immagine riassuntiva per ciascun segmento in movimento.

Il riassunto, chiamato immagine di storia del movimento, parte come un’immagine vuota e si riempie mentre il danzatore si muove. Per ogni nuovo fotogramma, il contorno del danzatore viene trovato e confrontato con il contorno del fotogramma precedente. La differenza tra quei due contorni viene aggiunta all’immagine in accumulo. Dopo che l’intero segmento è stato elaborato, le aree di cambiamento mostrano dove si è mosso il corpo, mentre le regioni vuote marcano i posti rimasti fermi.

Prima della classificazione, questa immagine grande viene ridotta da 480 per 640 pixel a 120 per 160 pixel. L’immagine più piccola viene poi trasformata in una lunga lista di numeri che descrive direzione e forza dei bordi nelle diverse parti dell’immagine. Quella lista ha 9576 valori, e una macchina a vettori di supporto li usa per scegliere l’etichetta di movimento più probabile.

Poiché molti movimenti danzati compaiono solo raramente nelle registrazioni, la pipeline tiene solo quelli con almeno dodici esempi. Quella regola lascia 54 classi di movimento utilizzabili su un totale di 334. Con quell’insieme più piccolo, il classificatore raggiunge circa l’84 percento di accuratezza complessiva. Gli errori sono distribuiti sottilmente tra le classi, perché ventidue classi di movimento vengono riconosciute perfettamente, venti hanno un singolo errore e dodici ne hanno due o tre.

Quando il requisito viene alzato ad almeno venticinque esempi per classe, restano solo dodici classi di movimento, ma l’accuratezza sale al 95.58 percento. Quel salto mostra che il limite principale non è un classificatore debole; è la piccola quantità di materiale di addestramento disponibile per molti movimenti.

Gli errori più rivelatori vengono dalle parti del corpo che un costume può nascondere o offuscare. Un movimento di salita e discesa può essere confuso con uno spostamento di peso più una battuta di piede, soprattutto quando le gambe sono coperte da tessuto. Le versioni speculari di movimenti simili possono anche essere scambiate quando la telecamera vede solo un lato del corpo. Mezza rotazione attorno al busto non viene sempre catturata bene nell’immagine riassuntiva, quindi può sembrare una semplice battuta di piede. I piccoli spostamenti tallone-punta sono quasi invisibili a meno che le mani non si muovano leggermente.

Abbattere la sequenza completa per nominare un adavu

Un adavu Bharatanatyam è più di una raccolta di pose belle. È uno schema ordinato in cui posture chiave stazionarie e movimenti tra loro si alternano. Per nominare l’adavu, il sistema non chiede se un fotogramma assomiglia a una posa nota o se un clip assomiglia a un movimento noto. Costruisce una sequenza completa di etichette dal video e confronta quella sequenza con gli schemi memorizzati per adavus candidati.

Ogni postura e movimento previsti diventano un elemento in questa lista. Il confronto usa la distanza di modifica, una misura di quante sostituzioni, inserzioni o cancellazioni sarebbero necessarie per trasformare una sequenza nell’altra. Se l’elenco previsto è vicino a uno schema memorizzato, quell’adavu vince. Nei test su 1645 sequenze, questo abbinamento dell’intera danza raggiunge il 98% di accuratezza. Quel risultato conta perché le etichette di movimento individuali erano meno affidabili, intorno all’84%, eppure la sequenza più lunga indicava comunque l’unità coreografica giusta nella maggior parte dei casi.

Il sistema deve anche gestire una piccola ambiguità dentro ciascun segmento di postura. Una posa stazionaria può durare per diversi fotogrammi, e qualsiasi fotogramma può rappresentare quella posa. Di conseguenza, un singolo video può produrre più di una lista alternata plausibile. Il numero di candidati è limitato dal segmento di postura più corto nell’adavu, così la ricerca resta gestibile. La postura iniziale pronta prima dell’inizio della danza viene esclusa, perché appartiene alla preparazione anziché allo schema nominato.

Questo approccio basato sulla sequenza spiega perché aggiungere i movimenti cambia l’esito. Sistemi precedenti che usavano solo le posture ottenevano il 77.51% sullo stesso insieme di test. I loro fallimenti erano concentrati in una famiglia di adavus con ordine delle posture identico, spesso una singola posa ripetuta. Le posture da sole non potevano separare quelle varianti. Quando le due famiglie di un confronto precedente venivano testate separatamente, l’accuratezza diventava 100%, il che mostra che gli errori rimanenti venivano da elenchi di posture davvero indistinguibili anziché da una lettura debole delle immagini.

Una danza diventa una sequenza leggibile

Il risultato più forte è che il Bharatanatyam può essere riconosciuto come un’esecuzione ordinata, anziché come una raccolta di immagini separate. Una telecamera cattura il danzatore, i fotogrammi fermi vengono letti per la postura, i segmenti in movimento vengono compressi in storie del movimento e le etichette risultanti vengono confrontate con gli schemi Adavu noti. Quando l’ordine completo corrisponde abbastanza da vicino, la danza riceve il suo nome. Il riconoscimento dell’intera danza raggiunge il 98 percento su una parte ampia del repertorio standard, un risultato impressionante perché i movimenti individuali sono più difficili da classificare delle posture congelate.

La promessa più ampia è conservazione e insegnamento. Una biblioteca di Adavus registrati può diventare un archivio ricercabile, dove gli studenti confrontano il proprio movimento con sequenze canoniche e gli insegnanti possono indicare deviazioni specifiche. Il metodo suggerisce anche che altre danze classiche potrebbero essere trattate nello stesso modo una volta che esistono abbastanza esempi etichettati. Questo trasformerebbe l’esecuzione visiva in dati che possono essere studiati, corretti e trasmessi senza affidarsi solo alla memoria.

Gli ostacoli sono altrettanto chiari. Molti movimenti compaiono troppo raramente per un addestramento affidabile, i costumi nascondono parti del corpo e alcune posture differiscono per una posizione di piede o un angolo di mano che i sensori perdono. L’impostazione attuale dipende anche da condizioni di registrazione controllate, e le prestazioni in termini di tempo non sono ancora state riportate nel dettaglio. Servirebbero più dati, una migliore gestione dell’occlusione e un’inferenza più veloce prima che strumenti simili passino dal laboratorio alla classe.

Se una danza può essere letta come sequenza, cosa altro potrebbe diventare leggibile alle macchine?