Transmissão ao vivo de patinação pode exigir apenas quilobytes se enviar esqueletos e ângulos de câmera em vez de quadros de vídeo

Por que o vídeo comum insiste em retransmitir a arena estática

Na tela, a arena parece quase imóvel, mas o vídeo comum continua pagando por ela quadro após quadro. Cada imagem transporta o gelo, as laterais, os assentos e as luzes, mesmo quando nada ali mudou. Esse hábito vem dos codecs que tratam cada pixel como se pudesse ser uma nova informação no próximo quadro. Em uma transmissão de patinação, a parte em movimento é frequentemente uma única pessoa sobre uma grande superfície estática de gelo. O resto da cena se repete, mas o codificador ainda gasta bits descrevendo-a sem parar. Múltiplas câmeras podem piorar esse desperdício porque mostram a mesma arena por diferentes lados durante um único evento. Um modelo 3D compartilhado do local remove aquele fundo repetido da transmissão ao vivo antes de a reprodução começar. Uma vez que os clientes já tenham a pista, o transmissor pode parar de descrever suas paredes e seu gelo em cada quadro. Em vez disso, o fluxo transporta apenas o que muda: posição do patinador, pose corporal e ângulo da câmera para cada momento. Trata-se de um pequeno conjunto de números, não de uma imagem completa da arena ou de seus arredores. A ideia é enviar estrutura, não cenário, para que a rede possa focar em movimento e significado. Para uma arena congelada, essa distinção altera o que conta como dados de vídeo úteis em uma transmissão ao vivo. Isso também torna o fluxo menos dependente da fidelidade pixel a pixel nas partes que nunca se movem. O espectador ainda vê uma transmissão completa, mas o fundo repetido é fornecido por um modelo em vez de ser recodificado. A economia de espaço vem do reconhecimento de que uma arena pode ser conhecida antecipadamente e reutilizada muitas vezes. Apenas a ação ao vivo precisa viajar pela rede como informação nova, enquanto o local permanece fixo.

O patinador reduzido a dezessete números e um ângulo de câmera

Em vez de transmitir uma imagem em movimento, o sistema envia uma lista curta de pontos corporais para cada patinador. Cada quadro carrega dezessete marcos esqueléticos que indicam articulações e membros. Uma caixa delimitadora também viaja com eles, fornecendo um contorno aproximado da posição da pessoa no gelo. O ângulo da câmera é reduzido a sete números em vez de doze, fixando como a pista deve ser vista.

Esses valores são pequenos o suficiente para caber em formatos numéricos compactos. Em alta definição, as coordenadas do corpo podem ficar em inteiros de cerca de onze bits, enquanto versões em 4K precisam de cerca de doze bits. Os valores da câmera usam números de ponto flutuante padrão, o que mantém a perspectiva compacta sem perder precisão. O resultado é um fluxo feito de estrutura e não de pixels.

Enviar recortes da imagem do patinador pareceria mais simples, mas os tamanhos dos recortes mudam conforme o corpo se move e gira. Preencher cada recorte até um tamanho fixo desperdiça largura de banda. Enviar cada recorte como seu próprio fluxo de imagens também perde a compressão entre quadros. O esqueleto, portanto, atua como um substituto estruturado mínimo para os pixels.

Em um clipe de cinquenta segundos, o fluxo continha cerca de 64 quilobytes do movimento da pose do patinador. Também continha menos de 4 quilobytes das caixas delimitadoras e cerca de 42 quilobytes dos pontos de vista da câmera. O teste usou vídeo em 1080p a trinta quadros por segundo. Esses números mostram por que a transmissão pode encolher tanto abaixo do vídeo codificado comum.

O computador do espectador assume o papel de estúdio

No exemplo da patinação, o GenStream envia ao espectador apenas um pequeno conjunto de números que descrevem a cena. O fundo não é reenviado como pixels em cada quadro. O usuário já possui um modelo tridimensional pronto do local. O servidor transmite as posições das articulações, os contornos e os ângulos da câmera para cada instante. Na máquina do espectador, um gerador de inteligência artificial transforma esses pontos em um corpo completo, que é então posicionado dentro do modelo 3D da pista. O ângulo da câmera definido determina a perspectiva de onde o patinador será visto. Essa etapa local de renderização faz com que o computador atue como um estúdio: ele precisa construir um corpo plausível e integrá-lo à cena, tarefa que exige mais processamento do que simplesmente decodificar um arquivo de vídeo comum. Enquanto os codecs tradicionais enviam imagens prontas, este design envia instruções para reconstruí-las. O dispositivo do espectador torna-se o local onde os pixels são finalmente criados. Como o resultado pode ser renderizado em diferentes níveis de qualidade conforme a capacidade do aparelho, uma máquina mais rápida exibe um patinador mais nítido, enquanto uma mais lenta mostra uma versão simplificada. Assim, o estúdio deixa de ser apenas o caminhão de transmissão fora da arena e passa a existir parcialmente dentro do próprio computador do espectador. Essa mudança redefine o que uma transmissão ao vivo precisa transportar e altera onde se concentra a carga criativa e técnica.

A patinação olímpica mostra o quão pequena a transmissão pode ficar

No teste com patinação olímpica, comparou-se um clipe de cinquenta segundos de patinação artística a um arquivo de vídeo em alta definição convencional. O material original rodava em 1080p, a trinta quadros por segundo, durante cerca de cinquenta segundos. Codificado em HEVC, o arquivo ocupava aproximadamente 134 megabytes. Já o fluxo contínuo gerado pelo GenStream exigiu apenas cerca de 110 quilobytes para exibir a mesma ação na tela. Isso representa uma redução superior a 99,9% na taxa de dados que precisa trafegar durante a reprodução.

A diferença reside no fato de que, após o espectador já possuir os elementos básicos necessários para construir a cena, o sistema envia apenas as variações. Assume-se que o modelo da pista e o software utilizado para reconstruir figuras humanas estejam disponíveis antes do início da transmissão. Com esses recursos prontos, cada quadro deixa de exigir uma imagem completa composta por milhões de pixels. Em vez disso, o sistema transmite informações compactas sobre o atleta em movimento e a posição da câmera. No exemplo da patinação, a maior parte dessa pequena carga descrevia como o patinador se movia ao longo do tempo. Uma fração menor indicava onde ele aparecia no quadro, e outra parte trazia o ponto de vista necessário para posicionar a cena corretamente na tela do espectador.

O tamanho é fácil de subestimar até ser colocado lado a lado com um vídeo comum. Cento e trinta e quatro megabytes podem conter uma longa sequência de imagens em alta definição, enquanto 110 quilobytes equivale à quantidade usada por uma troca curta de mensagens de texto ou pela miniatura de uma pequena imagem. O teste de patinação demonstra, portanto, que a imagem esportiva ao vivo pode não precisar ser transmitida como uma fotografia completa em movimento. Se o fundo já é conhecido e apenas algumas pessoas estão mudando, o conteúdo essencial pode encolher de megabytes por minuto para quilobytes por segundo.

Entre a demonstração e a transmissão ao vivo

Uma transmissão ao vivo teria de aguentar condições que um clipe de laboratório não enfrenta. O protótipo atual foi testado em quatro apresentações de patinação artística dos Jogos Olímpicos de Pyeongchang 2018, somando mais de 40.000 quadros distribuídos em 48 clipes curtos. Todos esses clipes compartilham a mesma pista, uma plateia majoritariamente parada e um único patinador se movendo pelo centro do gelo. Esse cenário restrito facilita a leitura dos resultados, mas deixa em aberto a questão de saber se o método funcionaria em uma partida de futebol, um concerto ou um palco lotado.

O maior obstáculo é a velocidade. Um processo cuidadoso em duas etapas primeiro detecta cada pessoa e depois constrói uma máscara precisa, mas essa segunda etapa é lenta demais para uso ao vivo. Um método mais rápido, de passagem única, consegue acompanhar o processamento em tempo real, porém sua saída é menos estável. Até que essas duas necessidades sejam conciliadas, um transmissor teria de escolher entre perder a ação e arriscar uma imagem instável.

O trabalho com as câmeras é outra ponta inacabada. A demonstração consegue estimar para onde a lente estava apontando, mas essa parte do fluxo ainda produz incompatibilidades geométricas quando transferida para o motor de renderização. Uma rota usa um mapa 3D pré-construído da arena e tenta corresponder os quadros ao vivo a ele. Outra otimiza a câmera diretamente contra uma cena renderizada, o que é caro demais para cada quadro em uma transmissão ao vivo. A solução provisória atual resolve completamente apenas o primeiro quadro e depois rastreia pequenas mudanças de um quadro para o próximo.

O modelo de fundo também importa. No teste, a pista de gelo foi construída manualmente em um motor de jogo, com linhas, iluminação e reflexos ajustados para corresponder às imagens da transmissão. Um evento ao vivo precisaria de tal modelo antes do início do show, ou ele teria de ser criado rapidamente a partir dos recursos dos organizadores e de filmagens anteriores. Isso não é impossível, mas adiciona trabalho de preparação que o streaming comum não exige.

O lado do espectador traz sua própria restrição. O protótipo precisa de uma placa de vídeo potente para construir figuras em movimento e compô-las na cena, e esse hardware não é típico em celulares ou smart TVs. Se o método for chegar às salas de estar comuns, ele deve rodar com modelos mais leves, cálculos comprimidos ou parte do trabalho transferida para servidores próximos. Sem essa etapa, as economias em largura de banda seriam anuladas por dispositivos que não conseguem acompanhar.

Há também questões de qualidade que não foram resolvidas apenas pelos números. As métricas padrão de vídeo podem pontuar a imagem reconstruída mais baixo porque ela não corresponde a cada pixel da transmissão original. O conteúdo semântico pode permanecer claro para reprises, análises ou visualização com baixa largura de banda, mas ainda é necessário um teste perceptual formal. O sistema deveria ser mais tolerante a quadros perdidos e jitter, pois o detalhe ausente pode ser regenerado, mas essa vantagem não foi avaliada sob estresse real da rede.

Juntas, essas lacunas definem a distância entre uma prova de conceito e um serviço em que um transmissor poderia confiar. A ideia explica por que o vídeo comum desperdiça largura de banda em arenas estáveis e pixels repetidos. O que resta é o trabalho sem glamour de tornar cada etapa rápida, robusta e utilizável nos dispositivos que as pessoas realmente possuem.

Uma transmissão mais leve, um dispositivo mais exigente

O teste com patinação sugere um novo modelo para o vídeo ao vivo. Em vez de enviar cada pixel pela rede, o sistema transmite uma descrição breve do que está em movimento e deixa a tela do espectador reconstruir a imagem. Essa mudança pode tornar as transmissões muito mais baratas de distribuir, especialmente quando um único artista se desloca por uma arena grande e estável. Ela também abre possibilidades que os fluxos comuns não oferecem: replays de ângulos que nenhuma câmera registrou, versões adaptadas a diferentes dispositivos ou destaques montados com base em dados semânticos, em vez de gravações armazenadas.

A promessa é concreta, mas depende de uma troca desigual. A rede ganha folga enquanto o aparelho do espectador assume mais trabalho. Um celular ou TV inteligente precisa gerar um corpo crível, posicioná-lo em um local 3D e manter o resultado suave o suficiente para a visualização ao vivo. Hoje, essa tarefa exige poder gráfico considerável, de modo que as economias ainda não estão disponíveis para os dispositivos que a maioria das pessoas realmente usa. A mesma cautela vale além das pistas de gelo. Multidões, artistas sobrepostos, iluminação em mudança e locais desconhecidos testarão se o método pode ser generalizado sem perder plausibilidade ou velocidade.

Se esses obstáculos diminuírem, a transmissão semântica poderia mudar o que uma transmissão é permitida ser. Ela se tornaria menos como uma gravação fixa e mais como uma cena compartilhada na qual cada espectador pode entrar de forma diferente. A pergunta mais difícil é se as audiências aceitarão uma imagem construída por inferência quando os pixels originais deixarem de ser enviados por completo.