Una retransmisión en directo de patinaje podría requerir solo unos pocos kilobytes si envía esqueletos y ángulos de cámara en lugar de fotogramas de vídeo

¿Por qué se vuelve a enviar una pista que no cambia?

Una pista estática parece inmóvil en pantalla, pero el vídeo convencional sigue pagando por ella una y otra vez. Cada fotograma incluye el hielo, las vallas, los asientos y las luces, aunque nada haya cambiado allí. Ese hábito nace de códecs que tratan cada píxel como si pudiera contener información nueva en el siguiente cuadro. En una retransmisión de patinaje, la parte móvil suele ser una sola persona sobre una gran superficie de hielo fija. El resto de la escena se repite, pero el codificador sigue gastando bits describiéndola fotograma tras fotograma. Varias cámaras pueden empeorar este desperdicio al mostrar la misma pista desde distintos ángulos durante un mismo evento. Un modelo 3D compartido del recinto elimina ese fondo repetido de la transmisión en directo antes de que comience la reproducción. Una vez que los clientes ya tienen la pista, el emisor puede dejar de describir sus muros y su hielo en cada fotograma. En cambio, la transmisión solo lleva lo que cambia: la posición del patinador, su postura corporal y el ángulo de cámara para cada momento. Se trata de un pequeño conjunto de números, no de una imagen completa de la pista o de sus alrededores. La idea es enviar estructura, no paisaje, para que la red pueda centrarse en el movimiento y el significado. Para una pista estática, esa distinción cambia lo que se considera datos útiles de vídeo en una transmisión en directo. También hace que la transmisión dependa menos de la fidelidad píxel a píxel en las partes que nunca se mueven. El espectador sigue viendo una retransmisión completa, pero el fondo repetido se suministra desde un modelo en lugar de recodificarse. El espacio ahorrado proviene de reconocer que una pista puede conocerse con antelación y reutilizarse muchas veces. Solo la acción en directo necesita viajar a través de la red como información nueva mientras el recinto permanece fijo.

El patinador, reducido a diecisiete números y un ángulo de cámara

En lugar de transmitir una imagen en movimiento, el sistema envía para cada patinador una lista breve de puntos corporales. Cada fotograma incluye diecisiete hitos esqueléticos que marcan las articulaciones y los extremidades. Un recuadro delimitador viaja junto a ellos, trazando un contorno aproximado de la posición de la persona sobre el hielo. El ángulo de cámara se reduce a siete números en vez de doce, lo que fija cómo debe verse la pista.

Estos valores son tan pequeños que caben en formatos numéricos compactos. En alta definición, las coordenadas corporales pueden almacenarse en enteros de unos once bits, mientras que las versiones en 4K requieren unos doce bits. Los datos de cámara utilizan números de coma flotante estándar, lo que mantiene el punto de vista compacto sin perder precisión. El resultado es un flujo compuesto por estructura y no por píxeles.

Enviar recortes de la imagen del patinador parecería más sencillo, pero el tamaño del recorte cambia a medida que el cuerpo se mueve y gira. Rellenar cada recorte hasta un tamaño fijo desperdicia ancho de banda. Además, enviar cada recorte como su propio flujo de imágenes impide aprovechar la compresión entre fotogramas. Por ello, el esqueleto actúa como un sustituto estructural mínimo de los píxeles.

En un clip de cincuenta segundos, el flujo contenía unos 64 kilobytes del movimiento de la postura del patinador. También incluía menos de 4 kilobytes de recuadros delimitadores y unos 42 kilobytes de puntos de vista de cámara. La prueba utilizó vídeo en 1080p a treinta fotogramas por segundo. Estas cifras explican por qué la emisión puede reducirse tan drásticamente respecto al vídeo codificado convencional.

El ordenador del espectador se convierte en el estudio

En el caso del patinaje, GenStream envía al espectador un conjunto reducido de datos sobre la escena. El fondo no se reenvía como píxeles en cada fotograma. El usuario ya dispone de un modelo tridimensional previo del recinto. El servidor transmite las posiciones de las articulaciones, los recuadros de contorno y los ángulos de cámara para cada cuadro. En el dispositivo del espectador, un generador de inteligencia artificial convierte esos puntos en una figura corporal completa, que luego se sitúa dentro del modelo 3D de la pista. El ángulo de cámara determina desde dónde ve el espectador al patinador. Este paso de renderizado local es lo que hace que la computadora actúe como un estudio: debe construir un cuerpo verosímil e integrarlo en la escena, una tarea más compleja que simplemente decodificar un archivo de vídeo convencional. Mientras los códecs habituales envían imágenes terminadas, este diseño transmite instrucciones para reconstruirlas, convirtiendo el dispositivo del espectador en el lugar donde se crean finalmente los píxeles. El resultado puede renderizarse a distintos niveles de calidad según el equipo: una máquina más rápida mostrará un patinador más nítido, mientras que una más lenta presentará uno más simple. Así, el estudio ya no es solo el camión de emisión fuera del recinto, sino que reside en parte dentro de la propia computadora del espectador. Este cambio modifica lo que debe transportar una transmisión en directo y redefine dónde se sitúa la carga creativa y técnica.

Así de pequeño puede llegar a ser el flujo de datos en una retransmisión olímpica

En la prueba con patinaje olímpico, se comparó un fragmento de cincuenta segundos de patinaje artístico con un archivo de vídeo convencional en alta definición. El material original funcionaba a 1080p y treinta cuadros por segundo durante unos cincuenta segundos. Codificado en HEVC, ocupaba aproximadamente 134 megabytes. En cambio, el flujo continuo generado por GenStream solo necesitó unos 110 kilobytes mientras la misma acción se reproducía en pantalla. Eso supone una reducción de más del 99,9 % en la tasa de datos que debe mantenerse activa durante la reproducción.

La diferencia radica en lo que se envía una vez que el espectador ya dispone de los elementos básicos para construir la escena. Se parte de la base de que el modelo de la pista y el software necesario para reconstruir las figuras humanas están disponibles antes de iniciar la transmisión. Con esos recursos listos, cada cuadro deja de necesitar una imagen completa compuesta por millones de píxeles. El sistema transmite únicamente información compacta sobre el movimiento del deportista y la posición de la cámara. En el caso del patinaje, la mayor parte de esa pequeña carga describía cómo se desplazaba el patinador a lo largo del tiempo. Una fracción menor indicaba su ubicación en el cuadro, y otra transmitía el punto de vista necesario para situar correctamente la escena en la pantalla del espectador.

Es fácil pasar por alto este tamaño hasta que se compara con el vídeo convencional. 134 megabytes pueden contener un tramo largo de metraje en alta definición, mientras que 110 kilobytes equivale a lo que ocupa un breve intercambio de mensajes o una pequeña miniatura de imagen. La prueba demuestra así que la imagen deportiva en directo no necesita transportarse como una fotografía completa en movimiento. Si el fondo es conocido y solo unas pocas personas cambian, el contenido esencial puede reducirse de megabytes por minuto a kilobytes por segundo.

Entre la demostración y la retransmisión en directo

Una emisión en directo tendría que aguantar condiciones a las que no se enfrenta un clip de laboratorio. El prototipo actual se ha probado con cuatro actuaciones de patinaje artístico de los Juegos Olímpicos de Pyeongchang 2018, más de 40 000 fotogramas en total repartidos en 48 clips cortos. Esos clips comparten una misma pista, espectadores mayoritariamente inmóviles y un único patinador que se desplaza por el centro del hielo. Ese entorno estrecho facilita la interpretación del resultado, pero deja abierta la cuestión de si el método aguantaría en un partido de fútbol, un concierto o un escenario abarrotado.

El obstáculo principal es la velocidad. Un proceso cuidadoso de dos etapas primero detecta a cada persona y luego construye una máscara precisa, pero esa segunda etapa es demasiado lenta para su uso en directo. Un método más rápido de un solo paso puede mantenerse al ritmo del procesamiento en tiempo real, aunque su resultado es menos estable. Hasta que se concilien esas dos necesidades, un emisor tendría que elegir entre perder la acción o arriesgarse a una imagen inestable.

El trabajo con las cámaras es otro frente inacabado. La demostración puede estimar hacia dónde apuntaba el objetivo, pero esa parte del flujo de trabajo sigue produciendo discrepancias geométricas al trasladarla al motor de renderizado. Una vía utiliza un mapa 3D preelaborado del recinto e intenta ajustar los fotogramas en directo a él. Otra optimiza la cámara directamente frente a una escena renderizada, lo cual resulta demasiado costoso para cada fotograma de una emisión en directo. La solución provisional actual solo resuelve por completo el primer fotograma y luego rastrea pequeños cambios de un fotograma al siguiente.

El modelo de fondo también importa. En la prueba, la pista de hielo se construyó a mano en un motor de videojuegos, ajustando líneas, iluminación y reflejos para que coincidieran con las imágenes de la emisión. Un evento en directo necesitaría ese modelo antes de que comience el espectáculo, o bien tendría que crearse rápidamente a partir de los recursos del organizador y grabaciones anteriores. No es imposible, pero añade trabajo preparatorio que el streaming ordinario no requiere.

El lado del espectador trae su propia restricción. El prototipo necesita una tarjeta gráfica potente para construir figuras en movimiento y componerlas en la escena, y ese hardware no es habitual en teléfonos móviles o televisores inteligentes. Si el método ha de llegar a los salones domésticos corrientes, debe funcionar con modelos más ligeros, cálculos comprimidos o trasladando parte del trabajo a servidores cercanos. Sin ese paso, los ahorros en ancho de banda se verían compensados por dispositivos que no pueden seguirle el ritmo.

También hay cuestiones de calidad que no han sido resueltas solo con números. Las métricas estándar de vídeo podrían puntuar más bajo la imagen reconstruida porque no coincide con cada píxel de la emisión original. El contenido semántico podría mantenerse claro para repeticiones, análisis o visualización con ancho de banda reducido, pero aún se necesita una prueba perceptual formal. El sistema debería ser más tolerante a los fotogramas perdidos y al jitter, ya que el detalle faltante puede regenerarse, pero esa ventaja no ha sido evaluada bajo estrés real de red.

Tomados en conjunto, estos vacíos definen la distancia entre una demostración de concepto y un servicio en el que un emisor pueda confiar. La idea explica por qué el vídeo ordinario desperdicia ancho de banda en estadios estables y píxeles repetidos. Lo que queda es el trabajo poco glamoroso de hacer cada etapa rápida, robusta y utilizable en los dispositivos que la gente realmente posee.

Un flujo más ligero, una carga mayor para el dispositivo

La prueba de patinaje sugiere un nuevo modelo para el vídeo en directo. En lugar de enviar cada píxel a través de la red, el sistema transmite una descripción breve de lo que se mueve y deja que cada pantalla reconstruya la imagen. Este cambio puede abaratar mucho las emisiones, sobre todo cuando un solo intérprete se desplaza por una gran arena estable. Además, abre posibilidades que los flujos ordinarios no ofrecen: repeticiones desde ángulos que ninguna cámara captó, versiones adaptadas a distintos dispositivos o resúmenes montados con datos semánticos en lugar de grabaciones almacenadas.

La promesa es real, pero se basa en un intercambio desigual. La red descansa mientras la máquina del espectador asume más trabajo. Un teléfono o una televisión inteligente debe generar un cuerpo creíble, situarlo en un recinto tridimensional y mantener el resultado lo bastante fluido para la visualización en directo. Hoy esa tarea exige un poder gráfico considerable, de modo que los ahorros aún no están al alcance de los dispositivos que la mayoría de las personas usa realmente. La misma cautela aplica más allá de las pistas de hielo. Multitudes, intérpretes superpuestos, iluminación cambiante y recintos desconocidos pondrán a prueba si el método puede generalizarse sin perder verosimilitud ni velocidad.

Si esos obstáculos se reducen, la transmisión semántica podría cambiar lo que una emisión está permitida ser. Dejaría de parecerse tanto a una grabación fija para asemejarse más a una escena compartida en la que cada espectador puede entrar de manera distinta. La pregunta más difícil es si las audiencias aceptarán una imagen construida por inferencia cuando los píxeles originales ya no se envíen en absoluto.