Un flux de patinage en direct peut ne nécessiter que des kilo-octets s'il envoie des squelettes et des angles de caméra, plutôt que des images vidéo

Pourquoi une arène figée est renvoyée sans cesse

Une arène figée semble presque immobile à l’écran, et pourtant la vidéo ordinaire continue de payer cette immobilité encore et encore. Chaque image porte la glace, les bandes, les sièges et les lumières, même quand rien n’a changé du tout. Cette habitude vient des codecs qui traitent chaque pixel comme s’il pouvait être une nouvelle information dans l’image suivante. Dans une diffusion de patinage, la partie mobile est souvent une seule personne sur une grande surface statique de glace. Le reste de la scène se répète, mais l’encodeur continue d’utiliser des bits pour le décrire image après image. Plusieurs caméras peuvent aggraver ce gaspillage parce qu’elles montrent la même arène par différents côtés pendant un même événement. Un modèle 3D partagé du lieu retire cet arrière-plan répété du flux en direct avant le début de la lecture. Une fois que les clients ont déjà l’arène, l’émetteur peut cesser de décrire ses murs et sa glace dans chaque image. Le flux ne porte alors que ce qui change : position du patineur, pose du corps et angle de caméra pour chaque instant. C’est un petit ensemble de nombres plutôt qu’une image complète de l’arène ou de son environnement. L’idée est d’envoyer la structure, pas le décor, afin que le réseau puisse se concentrer sur le mouvement et le sens. Pour une arène figée, cette distinction change ce qui compte comme données vidéo utiles dans un flux en direct. Elle rend aussi le flux moins dépendant de la fidélité pixel par pixel pour les parties qui ne bougent jamais. Le spectateur voit toujours une diffusion complète, mais l’arrière-plan répété est fourni par un modèle au lieu d’être réencodé. L’espace gagné vient du fait qu’une arène peut être connue à l’avance et réutilisée de nombreuses fois. Seule l’action en direct doit traverser le réseau comme information nouvelle pendant que le lieu reste fixe.

Un patineur en dix-sept nombres et un angle de caméra

Plutôt qu’envoyer une image animée, le système envoie une courte liste de points du corps pour chaque patineur. Chaque image porte dix-sept repères squelettiques qui marquent les articulations et les membres. Une boîte englobante voyage aussi avec eux, donnant un contour approximatif de l’endroit où la personne se tient sur la glace. L’angle de caméra est réduit à sept nombres plutôt que douze, fixant comment l’arène doit être vue.

Ces valeurs sont assez petites pour tenir dans des formats numériques compacts. En haute définition, les coordonnées du corps peuvent tenir dans des entiers d’environ onze bits, tandis que les versions quatre K en nécessitent environ douze. Les valeurs de caméra utilisent des nombres à virgule flottante standard, ce qui garde le point de vue compact sans perdre de précision. Le résultat est un flux fait de structure plutôt que de pixels.

Envoyer des images recadrées du patineur semblerait plus simple, mais les tailles de recadrage changent quand le corps bouge et tourne. Rembourrer chaque recadrage à une taille fixe gaspille la bande passante. Envoyer chaque recadrage comme son propre flux d’images perd aussi la compression entre images. Le squelette agit donc comme un substitut structuré minimal aux pixels.

Dans un extrait de cinquante secondes, le flux contenait environ soixante-quatre kilo-octets de mouvement de pose du patineur. Il contenait aussi moins de quatre kilo-octets de boîtes englobantes et environ quarante-deux kilo-octets de points de vue caméra. Le test utilisait une vidéo 1080p à trente images par seconde. Ces chiffres montrent pourquoi la diffusion peut se réduire si loin en dessous d’une vidéo encodée ordinaire.

L’ordinateur du spectateur devient le studio

Dans l’exemple de patinage, GenStream envoie un petit ensemble de nombres de scène au spectateur. L’arrière-plan n’est pas renvoyé sous forme de pixels dans chaque image. Le spectateur possède déjà un modèle tridimensionnel préfabriqué du lieu. Le serveur envoie les positions des articulations, les boîtes de contour et les angles de caméra pour chaque image. Sur la machine du spectateur, un générateur d’IA transforme ces points en un corps complet. Cette figure est ensuite placée dans le modèle tridimensionnel de l’arène. L’angle de caméra fourni décide d’où le spectateur voit le patineur. Cette étape de rendu local fait agir l’ordinateur comme un studio. La machine doit construire un corps plausible et le fondre dans la scène. C’est plus de travail que décoder simplement un fichier vidéo ordinaire. Les codecs ordinaires envoient des images finies, tandis que cette conception envoie des instructions pour les reconstruire. L’appareil du spectateur devient l’endroit où les pixels sont enfin créés. Le résultat peut être rendu à différents niveaux de qualité selon l’appareil. Une machine plus rapide peut montrer un patineur plus net, tandis qu’une machine plus lente montre une version plus simple. Le studio n’est plus seulement le camion de diffusion devant l’arène. Il est maintenant en partie dans l’ordinateur du spectateur lui-même. Ce déplacement change ce que doit porter un flux en direct. Il change aussi où tombe la charge créative et technique.

Le patinage olympique montre à quel point le flux peut être petit

Dans le test de patinage olympique, un extrait de cinquante secondes de patinage artistique a été comparé à un fichier vidéo haute définition ordinaire. La matière source tournait en 1080p à trente images par seconde pendant environ cinquante secondes. En tant que fichier encodé HEVC, il prenait environ cent trente-quatre méga-octets. Le flux continu produit par GenStream ne nécessitait qu’environ cent dix kilo-octets pendant que la même action jouait à l’écran. C’est une réduction de plus de quatre-vingt-dix-neuf virgule neuf pour cent du débit de données qui doit continuer à circuler pendant la lecture.

La différence vient de ce qui est envoyé après que le spectateur a déjà les grandes pièces nécessaires pour construire la scène. Le modèle de l’arène et le logiciel utilisé pour reconstruire des figures humaines sont supposés disponibles avant le début du flux. Une fois ces éléments en place, chaque image n’a plus besoin d’une image complète faite de millions de pixels. Le système envoie au contraire une information compacte sur le performer qui bouge et la position de la caméra. Dans l’exemple de patinage, la plupart de cette petite charge décrivaient comment le patineur bougeait dans le temps. Une partie plus petite marquait où le patineur apparaissait dans l’image, et une autre portait le point de vue nécessaire pour placer correctement la scène sur l’écran du spectateur.

La taille est facile à manquer tant qu’on ne la met pas face à une vidéo ordinaire. Cent trente-quatre méga-octets peuvent contenir un long passage d’images haute définition, tandis que cent dix kilo-octets se rapprochent de la quantité utilisée par un échange court de texte ou une petite vignette d’image. Le test de patinage montre donc qu’une image sportive en direct peut ne pas du tout avoir besoin d’être portée comme une photographie animée complète. Si l’arrière-plan est déjà connu et que seulement quelques personnes changent, le contenu essentiel peut passer des méga-octets par minute aux kilo-octets par seconde.

Ce qui reste entre la démo et une diffusion en direct

Une diffusion en direct devrait survivre à des conditions qu’un extrait de laboratoire ne rencontre pas. Le prototype actuel a été vérifié sur quatre performances de patinage artistique des Jeux olympiques de Pyeongchang 2018, plus de 40 000 images au total réparties en 48 courts extraits. Ces extraits partagent une même arène, un public surtout immobile et un seul patineur qui traverse le centre de la glace. Ce cadre étroit rend le résultat facile à lire, mais il laisse ouverte la question de savoir si la méthode tiendrait sur un match de football, un concert ou une scène bondée.

Le plus grand obstacle est la vitesse. Un processus soigné en deux étapes détecte d’abord chaque personne puis construit un masque précis, mais cette deuxième étape est trop lente pour un usage en direct. Une méthode plus rapide en un seul passage peut suivre le traitement en temps réel, mais son résultat est moins stable. Tant que ces deux besoins ne sont pas réconciliés, un diffuseur devrait choisir entre manquer l’action et risquer une image instable.

Le travail de caméra est une autre limite inachevée. La démo peut estimer où l’objectif pointait, mais cette partie du pipeline produit encore des incompatibilités géométriques quand elle est déplacée dans le moteur de rendu. Une voie utilise une carte 3D préfabriquée du lieu et essaie d’y faire correspondre les images en direct. Une autre optimise la caméra directement par rapport à une scène rendue, ce qui est trop coûteux pour chaque image d’un flux en direct. La solution provisoire ne résout entièrement que la première image puis suit de petits changements d’une image à l’autre.

Le modèle d’arrière-plan compte aussi. Dans le test, la patinoire a été construite à la main dans un moteur de jeu, avec lignes, éclairage et reflets ajustés pour correspondre aux images de diffusion. Un événement en direct devrait avoir un tel modèle avant le début du spectacle, ou il faudrait le créer rapidement à partir des éléments des organisateurs et d’images antérieures. Ce n’est pas impossible, mais cela ajoute un travail de préparation que la diffusion ordinaire ne demande pas.

Le côté spectateur apporte sa propre contrainte. Le prototype a besoin d’une carte graphique puissante pour construire des figures en mouvement et les composer dans la scène, et ce matériel n’est pas typique sur les téléphones ou les téléviseurs intelligents. Si la méthode doit atteindre les salons ordinaires, elle doit fonctionner avec des modèles plus légers, des calculs compressés ou une partie du travail déplacée vers des serveurs proches. Sans cette étape, l’économie de bande passante serait compensée par des appareils incapables de suivre.

Il y a aussi des questions de qualité que les seuls chiffres n’ont pas tranchées. Les métriques vidéo standard peuvent noter plus bas l’image reconstruite parce qu’elle ne correspond pas à chaque pixel de la diffusion originale. Le contenu sémantique peut rester clair pour les reprises, l’analyse ou le visionnage à faible bande passante, mais un test perceptuel formel est encore nécessaire. Le système devrait être plus tolérant aux images perdues et au jitter parce que le détail manquant peut être régénéré, mais cet avantage n’a pas été évalué sous une vraie contrainte réseau.

Pris ensemble, ces écartements définissent la distance entre une preuve de concept et un service qu’un diffuseur pourrait se fier. L’idée explique pourquoi la vidéo ordinaire gaspille la bande passante sur des arènes stables et des pixels répétés. Ce qui reste est le travail peu glamour de rendre chaque étape rapide, robuste et utilisable sur les appareils que les gens possèdent vraiment.

Un flux plus léger, un spectateur plus lourd

Le test de patinage pointe vers un contrat différent pour la vidéo en direct. Plutôt que pousser chaque pixel à travers le réseau, le système envoie une petite description de ce qui bouge et laisse chaque écran reconstruire l’image. Ce déplacement peut rendre les diffusions bien moins chères à porter, surtout quand un seul performer traverse une grande arène stable. Il ouvre aussi des portes que les flux ordinaires laissent fermées : reprises depuis des angles qu’aucune caméra n’a capturés, versions adaptées à différents appareils, ou séquences montées à partir de données sémantiques plutôt que d’images stockées.

La promesse est réelle, mais elle repose sur un échange inégal. Le réseau est soulagé tandis que la machine du spectateur prend plus de travail. Un téléphone ou un téléviseur intelligent doit générer un corps crédible, le placer dans un lieu 3D et garder le résultat assez fluide pour une vision en direct. Aujourd’hui cette tâche a besoin d’une puissance graphique sérieuse, si bien que l’économie n’est pas encore disponible sur les appareils que la plupart des gens utilisent vraiment. La même prudence s’applique au-delà des patinoires. Les foules, les performers qui se chevauchent, l’éclairage changeant et les lieux inconnus mettront à l’épreuve si la méthode peut généraliser sans perdre de plausibilité ou de vitesse.

Si ces obstacles rétrécissent, le streaming sémantique pourrait changer ce qu’une diffusion est autorisée à être. Elle deviendrait moins une enregistrement fixe et plus une scène partagée que chaque spectateur peut entrer différemment. La question plus difficile est de savoir si les publics accepteront une image construite par inférence quand les pixels originaux ne sont plus du tout envoyés.