Transformer des images de caméras en mots permet aux scans 3D de comprendre les objets sans entraînement

De la photographie au nuage de points, via le langage naturel

Tout commence par un jeu de photographies ordinaires et une numérisation 3D correspondante. Les caméras sont déjà positionnées, leurs objectifs calibrés, et la géométrie reliant les pixels de l’image à l’espace est connue. Il n’est pas nécessaire d’étiqueter manuellement les points du nuage comme briques, fissures ou colonnes, ni d’entraîner un modèle sur ce bâtiment ou cette pièce en particulier.

Un modèle vision-langage analyse chaque photographie et rédige une description dense de ce qu’il perçoit : objets, parties, matériaux, couleurs, textures et états de dégradation. Un second modèle de langage transforme ensuite ce texte libre en fiches compactes. Chaque fiche comporte une catégorie, un libellé court, un prompt pour la segmentation et des attributs facultatifs. Les défauts sont ainsi isolés des surfaces saines.

Ces mots doivent être rattachés aux pixels. Un segmenteur 2D à vocabulaire ouvert, prêt à l’emploi, lit les prompts et génère des masques dans l’image. Un masque peut couvrir une colonne, une fissure sur cette colonne ou un morceau de pierre érodée. Les masques peuvent se chevaucher, car une même surface peut porter plusieurs significations simultanément.

Le système passe ensuite des pixels aux points. Grâce aux poses et aux paramètres intrinsèques des caméras, chaque point 3D est projeté dans les vues voisines où il devrait être visible. Les vues obstruées par une géométrie plus proche sont ignorées. Les fiches de langage associées aux masques deviennent alors des plongements de phrases dans un espace textuel généraliste. Le point reçoit donc son sens à travers les mots, et non via l’espace partagé image-texte utilisé par la plupart des systèmes antérieurs.

Tous les composants sont des modèles prêts à l’emploi, figés et utilisés en inférence : le modèle de description écrit, celui de structuration organise, le segmenteur ancre dans l’image, et le modèle de plongement transforme les phrases en vecteurs. Rien n’est entraîné sur la scène cible ou son domaine spécifique.

Pondérer les contributions des différentes caméras avant d’agréger le sens de chaque point

Un même point d’un scan 3D peut être capturé par plusieurs caméras. Chaque angle offre une lecture différente de la surface : l’une des photos montre clairement une colonne, tandis qu’une autre n’en saisit que le contour. Avant de faire la moyenne de ces descriptions, le système évalue la fiabilité de chaque vue. Les prises de vue rapprochées pèsent plus lourd que les lointaines. Un point situé au centre de l’image compte davantage qu’un autre flou sur les bords. Enfin, des masques précis priment sur des approximations. Si une surface plus proche occulte le point, la caméra correspondante est écartée. Cette pondération empêche la moyenne d’être faussée par des indices fragiles.

Les descriptions pondérées sont d’abord agrégées en un vecteur moyen pour chaque point. Les vues qui s’écartent trop de cette moyenne sont ensuite supprimées, puis les restantes sont à nouveau moyennées. Cette étape permet de rejeter les masques erronés ou les détails inventés par le modèle. Sur une scène patrimoniale testée, une moyenne multi-vecteurs tenant compte de l’échelle a atteint 30,18 au score de recouvrement (plus la note est élevée, plus le résultat se rapproche de la vérité). Cette méthode conserve plusieurs descriptions pondérées plutôt qu’un seul vecteur fusionné. Elle surpasse d’une marge de 4,36 points une moyenne simple qui écartait d’abord les vues lointaines. Une variante à pondération douce obtient également de meilleurs résultats : 27,27 contre 25,82. À l’inverse, une méthode qui ne retenait que la vue la plus forte plafonne à 20,68. En ignorant les poids, elle déformait les distances angulaires entre les significations des phrases. Ces chiffres prouvent qu’il n’est pas question de donner le même pouvoir à toutes les vues caméra.

Pour les points sans vue exploitable, le système emprunte aux voisins immédiats : plus un voisin est proche, plus son influence est forte. Ce mécanisme comble les lacunes sans inventer de nouvelles preuves.

Un mot corrigé suffit à redessiner un relevé patrimonial entier

Un seul mot suffit à déplacer des millions de points dans un relevé patrimonial. La correction est ici d’une simplicité presque dérisoire : le prompt « sol » a été remplacé par « sol/herbe ». Ce changement unique améliore la précision globale de 10,28 points pour MiniLM, le modèle de plongement de phrases utilisé pour capturer le sens linguistique. CLIP, qui associe image et texte dans un espace visuel-linguistique commun, ne gagne que 2,56 points sur ce même ajustement. Le score mesure la correspondance entre les étiquettes prédites et les étiquettes réelles. L’écart n’est pas une erreur d’arrondi : il démontre que le sens d’un mot peut se propager à travers toute une scène.

Avant cette correction, 3,04 millions de points réellement classés « sol/herbe » étaient identifiés comme des colonnes par MiniLM. Pourquoi ? Le terme « sol » était trop restrictif pour les surfaces patrimoniales. De nombreux sols en pierre, pavages usés ou zones ressemblant au terrain ne correspondaient pas bien à ce mot simple. Lorsque le prompt est devenu « sol/herbe », ces points ont trouvé un meilleur ancrage linguistique : 96,3 % d’entre eux sont retournés dans la catégorie « sol/herbe ». Ce nettoyage a également bénéficié aux colonnes, dont la précision a bondi de 29,00 points, car moins de points du sol venaient la contaminer. La catégorie « voûte/plafond » est restée inchangée. Il ne s’agit pas d’un bruit aléatoire, mais d’une structure sémantique qui réagit au choix des mots.

Une seconde modification confirme ce constat. Changer « voûte » en « voûte/plafond » ajoute 2,93 points pour MiniLM, contre seulement 0,89 pour CLIP. La précision pour les arcs augmente de 5,56 points, tandis que celle des colonnes ne bouge guère. Là encore, l’effet suit des relations architecturales réelles : une surface semblable à un plafond n’est pas un voisin aléatoire d’un arc, elle appartient à la même logique structurelle. Lorsque les deux corrections sont appliquées ensemble, MiniLM gagne 13,26 points, alors que CLIP n’en gagne que 3,55. La leçon est simple : dans le balayage basé sur le langage, un terme corrigé peut redessiner les frontières de toute une scène patrimoniale.

Distinguer les objets présents, les objets absents et les requêtes incohérentes dans un nuage de points 3D

Un scan 3D permet de poser des questions en langage naturel. Le défi consiste à distinguer trois types de réponses : celle qui confirme la présence réelle d’un objet, celle qui identifie un élément courant mais absent de la pièce, et celle qui renvoie à une notion impossible ou dénuée de sens. Si le système échoue à faire cette distinction, il risque de désigner un mur en l’appelant « faux plafond », ou de considérer un canapé manquant comme s’il était présent.

Le test a mobilisé 25 noms d’objets hors du vocabulaire usuel d’un banc d’essai dédié aux scènes intérieures. Pour chaque terme, le système a analysé les 100 points du scan présentant la plus forte similarité avec la requête. Cette similarité se traduit par un score : plus il est élevé, mieux la signification du point correspond à l’interrogation. Un premier modèle convertissait les mots en représentations textuelles générales. Il attribuait aux objets présents un score moyen de 0,704, contre 0,561 pour les objets absents et 0,469 pour les requêtes incohérentes. Ce sont surtout les écarts qui comptent : la catégorie « présent » devance l’« absent » de 0,143 points, tandis que ce dernier dépasse le « non-sens » de 0,092 point. On obtient ainsi une hiérarchie nette : réel, plausible mais manquant, impossible.

Un second modèle, qui associe images et mots dans un espace partagé, ne parvenait pas à établir cette gradation. Son score pour les objets présents était de 0,590, contre 0,529 pour les absents et 0,522 pour le non-sens. Si la présence restait identifiable (écart de 0,061 point), l’absence et le non-sens étaient quasi indistinguables, séparés par seulement 0,008 point. En d’autres termes, ce modèle pouvait détecter un objet réel, mais peinait à déterminer si une chose manquante était simplement absente ou purement fictive.

Le résultat n’est pas parfait : quatre des 25 classes s’inversaient pour chaque encodeur, les requêtes « absentes » obtenant alors un score légèrement supérieur aux « présentes ». Le cas du « faux plafond » s’inverse dans les deux systèmes, ce qui suggère que certaines affectations de scènes brouillent le test. Malgré cela, la tendance générale révèle une différence pratique : une carte de sens centrée sur le texte parvient à maintenir distincts trois états : vu ici, non vu mais possible, et dénué de sens.

Le langage comme passerelle vers la compréhension 3D

Le constat central est simple : un point 3D peut porter une signification sans qu’aucun modèle n’ait été entraîné sur la scène. Le processus transforme les images en descriptions courantes, convertit ces dernières en plongements de phrases et permet à chaque point d’accumuler des indices issus de multiples angles de vue. Résultat : le système étiquette les points 3D grâce à des modèles pré-entraînés, sans réentraînement. Pour un nouveau bâtiment ou une pièce inconnue, aucune annotation humaine n’est requise. Le dispositif répond même aux questions portant sur des objets absents de toute liste d’entraînement.

C’est là que réside l’intérêt. Sites patrimoniaux, intérieurs et environnements numérisés deviennent interrogeables en langage courant. Une fissure sur une colonne, une voûte endommagée ou un élément manquant peuvent être localisés sans avoir à apprendre au réseau ce que ces objets ressemblent en 3D. De plus, cette approche distingue mieux les objets présents des objets manquants et des requêtes absurdes que ne le font les plongements vision-langage. Le choix des mots est déterminant : de simples corrections lexicales peuvent modifier de vastes zones du scan.

Les limites restent réelles. La chaîne de traitement exige toujours un scan 3D, des photos positionnées, une calibration des caméras et une correction des lentilles. Elle hérite des erreurs commises par la description d’images, la segmentation et les modèles de langage. Les noms ambigus dégradent les performances, tandis que des observations rares mais valides risquent d’être prises pour du bruit. Si les grands modèles vision-langage produisent des descriptions plus riches, ils peuvent dépasser les capacités matérielles disponibles. Enfin, certaines classes continuent de confondre objets présents et absents.

Si un nuage de points peut être compris à travers les mots que nous utilisons déjà, que se passe-t-il lorsque ces mots deviennent assez précis pour réparer, surveiller et protéger les lieux que nous avons construits ?