Convertir las fotos de la cámara en texto ayuda a los escaneos 3D a entender objetos sin entrenamiento

De la fotografía a la nube de puntos a través del lenguaje natural

El punto de partida son unas fotografías comunes y un escaneo 3D que les corresponde. Las cámaras ya están colocadas, sus lentes calibrados y se conoce la geometría entre los píxeles de la imagen y el espacio. No hace falta que nadie etiquete manualmente los puntos de la nube como ladrillo, grieta o columna, ni que se entrene un modelo específico para ese edificio o esa habitación en particular.

Un modelo de visión-lenguaje analiza cada fotografía y redacta una descripción detallada de lo que ve. Puede identificar objetos, partes, materiales, colores, texturas y estados de deterioro. A continuación, un segundo modelo de lenguaje transforma ese texto libre en registros compactos. Cada registro incluye una categoría, una etiqueta breve, un prompt para la segmentación y atributos opcionales. Los defectos se mantienen separados de las superficies normales.

Esas palabras deben asociarse a píxeles concretos. Un segmentador 2D de vocabulario abierto, disponible comercialmente, lee los prompts y genera máscaras en la imagen. Una máscara puede cubrir una columna, una grieta en dicha columna o un parche de piedra erosionada. Las máscaras pueden superponerse porque una misma superficie puede tener varios significados a la vez.

El sistema pasa entonces de píxeles a puntos. Utilizando las poses y los intrínsecos de las cámaras, cada punto 3D se proyecta en las vistas cercanas donde debería ser visible. Se ignoran aquellas que están bloqueadas por geometría más próxima. Los registros de lenguaje asociados a las máscaras se convierten en embeddings de oración dentro de un espacio textual generalista. Así, el punto recibe su significado a través de palabras y no mediante el espacio compartido de imagen y texto que emplean muchos sistemas anteriores.

Todos los componentes son modelos comerciales congelados que se usan solo durante la inferencia: el modelo de descripción escribe, el de estructuración organiza, el segmentador ancla en la imagen y el modelo de embeddings convierte las frases en vectores. Nada se entrena sobre la escena o el dominio objetivo.

Dar peso a las evidencias de varias cámaras antes de promediar el significado de cada punto

Un punto en un escaneo 3D puede ser visible desde múltiples cámaras, y cada una de ellas describe la misma superficie de forma distinta: una fotografía muestra la columna con nitidez, mientras que otra solo capta su borde. Antes de promediar esas descripciones, el proceso evalúa la fiabilidad de cada vista. Las tomas cercanas pesan más que las lejanas. Un punto situado cerca del centro de la imagen tiene mayor peso que uno en un borde borroso, y las máscaras nítidas cuentan más que las imprecisas. Si otra superficie más cercana oculta el punto, esa cámara se descarta para evitar que pruebas débiles arrastren el promedio.

Primero, las descripciones ponderadas se combinan en un único vector medio para el punto. A continuación, se eliminan las vistas que se alejan mucho de ese promedio y se promedian nuevamente las restantes, un paso que ayuda a rechazar máscaras defectuosas o detalles inventados. En una escena patrimonial, este promedio multivectorial, que respetaba la escala, alcanzó 30,18 en la puntuación de solapamiento. Cuanto mayor es esa puntuación, más se acerca el resultado a la respuesta correcta. Este método conservó varias descripciones ponderadas en lugar de un único vector combinado y superó por 4,36 puntos a un promedio más simple que eliminaba primero las vistas lejanas. Una versión con pesos suaves también obtuvo mejores resultados, con 27,27 frente a 25,82, mientras que un método que simplemente seleccionaba la vista más fuerte solo alcanzó 20,68 al ignorar los pesos y distorsionar las distancias angulares entre los significados de las oraciones.

Estos números muestran que no todas las vistas de cámara merecen el mismo peso. Los puntos sin vistas utilizables toman prestado información de puntos cercanos: cuanto más próximo es un vecino, mayor es su influencia, lo que permite rellenar huecos sin inventar nueva evidencia.

Cómo una sola palabra corregida puede reconfigurar todo un escaneo patrimonial

Una sola palabra puede mover millones de puntos en un escaneo del patrimonio. La corrección aplicada aquí es casi ridículamente pequeña: el prompt que decía «suelo» se cambió a «suelo/hierba». Esa única edición mejoró la precisión global en 10,28 puntos para MiniLM, el modelo de embeddings de oraciones utilizado para captar el significado del lenguaje. CLIP, que fusiona imagen y texto en un espacio visual-lingüístico compartido, solo ganó 2,56 puntos con el mismo cambio. La puntuación mide qué tan bien se superponen las etiquetas predichas con las verdaderas. La diferencia no es un error de redondeo. Demuestra que el significado de una palabra puede propagarse por toda la escena.

Antes de la corrección, MiniLM clasificó como columna 3,04 millones de puntos que en realidad eran suelo o hierba. ¿Por qué? «Suelo» era demasiado restrictivo para las superficies patrimoniales. Muchos suelos de piedra, pavimentos desgastados o zonas similares al terreno no coincidían bien con esa palabra simple. Cuando el prompt pasó a ser «suelo/hierba», esos puntos encontraron un mejor encaje lingüístico: el 96,3 % volvió a la categoría suelo/hierba. Esa limpieza también benefició a las columnas, cuya precisión saltó 29,00 puntos al reducirse la contaminación por puntos de suelo. La categoría bóveda/techo permaneció intacta. No se trata de ruido aleatorio, sino de estructura semántica respondiendo a la redacción.

Una segunda edición logró el mismo efecto. Cambiar «bóveda» por «bóveda/techo» añadió 2,93 puntos para MiniLM, pero solo 0,89 para CLIP. La precisión de arco subió 5,56 puntos, mientras que la de columna apenas se movió. De nuevo, el efecto siguió relaciones arquitectónicas reales: una superficie tipo techo no es un vecino aleatorio de un arco, sino que pertenece a la misma lógica estructural. Al aplicar ambas correcciones juntas, MiniLM ganó 13,26 puntos frente a los 3,55 de CLIP. La lección es clara: en el escaneo basado en lenguaje, corregir un solo término puede redibujar las fronteras de toda una escena patrimonial.

Separación de objetos presentes, ausentes e incoherentes en el espacio 3D

A un escaneo 3D se le pueden hacer preguntas con palabras. El reto consiste en distinguir entre tres tipos de respuestas: una indica que el objeto está realmente allí. Otra señala que es algo normal pero falta en esa habitación. Y la tercera describe algo imposible o sin sentido. Si el sistema no logra separar estas categorías, podría señalar una pared y llamarla «falso techo», o tratar un sofá inexistente como si estuviera presente.

La prueba utilizó 25 nombres de objetos fuera del vocabulario habitual de un benchmark para escenas interiores. Para cada nombre, el sistema examinó los 100 puntos más similares en el escaneo. La similitud se mide con una puntuación: cuanto mayor sea, mejor coincide el significado del punto con la consulta. Un modelo convirtió las palabras en significados textuales generales. Otorgó a los objetos presentes una puntuación media de 0,704. Los objetos ausentes obtuvieron 0,561 y las consultas absurdas alcanzaron 0,469. Las diferencias importan más que las puntuaciones brutas: lo presente supera a lo ausente por 0,143 y lo ausente supera a lo absurdo por 0,092. Es una escala clara: real, plausible pero ausente, imposible.

Un segundo modelo vinculó imágenes y palabras en un espacio compartido, pero no logró esa escala. Su puntuación para objetos presentes fue de 0,590, para los ausentes 0,529 y para lo absurdo 0,522. Lo presente seguía superando a lo ausente, pero solo por 0,061. Lo ausente y lo absurdo estaban casi empatados, separados por apenas 0,008. En otras palabras, podía distinguir que un objeto real estaba allí, pero le costaba decir si una cosa ausente simplemente no existía o era directamente incoherente.

El resultado no es perfecto: cuatro de las 25 clases se invirtieron para cada codificador. En esos casos, una consulta por algo ausente obtuvo una puntuación ligeramente mayor que una por algo presente. «Falso techo» se invirtió en ambos sistemas, lo que sugiere que algunas asignaciones de escena pueden confundir la prueba. Aun así, el patrón general apunta a una diferencia práctica: un mapa de significados centrado en el texto puede mantener separados tres sentidos: visto aquí, no visto pero posible y sin sentido alguno.

El lenguaje como puente hacia la comprensión tridimensional

El resultado central es que los puntos 3D pueden portar significado sin necesidad de entrenar un modelo sobre la escena. Las imágenes se transforman en descripciones llanas. Estas pasan a ser embeddings de oración y cada punto acumula evidencia desde múltiples vistas. Así, el sistema puede etiquetar puntos 3D con modelos preentrenados que no requieren reentrenamiento. No hace falta ninguna anotación humana para un edificio o una habitación nuevos. El sistema responde preguntas sobre objetos que nunca formaron parte de la lista de entrenamiento.

Ahí reside la oportunidad. Los sitios patrimoniales, los interiores y los entornos escaneados se vuelven buscables mediante lenguaje ordinario. Una grieta en una columna, una bóveda dañada o un elemento ausente pueden localizarse sin enseñar a una red cómo se ven esas cosas en 3D. Este enfoque separa mejor los objetos presentes de los ausentes y de las consultas incoherentes que los embeddings visuales-lingüísticos. La precisión del vocabulario importa: pequeñas correcciones léxicas pueden alterar grandes áreas de un escaneo.

Los obstáculos son reales. El flujo de trabajo sigue necesitando un escaneo 3D, fotos posicionadas, calibración de cámaras y corrección de lentes. Hereda errores de la descripción de imágenes, la segmentación y los modelos de lenguaje. Los nombres ambiguos perjudican el rendimiento. Las observaciones raras pero válidas pueden confundirse con ruido. Los modelos visuales-lingüísticos más grandes escriben descripciones más ricas, pero pueden exceder los límites prácticos del hardware. Algunas clases siguen confundiendo objetos presentes con ausentes.

Si una nube de puntos puede entenderse a través de las palabras que ya usamos, ¿qué ocurre cuando esas palabras se vuelven lo suficientemente buenas para reparar, monitorear y proteger los lugares que construimos?