Le parole trasformano le foto in descrizioni che fanno capire gli oggetti alle scansioni 3D senza addestramento

Dalle foto alla nuvola di punti: il ruolo del linguaggio naturale

Si parte da un set di fotografie comuni e dalla relativa scansione 3D. Le telecamere sono già posizionate, gli obiettivi calibrati e la geometria che collega i pixel dell’immagine allo spazio è nota. Non serve etichettare manualmente i punti della nuvola come mattoni, crepe o colonne, né addestrare un modello su quell’edificio specifico o su quella stanza.

Un modello visione-linguaggio analizza ogni fotografia e ne redige una descrizione dettagliata: identifica oggetti, parti, materiali, colori, texture e stati di degrado. Un secondo modello linguistico converte poi questo testo libero in record compatti. Ogni record contiene una categoria, un’etichetta breve, un prompt per la segmentazione e attributi opzionali. I difetti restano separati dalle superfici normali.

Queste parole vanno ancorate ai pixel. Un segmentatore 2D a vocabolario aperto, già disponibile, legge i prompt e genera maschere nell’immagine: una può coprire una colonna, una crepa su quella stessa colonna o un tratto di pietra consumata dal tempo. Le maschere possono sovrapporsi, poiché una singola superficie può assumere più significati contemporaneamente.

Il sistema passa quindi dai pixel ai punti. Sfruttando pose e intrinseci delle telecamere, ogni punto 3D viene proiettato nelle viste vicine in cui dovrebbe essere visibile. Quelle oscurate da geometrie più ravvicinate vengono ignorate. I record linguistici associati alle maschere diventano embedding di frasi in uno spazio testuale generico. Il punto acquisisce così significato attraverso le parole, non tramite lo spazio condiviso immagine-testo utilizzato da molti sistemi precedenti.

Tutti i componenti sono modelli preaddestrati e congelati, impiegati solo per l’inferenza: il modello di descrizione scrive, quello di strutturazione organizza, il segmentatore localizza e il modello di embedding trasforma le frasi in vettori. Nessuna parte del sistema viene addestrata sulla scena o sul dominio target.

Pesare le evidenze delle diverse inquadrature prima di calcolare la media del significato di ogni punto

Un punto della scansione 3D può essere osservato da molte telecamere, e ogni inquadratura descrive la stessa superficie in modo diverso: una foto mostra chiaramente un pilastro, mentre un’altra ne coglie solo il bordo. Prima di mediare queste descrizioni, il sistema valuta l’affidabilità di ciascuna vista. Le inquadrature ravvicinate pesano più di quelle lontane. Un punto vicino al centro dell’immagine conta più di uno ai bordi sfocati, e le maschere nitide hanno la meglio su quelle imprecise. Se una superficie più vicina oscura il punto, quella telecamera viene ignorata per evitare che prove deboli trascinino la media.

Le descrizioni ponderate vengono prima combinate in un unico vettore medio per il punto. Successivamente si eliminano le viste troppo distanti da tale media e si ricalcola la media sulle rimanenti. Questo passaggio aiuta a scartare maschere errate o dettagli inventati. In una scena del patrimonio, una media multivettoriale che teneva conto della scala ha raggiunto 30,18 nel punteggio di sovrapposizione: più alto è il valore, più il risultato si avvicina alla risposta corretta. Questo metodo ha mantenuto diverse descrizioni ponderate anziché un unico vettore mescolato e ha superato una media più semplice, che eliminava prima le viste lontane, con 4,36 punti in più. Anche la versione a pesi morbidi ha ottenuto risultati migliori, segnando 27,27 contro 25,82. Al contrario, un metodo che selezionava semplicemente la vista più forte si è fermato a 20,68, ignorando i pesi e distorcendo le distanze angolari tra i significati delle frasi.

Questi numeri dimostrano che non ogni inquadratura merita lo stesso peso. I punti privi di viste utilizzabili attingono dai vicini: più un vicino è prossimo, maggiore è la sua influenza. In questo modo si colmano le lacune senza inventare nuove prove.

Quando una sola parola corregge l’intero rilievo del patrimonio

Una singola parola può spostare milioni di punti in una scansione del patrimonio. La correzione qui è quasi imbarazzantemente piccola: il prompt «pavimento» diventa «pavimento/erba». Questa modifica migliora la precisione complessiva di 10,28 punti per MiniLM, il modello di embedding delle frasi usato per il significato linguistico. CLIP, che fonde immagine e testo in uno spazio visivo-linguistico condiviso, guadagna solo 2,56 punti dalla stessa variazione. Il punteggio misura quanto le etichette predette si sovrappongono a quelle vere. La differenza non è un errore di arrotondamento: dimostra che il significato di una parola può attraversare un’intera scena.

Prima della correzione, MiniLM classificava come colonna 3,04 milioni di punti che erano davvero pavimento/erba. Perché? «Pavimento» era troppo stretto per le superfici del patrimonio. Molti pavimenti in pietra, pavimentazioni consumate o aree simili al terreno non corrispondevano bene alla parola semplice. Quando il prompt diventa «pavimento/erba», quei punti trovano una collocazione linguistica migliore: il 96,3% torna a pavimento/erba. Questa pulizia aiuta anche le colonne. La precisione delle colonne sale di 29,00 punti perché meno punti del pavimento lo contaminano. Volta/soffitto resta intatto. Non è rumore casuale: è la struttura semantica che risponde alla formulazione.

Una seconda modifica fa la stessa cosa. Cambiare «volta» in «volta/soffitto» aggiunge 2,93 punti per MiniLM, ma solo 0,89 per CLIP. La precisione degli archi aumenta di 5,56 punti. Le colonne si muovono a malapena. Ancora una volta, l’effetto segue relazioni architettoniche reali: una superficie simile a un soffitto non è un vicino casuale di un arco, ma appartiene alla stessa logica strutturale. Quando entrambe le correzioni sono applicate insieme, MiniLM guadagna 13,26 punti mentre CLIP ne guadagna solo 3,55. La lezione è semplice: nella scansione basata sul linguaggio, un termine corretto può ridisegnare i confini in tutta una scena del patrimonio.

Oggetti presenti, assenti o inesistenti: distinguere le risposte in 3D

A una scansione 3D si possono porre domande in linguaggio naturale. La sfida sta nel distinguere tre tipi di risposta: un oggetto presente nella scena, uno normale ma assente dalla stanza e infine qualcosa di impossibile o privo di senso. Se il sistema non riesce a separare queste categorie, rischia di indicare un muro definendolo «finto soffitto» oppure di trattare un divano mancante come se fosse lì.

Il test ha impiegato 25 nomi di oggetti estranei al vocabolario standard dei benchmark per scene interne. Per ciascun termine, il sistema ha analizzato i 100 punti della scansione con la maggiore affinità semantica. L’affinità è espressa da un punteggio: più alto è il valore, migliore è l’allineamento tra il significato del punto e la query. Un modello che converte le parole in rappresentazioni testuali generali ha attribuito agli oggetti presenti un punteggio medio di 0,704. Gli oggetti assenti hanno ottenuto 0,561, mentre le query prive di senso si sono fermate a 0,449. Le differenze tra queste categorie contano più dei valori assoluti: il presente supera l’assente per 0,143 e l’assente supera il nonsenso per 0,092. Si delinea così una gerarchia chiara: reale, plausibile ma mancante, impossibile.

Un secondo modello, che collega immagini e parole in uno spazio condiviso, non ha prodotto questa distinzione netta. Il suo punteggio per gli oggetti presenti era 0,590, contro 0,529 per gli assenti e 0,522 per le query senza senso. Il presente superava ancora l’assente, ma solo di 0,061. Assente e nonsenso erano quasi alla pari, separati da appena 0,008. In pratica, il modello riusciva a riconoscere la presenza di un oggetto reale, ma faticava a stabilire se una cosa mancante fosse semplicemente assente o del tutto priva di significato.

Il risultato non è perfetto: per entrambi i codificatori, quattro delle 25 classi hanno mostrato un’inversione, con query per oggetti assenti che ottenevano punteggi leggermente superiori rispetto a quelli presenti. «Finto soffitto» si è invertito in entrambi i sistemi, suggerendo che alcune assegnazioni di scena possano confondere il test. Nonostante ciò, il quadro generale evidenzia una differenza pratica: una mappa dei significati basata sul testo riesce a mantenere distinti tre stati: visto qui, non visto ma possibile e del tutto privo di significato.

Il linguaggio come ponte verso la comprensione 3D

Il punto chiave è che i punti 3D possono acquisire significato senza addestrare un modello sulla scena specifica. Le immagini vengono convertite in descrizioni testuali semplici, queste ultime diventano embedding di frasi e ogni punto raccoglie evidenze da più viste. In questo modo, il sistema può etichettare i punti 3D utilizzando modelli preaddestrati, senza necessità di riaddestrarli. Per un nuovo edificio o una nuova stanza non servono annotazioni umane: il sistema è in grado di rispondere a domande su oggetti che non figuravano mai nell’elenco di addestramento.

Qui sta l’opportunità. Siti del patrimonio culturale, interni e ambienti scansionati diventano ricercabili con linguaggio comune. Una crepa su una colonna, una volta danneggiata o un elemento mancante possono essere localizzati senza dover insegnare a una rete come appaiano in 3D. L’approccio distingue inoltre meglio gli oggetti presenti da quelli assenti e dalle query prive di senso rispetto agli embedding visivo-linguistici. La precisione della formulazione conta: piccole correzioni lessicali possono modificare ampie aree di una scansione.

Gli ostacoli, però, restano concreti. Il flusso di lavoro richiede ancora una scansione 3D, foto posizionate, calibrazione delle telecamere e correzione degli obiettivi. Erede gli errori provenienti dalla descrizione delle immagini, dalla segmentazione e dai modelli linguistici. I nomi ambigui penalizzano le prestazioni, mentre osservazioni rare ma valide rischiano di essere scambiate per rumore. Modelli visivo-linguistici più grandi producono descrizioni più ricche, ma potrebbero superare i limiti pratici dell’hardware. Alcune classi continuano a confondere gli oggetti presenti con quelli assenti.

Se una nuvola di punti può essere compresa attraverso le parole che già usiamo, cosa succederà quando quelle parole diventeranno sufficientemente precise per riparare, monitorare e proteggere i luoghi che abbiamo costruito?