Des lunettes transforment les objets en sons que l’on peut localiser du regard

Des objets transformés en sons qui gravitent autour de la tête

Le principe du toucher acoustique tient en une phrase : au lieu d’annoncer qu’une bouteille se trouve à deux heures, les lunettes émettent un son bref et le positionnent là où est l’objet. Ce son devient alors un point dans l’espace autour de la tête. Un livre produit le bruit des pages qui tournent. Une tasse, le léger claquement d’un objet posé sur du bois.

L’utilisateur n’a pas à décoder des mots : il tourne simplement la tête jusqu’à ce que le son paraisse centré. La recherche visuelle devient ainsi auditive, la direction étant portée par l’endroit où apparaît le son. Le prototype repose sur des lunettes de réalité augmentée qui surveillent une petite zone devant le porteur. Cette zone d’écoute active s’étend sur environ 36,6 degrés de gauche à droite et 20 degrés du haut vers le bas.

Cette forme a été définie avec l’aide de quatre testeurs pilotes aveugles ou malvoyants, qui ont aidé à déterminer quelle partie de la pièce devait être perçue. Dans cette zone, chaque objet détecté génère son propre signal répété. La répétition est plus rapide lorsque l’objet se trouve près du centre du champ de vision et ralentit vers les bords. La zone comporte dix couches, avec un délai de vingt millisecondes ajouté à mesure que l’objet s’éloigne vers l’extérieur.

Sur le bord extérieur, les sons répétés sont espacés d’environ cent millisecondes. Ce rythme offre une cible à l’oreille : lorsque le son semble centré, le porteur est proche de sa direction. La distance provient des deux caméras avant des lunettes, qui comparent leurs vues et placent chaque objet à la profondeur correspondante dans la scène sonore.

Un smartphone exécutant le modèle de reconnaissance d’objets traite les livres, bouteilles, bols et tasses en environ 66 millisecondes par image, tout en consommant environ 4,5 watts. Les sons sont des bruits du quotidien plutôt que des bips abstraits, ce qui permet de reconnaître un objet par son caractère ainsi que par sa position. Des signaux courts exigent moins d’attention qu’une phrase parlée, ce qui peut compter pour les personnes souffrant de perte auditive.

L’appareil a été développé avec des spécialistes de la mobilité et des testeurs aveugles ou malvoyants, pas seulement des ingénieurs. Son objectif est de faire sentir aux objets proches leur présence dans la pièce autour de la tête, plutôt que de les annoncer sous forme de texte dans l’air.

Ce que les participants voyants et non voyants ont observé au cours de deux épreuves brèves

Quatorze personnes ont participé à l’essai : sept aveugles ou malvoyants et sept volontaires voyants les yeux bandés. Ils devaient repérer des objets lors de deux épreuves brèves. Dans la première, en position assise, on plaçait deux ou trois objets du quotidien sur une table. Chaque participant devait trouver sa cible sans aide. Avec les lunettes, les participants aveugles ou malvoyants identifiaient le bon objet dans environ 81,7 % des cas. C’était légèrement moins performant que la voix indiquant l’heure (90,7 %) et un peu plus efficace que les haut-parleurs externes (85 %). Cette proximité est significative car les conditions de référence savaient où se trouvait chaque objet avant le début de la recherche, tandis que les lunettes devaient localiser des positions inconnues sans information préalable.

Les participants voyants bandés ont trouvé l’utilisation des lunettes plus difficile, avec un taux de réussite de seulement 73,0 %. La voix indiquant l’heure leur a permis d’atteindre 93,8 %, et les haut-parleurs externes 89,0 %. L’écart est statistiquement significatif : la différence ne peut donc pas s’expliquer par le hasard. Même trois volontaires voyants spécialisés en mobilité n’ont pas fait mieux que les cinq autres sans cette formation (64,8 % contre 79,2 %). Une expérience antérieure du bandeau n’a pas clairement facilité la recherche sonore.

Dans l’épreuve debout, tous les participants cherchaient une cible parmi plusieurs bouteilles distractrices en utilisant tout leur corps. En moyenne, il a fallu 1,67 tentatives pour trouver l’objet : 1,76 pour les personnes aveugles ou malvoyantes et 1,52 pour les voyants. Cela signifie que la plupart ont trouvé la bonne bouteille après une ou deux prises, bien que certains aient encore confondu des contenants similaires. Le temps de recherche en position assise est resté proche de 40 secondes pour les deux groupes (environ 38,25 s et 39,63 s). Ce délai n’a guère varié selon la réussite ou l’échec, ni avec l’ajout d’un troisième objet sur la table.

L’analyse des mouvements de mains a révélé une autre dynamique pour le groupe voyant : ils tendaient la main plus vite avec les lunettes qu’avec les haut-parleurs, mais leurs trajectoires étaient moins directes. Comparés à la voix indiquant l’heure, leurs gestes étaient globalement plus lents et moins précis. Pour les participants aveugles ou malvoyants, en revanche, ni la vitesse de la main, ni l’efficacité du trajet, ni le temps de prise ne différaient significativement selon les conditions. Le test debout encombré a également montré qu’un livre, un bol ou une tasse pouvait être distingué parmi beaucoup de bouteilles.

Ensemble, ces deux épreuves suggèrent que les lunettes peuvent aider à repérer des objets en mouvement réel, mais elles ne remplacent pas pour tous les étiquettes verbales claires.

Pourquoi les lunettes n’ont pas été perçues comme une simplification par tous

Pour les volontaires voyants les yeux bandés, les lunettes ajoutaient un niveau de travail que les autres conditions ne requéraient pas. La voix indiquant l’heure leur donnait la position des objets en termes simples, tandis que les haut-parleurs externes plaçaient le son à côté d’objets connus. Les lunettes, elles, exigeaient de chacun qu’il tourne la tête et construise une carte mentale à partir d’indices sonores mobiles. Ce balayage actif n’avait rien à voir avec l’écoute passive.

Lors de la recherche en position assise, menée par quatorze personnes, les participants voyants bandés ont réussi 73,0 % des essais avec les lunettes. Le même groupe a atteint 93,8 % lorsque la voix indiquait l’heure et 89,0 % lorsque les haut-parleurs placés à côté des objets diffusaient le son. L’écart est statistiquement significatif : il ne s’agit donc pas d’une simple variation aléatoire. Les évaluations de charge cognitive pointent dans le même sens, les participants voyants bandés déclarant un effort mental et un effort global plus élevés que le groupe des personnes aveugles ou malvoyantes.

Ils ne faisaient pas d’erreurs simplement parce qu’ils n’avaient jamais utilisé l’appareil. Trois d’entre eux étaient des spécialistes de l’orientation et de la mobilité, et leur score global ne surpassait pas clairement celui des autres participants voyants. Ce constat suggère que la nouveauté comptait plus que l’expérience antérieure avec un bandeau. De plus, les lunettes devaient fonctionner à partir de positions d’objets inconnues, alors que les configurations de comparaison savaient déjà où tout se trouvait. Cette différence rendait l’appareil portable plus difficile à utiliser, non pas parce qu’il ne donnait aucune information, mais parce qu’il exigeait davantage d’interprétation.

Passer de la position assise à la debout ajoutait une autre contrainte pour le groupe des voyants bandés, dont le rythme cardiaque, le rythme respiratoire et la température cutanée ont augmenté significativement. Cette hausse reflétait probablement le stress de se déplacer dans un espace inconnu sans vision ni aide à la mobilité. Une pratique répétée pourrait réduire cette réaction, mais ce jour-là, elle rendait les lunettes moins faciles à porter. L’appareil n’a donc pas échoué pour tout le monde. Il a simplement imposé une charge différente aux personnes qui n’avaient pas encore appris à faire confiance aux sons mobiles.

Sons confus et détection approximative : ce qui a pesé sur les résultats

La recherche en position assise, menée avec 14 participants, a révélé que l’ambiguïté des sons et les imperfections de la détection ont pesé sur les résultats. Les quatre objets étaient associés à des bruits du quotidien distincts : le froissement des pages pour un livre, un frottement sec pour une bouteille, le bruit d’un couvercle posé sur un bol, et le claquement d’une tasse déposée sur du bois. Treize participants sur quatorze ont déclaré confondre les sons de la bouteille, du bol et de la tasse. Ces trois icônes sonores étant toutes liées à des contenants, leurs contours se brouillaient dans la mémoire. Le groupe voyant détectait le son du bol moins souvent que celui de la tasse. L’écart, de 12,14 %, était statistiquement significatif. De plus, ils identifiaient mieux les bouteilles et les bols lorsqu’une voix externe donnait des indications horaires plutôt qu’en s’appuyant sur les lunettes.

Les dispositifs de comparaison connaissaient la position exacte de chaque objet avant chaque essai. Les lunettes, elles, devaient repérer des objets inconnus grâce à un modèle de vision par ordinateur susceptible de les manquer ou de mal les localiser. Avec les lunettes, les participants aveugles ou malvoyants ont choisi le bon objet dans environ 81,7 % des essais. La parole en horloge a atteint 90,7 %, et les haut-parleurs externes 85 %. Chez les voyants portant un bandeau, les lunettes n’ont permis de réussir que 73,0 % des essais, contre 93,8 % pour la parole en horloge et 89,0 % pour les haut-parleurs externes. L’écart est donc réel.

Les données sur le mouvement de la tête issues de cette même tâche assise pointent vers des erreurs de reconnaissance plutôt que vers un défaut d’écoute. Les essais réussis présentaient nettement moins de rotation de la tête que les échecs, tandis que la vitesse de balayage restait comparable. Ce schéma suggère que des mouvements plus amples exposaient la caméra à davantage d’objets incertains. Dans la recherche en position debout, tous les participants ont trouvé une cible parmi plusieurs bouteilles. Il leur a fallu en moyenne 1,67 tentatives pour y parvenir. Pourtant, certains avaient du mal à distinguer un bol d’une bouteille.

Lorsqu’un seul objet en verre et un livre étaient présents, les participants pouvaient souvent déduire de quel son il s’agissait. Cela montre que la déduction peut aider lorsque les icônes ne sont pas assez distinctes. Les sons ambigus n’ont pas rendu les lunettes inutiles, mais ils les ont rendues moins précises que des étiquettes verbales parfaites. La détection imparfaite a ajouté une couche de difficulté supplémentaire, car l’appareil devait deviner ce qui était présent avant d’émettre le son correspondant. Leur taux de réussite comparable était donc plus difficile à obtenir, puisqu’ils balayaient activement l’espace et s’appuyaient sur une reconnaissance fallible.

Quand le son dépasse le stade du gadget

Les lunettes n’ont pas battu les aides parfaitement informées dans tous les tests. Elles se sont toutefois montrées à la hauteur des personnes vivant sans vision. Lors d’un essai en deux tâches sur 14 participants, les utilisateurs aveugles ou malvoyants ont attrapé l’objet correct avec un taux de réussite sensiblement identique à celui obtenu avec les indications horaires ou les haut-parleurs placés à côté des objets. C’est un résultat solide. Les lunettes devaient repérer des objets inconnus grâce à une vision par caméra imparfaite, pendant que le porteur tournait la tête et construisait une carte mentale. Les conditions de comparaison savaient où se trouvait chaque objet.

Les objets du quotidien peuvent être rendus présents sans parole. Un son placé dans l’espace peut transmettre direction, distance et identité en même temps. Cela convient peut-être mieux aux environnements chargés que les étiquettes vocales. Pour les personnes souffrant de perte auditive ou ayant une attention limitée, des icônes sonores courtes pourraient alléger la charge liée au décodage des mots tout en conservant un sens suffisant pour agir. L’obstacle est que le système actuel ne reconnaît bien que quatre objets. Son traitement par caméra peut induire en erreur lorsque les mouvements de tête sont trop amples. Il chauffe également et consomme beaucoup d’énergie sur un téléphone suffisamment puissant pour la tâche.

Si la reconnaissance devient fiable, si les icônes sonores sont faciles à distinguer et si le matériel reste frais et léger, le toucher acoustique pourrait passer de la table du laboratoire au plan de travail de la cuisine. La question plus difficile est de savoir si un appareil qui transforme le monde en son sera perçu comme une aide ou comme une chose de plus à gérer.