Google dévoile Gemini Vision, un guidage pour les malvoyants

L’application Gemini et le système Android doivent être à jour. Isha Sheth, responsable produit senior de Gemini Live, signe le billet. La fonction a été construite avec des personnes aveugles ou malvoyantes. Elle peut aussi dépanner d’autres moments. Comme le reste de l’IA générative, elle peut se tromper. On continue de marcher avec les aides déjà en place.

La caméra est partagée dans la session. Si l’objectif est trop haut, trop près ou de côté, le modèle parle. Il peut demander de panoramiquer lentement vers la droite, d’incliner vers le bas, ou de reculer d’un pas. Il lui faut une image assez nette pour répondre à la question. Il ne trace pas un chemin, et il ne dit pas si la voie est libre.

On peut enchaîner. Où est l’écouteur tombé au sol. Où est le poivre noir dans un placard à épices plein. De quelle couleur est cette veste. Une chemise rayée va-t-elle avec ce pantalon. À quoi ressemble cette pièce peu connue, ou ce qui est posé sur la table. La réponse vient à voix haute. Une autre question peut suivre sans reprendre la scène à zéro.

Les petits caractères sont le cas le plus direct. Étiquette nutritionnelle sur un paquet. Molettes d’un appareil. Cycles d’un lave-linge. Menu imprimé dans un restaurant où la lumière manque. Google ajoute que le même coup de main peut servir à une personne âgée, à une personne qui lit difficilement, ou à quiconque n’arrive pas à déchiffrer un texte fin.

Les échanges sont prévus dans plusieurs langues. Des essais ont associé des communautés aveugles et malvoyantes en Inde, au Brésil, à Singapour, en Indonésie, au Japon, et ailleurs. L’enjeu, dans ces retours, est le ton. La description, la consigne pour recadrer et la réponse doivent sonner comme une phrase dite à quelqu’un, pas comme une notice lue d’une traite.

Dans l’application Gemini, le réglage est dans le profil. On active Use Guided Vision in Live. On ouvre Gemini Live. On touche pour partager la caméra. À partir de là, la conversation et l’image vont ensemble.

Un raccourci d’accessibilité existe pour ceux qui ne veulent pas ouvrir l’application d’abord. Le chemin indiqué passe par Paramètres Android, puis Accessibilité, Vision assistance, Guided Vision. On démarre avec le bouton flottant, avec un balayage à deux doigts, ou en enfonçant les deux touches de volume ensemble.

Sous TalkBack, le geste est encore autre. Un appui à trois doigts ouvre le menu TalkBack. Guided Vision y est proposé, au milieu des commandes déjà connues de la personne qui ne regarde pas l’écran.

Google dit avoir montré la fonction plus tôt dans le mois, parmi d’autres outils destinés à élargir l’accessibilité, sur l’écran comme dans la pièce. Pour habituer le modèle au monde réel, les équipes ont travaillé avec Aira. Aira a commenté des images pendant des dizaines de milliers d’heures. Plus de 1 000 personnes du réseau Trusted Tester ont repris l’outil dans des routines du quotidien. Des spécialistes d’Aira ont siégé avec Google pour fixer les garde-fous, puis pour les vérifier.

Le téléphone dit ce qu’il voit, et comment mieux le lui montrer. La canne, elle, reste dans la main.