Numérique Autrement

Pour ce Vendredi tuto de Numérique Autrement, découverte et test de Guided Vision dans Gemini Live : une fonction qui promet d’aider à cadrer un document, explorer un objet et mieux utiliser la caméra sans voir l’écran. Une nouveauté particulièrement intéressante pour les personnes aveugles ou malvoyantes, avec de vrais points forts mais aussi quelques limites.

Contenu audio 

Transcription 

Bienvenue sur Numérique Autrement, le podcast qui voit le numérique différemment.

Aujourd’hui, on teste Guided Vision dans Gemini Live, une fonction pensée notamment pour aider les personnes aveugles ou malvoyantes à mieux utiliser la caméra de leur smartphone.

L’idée est simple : au lieu de devoir cadrer parfaitement un document ou un objet sans voir l’écran, Gemini peut donner des indications vocales pour aider à orienter le téléphone, élargir le champ de la caméra et vérifier si ce que l’on veut montrer est correctement visible.

Le test a été réalisé sur Android avec TalkBack, d’abord avec une feuille imprimée, puis avec un emballage alimentaire.

Premier essai avec une feuille contenant une check-list de départ en vacances d’hiver. La page est correctement cadrée du premier coup et Gemini lit le document sans difficulté.

Le plus intéressant, c’est qu’il n’est pas nécessaire de tout faire lire dans l’ordre. Il est possible de demander une rubrique précise, de retrouver une section dans le désordre ou de poser directement une question sur le contenu.

Sur cinq questions posées pendant le test, quatre réponses correspondaient bien au document. Sur la cinquième, Gemini a supposé une information qui n’était pas réellement écrite.

Cela rappelle qu’il faut rester prudent, même quand la reconnaissance du document fonctionne bien. Pour une information importante, il peut être utile de préciser : réponds uniquement à partir de ce qui est écrit sur la feuille.

Le cadrage a ensuite été volontairement compliqué.

Gemini détecte qu’une partie du document n’est pas suffisamment visible et demande de le repositionner. Les indications sont globalement compréhensibles, même si elles ne sont pas toujours parfaitement précises.

Lors d’un essai, il a par exemple donné une indication vers la droite qui pouvait prêter à confusion entre le déplacement du téléphone et celui du document.

Après reformulation, le guidage devient cependant suffisamment clair pour réussir à replacer correctement la feuille.

Autre test : la page est volontairement placée tête en bas.

Gemini ne le signale pas immédiatement. Il faut insister pour qu’il finisse par proposer de tourner la feuille à 180 degrés.

Mais cela ne gêne pas la lecture. Gemini semble corriger automatiquement l’orientation du texte avant de l’analyser, comme le font certains systèmes de reconnaissance optique de caractères.

Autre constat : le champ de la caméra est assez large.

Une page qui semble relativement décalée peut malgré tout être entièrement visible. Il faut parfois cacher réellement une partie du document ou la placer franchement hors champ pour que Gemini considère que le cadrage n’est plus suffisant.

Dans la pratique, c’est plutôt une bonne nouvelle pour quelqu’un qui n’a pas l’habitude de photographier des documents. Il n’est pas nécessaire d’être extrêmement précis.

Gemini conseille souvent d’éloigner légèrement le téléphone pour augmenter le champ visible.

Deuxième test, avec un paquet de nouilles.

Gemini identifie correctement le produit et lit l’inscription présente sur la face avant.

Lorsqu’on lui demande ensuite la composition, il comprend que l’information n’est pas visible sur la face montrée à la caméra et demande de retourner l’emballage.

Cela montre bien l’intérêt du mode conversationnel : on ne se contente pas d’une seule image. On peut manipuler l’objet, poser une nouvelle question et poursuivre l’exploration.

Le cadrage de l’emballage a lui aussi été volontairement dégradé.

Gemini conseille d’abord d’utiliser le zoom. Lorsque l’utilisateur indique ne pas savoir comment faire, il adapte immédiatement son explication et propose simplement d’éloigner ou de rapprocher le téléphone.

C’est un détail, mais il est important : l’assistant sait reformuler une consigne technique en une action beaucoup plus simple.

La rapidité est également très correcte.

Dans les différents essais, les réponses arrivent généralement en environ trois secondes après l’analyse de l’image, et rarement au-delà de cinq secondes.

Il est aussi possible de demander à Gemini de reprendre une image et de réactualiser sa réponse après avoir déplacé le document ou le téléphone.

Alors, Guided Vision est-il réellement utile ?

Le résultat est plutôt convaincant.

Le guidage n’est pas parfait. Les notions de droite et de gauche peuvent parfois manquer de précision, et Gemini pourrait mieux distinguer s’il faut déplacer le téléphone ou l’objet.

Mais dans la pratique, le large champ de la caméra compense en partie ces limites.

Même pour quelqu’un qui n’a pas l’habitude de cadrer, il semble possible de poser une feuille, demander si elle est correctement visible, suivre quelques indications puis commencer à interroger son contenu.

Et l’usage ne se limite pas aux documents.

Un emballage, une étiquette, un menu ou un objet du quotidien peuvent être explorés progressivement en dialoguant avec Gemini.

Guided Vision ne transforme donc pas simplement Gemini Live en lecteur de texte.

Son intérêt principal est de rendre la caméra elle-même plus utilisable sans avoir besoin de voir l’écran.

C’était le Vendredi tuto sur Numérique Autrement. Merci de votre écoute et à très bientôt sur Numérique Autrement.