Google met régulièrement à jour son application destinée aux personnes aveugles ou malvoyantes. Lookout intègre désormais la possibilité de lire les étiquettes de produits alimentaires à haute voix. Une avancée saluée par la Royal National Institute of Blind People (RNIB), organisation caritative britannique pour la cécité.
Les étiquettes des aliments sont généralement conçues pour attirer l’attention et se distinguer des autres produits. De ce fait, elles ne sont pas nécessairement très lisibles ou informatifs. Si une personne voyante peut accidentellement acheter le mauvais type de beurre de cacahuète, quelle chance a une personne qui ne peut pas (bien) lire l’étiquette elle-même ? C’est cette question qui a motivé une récente mise à jour de Google de son application Lookout. L’IA peut désormais reconnaître de la nourriture et la citer à haute voix.
L’IA s’appuie sur une base de données de deux millions de produits populaires
Selon Google, l’application est capable de « faire la distinction entre une boîte de maïs et une boîte de haricots verts. ». La fonctionnalité évoque ainsi les applications de suivi alimentaire, des logiciels permettant d’en apprendre plus sur un aliment en recherchant son code-barres dans une base de données. Ici, il s’agit d’une base de données de plus de deux millions de produits populaires. Lookout compare ce qu’il voit à cette banque d’informations et d’images de produits et, lorsqu’il obtient une correspondance, il lit les indications pertinentes : marque, produit, saveur, etc. En cas de problème, l’application peut également scanner le code-barres.
Pour utiliser Lookout, il faut pointer l’appareil photo de son smartphone vers le produit. L’application l’identifie ensuite et prononce à voix haute le nom de la marque et la quantité du produit (en litres, en grammes, etc.). Sur le blog de Google AI, le géant américain ajoute que sa base de données peut s’adapter selon le magasin et l’endroit où l’utilisateur se trouve, changeant alors de catalogue.
Quelques limites signalées…
La BBC, qui a testé Lookout, rapporte que celle-ci « n’a eu aucune difficulté à reconnaître une célèbre marque de sauce piquante américaine ou un autre produit similaire venant de Thaïlande. ». En revanche, l’application a rencontré des difficultés à identifier des produits aux formes irrégulières, comme les pommes de terre ou les sacs de farine. Au Royaume-Uni, le Royal National Institute of Blind People (RNIB) salue la mise à jour de l’IA, mais reste prudent quant à son efficacité. L’organisation rappelle à juste titre que de nombreuses étiquettes sont d’abord conçues pour être accrocheuses, et non pour être faciles à lire. « Idéalement, nous aimerions que l’accessibilité soit intégrée au processus de conception des étiquettes afin qu’elles soient plus faciles à identifier pour les personnes malvoyantes. », a déclaré Robin Spinks, membre de l’institut.
Lookout peut numériser et lire des documents
La mise à jour de Lookout porte aussi sur la numérisation de documents ou courriers. Ceux-ci pouvant ensuite être lus à voix haute par le smartphone, même à l’envers. Ces nouvelles fonctionnalités s’ajoutent à bien d’autres, comme la lecture des panneaux ou l’identification des billets de banque. Cette dernière permet de faire la distinction entre différentes dénominations, identifiant par exemple un billet de 10 $ lorsqu’il est plié. Elle peut aussi lire au recto ou au verso. Pour le moment, l’identifiant de devise ne prend en charge que les dollars américains.
Par ailleurs, Lookout fonctionne uniquement en anglais, français, allemand, italien et espagnol. Il ne prend pas encore en charge les alphabets non romains comme le cyrillique ou l’arabe.
