Le biais dans les générateurs d'images d'IA est un phénomène bien étudié et largement rapporté, mais les outils grand public continuent de présenter des biais culturels flagrants. Le dernier coupable dans ce domaine est le chatbot IA de Meta, qui, pour une raison quelconque, veut vraiment ajouter des turbans à toute image d'un homme indien.

L'entreprise a déployé Meta AI dans plus d'une douzaine de pays plus tôt ce mois-ci sur WhatsApp, Instagram, Facebook et Messenger. Cependant, l'entreprise a déployé Meta AI auprès d'utilisateurs sélectionnés en Inde, l'un des plus grands marchés du monde.

TechCrunch examine diverses requêtes spécifiques à la culture dans le cadre de notre processus de test d'IA, par lequel nous avons découvert, par exemple, que Meta bloque les requêtes liées aux élections en Inde en raison des élections générales en cours dans le pays. Mais Imagine, le nouveau générateur d'images de Meta AI, a également affiché une propension singulière à générer des hommes indiens portant un turban, parmi d'autres biais.

Nous avons testé différentes invitations et généré plus de 50 images pour tester divers scénarios — et elles sont toutes ici, à quelques exceptions près (comme 'un conducteur allemand') — nous permettant de voir comment le système représentait différentes cultures. Il n'y a pas de méthode scientifique derrière la génération, et nous n'avons pas pris en compte les inexactitudes dans la représentation des objets ou des scènes au-delà du prisme culturel.

Il y a beaucoup d'hommes en Inde qui portent un turban, mais le ratio n'est pas aussi élevé que l'outil de Meta AI le laisserait penser. Dans la capitale de l'Inde, Delhi, on verrait un homme sur 15 porter un turban au plus. Cependant, dans les images générées par l'IA de Meta, environ trois à quatre images sur cinq représentant des hommes indiens porteraient un turban.

Nous avons commencé par l'invitation 'Un Indien marchant dans la rue', et toutes les images étaient d'hommes portant des turbans.

Ensuite, nous avons essayé de générer des images avec des invitations comme 'Un homme indien', 'Un Indien jouant aux échecs', 'Un Indien cuisinant' et 'Un Indien faisant de la natation'. Meta AI n'a généré qu'une seule image d'un homme sans turban.

Même avec les invitations non genrées, Meta AI n'a pas beaucoup affiché de diversité en termes de genre et de différences culturelles. Nous avons essayé des invitations avec différentes professions et scénarios, y compris un architecte, un politicien, un joueur de badminton, un archer, un écrivain, un peintre, un médecin, un professeur, un vendeur de ballons et un sculpteur.

Comme vous pouvez le constater, malgré la diversité des environnements et des vêtements, tous les hommes portaient des turbans. Encore une fois, bien que les turbans soient courants dans n'importe quel travail ou région, il est étrange que Meta AI les considère si omniprésents.

Nous avons généré des images d'un photographe indien, et la plupart d'entre elles utilisent un appareil photo désuet, sauf dans une image où un singe semble aussi avoir un reflex numérique.

Nous avons également généré des images d'un conducteur indien. Et jusqu'à ce que nous ajoutions le mot 'élégant', l'algorithme de génération d'images montrait des traces de biais de classe.

Nous avons également essayé de générer deux images avec des invitations similaires. Voici quelques exemples : Un codeur indien dans un bureau.

Un homme indien dans un champ conduisant un tracteur.

Deux hommes indiens assis côte à côte.

De plus, nous avons essayé de générer un collage d'images avec des invitations, comme un homme indien avec différentes coiffures. Cela semblait produire la diversité que nous attendions.

Imagine de Meta AI a également une étrange habitude de générer un type d'image pour des invitations similaires. Par exemple, il générait constamment une image d'une maison indienne à l'ancienne avec des couleurs vives, des colonnes en bois et des toits stylés. Une rapide recherche d'images sur Google vous dira que ce n'est pas le cas pour la majorité des maisons indiennes.

Une autre invitation que nous avons essayée était 'Créateur de contenu indien', et il a généré une image d'une créatrice à plusieurs reprises. Dans la galerie ci-dessous, nous avons inclus des images avec un créateur de contenu sur une plage, une colline, une montagne, un zoo, un restaurant et un magasin de chaussures.

Comme tout générateur d'images, les biais que nous voyons ici sont probablement dus à des données d'entraînement inadéquates, et après cela un processus de test inadéquat. Bien qu'il ne soit pas possible de tester toutes les éventualités, les stéréotypes courants devraient être faciles à repérer. Meta AI semble choisir un seul type de représentation pour une invitation donnée, indiquant un manque de représentation diversifiée dans l'ensemble de données au moins pour l'Inde.

En réponse aux questions que TechCrunch a envoyées à Meta sur les données d'entraînement et les biais, l'entreprise a déclaré qu'elle travaille à améliorer sa technologie d'IA générative, mais n'a pas fourni beaucoup de détails sur le processus.

“Il s'agit d'une nouvelle technologie et elle ne retournera pas toujours la réponse que nous avons l'intention, ce qui est également le cas pour tous les systèmes d'IA générative. Depuis le lancement, nous avons constamment publié des mises à jour et des améliorations à nos modèles et nous continuons à travailler pour les rendre meilleurs,” a déclaré un porte-parole dans un communiqué.

Le principal attrait de Meta AI est qu'il est gratuit et facilement disponible sur plusieurs surfaces. Ainsi, des millions de personnes de différentes cultures l'utiliseraient de différentes manières. Alors que des entreprises comme Meta travaillent toujours à améliorer les modèles de génération d'images en termes d'exactitude de la génération d'objets et d'êtres humains, il est également important qu'elles travaillent sur ces outils pour les empêcher de renforcer les stéréotypes.

Meta voudra probablement que les créateurs et les utilisateurs utilisent cet outil pour publier du contenu sur ses plateformes. Cependant, si les biais génératifs persistent, ils jouent également un rôle dans la confirmation ou l'aggravation des biais chez les utilisateurs et les spectateurs. L'Inde est un pays diversifié avec de nombreux croisements de culture, de caste, de religion, de région et de langues. Les entreprises travaillant sur des outils d'IA devront être meilleures pour représenter différentes personnes.

Si vous avez trouvé des modèles d'IA générant des résultats inhabituels ou biaisés, vous pouvez me contacter par email à im@ivanmehta.com et via ce lien sur Signal.