L’intelligence artificielle, un outil de discrimination des musulmans et des minorités
Les critiques affirment que l’utilisation de la technologie de reconnaissance faciale risque d’accroître la surveillance des musulmans, des castes inférieures, des Adivasis autochtones et d’autres groupes sociaux et minorités marginalisés.
Après les affrontements communautaires dans le quartier de Jahangirpuri de Delhi, le 11 septembre de l'année dernière, la police a déclaré avoir utilisé la technologie de reconnaissance faciale pour identifier et arrêter des dizaines de personnes.
La plupart des accusés étaient des musulmans et des membres de groupes de défense des droits de l'homme, et des experts en technologie ont critiqué l'utilisation par le gouvernement indien, de la technologie basée sur l'IA, pour cibler les groupes pauvres, minoritaires et marginalisés à Delhi et ailleurs, dans le pays. Les experts craignent que l’absence de politique formelle pour l’utilisation de l’IA nuise aux gens, renforce les préjugés, criminalise les minorités et favorise les riches.
Shivangi Narayan, un chercheur qui a étudié la police préventive à Delhi, a déclaré : « Cela (l'utilisation de l'intelligence artificielle) affecte directement les personnes qui sont en marge, comme les Dalits, encore appelés « les Intouchables » (classes faibles et inférieures de la société), les musulmans et les minorités sociales, et intensifie les préjugés et les discriminations à leur encontre.
Dans un pays en proie à de profondes divisions sur les questions de classe sociale, de religion, de sexe ou de richesse, des chercheurs comme Narayan – membre du centre « Algorithmic Governance Research Network » – craignent que l’IA ne fasse qu’exacerber toutes ces divisions.
Siva Mathiyazhagan, professeur adjoint à l'Université de Pennsylvanie, a expliqué dans une interview à Reuters : « La liaison des bases de données au système national d'identification et l'utilisation croissante de l'intelligence artificielle pour l'approbation des prêts, l'emploi et la vérification des antécédents, pourraient fermer complètement les portes aux marginalisés. La popularité croissante des programmes d'intelligence artificielle générative (un type d'intelligence artificielle capable de produire du texte, des images ou d'autres médias en réponse à la demande d'un utilisateur) tels que les chatbots, risque d’augmenter les préjugés.
Si vous demandez à un chatbot les noms de 20 médecins et professeurs indiens, les suggestions sont généralement des noms de famille hindous de caste supérieure. Ce n’est là qu’un exemple de la manière dont l’asymétrie des données conduit à des résultats biaisés ».
La discrimination des caste en Inde, a été interdite il y a 75 ans, mais les Dalits sont toujours confrontés à des abus et bon nombre de leurs tentatives pour progresser dans les classes sociales indiennes, se sont heurtées à une violente répression.
Des études montrent que les Dalits, les musulmans et les Indiens autochtones ne sont pas représentés dans l’enseignement supérieur et dans les bons emplois, malgré les programmes positifs du gouvernement indien, et sont à la traîne par rapport aux Indiens de la classe supérieure, en matière de possession de smartphones et d’utilisation des médias sociaux.
Une analyse réalisée par Google Research en 2021, a révélé qu'environ la moitié de la population indienne – principalement les femmes, les communautés rurales et les Adivasis – n’avaient pas accès à l’Internet.
Les applications de sécurité sur téléphone portable qui utilisent la cartographie des données pour signaler les zones dangereuses, ont été manipulées par des utilisateurs de la classe moyenne qui ont tendance à signaler les zones dalits, musulmanes et les bidonvilles, comme des zones indésirables qui requièrent une surveillance excessive de la police.
Urvashi Aneja, directeur et fondateur d'un groupe de recherche appelé « Digital Futures Lab », a déclaré : « L'ironie est que les personnes qui ne sont pas comptées dans ces ensembles de données, sont exposées à des systèmes basés sur des données qui reproduisent les préjugés et les discriminations. Disposer d'outils d'intelligence artificielle peut profiter aux privilégiés et contourner les femmes, les classes inférieures et d'autres groupes marginalisés. Ce qu’il faut, c’est une meilleure compréhension des préjugés et de leurs effets dans différents contextes sociaux. Nous devons abandonner l’hypothèse selon laquelle les préjugés disparaissent, accepter que les préjugés existent toujours, et concevoir et construire des systèmes qui les évitent ».
Les données officielles montrent que les bases de données criminelles de l'Inde sont problématiques, les musulmans, les Dalits et les autochtones étant arrêtés, inculpés et emprisonnés dans des proportions plus élevées que les autres.
Les casiers judiciaires préventifs sont utilisés à l’aide de l’intelligence artificielle pour identifier les personnes susceptibles de commettre un crime. Il est possible que l’IA soit utilisée devant les tribunaux, comme par exemple, devant la Haute Cour du Pendjab et de l’Haryana, qui a été la première du pays à utiliser ChatGPT pour décider d’accorder ou non, une libération sous caution, à un suspect dans une affaire de meurtre.
Nikita Sonavane, co-fondatrice du « Criminal Justice and Police Accountability Project », une organisation à but non lucratif, a déclaré : « Tout nouveau système de police basé sur l'IA, est susceptible d'être l’héritage d'une discrimination de classe et d'une criminalisation injuste. Ce à quoi nous assistons aujourd’hui, est la création et l’émergence d’une surveillance numérique des castes, à l’échelle nationale ».
Les gouvernements du monde entier ont mis du temps à réglementer l’IA. Les projets de loi chinois sur l'IA générative, sont entrés en vigueur le mois dernier, tandis que la loi européenne sur l'IA, est dans les dernières étapes des négociations et que la Déclaration américaine des droits de l'IA, fournit des lignes directrices pour la conception et l'utilisation responsables de l'IA générative.
L'Inde n'a pas de loi sur l'IA, et la seule chose qui existe est une stratégie du groupe de réflexion public « NITI Aayog », qui stipule que les systèmes d'IA devraient faire l’objet d’un suivi pour garantir qu’ils sont impartiaux.
