PROSPECTIVE-FICTION

Et si des intelligences artificielles sélectionnaient des candidats pour des postes de managers, est-ce qu’il y aurait des femmes ?

Préjugés machinaux

Douglas est détendu. Son cauchemar est enfin terminé. Il ne va plus être la cible quotidienne des shetoo[1]. Leur virulence a eu raison du calme légendaire de ce responsable du recrutement. Depuis quelques mois, elles qualifient de sexiste toute embauche d’un homme. Il doit discuter pendant des jours pour la justifier.

Le pire, c’est lorsqu’il doit recruter pour des postes de direction. Avant même qu’il annonce sa liste de candidats, les shetoo débarquant dans son bureau et hurlent :

— Nous sommes aussi compétentes que les hommes… Il faut arrêter cette insupportable discrimination.

La science est venue à son secours. Désormais, les embauches seront faites par une intelligence artificielle. Les shetoo ne pourront pas accuser la machine d’avoir des préjugés. Si les humains peuvent mentir sur les raisons pour lesquelles ils n’embauchent pas quelqu’un, des algorithmes ne mentent pas et ne nous trompent pas.

À 14h02, Douglas arrive donc souriant dans la salle de réunion pour le recrutement du nouveau responsable de l’innovation de l’entreprise. Il a demandé à l’IA de faire une recherche tous azimuts pour trouver un mouton à cinq pattes.

À 14h07, son sourire s’évanouit. La machine vient de cracher le nom de dix candidats susceptibles de prendre ce poste. Ce sont dix hommes.

Les shetoo partent en guerre. Elles l’accusent d’avoir trafiqué la machine.

Douglas est consterné. Il ne comprend vraiment pas ce qui s’est passé.

— C’est à cause des biais de la machine, finit par dire le responsable du programme.

—Un biais… Un biais…

Douglas, les shetoo veulent comprendre.

— La machine ne réfléchit pas. Elle est logique. Elle reproduit l’existant. Comme ce sont plus souvent les hommes qui occupent des managers dans l’innovation, elle a constitué une liste d’hommes.

Quelques heures après cette réunion, Douglas est de nouveau détendu. Il va travailler avec les shetoo pour éliminer les biais sexistes des intelligences artificielles.

[1] On les appelle aussi les « elle aussi ».

LE FUTUR SE DISCUTE

Si l’on demande à des intelligences artificielles de sélectionner des candidats, très peu de femmes se verront proposer des postes de haut niveau.
Laurence Devillers, Ingénieur au CNRS

La technologies en soi n’est ni bonne, ni mauvaise et elle n’est pas neutre non plus.
Melvin Kranzberg.

Les IA sont-elles sexistes ? La réponse est simple. C’est non. Les IA ne sont des outils mathématiques. En revanche, elles peuvent avoir des pratiques discriminantes, car elles sont construites par et pour des sociétés empreintes de différents biais. En clair, même si elles sont bêtes et n’ont aucune conscience, elles peuvent reproduire et amplifier des inégalités.

1. Les IA se nourrissent et calculent à partir de ce qui a existé jusqu’alors.

De ce fait, elles entérinent l’existant.

Si vous lancez une simulation de crédit sur Internet, le calcul, à âge et revenus égaux, ne sera pas le même si vous êtes un homme ou une femme. L’algorithme prend en compte des revenus à dix ans beaucoup plus élevés pour les hommes que pour les femmes.

=> L’algorithme n’est pas sexiste. Elle ne fait que retranscrire ce qui existe.

Les algorithmes qui guident dans le choix des formations proposent plus à une jeune fille de faire médecine ou du droit et à un jeune homme de tenter une prépa scientifique.

=> Ces algorithmes sont nourris par les statistiques des dix dernières années.

2. Les algorithmes apprennent des comportements actuels. Ils sont le reflet des habitudes.

Des chercheurs de l’université de Carnegie Mellon, à Pittsburgh, ont constitué un groupe d’hommes et un groupe de femmes aux profils identiques. Sur un même type de recherche d’emploi, le groupe masculin a reçu 1852 offres de postes bien rémunérés, contre seulement 318 pour le groupe féminin, soit près de 6 fois moins !

=> L’algorithme de Google  traduit le fait que hommes cliquent plus souvent sur les postes à haut profil que les femmes.

Des chercheurs de l’université de Boston ont montré que des algorithmes d’intelligence artificielle, entrainés sur des textes issus de Google news, ont des réponses sexistes.

Quand on leur demande de compléter la phrase :

  • L’homme est au roi ce que la femme est à… la reine. (Ok, c’est logique.)
  • L’homme est au docteur ce que la femme est à… l’infirmière… (Ca commence à piquer).
  • L’homme est au développeur informatique ce que la femme est à… la personne au foyer ( Rien ne va plus ! les jeux sont faits ! )

Une étude sur les collections d’images utilisées par Microsoft et Facebook a fait apparaître que les algorithmes associent les femmes à la cuisine et au shopping et les hommes au sport.

3. Les algorithmes ressemblent à leurs concepteurs

La sous-représentation des femmes dans le domaine est telle que les algorithmes véhiculent les mentalités et une culture masculine à 90%.

Joy Buolamwini, une doctorante du MIT a constaté que plusieurs algorithmes de reconnaissance faciale fonctionnent bien sur les hommes blancs. En revanche, ils n’identifient pas des femmes noires comme elles.

=> Les algorithmes ont été fabriqués et testés par des hommes blancs.

Les traducteurs automatiques traduisent They are programmers par « ils sont programmeurs » et « They are nurses » par « Elles sont infirmières ».

Conséquences

À cause des IA, les femmes peuvent être de moins en moins incitées à s’engager dans des voies scientifiques. Si elles sont encore moins nombreuses à développer des intelligences artificielles, les biais sexistes vont augmenter.

Se fiant aux résultats des IA, les femmes vont négocier des salaires plus bas. Elles se sentiront de plus en plus dévalorisées et auront moins confiance en elles.

Au lieu d’être éliminés, les stéréotypes seront amplifiés.

Remédier à cette déviance

C’est un fait. Les machines risquent donc de reproduire voire d’aggraver certaines inégalités. Il faut donc saisir cette opportunité algorithmique pour soigner notre société.

Plusieurs pistes

Créer une prise de conscience

Il faut inciter les concepteurs à détecter et vérifier l’existence de biais. Tout le monde doit avoir conscience que les IA se nourrissent de nos préjugés.

Augmenter la mixité et la diversité des équipes de développement.

Plus la composition des équipes est variée, plus elles pourront vérifier par elles-mêmes que ces algorithmes ne créent pas des biais sexistes.

Améliorer les bases de données

Il faut gommer les différences raciales, sociales ou de genre qui se trouvent dans les bases de données.

L’intervention n’est pas simple, car les bases de données comprennent des millions, voire des milliards d’éléments. De plus, si l’objectif est in fine de permettre aux programmes d’IA de comprendre le langage en se basant sur l’interprétation du monde par les êtres humains, modifier les données pourrait fausser l’ensemble.

Vérifier les résultats

Une fois le résultat fourni par l’algorithme, il est nécessaire de vérifier que L’IA ne serait mise sur le marché que lorsqu’on aura la certitude qu’elle n’aggravera pas certains biais. Pourquoi pas travailler sur un label ?

Mettre en place des recours

Des chercheurs de l’université d’Oxford (Royaume-Uni) défendent la mise en place d’une autorité chargée d’auditer ces algorithmes et d’enquêter quand un citoyen s’estime victime de discrimination de la part de l’algorithme.

L’Union européenne travaille sur un « droit à l’explication », qui imposerait aux entreprises utilisant ces programmes d’être capables d’expliquer les décisions qu’ils prennent aux personnes concernées.

ILS EN PARLENT AUSSI

Intelligences contre intelligences

Ateliers de co-construction du guide IA

Guide sur l'Intelligence artificielle