PROSPECTIVE-FICTION

Et si l’intelligence artificielle contribuait à surveiller et punir les « mauvais » citoyens ?

Souriez, vous êtes notés !

Dans un bureau ordinaire, deux hommes. L’un est assis sur son autorité. L’autre a une incompressible envie de fuir.

— Monsieur Loreling, pas fameux ton score social au dispositif « Honnêteté et Intégrité ».

— 5000 euros ! Le HI, c’est du racket !

— Ton dossier pose vraiment problème. En un an, tu as croisé trois fois Madame Croulant, ta voisine, sans lui dire bonjour.

— La vieille bricolée ! Depuis qu’elle s’est acheté une nouvelle paire de jambes, elle nous soule avec ses exploits.

— La politesse est un minimum social incontournable… Le 17 mars, tu as traversé alors que le signal piéton n’était pas encore au vert.

— J’étais en retard au boulot à cause des inondations dans mon quartier. D’habitude, je marche dans les clous.

— Dans les clous ! On ne dirait pas. Le 9 mai, tu as jeté ta canette de soda dans le mauvais bac.

— J’ai contacté la ville parce qu’il avait fait une erreur sur la couleur du bac. Ils m’ont dit qu’ils supprimeraient l’affaire de mon dossier.

— Admettons. Sauf que quelques jours plus tard, tu te promènes avec Snoopy, le chien de ta mère et tu ne ramasses pas la crotte qu’il a faite sur le trottoir.

— Ma mère m’avait juré que Snoopy venait de faire ses besoins. Je n’avais rien pris pour ramasser.

— À cause de ton inconscience, on a dû faire venir un dronacrotte.

— J’ai payé le déplacement.

— Tu as surtout créé du travail inutile au service de nettoyage de la ville.

— Je n’en reviens pas. Deux jours plus tard, tu n’as pas rangé ton plateau à la cantine. Un robot a dû s’en charger.

Un des robots de la cantine bugge. Parfois, il prend les plateaux à peine avons-nous fini le repas. On n’a même pas le temps de se lever.

— Et cela ne s’arrête pas là. Un mois plus tard, tu déposes ton vélo en dehors de l’espace réservé.

— Les parkings sont trop petits. Du coup, pour ne pas avoir de malus citoyens, des barbares mettent des vélos sur le trottoir. Je n’y pas rien.

— C’est pour cela que tu as participé à une manifestation masquée.

— Je suis comme tout le monde. Je n’en peux plus de cette identification faciale.

— Tu n’es pas cohérent. Tu te masques le visage et portes des baskets identifiables. Je ne comprendrais jamais les mauvais citoyens.

— Bon, est-ce que vous me prêtez les 5000 euros ?

— Tu crois que c’est intelligent de te ruiner alors que tu peux régler ta dette sociale avec une semaine d’affichage public de mauvais citoyen ?

— Je vais me marier.

— Si ta future femme t’aime, elle comprendra. Elle pourra même t’aider à ne pas récidiver.

— Elle oui. Mais, pas mon employeur. Ce n’est pas le moment de me faire licencier.

LE FUTUR SE DISCUTE
Et si la réalité dépassait la fiction et que l’intelligence artificielle contribuait à surveiller et punir les mauvais citoyens ? 

L’envahissement des caméras de surveillance

Depuis la fin du siècle dernier, toutes les grandes villes sont équipées de caméras de surveillance.

  • En France, c’est le sieur Balkany, maire de Levallois qui installe les premières caméras sur la voie publique en 1993. Sous la présidence de Nicolas Sarkozy, la vidéosurveillance devient une priorité du gouvernement pour prévenir la délinquance.
  • En Chine, 176 millions de caméras surveillent la population. Selon l’institut de recherches IHS Market, leur nombre passera à 626 millions d’ici 2020.
  • La « ceinture d’acier » londonienne, destinée à combattre le risque terroriste, compte une caméra pour 14 personnes, c’est-à-dire environ un demi-million d’yeux électroniques.
  • Ces caméras enregistrent ce qu’il se passe. Il faut quelqu’un derrière l’écran pour comprendre les images et donner l’alerte. L’efficacité de cette surveillance est discutable. Ses impacts sur la délinquance le sont encore plus.

Vers la surveillance « intelligente »

Nombreuses caméras sont en train d’être équipées d’un logiciel de reconnaissance faciale. Cette technologie permet de repérer et identifier des personnes qui effectuent des gestes ou des actions considérés comme suspects. L’intelligence artificielle identifie les caractéristiques d’une personne et les compare avec ceux des bases de données.

Cette technologie est utilisée à diverses fins.

  • À Jinan en Chine, si vous traversez alors que le feu est rouge, votre photo s’affiche sur un grand panneau installé au carrefour. Outre prendre la photo, l’intelligence artificielle identifie le contrevenant. Quelques minutes plus tard, il reçoit une vidéo montrant le délit. Outre l’humiliation publique, il est verbalisé. Il a alors le choix entre 3 dollars d’amende, 30 minutes de cours sur le code de la route ou 20 minutes de son temps à aider un policier à gérer la circulation
  • Au Tibet et au Xinjiang, le gouvernement utilise la reconnaissance faciale pour suivre les déplacements des minorités ethniques. L’idée est de prévoir et réprimer les manifestations avant qu’elles ne commencent.
  • Microsoft s’est associée avec Shell pour concevoir un système alertant automatiquement les employés d’une station-service lorsqu’un fumeur vient faire le plein d’essence.
  • Au Japon, AI Guardman est un système de caméra de surveillance combinée à une IA qui analyse le langage corporel pour repérer les voleurs à l’étalage.
  • La reconnaissance est testée dans un lycée de Pennsylvanie aux États-Unis pour repérer les armes à feu.

La Chine a fait un pas supplémentaire en pensant la vidéosurveillance comme un moyen global de contrôle de la population.

Le crédit social

La Chine a lancé un système de crédit social (Social Credit System) qui devrait être pleinement opérationnel en 2020. Le dispositif d’identification des individus est lié aux données financières, médicales et juridiques de chaque citoyen.

La machine mouline toutes ces infos et crée un score social. Cette notation est pondérée par les actions effectuées en ligne ou dans la vie réelle. S’occuper de ses parents âgés, élever ses enfants, rembourser ses crédits et relayer les informations émanant du gouvernement font gagner des points. Critiquer le gouvernement, acheter des jeux vidéos ou avoir de mauvaises fréquentations sur les réseaux sociaux en fait perdre.

Interdiction de voyager, coupure de l’accès aux réseaux sociaux, suppression des crédits, amendes… Lorsque la notation est mauvaise, des sanctions tombent.

Vers des dictatures digitales

Un autoritarisme algorithmique peut émerger de cette surveillance « intelligence ».

Une surveillance tous azimuts

Dans 1984, le roman d’Orwell, le héros Wintson Smith peut se cacher pour écrire son journal. Cela risque de ne plus le cas.

Pour surveiller, on voit apparaître des drones de la taille d’insectes et des lunettes de reconnaissance.

  • Les fonctionnaires de police de Zhengzhou, capitale de la province du Henan, sont désormais équipés de lunettes de reconnaissance faciale leur permettant d’identifier une personne recherchée, dans une gare ou un aéroport.
  • Des ingénieurs de l’Université de Washington ont créé RoboFly, un drone de la taille d’un insecte.
  • En Grèce sur l’île de Santorin, les autorités testent l’utilisation de drones pour lutter contre la fraude fiscale des bateaux de croisières touristiques. L’appareil équipé de caméra de reconnaissance survole les bateaux et repère le nombre de passagers à bord. Si cela ne concorde pas avec celui des déclarations fiscales, c’est l’amende !

Avec ces outils, on crée un dispositif panoptique parfait.  On ne saura jamais si on est regardé, mais on saura toujours sûr qu’on peut l’être.

L’acceptation de la surveillance

La gamification

Même si cette surveillance des citoyens semble réservée à des pays non démocratiques, elle peut aussi être mise en place par l’intermédiaire de la gamification comme en Chine.

Nombreux risquent d’accepter qu’une entreprise ou institution s’accapare de  leurs données et les mettent dans un dispositif de notation en contrepartie de diverses gratifications. Et les premiers qui vont céder à ces sirènes vont en entrainer d’autres avec des « mais, moi, je n’ai rien à cacher » culpabilisants.

  • En Chine, pour l’instant, le SCS (le dispositif de crédit social évoqué plus haut) se fait sur la base du volontariat. Les individus ayant choisi d’y participer gagnent outre le droit d’être bien vus du gouvernement diverses récompenses. Si leurs scores dépassent les 600 points (sur 950 possibles), ils ont accès à des offres de crédit à la consommation, à 650, le droit de louer une voiture sans dépôt de garantie, au-delà de 750, un billet coupe-file pour l’obtention d’un visa Schengen, etc.

Des outils à double tranchant

Ce sont des outils à double tranchant. Ils ne sont pas uniquement répressifs, ils peuvent servir de nobles causes.

  • En Inde, les membres de la caste inférieure reçoivent des aides de l’État grâce à Aadhaar. Ce système basé sur le scan de l’iris regroupe les détails personnels de plus d’un milliard d’Indiens.

Façonner les comportements

Cette surveillance ne va pas se contenter de repérer les attitudes déviantes, il va façonner les comportements. Pour éviter d’avoir des ennuis, on va traverser dans les clous, applaudir le gouvernement sur les réseaux sociaux, consommer moins de papier hygiénique… Cette technologie va contribuer à faire adopter des attitudes plus vertueuses. Au fil du temps, on va devenir des citoyens modèles qui travailleront durs, participeront au développement du pays sans jamais menacer la stabilité sociale.

Il aura bien entendu des poches de résistance. Elles seront éliminées par l’intelligence artificielle. Elle prédira les comportements indésirables, et les actions négatives envisagées. Du point de vue technique, ces prédictions sont du même type que celles qui sont faites par Amnesty International pour prédire les maladies chez les personnes apparemment en bonne santé.

Et le pire est que ces dictatures auront un bel avenir devant eux.

Elles auraient alors l’avantage sur les démocraties d’avoir à leur disposition une grande quantité de données de bonne qualité.

Yuval Noah Harari, l’auteur de Sapiens, imagine un gouvernement qui ordonnerait à sa population de séquencer son ADN afin de centraliser toutes les données médicales de ses habitants. Ce gouvernement disposerait alors d’un avantage immense en termes de recherche médicale sur des sociétés dans lesquelles les données médicales sont strictement privées.

ILS EN PARLENT AUSSI