Actualite

L’éthique en toc des TIC : quelques mots inspirés par « The moral machine »

En 1969, Philip K. Dick écrivait une nouvelle intitulée « La fourmi électrique ». Dans cette nouvelle, un homme victime d’un accident est conduit à l’hôpital. Or, au cours de l’opération, les médecins se rendent compte que ce n’est pas un humain mais un androïde, qu’il ne le sait pas, et il faut lui annoncer la nouvelle. Tout à coup, ce monsieur Garson Poole, c’est son nom, est forcé d’admettre que sa réalité consiste en fait en une bande perforée passant d’une bobine à l’autre dans sa poitrine. Interloqué, il se met à tenter des expériences en bouchant certaines perforations et en créant de nouvelles, et son monde s’en trouve immédiatement modifié. En perçant un nouveau trou, il voit une volée de canards traverser la pièce. Et finalement, il coupe la bande et le monde disparaît purement et simplement. D’où cette question : qu’est-ce que notre réalité ? Un segment d’une carte mémoire situé quelque part, des pixels disséminés sur les multiples interconnexions des réseaux ?

En réaction aux dangers qu’évoque cette fiction, comment configurer et instituer une expérience commune du monde de telle manière qu’elle rende impossibles les abus et les illusions, qu’elle rende possible une vie véritablement vécue tout en autorisant en même temps la possibilité de la contingence ? Comment organiser collectivement la contingence ? Une tâche certes difficile mais joyeuse qui permettrait d’affronter les questions du sens de la vie et de ce qui définit la réalité.

Malheureusement il semble que, pour ce monde dit moderne, certaines réponses à ces questions existent déjà. Désormais, ces questions sont en fait obsolètes. Des algorithmes ont déjà pour fonction de nous décharger du poids de notre destin, de nos choix, voire de nous décharger du risque de vivre. Laissez faire le pilote automatique, tous les choix ont déjà été faits pour vous. Pourtant, nombreux sont ceux à nous avoir prévenu. Philip K. Dick, mais aussi HG Wells, et déjà en 1956, Günther Anders écrivait dans L’obsolescence de l’homme que « ces instruments, [ces algorithmes, ces programmes informatiques] ne sont pas des moyens mais des « décisions prises à l’avance » : ces décisions, précisément, qui sont prises avant même qu’on nous offre la possibilité de décider. Ou, plus exactement, ils sont la « décision prise à l’avance ». Les exemples ne manquent pas de situations où le principe des « décisions prises à l’avance » s’impose, s’incarnant dans une somme de décisions, de choix reposant sur l’efficacité opérationnelle dont la gravité n’a d’égale que l’opacité.

Welcome to the machine

Veuillez saisir votre langue, et vous vous retrouvez alors sur une plateforme qui va vous proposer des saynètes venant éprouver les principes moraux qui vous guident. Selon les langues, les pays ou les régions du monde, The moral machine va compiler et identifier ce que nous sommes capables d’accepter ou de trouver acceptables si une machine autonome (voiture, robot, …) devait se trouver dans une situation identique.

Serions-nous quelques millions à accepter de sacrifier une vieille femme pour préserver la vie de deux enfants ? Il deviendrait alors acceptable d’inscrire ce choix macabre dans le code informatique gérant cette voiture autonome.

Tout ceci se ferait sur des mécanismes identiques à ceux que nous rencontrons lorsque nous souhaitons accéder à certains sites web, et que nous sommes obligés d’identifier dans un ensemble d’images (par exemple les trois images de vélos, de passages pour piétons….) pour démontrer que nous ne sommes pas des robots. Cela nous amène à étiqueter des données images, des lettres, des scènes urbaines qui vont servir à entrainer les réseaux de neurones des systèmes d’apprentissage automatique des grosses entreprises du numérique.

Mais au fait, qu’est-ce que cette MORAL MACHINE ?

Elle est née en 2016 des travaux d’un groupe de chercheurs du MIT mené par Lyad Rahman, chercheur en Intelligence Artificielle, Azim Shariff et Jean-François Bonnefon, des psychologues sociaux. Cette plateforme réactualise en la généralisant une expérience de pensée classique de la philosophie analytique et des sciences cognitives datant de la fin des années 60 : le « dilemme du tramway ». Cette expérience bien connue consiste à placer les participants face à des choix moraux impossibles à résoudre facilement (par exemple en cas de problème au volant d’un véhicule, choisir de sacrifier une vieille femme pour préserver la vie de deux enfants). L’ensemble des dilemmes ainsi proposés ont pour but de permettre le développement des programmes informatiques qui piloteront à terme les voitures autonomes. La collecte de toutes les réponses permet ainsi d’établir les comportements que doit adopter la voiture en cas d’accident imminent : tuer le conducteur, les piétons, évaluer la perte la moins lourde au regard de critères moraux (souvenez-vous du dilemme qui mine le héros du film eRobot quand il se remémore le choix qu’il a dû faire au moment de sauver des personnes en danger de mort). Et comme vous choisissez la langue de l’expérience, il est très facile de relier les réponses aux pays, et par là, de définir ce qui serait moralement acceptable dans un pays et pas dans un autre, dans une culture et pas dans une autre, …

Programmer des règles éthiques ?

Est-il plus éthique, acceptable de privilégier la vie du conducteur, d’un groupe d’enfants qui traverse sur un passage pour piétons, celle d’une personne âgée, ou d’un adulte accompagné d’une poussette ? Qu’est-ce qui peut être acceptable pour les entreprises souhaitant déployer ces flottes de véhicules autonomes, afin de déterminer les règles juridiques et des assurances ad hoc ? Ces règles seront-elles morales ou éthiques ?

Nous savons que l’algorithme, et par extension le programme informatique, n’a pas en lui-même la liberté d’être moral ou immoral, puisqu’il n’est qu’une succession d’états non ambigus déterminés par le concepteur. Ce sont les personnes qui conçoivent cet algorithme ou ce programme qui obéissent, consciemment ou inconsciemment, à un certain nombre de normes morales, de préjugés divers (de genre, culturels, …) et qui implantent leurs propres représentations du monde (dans les modèles utilisés ainsi que dans les données d’apprentissage utilisées) dans les programmes. Pourquoi pensez-vous que certains systèmes ne détectent pas la peau noire ? Ou que certains systèmes de recrutement automatisés affectent systématiquement les femmes à des postes subalternes ? Tout simplement parce que les données choisies pour effectuer l’apprentissage ont été choisies en y incluant ces biais ! Et là est tout le problème.

De plus, une autre partie de ce problème se cache dans la tendance actuelle à réduire systématiquement chaque situation (politique, sociale, écologique, culturelle, …) à une seule question technique à laquelle la technologie numérique apportera nécessairement une solution, en traitant les effets des problèmes sans jamais s’intéresser à leurs causes et en négligeant les possibles déterminismes et biais qui la composent. « Révolutionnaires en théorie, [les technologies intelligentes] sont souvent réactionnaires en pratique » et s’attaquent bien souvent à des problèmes artificiels à force de simplifications et de réduction de la complexité, de la pluralité et de la nuance constitutives du monde.

Alors quelle éthique devrait être programmée dans les systèmes « intelligents » de demain ? L’éthique est communément considérée comme la réflexion sur la recherche de la vie bonne. Comment bien se conduire dans une situation difficile ? Existe-t-il des méthodes pour s’en sortir ou certaines manières de voir à adopter ? Voilà toutes ces questions qui viennent traverser les enseignements dispensés de l’école des Mines de Nancy à la licence information communication en passant par SciencesPo et l’ENSTIB.

« Agis de telle façon que les effets de ton action soient compatibles avec la permanence d’une vie authentiquement humaine sur Terre »

Au vu des enjeux, des transitions multiples auxquelles nous faisons face, ne sommes-nous pas devant un besoin d’enseigner et de disposer d’une éthique basée sur le principe de responsabilité tel qu’énoncé par Hans Jonas qui propose « d’agir de telle façon que les effets de ton action soient compatibles avec la permanence d’une vie authentiquement humaine sur Terre ». Ceci implique d’orienter cet agir vers le bien commun en accord avec notre sentiment de responsabilité, ce qui signifie refonder l’éthique comme une éthique de la responsabilité et du commun capable d’affronter l’ampleur des problèmes auxquels fait face la civilisation technologique, pour le bien-vivre et la survie des générations futures. Les technologies du numérique font également face à un autre défi de taille du point de vue de l’éthique qu’est « l’effet de multitude ». Face aux problématiques éthiques et juridiques qui risquent dans ces conditions de devenir insolubles, nous aurons à les penser en amont dans une logique proactive dite ethics by design.

The moral machine est-elle ethics by design, en demandant à un grand nombre d’individus ce qu’ils seraient prêts à faire, notamment sacrifier une personne pour en sauver cinq ? Mais on sait depuis Jeremy Bentham que, spontanément, beaucoup de gens considéreront toujours que le point de vue utilitariste qui est de tuer cinq personnes est pire que de n’en tuer qu’une. Et que l’intérêt général qui doit dicter nos normes morales est bien la somme totale du bien-être de chacun.

Mais l’autre point rejoint Philip K. Dick qui a ouvert ce petit texte. Dans l’une de ses conférences, il cite Ray Bradbury qui, dans une de ses nouvelles, raconte l’histoire d’un habitant de Los Angeles qui découvre avec horreur que la voiture de police qui le poursuit n’a pas de conducteur – et qu’elle le poursuit de son propre gré ! Pour lui, ce qui est horrible, ce n’est pas que la voiture possède son propre tropisme en poursuivant le protagoniste, mais c’est le fait qu’à l’intérieur de la voiture, il y a un vide. Une place vide. L’absence de quelque chose de vital ! L’humain.

Pourquoi vouloir à tout prix faire disparaître l’humain ?

Parce que « la personne, une fois disparue, ne peut plus être remplacée d’aucune manière. Quels que soient nos sentiments vis-à-vis d’elle, on ne peut pas s’en passer. Et une fois disparue, rien ne peut la faire revenir. Qui plus est, si cette personne est transformée en androïde, elle ne reviendra jamais à l’état humain non plus ».

Et là est la question que nous devons donc nous poser en nous promenant dans The moral Machine. Pourquoi vouloir à tout prix faire disparaître l’humain ? En entrainant les machines à faire ce qui relève de l’humain, ne nous comportons-nous pas nous-mêmes comme des machines ? En réduisant les individus à des procédures, un tel système ne détruit-il pas la possibilité même d’agir collectivement sur le futur ? Alors ne s’agit-il pas de se doter des moyens permettant de s’opposer à ceux qui développent toute une série de méthodes empêchant toute présentation du monde comme problème, en le montrant plutôt comme une entité fixe et établie, quelque chose de donné, quelque chose dont les gens ne sont en fait que de simples spectateurs et à laquelle ils doivent s’adapter ? S’intéresser à un tel système ne serait-ce pas déjà se doter des moyens de proposer une alternative à ce monde de mensonge et de tromperie visant aliénation et passivité des plus faibles. Et pour conclure avec K. Dick, encore lui, « nous ne devrions pas tant avoir peur des robots, que d’avoir peur de devenir nous-mêmes des robots. Il nous faut introduire des valeurs humaines dans la technologie plutôt que la technologie n’introduise ses valeurs dans notre humanité. Pour cela, il faut être capable de mesurer quand une technologie est déshumanisante ou quand les humains ne pensent pas ou ne se comportement pas en humains ». Et juste ces derniers mots. Il faut toujours « [se] demander pour chaque technologie [utilisée] en quoi elle accroit [la] puissance personnelle, de pensée, d’émotion, de liberté, et en quoi elle [la] mutile ».

Sources et références pour aller plus loin

• Carnet de recherches de Samuel NOWAKOWSKI
• Demain est-il ailleurs ? Odyssée urbaine autour de la transition numérique. B Cohen, S. Nowakowski. FYP Editions 2020
• Si ce monde vous déplait… Philip K. Dick

Article de Samuel NOWAKOWSKI, Maître de conférences HDR Chercheur au LORIA.

PDF view