Éthique et robotique : « Google ne contrôle pas encore le monde »

Robots personnels, véhicules autonomes et même « robots tueurs » ou cyborgs, la robotique est et sera omniprésente dans notre société. Pour Nom de Zeus, Raja Chatila, directeur de recherche au CNRS et directeur de l’Institut des systèmes intelligents et de robotique (ISIR) évoque les questions éthiques auxquelles nous aurons très rapidement à faire face. Avec un pragmatisme aux antipodes des transhumanistes de la Silicon Valley.

La robotique est sûrement l’incursion la plus visible du « futur » dans notre présent. Mais la vitesse des avancées technologiques dépose sur place la question législative, morale ou éthique. Raja Chatila, membre de la Commission de réflexion sur l’Éthique de la Recherche en sciences et technologies du Numérique d’Allistene (CERNA) estime qu’il faut que la société entière prenne la mesure des questions éthiques : « au début il s’agissait d’un débat de spécialiste, mais on voit que cela arrive sur la place publique. Puis il faudra que le législatif s’en saisisse ». Le chercheur fait le point sur les principales questions éthiques liées à la robotique auxquelles nous serons confrontés.

2020 : quelle relation humain/robot ?

Les « robots de compagnie » sont en plein essor. Le Japon s’arrache ces petits robots personnels, et on estime le marché mondial à près de 100 milliards de dollars en 2020. Destinés en premier lieu à aider et divertir les enfants ou les personnes âgées, ils ont souvent des petites têtes rigolotes et semblent parfaitement inoffensifs. « Mais cela peut être discutable, estime Raja Chatila. On ne sait pas quels sont les effets psychologiques sur un enfant s’il voit des robots se comporter comme des humains. Un enfant, une personne âgée ou toute personne n’ayant pas la pleine possession de ses capacités cognitives peut ne pas comprendre. Surtout pour les androïdes ». En d’autres termes, même doué de parole et « ressemblant » à un humain, un robot ne possède pas plus d’humanité qu’une chaise ou une table. Pourtant il suscite plus d’émotions.
Les humains compatissent avec les robots et sont capable d’éprouver des sentiments pour eux. « On travaille beaucoup sur la détection des émotions par les robots ou au contraire à donner l’illusion que le robot en possède ». Et puisqu’ils ont des formes et des expressions « humaines », on peut facilement les croire. « Moi-même j’ai tendance à tomber dans le panneau quand je vois un petit robot tout mignon, admet le chercheur. Alors imaginez un enfant. Il faut faire très attention à ne pas franchir la ligne objet/humain. Même si elle sera de plus en plus floue ».

2045 : la singularité, vraiment ?

La frontière humain/robot, justement. Ray Kurzweil, futurologue chez Google et leader du mouvement transhumaniste américain estime qu’elle tombera d’elle-même d’ici 2045. La singularité (l’intelligence artificielle dépassera celle de l’Homme) nous poussera à devenir des cyborgs, mi-humains mi-robots. Pour Raja Chatila, certains aspects de ce discours peuvent être crédibles, mais ils sont mêlés à de purs fantasmes voire à des délires potentiellement très dangereux. « Premièrement, les dates avancées me semblent assez douteuses, estime-t-il. Mais de telles prévisions s’apparentent un peu à la méthode Coué. L’objectif daté n’est pas l’important, c’est de chercher dans cette direction qui importe. Reste qu’il demeure une difficulté technique majeure : on ne sait absolument pas « construire » de cerveaux. On sait qu’un cerveau est composé de 100 milliards de neurones, mais ça n’est pas parce que je vous donne 100 milliards de neurones que vous me ferez un cerveau avec ».

Raja Chatila : « l’IA qui dépasse l’humanité et qui devient malveillante c’est un sujet de SF. il faut partir des réalités » #MFrobots

— Morgane Tual (@morganetual) 26 Septembre 2015

Il s’agit donc de démêler le futur crédible et l’avenir fantasmé. « Concernant les « cyborgs », il y a une différence majeure entre augmentation et réhabilitation. Si vous « ajoutez » quelque chose pour développer vos capacités, c’est de l’augmentation. Si vous perdez un bras et qu’on vous en greffe un nouveau, c’est de la réhabilitation ».

Les deux sont-ils crédibles, et « éthiques » ? « Concernant l’augmentation, on peut considérer que les exosquelettes c’est le début du cyborg ! Ils seront capables de permettre à une personne handicapée de marcher, ou de sur-développer les forces physiques, que ça soit pour des métiers pénibles ou pour une utilisation militaires, évidemment ». Mais un exosquelette, comme un vêtement, on peut toujours l’enlever. « Avec la CERNA, nous avons beaucoup insisté sur cette obligation de la réversibilité des systèmes d’augmentation. D’un point de vue éthique, il faut toujours que l’utilisateur puisse décider, qu’il n’y ait pas de caractère définitif ».

Outre la réversibilité, un critère éthique sera bien sûr la question du but. « Des interfaces cerveau/machine sont possibles. Elles existent déjà et seront de plus en plus utilisées, dans un but médical. Mais si l’on parle d’utiliser ces implants de manière volontaire, pour « remplacer les pièces défectueuses au fur et à mesure », alors on questionne l’identité humaine. Je ne parle pas de bien ou de mal, mais de nature humaine ».

Que fera-t-on si quelques individus deviennent des surhommes augmentés incontrôlables ?

Et si dans la tête de Kurzweil il semble évident que nous deviendrons des transhumains, Raja Chatila lui n’est « pas du tout convaincu du caractère inéluctable ». Certes cette idée semble assez à la mode, notamment du côté de la Silicon Valley. Mais « estimer qu’il n’y a que cette possibilité, c’est aller trop vite en besogne : la société peut tout à fait s’y opposer. Estimer que les transhumanistes vont décider seuls du futur, c’est accepter l’idée que l’on ait un gros problème de démocratie. Bien sûr, des gens voudront se faire augmenter ; des tas de gens, sûrement. Mais ça sera à eux d’en décider. Google ne contrôle pas encore le monde. Que fera-t-on si quelques individus deviennent des surhommes incontrôlables dans leur coin ? »

Si ce scenario catastrophe n’est pas à l’ordre du jour, on ne peut ignorer le fait qu’une poignée de chercheurs concentre ses recherches sur l’intelligence artificielle et l’immortalité et entend bien les mener à terme. « On ne peut pas laisser faire ça seulement par la bande de Google. C’est l’humanité entière qui doit en discuter, estime Raja Chatila. L’humain décidera en conséquence. Si nous voulons réellement devenir immortels et que nous en avons les moyens, très bien, alors nous en subirons les conséquences, qu’elles soient positives ou négatives. Mais l’éthique devra se penser de manière collective, pas dictée par quelques individus qui, justement, dirigent les sociétés parmi les plus puissantes de la planète ».

2050 : pour une voiture intelligente en ville, il faudra des citadins intelligents

Parmi les avancées en robotiques qui font beaucoup parler d’elles, les voitures intelligentes tiennent le haut du pavé. « Dans un futur plus ou moins proche, l’avènement de la voiture connectée est déjà beaucoup plus envisageable que les cyborgs, car cela ne nécessite pas autant de connaissances « humaines ». Plus les tâches sont simples et répétitives plus elles peuvent être automatisées. La conduite peut entrer dans ce cadre-là ».

La conduite, une tâche simple et répétitive ? « Dans un premier temps, les voitures sans conducteurs rouleront sur l’autoroute uniquement. La voiture totalement autonome dans les rues de Paris, désolé mais ça n’est pas pour tout de suite. 2050 ? Franchement même à cette date, je ne suis pas convaincu. La circulation d’une ville c’est beaucoup plus complexe. Surtout les villes européennes où les humains piétons, cyclistes ou automobilistes ne respectent pas les règles ». Autrement dit, il faudrait des humains plus intelligents si l’on voulait voir des voitures « intelligentes » en ville. « Remplir les rues de voitures autonomes signifie qu’il faut automatiser la ville, et donc que les humains se comportent comme des robots ». Pas sûr que nous soyons prêts à automatiser nos comportements citadins.

D’autre part, d’un point de vue éthique la voiture intelligente est un cas d’école. « Certes, on pourra considérer que l’on réduira le nombre d’accidents. Mais d’une part on ne le réduira jamais à 0, et surtout, il faudra faire face à de nombreux dilemmes éthiques ». Considérons une situation « imprévisible » : la voiture intelligente porte un passager et dépasse un cycliste lorsqu’un passant se jette sous ses roues. « Comment sera alors programmée la voiture ? J’écrase la personne ? Je « sacrifie » mon passager ? Je me rabats sur le cycliste ? Les paramètres sont très variés. Ce choix éthique sera-t-il fait en fonction de l’âge des différents protagonistes ? Qu’est-ce qui empêche alors de le faire en fonction de leur sexe ou couleur de peau ? De plus, lorsque l’on fait ce choix, optimise-t-on les conséquences ? Choisi-t-on de manière juste ? Utile ? Déontologique ? Morale ? Toutes ces questions devront être prises en considération au moment même de la conception de la voiture ».

The conscience of a car – recent paper discusses moral dilemma of autonomous vehicles https://t.co/iePoQwp6r6 @RichardWiseman @bobbyllew

— Nimape (@Nimape) 28 Octobre 2015

« Ces questions, presque d’ordre philosophique, n’ont pas de solution. Et à mon sens elle pourraient en elle même remettre totalement en question la commercialisation de ces voitures. Si le vendeur vous indique que son algorithme peut éventuellement vous tuer en fonction de certains critères, vous achèteriez la voiture ? Pas moi ».

Vers des robots-soldats ?

« Lorsque l’on parle d’éthique et robotique, il faut distinguer « éthique machine » (est-ce que le robot se « comporte » de manière éthique) et « éthique chercheur » (est-ce que les recherches ont été menées de manière éthique), même si la frontière peut parfois être floue, l’une découlant de l’autre ». Pour les armes, la distinction est évidemment d’autant plus importante. « Les robots-tueurs (même s’il s’agit d’un très mauvais terme) posent un gros problème éthique : lorsque la machine choisi elle-même sa cible et décide de son élimination. Évidemment une très large majorité, notamment chez les scientifiques, pense qu’il faut arrêter tous les travaux sur ces sujets, que ces armes ne sont pas acceptables ».

#Apple Co-Founder Steve Wozniak lead campaign « STOP KILLER #ROBOT » @iamlibertyshow @Krommsan @7SealsOfTheEnd pic.twitter.com/t7rHrcN5KU — EndTimeTuber (@EndTimeTuber) 24 Août 2015

« Mais d’autres voient en revanche ces robots comme une sorte « d’agent moral », mieux à même de respecter les conventions internationales (Genève, Ottawa, etc.) car dénué de sentiments. En somme ils seraient presque plus éthiques qu’un humain ». À l’heure actuelle, les armes automatiques existantes ne font l’objet d’aucun encadrement, ce qui laisse place à un immense flou juridique international. Malgré cela, la peur de pertes humaines et la réduction des coûts ont considérablement fait augmenté leur utilisation. Les États-Unis envisagent ainsi d’automatiser une partie de leur armée dans les décennies à venir.

« Il existe déjà des systèmes autonomes. La Navy utilise par exemple un système automatique de missiles anti-agression, car l’être humain n’est pas assez rapide. Et évidemment, il y a déjà eu des erreurs, comme en 1988 lors de la guerre Iran-Irak où un navire américain a abattu un avion civil iranien. Dans ce genre de cas, qui est responsable ? Le constructeur ? Le programmateur ? L’officier ? C’est en ça qu’il faut réfléchir de manière éthique au problème ».

Hélas, l’automatisation de la guerre semble pourtant bien en route. « La ligne rouge n’est désormais plus infranchissable, car les guerres sont devenues plus floues, et les belligérants moins identifiables. On n’est plus dans un schéma « classique » d’une armée contre une autre armée, ce qui a poussé à la transgression. La 1ère transgression est arrivée avec les drones : désormais les assassinats ciblés sont monnaie courante ». Le chercheur milite ainsi pour la mise en place d’une convention internationale encadrant ces armes et ces pratiques, comme pour les mines antipersonnelles.

« De manière générale, l’éthique passera beaucoup par la question de « risque acceptable ». Moins on contrôlera les outils qu’on utilisera, plus on s’exposera à un comportement risqué de ces outils, quels qu’ils soient. On ne comprend pas toujours le comportement d’une voiture autonome, par exemple. Il faudra donc que le citoyen soit parfaitement au courant des risques encourus. On utilisera de plus en plus d’appareils autonomes, qu’il s’agisse d’une arme, d’un aspirateur – qui a priori ne fait courir qu’un risque limité – ou d’une voiture, puis d’un avion ou d’un « robot-chirurgien ». L’essentiel est que les citoyens soient au courant des risques encourus, et que les législations mises en place tiennent compte de ces risques ».

 

Pour aller plus loin :

• Débat du CICR : Robotiser la guerre, est-ce bien humanitaire ?
  
• Serge Tisseron – Le jour où mon robot m’aimera – Albin Michel
• Real Humans – Série de science-fiction sur Arte
• Rapport de la Navy : Autonomous Military Robotics : Risk, Ethics, and Design