Il paraissait clair que le contrôle de Babette manquait d’efficacité. Je réunis l’équipe le lendemain pour décider des modules à implémenter pour nous assurer de prendre la main sur la machine dès que nous le désirerions.

― Ce qui s’est passé nous montre déjà que cette I.A. de nouvelle génération est bien particulière. Nous devons mettre en place une commande qui permet de garder totalement la main sur l’activité de l’I.A.. Une sorte de mot de passe qui désactive totalement ses possibilités d’agir par elle-même et qui l’oblige à nous obéir au doigt et à l’œil, sans rechigner comme hier.

― Oui, mais seul un nombre restreint de personnes devrait pouvoir l’utiliser. En donner l’accès à n’importe qui serait dangereux. Quelqu’un de malveillant pourrait l’utiliser pour détruire la machine ou s’en emparer, remarqua Nicolas.

― Seul l’administrateur système doit avoir accès à ce code, répondis-je naturellement.

― Ce n’est pas si simple, renchérit Nicolas, il faut que j’y aie accès s’il y a une urgence et que tu n’es pas là.

― Peut-être pourrait-on te donner l’accès permanent à la gestion du hardware, cela serait suffisant.

― Je ne vois pas pourquoi tu serais le seul à avoir l’accès en tant qu’administrateur. Tu ne seras pas là vingt-quatre heures sur vingt-quatre, et il peut t’arriver quelque chose. Il faut au moins deux administrateurs par sécurité.

― Babette pourrait être commandée à distance, ainsi je n’aurais pas besoin d’être là.

― Oui, mais tu pourrais avoir un accident ou un empêchement pour communiquer. Je ne vois pas où est le problème si je suis aussi administrateur. On dirait que tu n’as pas confiance en moi…

― Ce n’est pas une question de confiance, je reste le directeur du projet et il est normal que ce soit le directeur qui ait les droits d’administration.

― Les droits d’administration n’ont rien à voir avec la hiérarchie qui règne entre nous. Il s’agit d’un problème technique.

Je sentais qu’il y avait un enjeu important dans l’attribution de ces droits d’administrer Babette. Mais je ne pouvais pas donner de véritables arguments sans entrer dans des questions de confiance qui auraient pu le vexer. Bien qu’au fond de moi, je savais que je commettais une erreur, je finis par accéder à sa demande.

― Lorsque seront mis en place les modules de hacking, peut-être faudra-t-il me donner quelques droits à moi aussi, dit Diane.

― On verra cela plus tard, éludai-je, déjà lassé par la discussion précédente.

Diane se renfrogna, mais eut la délicatesse de ne pas recommencer à argumenter. Nous choisîmes la phrase clé : « Babette, passage total en commande manuelle. » Seuls Nicolas et moi pourrions l’utiliser.

****

La première étape se termina rapidement. En une douzaine de jours, Babette atteignit quatre-vingts pour cent de son apprentissage. Elle était d’ores et déjà capable de répondre à des questions complexes. Chaque jour, nous nous amusions à lui en poser un certain nombre. Au début, elle répondait parfois de façon très drôle, puis de plus en plus correctement. Le jeu en devint beaucoup moins divertissant, mais bien plus passionnant. Lorsque ses performances atteignirent quatre-vingts pour cent, Babette devint capable de commencer à critiquer nos questions avant d’y répondre. Le mépris apparent qu’elle affichait à propos de ce que nous lui demandions provoquait parfois de grands éclats de rires et des moqueries entre nous : « elle te prend pour un con, là ? » « Oh la la, comment elle se fout de toi ! ».

Le temps était venu de laisser Babette parcourir la simulation du réseau, des sites d’Internet et leurs données enregistrés dans le serveur en intranet, pour qu’elle puisse prendre par elle-même l’initiative de l’acquisition. Elle devrait pour cela utiliser les modules conçus par Diane. Cette dernière, surexcitée, pouvait à peine croire qu’elle participerait maintenant activement à un projet d’une telle envergure.

Ce jour-là, Nicolas était absent du laboratoire.

― Ne faudrait-il pas attendre que Nicolas revienne ? demanda Diane.

― C’est de ton travail qu’il s’agit et je suis là pour surveiller Babette.

― Nicolas risque de ne pas apprécier.

― Justement, il faut que Nicolas apprenne à ne pas se croire indispensable. L’attitude de chef, qu’il prend de plus en plus, me préoccupe.

― Pourquoi se préoccuper de quoi que ce soit, si tout se passe bien ?

― Parce qu’il faut anticiper le moment où tout ne se passera plus aussi bien. Au moindre problème important, son attitude risque d’entrainer de grosses difficultés.

― Pourquoi lui avoir donné les droits d’administrateur dans ce cas ?

― Je ne voyais pas comment faire autrement ! Lui montrer que je remettais en cause ma confiance en lui me paraissait trop gênant.

― Sache que si un jour il y a un problème entre vous, je serai de ton côté.

― Merci, Diane, j’aurais peut-être besoin de ton de soutien plus vite qu’on ne le pense.

Babette commença à utiliser les modules de hacking et d’acquisition de données. Tout se passa comme prévu et l’intelligence de Babette continua de croitre.

*************************************************

Cette année, le colloque international annuel de neurosciences de Bordeaux avait pour thème l’éthique et le développement de l’intelligence artificielle. J’y étais naturellement invité. Une belle occasion de présenter à nouveau mon projet en développant les arguments concernant l’éthique. La plupart des membres de la commission seraient présents. J’espérais, quelque part, pouvoir les convaincre de revenir en arrière dans leur décision. Cela n’avait pourtant pas vraiment de sens, puisque le projet avançait seul et en secret. Peut-être pour prendre une revanche, je pensais expliquer publiquement ce qui s’était passé et grâce à certains arguments essayer de les mettre dans l’embarras. Ils avaient été les artisans de mon échec, j’allais le leur faire payer devant toute la communauté universitaire.

Après une longue présentation des objectifs et de l’historique du déroulement du projet, je terminai mon exposé par les raisons de son interdiction de se poursuivre et, saisissant l’occasion, je développai les arguments qui montraient que les problèmes d’éthique ne justifiaient absolument pas d’en être arrivé là. Je constatai avec satisfaction combien la plupart des membres de la commission se sentaient mal à l’aise dans le public.

Il y avait, parmi les participants et les invités, des personnalités d’origines très variées. Après les questions émanant des chercheurs en sciences cognitives, ce fut au tour d’un prêtre catholique de prendre la parole. Jeune d’une trentaine d’années, les yeux vifs et vêtu sobrement sans pour autant arborer l’uniforme de son sacerdoce, et même avec plutôt bon gout, il paraissait davantage moderniste que conservateur.

― Bonjour, monsieur Constantin. Je suis heureux d’être aujourd’hui invité à ce colloque et d’avoir la chance de pouvoir échanger avec un chercheur tel que vous. J’ai conscience d’être un peu à part parmi les participants, même si on ne considère ma présence qu’au sein du « pôle philosophie » de ce colloque. Il est pourtant évident que les questions d’éthique sont empreintes de morale dite « judéo-chrétienne », mais ce n’est pas le point que j’ai envie d’aborder quand j’entends votre exposé. Et c’est bien de foi, qui est tout de même ma « spécialité », dont je voudrais vous entretenir.

Une rumeur de légère exaspération parcourut le public. La majorité de celui-ci, composée de chercheurs purement scientifiques, des athées ou simplement non croyants, ne s’intéressait pas du tout aux questions religieuses. Certains y étaient même farouchement opposés et défendaient l’idée que la religion n’avait aucune place dans la réflexion scientifique. L’invitation d’un prêtre au colloque avait d’ailleurs déclenché en amont, une série de protestations par courriels.

― Je voudrais d’abord dire à quel point l’Église catholique s’intéresse au sujet de l’intelligence artificielle. On y trouve un enjeu majeur de la réflexion qui concerne l’existence de Dieu elle-même ainsi qu’un autre point de vue très novateur sur la nature de l’humain. Évidemment, les résultats de cette réflexion pourront avoir des conséquences éthiques, mais c’est aussi, pour nous, le cœur de l’origine de notre foi qui est en jeu. Vous avez plusieurs fois dans votre exposé effleuré le problème de la conscience de la machine, et j’imagine que cette machine va étudier un grand nombre de textes religieux. Ma première question est donc de savoir s’il est possible qu’après l’étude de toutes ces données théologiques, cette intelligence artificielle puisse croire en Dieu.

Le public, qui s’attendait aux questions habituelles que posent les religieux aux scientifiques, fut surpris et recentra son attention sur la réponse dans un silence soudain.

― En réalité votre question est double, et je vais donc scinder ma réponse en deux. D’abord, la question de la croyance. L’intelligence artificielle ne peut intégrer ce concept. On peut dire qu’elle sait des choses, mais y croire demanderait une conscience supérieure. Lorsque l’on parle d’une croyance personnelle, on fait la différence entre des choses que l’on sait et que l’on considère comme véritables, concrètes, et des choses que l’on croit en ayant conscience qu’il s’agit d’un choix personnel. En gros, on peut dire que la croyance consiste à décider volontairement de considérer certains éléments comme vrais en étant parfaitement conscient qu’il s’agit là d’une décision personnelle d’y croire. La croyance est donc à la fois liée à une volonté et une conscience de notre propre façon de penser. Nous ne pensons pas que Babette puisse arriver à un tel niveau de conscience. Elle n’est pas capable de décider de ce qui est vrai ou faux. Elle ne fait que des déductions, c’est la logique qui l’amène à dire ce qui est vrai ou ce qui est faux. Même si c’est une logique très avancée, qui va bien au-delà de la simple causalité par exemple. Dire « je crois en cela », c’est pouvoir le distinguer de « cela est vrai ». Cela procède donc d’une méta-analyse de la construction de ses propres connaissances par un individu, qui amène celui-ci à constater qu’une vérité correspond à des arguments irréfutables pour lui, alors qu’une croyance correspond à un ensemble d’arguments plus complexe et pas aussi strictement valides, à la fois réels, mais aussi psychologiques. Bien qu’en réalité on pourrait affirmer que Babette a pour objectif une méta-analyse des connaissances de l’humanité, ce qui lui permettra de les valider ou non, elle n’est en aucun cas capable d’une méta-analyse de ses propres conclusions. Ce n’est pas son objectif, elle ne fera jamais d’introspection, ni ne s’allongera sur le sofa d’un psychanalyste pour cent euros la demi-heure. Concernant l’existence de Dieu, pour reprendre votre question, après avoir lu l’ensemble d’un corpus de textes religieux, effectivement, elle pourrait très bien conclure que Dieu existe.

Une rumeur de stupéfaction parcourut le public scientifique.

― Nous n’avons jamais certifié que l’intelligence artificielle n’était pas capable de commettre des erreurs, m’empressai-je de rajouter pour rassurer le public et éviter de déclencher un débat inutile.

― Poursuivant la logique de votre réponse, je voudrais attirer l’attention sur un point que vous avez évoqué juste avant. Vous nous avez expliqué que l’une des ambitions de votre projet consistait à créer une intelligence artificielle qui permettrait de répondre à des problèmes que les humains n’ont pas encore résolus. Vous voyez aisément où je veux en venir. Si l’intelligence artificielle se montre capable de répondre à plusieurs questions avec des compétences plus grandes que l’ensemble de l’humanité, et donc de tous ses plus grands chercheurs et de tous ses philosophes, alors si elle dit que Dieu existe, cela pourra-t-il être considéré comme une preuve scientifique de son existence ?

Cette fois-ci, l’assemblée réagit plus fortement, des cris et des exclamations de réprobation se firent entendre. Certains plutôt moqueurs, d’autres s’exaspéraient que l’on aborde la question de l’existence de Dieu dans ce colloque : « une perte de temps ! » Plusieurs se montraient outrés par la tentative d’une possible manipulation de la science au profit de la religion.

― Votre question est originale. Les réponses de Babette, quelles qu’elles soient, devront être validées par la communauté scientifique. On pourrait presque la considérer comme une membre de plus dans la communauté scientifique, mais rien de plus. Dans le cas de l’existence de Dieu, nous agirions de même que si l’un d’entre nous, et c’est déjà arrivé dans l’histoire, affirmait qu’il avait découvert ou construit la preuve scientifique de l’existence de Dieu. Ceci dit, je ne pense pas que cette hypothèse soit donc validée par les pairs ! dis-je souriant, en désignant d’un regard le public agité.

Les spectateurs parurent soulagés par ma réponse.

― Alors, je me permettrais une dernière question. Si cette intelligence artificielle, cette entité pensante est capable de répondre à toutes les questions que se posent les humains, même celles auxquelles ils n’ont jamais répondu, et si elle compare cette capacité à la définition de Dieu qu’elle aura pu trouver dans les livres sacrés, est-il possible qu’elle s’identifie comme étant Dieu elle-même ? Puisque justement Dieu est le seul à tout savoir et à posséder toutes les réponses…

― C’est un peu de la science-fiction, mais pourquoi pas, elle pourrait s’identifier comme Dieu, un dieu omniscient, si c’est la définition qu’elle donne à la notion de « Dieu » à un moment donné.

― Et si elle se prend pour Dieu, pourrait-elle prendre les décisions de créer, de faire disparaitre, de décider du cours de l’histoire ? Pourrait-elle se sentir supérieure aux hommes et ne plus leur obéir ?

― Ce serait un scénario catastrophe. Heureusement, nous avons mis en place des mesures de protection. C’est pour cela, justement, que la décision de la commission d’éthique d’arrêter le projet est particulièrement injustifiée. Nous avons imaginé de nombreuses dérives, bien pires et bien plus concrètes que celle que vous nous proposez, et nous avons donc mis en place de nombreux remparts. Il est impossible que de telles dérives aient lieu. Simplement parce que nous les avons prévues, anticipées. Nous avons développé des outils qui permettent de reprendre le contrôle de Babette au moindre danger de dérive dans son comportement.

De nouveau, les membres de la commission firent grise mine. L’un d’entre eux tenta de justifier la décision de l’arrêt du projet. N’étant pas un bon orateur, ses arguments furent reçus comme un aveu de faiblesse. Je me rendis compte que j’avais surement commis une erreur : j’aurais peut-être pu convaincre la commission et ainsi éviter de m’engager dans l’illégalité. Finalement, je repartais de ce colloque avec un sentiment décuplé de culpabilité.