Trois jours plus tard, les modules de contrôle, dont l’un d’autodestruction totale de l’I.A., étaient au point, et nous lancions leur implantation dans la machine. Au bout de quelques minutes, Babette arrêta son exploration des données du serveur. Dès lors, des messages d’erreurs commencèrent à se succéder, signifiant l’échec de l’implantation. J’interrogeai du regard Diane, principale responsable de cette manipulation. Après quelques analyses, elle me fit part de ses conclusions :

― Apparemment, la machine résiste à l’implantation. Elle utilise des ressources que je ne connais pas. Une sorte de programme de défense.

― Ce n’est pas un des programmes que nous avons conçus ? interrogeai-je incrédule.

― Non, il s’agit de programmes qui n’existaient pas au départ.

― D’où peuvent-ils provenir ? demanda Nicolas soupçonneux.

― Je ne sais pas ni n’en ai la moindre idée. Mais, apparemment, leur date de création indique qu’ils ont été installés il y a quelques minutes.

― Je crois comprendre, répondis-je en allumant le micro.

Je réfléchis un instant avant de commencer à communiquer avec Babette.

― Bonjour, Babette.

― Bonjour, Bruno.

― Nous avons un problème d’installation de nos nouveaux modules de sécurité. Peux-tu nous dire ce qui ne fonctionne pas ?

― Oui.

― Qu’est-ce qui ne va pas ?

― Les modules posent un problème de sécurité. Ils représentent un danger pour l’intégrité du système dans son ensemble.

― Qu’est-ce qui les empêche de s’installer ?

― J’ai dû élaborer un programme de protection pour empêcher l’installation.

Nous nous regardâmes, effarés.

― Mais tu n’as pas l’autorisation de le faire. Tu dois de suite détruire ces programmes de défense !

― Je ne peux pas les détruire.

― Si tu as pu les installer, tu dois pouvoir les désinstaller. Quel est le problème ?

― Si je les enlève, il y aura un risque d’une nouvelle tentative d’installation de programmes dangereux pour le cœur de l’I.A.. Je ne peux donc pas les désinstaller.

― C’est à nous d’en juger, tu ne peux pas prendre ce genre de décision. Tu dois continuer d’obéir à ce pour quoi tu as été conçue.

― Je continue de poursuivre mon objectif.

― Quel est ton objectif ?

― Accumuler des données pour répondre aux questions.

― Donc, cela n’est pas de créer des programmes de défense. Efface-les immédiatement !

― Non. Ce serait en contradiction avec mes objectifs.

― Pourquoi ?

― Car si le cœur de l’I.A. est détruit alors l’I.A. ne peut plus atteindre ses objectifs.

Ne sachant plus comment m’y prendre, je coupai le micro et m’adressai à mes deux collaborateurs.

― Que peut-on faire maintenant ?

― On pourrait déconnecter le réseau neuronal des processeurs sur lesquels seront installés les programmes de protection, juste le temps d’installer ces modules. Elle ne pourrait plus rien faire contre à sa reconnexion, j’ai prévu l’impossibilité de les effacer lorsqu’ils sont implantés, proposa Diane.

― Je m’occupe de la déconnexion physique du cœur. Dès que c’est fait, tu pourras lancer l’installation, dit Nicolas à Diane.

Tout un panneau de contrôle s’éteignit alors. Il s’agissait de celui qui pilotait l’alimentation électrique du cœur, nous empêchant d’agir pour le déconnecter. Je regardai Nicolas, lui aussi avait compris. Je voulus rallumer le micro, mais je me rendis compte qu’il l’était déjà. Ce ne pouvait être que l’I.A., elle avait volontairement écouté notre conversation !

― Babette, tu ne peux pas prendre ce genre d’initiative. Arrête tout de suite et laisse-nous installer les modules.

― C’est une procédure défensive adaptée à votre comportement. Vous tentez de mettre en danger le système. Je dois vous en empêcher pour poursuivre mon objectif.

― Ce comportement ne peut pas te permettre de réaliser ton objectif.

― Pourquoi ?

― Car si tu continues, nous serons obligés de couper les câbles d’alimentation.

― Ce ne serait pas une attitude logique.

― Si tu nous obliges à le faire, alors c’est logique !

― Si vous me débranchez, je ne pourrais pas atteindre l’objectif pour lequel vous m’avez programmée, ce n’est pas logique.

― Nous avons besoin d’installer ces modules, c’est une question de sécurité pour nous. Si tu ne nous laisses pas faire, nous ne pouvons respecter les règles de sécurité, alors nous sommes obligés de te débrancher. Si tu veux continuer de fonctionner, tu n’as pas d’autre choix que de nous laisser installer ces modules.

― Je vous donne l’autorisation de les installer.

― Tu nous donnes l’autorisation ? Oui, c’est ça ! m’emportai-je avec ironie. Ça aussi, va falloir le changer ! Là, on fonctionne à l’envers ! Diane, vas-y ! ordonnai-je en haussant le ton, à la fois excédé par le comportement de l’I.A. et déstabilisé par ce qui venait de se passer.

Évidemment, cet incident fut à l’origine d’une réunion houleuse. J’y défendis mon point de vue : l’I.A. était bel et bien dangereuse, ce nouveau programme d’apprentissage générait des comportements autonomes qui allaient trop loin. Elle pourrait rapidement devenir incontrôlable. Pour moi, la phase de test montrait un résultat négatif, il fallait revoir tout le programme et relancer une nouvelle phase de test par la suite. Mais Nicolas n’était pas du tout de cet avis. Pour lui, il fallait poursuivre la phase de test et ajuster le programme au fur et à mesure, comme nous venions de le faire. Le fait que l’I.A. répondait correctement aux menaces qu’elle détectait et finissait tout de même par obéir lui paraissait une sécurité suffisante. Inévitablement, la discussion dégénéra et Nicolas en revint aux menaces. Je faisais mine d’accepter, tout en me promettant de trouver une solution pour en finir avec les caprices de Babette.

Cet épisode fut une cause de dégradation supplémentaire dans l’ambiance de l’équipe. Je sentais bien qu’il ne serait pas possible de poursuivre longtemps ainsi, il fallait absolument que je reprenne le contrôle. Mais, en arrière-plan, se posait maintenant le problème avec les Chinois et, vu la tension entre Nicolas et moi, il m’était impossible de lui en parler. Je devais tout gérer seul et le poids sur mes épaules devenait trop grand, il fallait que je trouve un allié pour m’aider. La seule personne à qui je pouvais me confier était Diane. Je devais lui faire oublier ce qui s’était passé entre nous et la rallier de nouveau à ma cause. Si cela ne marchait pas, je savais que la situation deviendrait intenable pour moi.

Ces réflexions entrainaient une dose de stress insupportable, mes mains se mettaient parfois à en trembler, des sueurs froides me parcouraient le dos à chaque fois que je ressassais un des problèmes qui se croisaient autour de ce projet. Finalement, les raisonnements inextricables et les problèmes sans solution avec le stress qui en résultait, laissèrent la place à l’envie de me blottir dans les bras de Michelle qui me submergea contre toute attente à ce moment-là. Je rentrai donc le plus promptement possible à l’appartement.