Dans l’avion mettant fin à mes vacances américaines, j’ai regardé – avec un retard certes inexcusable – l’excellent film français « Le chant du loup« . Je pourrais vous parler de talent management en m’appuyant sur le personnage de François Civil, dit « L’oreille d’or », qui a le don rare de reconnaître chaque son qu’il entend. Ce qui, dans un sous-marin, permet accessoirement de distinguer une baleine d’un sous-marin nucléaire soviétique. Pratique.
Mais c’est de désobéissance et d’intelligence artificielle dont cet article est question, pas de talent management.
(Attention Spoiler) Dans le film, l’équipage du sous-marin auquel François Civil appartient est confronté à une situation inédite, jamais vécue dans l’Histoire des sous-mariniers. Cette situation conduit les membres de cet équipage a faire un choix crucial, pouvant déclencher potentiellement une attaque nucléaire :
- Suivre le protocole et l’ensemble de procédures associées afin de tirer un missile nucléaire vers la Russie. Parmi ces procédures se trouve celle qui consiste à n’écouter personne, pas même le Président de la République, qui préconiserait de ne finalement pas tirer ce missile
- Faire confiance aux membres de l’équipage du sous-marin chargé de les escorter (qui sont évidemment seuls à détenir des informations cruciales), et ne pas tirer le missile nucléaire. Sachant que les commandants des deux sous-marins en question se connaissent parfaitement et s’accordent une confiance sans borne.
Ce que le film met en scène c’est le poids de la confiance humaine face au poids d’un système. Le film met magnifiquement en lumière le fait que ces hommes ont été entraînés toute leur vie à appliquer de façon efficace, rigoureuse, implacable, des procédures écrites par d’autres, sans jamais les contester. Ils ne sont pas formés à émettre un avis mais à rester efficaces, et ce dans les circonstances les plus inimaginables. Pourtant, la bonne décision dans le film – compte-tenu du contexte – consiste à désobéir au système ! Je n’en dirai pas plus sur ce qu’il se passe dans le film, je vous invite franchement à le voir si ce n’est déjà fait.
La vraie question ici est de savoir ce qu’une intelligence artificielle aurait fait. Peut-on imaginer qu’une IA que l’on entrainerait à appliquer un ensemble de procédures saurait identifier un contexte ou une séquence dans laquelle désobéir serait le meilleur choix ? A l’écriture de ces lignes, cela paraît presque idiot puisque l’une des vertus supposées des intelligences artificielles et de faire fi de tous ces « bruits humains » que sont les émotions, les sentiments, les peurs et autres appréhensions. Pourtant, ce sont ces mêmes bruits, que l’on peut appeler plus positivement instinct, feeling, intuition, qui permettent dans certaines situations d’éviter les catastrophes.
L’une des problématiques de l’informatique en général en face de l’humain en particulier est de gérer ce qui n’est jamais arrivé. Nous sommes dotés d’une forme de sens commun qui nous permet de nous « dépatouiller » de l’inconnu. Il n’y a qu’à voir un enfant de trois ans pour s’en convaincre. Il découvre un millier de choses par jour mais ne reste pas bloqué un millier de fois. Cela reste à prouver pour une intelligence artificielle, en tout cas à l’heure actuelle.
(Attention re-spoiler, ou presque) Quelques jours plus tard, j’ai « bingé » la série de HBO, Chernobyl. Rebelotte. La série tourne essentiellement – avec une dimension plus politique que « Le Chant du loup » – autour de la notion d’application aveugle de procédures, même quand ceux qui les appliquent savent qu’elles sont idiotes ou seront inefficaces dans le contexte donné. Avec les conséquences que l’on connaît.
A la lueur de ces deux oeuvres, on se demande à quel point la désobéissance ne devrait pas être érigée en vertu cardinale de toute personne au travail ! Combien de fois dans nos environnements de travail voyons-nous des gens qui appliquent « bêtement » des décisions auxquelles ils ne croient pas ? Que pourrait apporter l’intelligence artificielle à ce syndrome très humain masquant – au choix – la peur de l’autorité, l’aversion au risque, la gestion de l’incertitude, etc. ?
L’espoir – ou la crainte – que l’on pourrait fonder en l’IA ne réside-t-il pas précisément dans sa capacité inductive à créer de nouvelles connaissances, connaissances qu’aucun human ne lui aurait inculquée ? Loin de toute habitude ou a priori ? Mais cette capacité à sortir des sentiers battus n’est-elle pas l’objet même de la récente discorde qui a eu lieu entre Jack Ma et Elon Musk ? Si l’on reprend le cadre initial du Chant du loup, il faudrait qu’une IA soit capable de collecter toutes les informations possibles et imaginables sur la situation, y compris celles concernant la relation passée entre tous les membres des deux équipages, leurs expériences communes, les problèmes rencontrés et les décisions prises, etc., et en déduire que la confiance humaine doit être davantage valorisée que les procédures.
Ce qui revient à la question de l’éducation des IA. Si l’humain est assez confiant et assez humble pour ouvrir tous les possibles à une IA, alors le scénario ci-dessus est envisageable. Avec le risque pointé par tous les détracteurs de l’IA que celle-ci se retourne à un moment contre son créateur, jugeant que celui-ci n’est plus apte à agir (2001, vous avez dit « 2001, Odyssée de l’espace » ?).
Ce post tombe assurément dans l’océan des débats à venir, mais rien d’empêche tout un chacun de se forger une opinion. Alors vous, qu’en pensez-vous ? Team confiance ou team méfiance ? 😉
