Intervention de Murray Shanahan

Tout d'abord, ma contribution à ce rapport se limite à l'intelligence artificielle qui est ma spécialité et qui suscite ces derniers temps l'attention des médias. Google a ainsi investi massivement dans ces technologies, en achetant huit sociétés de robotique, y compris la société Boston Robotic et la société Deep Mind, cette dernière pour le prix de quatre-cent millions de livres. Cette dernière travaille sur l'apprentissage qui passe par l'exploitation des données de masse. L'intelligence artificielle peut apporter de réels bienfaits dans une diversité de secteurs d'activité, comme la santé, les loisirs ou encore le secteur militaire.

Nos sociétés sont de plus en plus dépendantes des technologies et en particulier d'Internet. La finance, l'énergie, la communication, la sûreté, la sécurité et la défense le sont tout particulièrement. Bien entendu, l'ensemble de ces secteurs dépend des technologies de l'intelligence artificielle, mais de nouvelles questions se posent actuellement : la prise de décision autonome, comme dans le cadre du trading haute fréquence basé sur des algorithmes et se positionnant sur des laps de temps de l'ordre de quelques millisecondes pour exploiter des mouvements de prix. L'exemple d'un mini-krach boursier intervenu très récemment sur une très courte période résulte de l'utilisation massive de ces algorithmes. Un autre exemple révélateur est fourni par l'exploitation du défaut de synchronisation des différentes horloges utilisées par les traders : un avantage de quinze millisecondes d'écart pour la réception d'informations publiées a généré un bénéfice de plus de vingt milliards de dollars.

L'autonomie des machines suscite des effets qui demeurent inconnus, pour le moment encore. Or, des capteurs omniprésents produisent des données en masse. La prolifération des machines issues de la technologie de l'intelligence artificielle, sans que ne soit prise de précaution, favorise l'émergence d'événements dramatiques et non prévus. La dépendance croissante des infrastructures à l'égard de l'intelligence artificielle rend le système vulnérable à des actes hostiles de criminalité et, de manière plus générale, à l'erreur humaine. À cet égard, l'origine du virus heartbleed, qui résultait d'une erreur d'un programmateur travaillant dans la communauté open source et spécialisé dans le chiffrage de données, est révélatrice de la vulnérabilité des systèmes et de leur interdépendance.

Il est très difficile pour les concepteurs de tout prévoir surtout lorsqu'ils ne peuvent apprécier l'interaction de leurs systèmes avec d'autres. Outre cette interdépendance systémique et la globalisation, la rapidité d'exécution empêche que soit vue toute anomalie par un opérateur humain ; cette anomalie pouvant, par un effet domino, perturber l'intégralité du système et des infrastructures dont nous sommes dépendants.

En fait, je demeure très optimiste sur l'avenir et reste persuadé que les nouvelles technologies peuvent procurer un grand nombre de bienfaits pour nos sociétés. Mais toutes ces questions exigent la mise en oeuvre d'une ingénierie soignée.

Comment réduire ces risques ? Outre la surveillance par des êtres humains, la mise en oeuvre de systèmes de garde-fous détectant, de manière automatique, tout problème comme dans la bourse en cas de dépassement des capacités des algorithmes. Il faut également être en mesure de contourner, voire d'arrêter le système afin d'éviter toute catastrophe et utiliser des systèmes manuels en cas d'arrêt. Tous ces moyens relèvent de bonnes pratiques dont les ingénieurs sont responsables.