Intervention de Cédric Villani

Il y a bien d'autres raisons à cette partialité, ainsi que le démontrent les nombreux travaux menés dans ce domaine. Il a notamment été constaté que le logiciel utilisé pour les remises en liberté aux États-Unis était beaucoup plus dur pour les Noirs que pour les Blancs.

Une auditrice de l'IHEST. - Quelle sera la partialité de l'algorithme si les données ne pas correctement structurées ? L'un des points de notre rapport était de nous interroger sur ces données, sachant que pour le moment aucune n'est utilisable par les algorithmes. Comment cet aspect de gestion de la donnée sera-t-il pris en charge ?

Dans le domaine de la santé, l'un des reproches fait au Dossier Médical Partagé (DMP) tient justement au fait qu'il s'agit d'une compilation de documents et non de données, le rendant difficilement exploitable. Nous avons tenu à l'Office des séances consacrées aux algorithmes d'affectation, notamment Parcoursup. À cette occasion, nous nous sommes repenchés sur les différents problèmes rencontrés par le système précédent - APB. Il a souvent été affirmé que le tirage au sort était inadmissible, mais bien d'autres problèmes apparaissent lorsqu'on étudie le fond du sujet, par exemple, le fait qu'à un moment la chaîne de décision amenant à un classement n'ait pas été respectée. À l'origine, le classement des étudiants ne devait pas être visible par les universités, qui ont protesté et obtenu que la donnée soit finalement incluse dans l'algorithme. De ce fait, son caractère équitable s'en trouvait remis en cause. Il s'agissait finalement d'un non-sens algorithmique pointé par les experts, mais qui n'ont pas été écoutés par le ministère.

De plus, la puissance publique, alertée en amont par les experts sur l'impossibilité de résoudre par la loi le cas de certaines filières submergées de demandes, a introduit le tirage au sort. En résumé, sur toutes ces questions pour lesquelles des questions de principe se posent, on constate que finalement les problèmes résident toujours dans la gouvernance et le partage des responsabilités. En dernière intention, ce sont toujours des décisions humaines qui tranchent. La loi de 1978 instaurant la CNIL se prononce, en tout état de cause, contre des décisions purement algorithmiques. Le système judiciaire est avant tout humain, et tranchera en dernier ressort.