Intervention de Nicolas Kanhonou

Si le Défenseur des droits ne s'est jamais exprimé spécifiquement sur les phénomènes d'uberisation de la société, il s'est en revanche penché à plusieurs reprises sur les algorithmes et leurs effets potentiellement discriminatoires. Il a publié en 2015 un guide intitulé Recruter avec des outils numériques sans discriminer, où la responsabilité de l'employeur quant à l'usage de ces technologies était déjà détaillée. Son intérêt pour ces questions a été démultiplié en 2019 par les débats autour de Parcoursup : une décision a été rendue à la suite d'alertes lancées, notamment, par des candidats en situation de handicap. À cette occasion, le Défenseur des droits s'est notamment exprimé sur la nécessaire transparence des algorithmes. Un document a ensuite été produit en commun avec la Commission nationale de l'informatique et des libertés (CNIL) sous le titre : Algorithmes : prévenir l'automatisation des discriminations. Enfin, cet été, la Défenseure des droits a publié un rapport sur les technologies biométriques.

Concernant la thématique de votre mission d'information, notre réflexion porte surtout sur la transparence des technologies en question, ainsi que sur la capacité que l'on a de les contrôler. Les algorithmes ne sont pas neutres : des biais peuvent s'y introduire à toutes les étapes de leur élaboration et de leur déploiement. Or les effets discriminatoires de tels biais sont plus difficiles à repérer que ceux que produirait la simple inscription dans un algorithme d'un critère de discrimination interdit. Ces biais découlent le plus souvent d'un manque de représentativité des données fournies à ces algorithmes : elles reflètent souvent les comportements discriminatoires qui existent dans notre société. Ces biais peuvent être encore amplifiés par les systèmes dits d'« intelligence artificielle » censés perfectionner les algorithmes.

Il est très difficile de prendre conscience du fait qu'on est victime d'une telle discrimination à l'échelle individuelle. C'est pourquoi il existe très peu de jurisprudence à ce sujet. Même dans les cas où la victime s'en rend compte, il faudrait pour s'attaquer au problème disposer du contenu de l'algorithme et de ses données d'entraînement ; or les entreprises refusent le plus souvent aux tiers l'accès à ces données, au nom du secret des affaires. Enfin, même si l'on dispose de ces données, encore faut-il pouvoir les analyser, ce qui requiert des compétences techniques très spécifiques, dont les victimes de discrimination ne disposent généralement pas.

Le droit en vigueur permet aux personnes concernées de s'opposer aux prises de décisions individuelles entièrement automatisées produisant des effets juridiques et les affectant de manière significative. Néanmoins, ce droit ne s'applique pas lorsque la décision est nécessaire à la conclusion ou à l'exécution d'un contrat entre la personne concernée et un responsable de traitement.

Ces sujets sont plutôt du ressort de la CNIL, mais nous estimons pour notre part que l'article 22 du règlement général sur la protection des données (RGPD) ne prévoit pas a priori de possibilité pour les travailleurs indépendants de s'opposer aux décisions automatisées, notamment lorsque celles-ci visent à organiser leur travail sur une plateforme. En revanche, ces dispositions devraient permettre à ces personnes d'avoir accès à la logique sous-jacente des décisions, de demander un réexamen par une personne humaine, d'exprimer leur point de vue, d'obtenir une explication sur la décision ainsi prise ou de la contester, notamment lorsqu'elle peut s'avérer discriminatoire. La jurisprudence française n'a pas encore déterminé si les activités de ces travailleurs relèvent bien du champ d'application de l'article 22 du RGPD, dans quelle mesure ces droits sont opposables aux plateformes, ou encore ce que recouvre la notion de « logique sous-jacente ».

Le RGPD prévoit aussi l'obligation de mener des analyses d'impact sur la protection des données, mais il n'est pas prévu de les faire porter sur les éventuels biais discriminatoires ; autre limite, leur publication n'est pas non plus prévue.

Le Défenseur des droits a donc régulièrement appelé au renforcement des obligations légales en matière de transparence des algorithmes.

Le recrutement par algorithme peut être défini comme l'utilisation de systèmes de prise de décisions automatisées pour la sélection, la gestion, ou le filtrage des candidatures à un emploi. Les algorithmes sont entraînés à repérer certains attributs dont on suppose qu'ils sont corrélés avec certaines compétences professionnelles. Ils traitent les dossiers écrits, voire aujourd'hui les entretiens vidéo, pour repérer les « bons candidats », ceux que l'entreprise cherche. Le problème est que ces algorithmes reposent sur des corrélations et non des causalités : les points communs entre employés compétents ne sont pas forcément liés à cette compétence, mais peuvent refléter des biais. Ainsi, si la plupart des « bons employés » actuels d'une entreprise sont des hommes, un algorithme ainsi entraîné recherchera pour les nouveaux employés des caractéristiques masculines, ce qui conduit à reproduire des discriminations existantes ; un logiciel de recrutement utilisé par Amazon a connu un tel problème.

Les biais présents dans les algorithmes sont de toute nature : apparence physique, origine, ou encore handicap. L'usage de technologies biométriques se développe, notamment en matière de recrutement : de grandes entreprises vendent des logiciels qui prétendent détecter les traits de personnalité d'un individu par l'analyse de sa diction ou de son comportement ; des scores sont ainsi automatiquement assignés aux candidats. Cela pose à l'évidence des risques importants, notamment pour les personnes en situation de handicap.

S'agissant des solutions possibles, outre les propositions formulées dans nos rapports, je tiens à rappeler l'importance de la proposition de règlement sur l'intelligence artificielle présentée par la Commission européenne le 21 avril 2021. Il s'agit d'un texte ambitieux, visant à structurer l'encadrement légal de la mise sur le marché de tels algorithmes.

Ce texte pose deux sujets de préoccupation. Premièrement, la Commission a fondé son travail sur une logique de niveaux de risque ; les contraintes légales prévues seraient ainsi graduées. Cela peut s'avérer problématique : dans des technologies probabilistes, le risque zéro n'existe pas. Pour notre part, nous considérons que le droit de la non-discrimination doit s'appliquer, quelle que soit la situation. Deuxièmement, l'importance laissée dans ce texte à l'autorégulation des acteurs, suivant l'habitude des institutions européennes pour les technologies à risque, nous préoccupe.