Intervention de Sarah Benichou

Le Défenseur des droits a été sollicité par des plateformes de mobilité ou des réseaux sociaux, parfois via des actions de lobbying assez évidentes, en lien avec des situations problématiques relayées dans les médias, et parfois de manière un peu plus intéressante, sans que l'on puisse entrer dans les détails ni accorder de certification parce que nous n'avons pas accès aux algorithmes qui peuvent être utilisés.

Il serait bon que nous disposions, en France, de quelques études sur les biais discriminatoires des algorithmes que nous utilisons, pour sensibiliser à la fois les travailleurs, les usagers et les professionnels. La reconnaissance faciale peut être problématique du point de vue de la proportionnalité et des données : on ne sait pas aujourd'hui si les systèmes utilisés dans notre pays connaissent des biais. Des enquêtes réalisées aux États-Unis ont montré des biais importants pour la détection, par exemple, des femmes afro-américaines. Au-delà de la reconnaissance faciale, on pourrait évoquer nombre d'autres systèmes.

De même, on ne dispose pas d'analyse sur les biais éventuels de Parcoursup, qui est pourtant un algorithme fermé, et non un algorithme d'apprentissage, même s'il combine des algorithmes locaux. Le Défenseur des droits a soulevé un risque de discrimination indirecte sur l'origine, le lycée d'origine étant utilisé pour pondérer les notes des élèves. Or on sait qu'il existe des problèmes de ségrégation assez importants au niveau scolaire, mais nous n'avons pas les outils nous permettant de réaliser cette analyse. Disposer de telles études serait vraiment un pas en avant pour sensibiliser l'ensemble de ces acteurs à la réalité des risques en France.

Je veux, pour terminer, évoquer un point important : l'ensemble des études montrent que ces algorithmes sont d'abord « subis » par les travailleurs pauvres. Peu de grands cadres et de grands dirigeants font l'objet de surveillance par vidéo ou sont évalués dans l'ensemble de leurs actions par des applications ! La capacité à contester ou à consentir à l'algorithme est évidemment minorée par la précarité de la personne concernée. Cela nous semble assez évident pour les plateformes, mais cela s'applique parfaitement à d'autres systèmes.

Il serait souhaitable que des moyens soient alloués pour réaliser des études qui permettent de mettre en lumière cette question à l'échelle française. À ce jour, nous nous appuyons sur des études étrangères ou des jurisprudences qui commencent à émerger au niveau européen, mais pas encore en France.