Intervention de Sophie Joissains

La commission des lois a estimé que les garanties apportées par l’Assemblée nationale en ce qui concerne les décisions prises par l’administration sur le fondement d’algorithmes n’étaient pas suffisantes.

Sans méconnaître les bénéfices liés à l’usage d’algorithmes par l’administration, la commission a entendu prévenir un triple risque.

D’abord, une décision automatisée risque d’être aveugle à des circonstances de l’espèce qui mériteraient d’être prises en compte, parce que l’algorithme n’a pas été programmé pour en tenir compte. Le recours aux algorithmes doit donc être réservé à des cas n’appelant aucun pouvoir d’appréciation.

Le deuxième risque lié à l’essor de l’intelligence artificielle est que des décisions administratives individuelles soient prises sans que personne ne sache suivant quels critères, l’algorithme ayant déterminé lui-même les critères à appliquer et leur pondération ; c’est ce qu’on appelle le phénomène des « boîtes noires ».

Enfin, il faut éviter que la programmation des algorithmes destinés à prendre des décisions individuelles n’aboutisse à contourner les règles de fond et de forme encadrant l’exercice du pouvoir réglementaire.

Ainsi, dans la procédure dite « Admission post-bac », ou APB, les candidatures des lycéens aux licences universitaires étaient classées suivant des critères reposant sur une base légale fragile, n’ayant jamais été explicités dans un texte réglementaire et qui n’étaient pas même rendus publics.

Comme l’a dit M. le secrétaire d’État, on ne saurait accepter que l’administration se défausse ainsi de ses responsabilités sur la machine, en jouant de la complexité technique et de la réputation d’infaillibilité des automates pour masquer ses propres choix.

La commission des lois a donc choisi de n’autoriser les décisions administratives individuelles prises sur le fondement d’un traitement automatisé de données personnelles que lorsque ce traitement a pour objet d’appliquer strictement des dispositions légales ou réglementaires à des faits dont la matérialité et la qualification juridique ont été établies sur un autre fondement que celui d’un traitement automatisé.

Cela rend inutile la précision apportée par l’Assemblée nationale selon laquelle « le responsable de traitement s’assure de la maîtrise du traitement algorithmique et de ses évolutions afin de pouvoir expliquer, en détail et sous une forme intelligible, à la personne concernée la manière dont le traitement a été mis en œuvre à son égard ».

D’une part, en effet, l’algorithme ne pourra pas évoluer : programmé pour appliquer strictement le droit, il ne sera pas une « boîte noire ». C’est là l’une de nos exigences principales.

D’autre part, le code des relations entre le public et l’administration garantit déjà à tout administré la possibilité de se voir communiquer les règles et les principales caractéristiques de mise en œuvre d’un algorithme lorsque celui-ci a servi à prendre une décision à son égard. L’examen d’autres amendements nous conduira à reparler de cette question.

Enfin, contrairement à ce que fait valoir le Gouvernement dans l’objet de son amendement, il paraît tout à fait nécessaire d’inscrire dans la loi que l’algorithme doit avoir pour objet d’appliquer strictement des dispositions légales ou réglementaires. Il existe en effet toutes sortes de décisions administratives individuelles dont le sens n’est pas déterminé par le cadre législatif ou réglementaire : celles pour lesquelles l’administration dispose d’un pouvoir d’appréciation. Or nous refusons absolument que de telles décisions soient prises sur le fondement d’un algorithme – ce qui reviendrait d’ailleurs pour l’administration à renoncer à son pouvoir d’appréciation au cas par cas…

Pour ces raisons, la commission est défavorable à l’amendement.