Intervention de Dominique Bureau

La labellisation des statistiques des demandeurs d'emploi en fin de mois (DEFM) en 2014 a été réalisée par l'ancien collège de l'ASP, présidée par mon prédécesseur, M. Paul Champsaur. L'ASP, instituée en 2009, est une autorité indépendante de l'Insee et du système de la statistique publique. Son collège regroupe neuf membres : le président, nommé par le Président de la République ; un membre nommé par le ministre de l'économie ; trois membres nommés respectivement par l'Assemblée nationale, le Sénat et le Conseil économique, social et environnemental ; quatre membres nommés par le Conseil d'État, la Cour des comptes, l'IGF et l'Igas. Nous assurons la bonne application des principes d'objectivité, d'impartialité, de pertinence et de qualité des données statistiques, en conformité avec les exigences européennes. Nous donnons un avis consultatif au ministre de l'économie - qui nous a toujours suivis - sur la liste des services statistiques ministériels (SSM).

Le code des bonnes pratiques de la statistique européenne, très structuré, rassemble quinze blocs de principes se subdivisant en cinq à neuf sous-principes ; par exemple, « l'indépendance des instituts nationaux de statistique et d'Eurostat à l'égard des interventions politiques et autres interférences externes dans le développement, la production et la diffusion des statistiques est inscrite dans la législation et garantie pour les autres autorités statistiques ». Ces principes sont regroupés autour de trois axes : l'environnement institutionnel, les procédures et les résultats statistiques.

Une loi de 2008, rénovant celle de 1951, a élargi la notion de statistiques afin d'améliorer la qualité statistique, de diversifier les sources et d'alléger la charge de travail en s'appuyant autant que possible sur des statistiques administratives. Les statistiques rassemblent désormais la production des SSM et l'ensemble des exploitations des données administratives à des fins d'information générale, en dehors des services de statistique publique - Insee et SSM - dans le cadre de missions de service public, comme pour Pôle emploi. L'ASP s'assure que ces services produisent des données de même qualité et selon les mêmes standards, que ce soit dans les services de statistique publique ou les péri-services. Même s'ils font le même travail, ces derniers ne sont pas organisés comme les SSM.

La labellisation s'applique à la production de données dans le cadre des enquêtes prévues par le Conseil national de l'information statistique (Cnis), réalisées par les services ministériels. Par son accréditation, l'ASP vérifie que ceux-ci sont organisés pour produire des statistiques fiables. En dehors du cadre habituel de la statistique publique, l'ASP labellise en vertu du code des bonnes pratiques. L'ASP a ainsi labellisé les données DEFM de Pôle emploi et celles des notaires sur les prix immobiliers. Alors que la labellisation porte habituellement sur la procédure des enquêtes et non sur les organismes, l'ASP examine, pour le péri-SSM, tant le fonctionnement de la structure que les contraintes plus spécifiques qui pèsent sur elle.

C'est pourquoi en 2012, alors que les données statistiques mensuelles des DEFM tenaient une place importante dans le débat public, il a été décidé qu'elles devaient atteindre le meilleur niveau statistique public, et donc être labellisées. Ces statistiques sont coproduites - sans aucune sous-traitance - par Pôle emploi et la Direction de l'animation de la recherche, des études et des statistiques (Dares) du ministère du travail, de l'emploi, de la formation professionnelle et du dialogue social, qui élabore les règles purement statistiques pour la correction des variables saisonnières, la remontée des fichiers étant gérée par Pôle emploi. Nous devions faire de cette labellisation un exemple d'excellence, conforme au code des bonnes pratiques. Après un travail préalable de 2012 à 2014, la labellisation fut accordée en 2014, sur la base des travaux du comité du label - instance de travail technique interne à l'Insee - et d'un rapport spécifique des inspections générales de l'Insee, des finances et des affaires sociales : globalement, les conditions de production des statistiques et la méthode étaient conformes au code des bonnes pratiques de la statistique européenne.

Cette labellisation a été assortie de six recommandations : publier sur une base annuelle des séries en droits constatés, c'est-à-dire avec recul ; publier systématiquement des séries rétropolées, tenant compte des changements de procédure et des incidents comme le bug SFR ; ajouter à la publication des DEFM un commentaire, ou plutôt une présentation, privilégiant la tendance des derniers mois, une publication mensuelle ne devant comporter que des chiffres pour être la plus neutre possible ; attirer l'attention du lecteur sur la faible signification de la variation d'un mois sur l'autre en-dessous d'un certain seuil ; publier des indicateurs évaluant la variabilité statistique des DEFM en stocks et en flux ; prévenir certaines situations de crise et prévoir une procédure de gestion de crise. Une clause de revoyure était prévue : la Dares et Pôle emploi ont été auditionnés, deux ans après la labellisation, le 23 mars 2016, sur la mise en oeuvre de ces recommandations, dans le contexte que l'on sait. Notre rapport annuel, transmis aux présidents des deux assemblées, a été marqué, l'année dernière, par la revue par les pairs au niveau d'Eurostat. Ce regard extérieur sur l'ensemble du système statistique français a proposé de renforcer certaines exigences en lien avec le futur règlement européen. Ainsi, la labellisation a été examinée au regard des demandes de 2014 et des progrès à anticiper, dans une démarche prospective.

Quelles ont été les réalisations depuis 2014 ? Publier des séries avec recul est la première recommandation. Les phénomènes d'enregistrement ou de radiation posent parfois problème dans les séries : certains se réinscrivent trois jours après la clôture de l'exercice du mois. Il faudrait neutraliser cette volatilité. Au-delà de six mois de recul, les services statistiques, disposant de toute l'information pour élaborer une série satisfaisante, la publient dans le fichier historique statistique.

Par des séries rétropolées, « les erreurs découvertes dans des statistiques déjà publiées sont corrigées dans les meilleurs délais et le public en est informé ». La tentation de minimiser l'importance des petites erreurs peut être forte. Nous exigeons l'application stricte de cet indicateur 6.3 du code des bonnes pratiques. Sur Internet, le public a accès aux documents méthodologiques, à l'information sur les incidents, à leur chiffrage. Selon la fréquence de l'élément atypique et ses enjeux, son traitement diffère, en particulier en matière d'information du public. La transparence garantit la confiance du public dans les séries statistiques.

Les recommandations 3, 4 et 5 sur la publication rappellent que ces séries mensuelles ont, intrinsèquement, une forte volatilité ; la réalité économique est beaucoup plus fluctuante qu'on ne l'imagine, comme en témoigne l'indice de la production industrielle (IPI). Le processus de collecte lui-même peut créer de la volatilité. La Dares et Pôle emploi ont tenté de mesurer cette incertitude. Parfois, une hausse se compense sur le mois suivant. Les modalités de communication au public ont été réformées à la suite du rapport Freyssinet, réalisé sous l'égide du Cnis. Des indicateurs sont régulièrement publiés sur le site pour évaluer la variabilité statistique des DEFM en stock et en flux.

Pour une cartographie et une analyse préventive des risques et des processus de production, la Dares et Pôle emploi ont mis en place des instruments de gestion de crise et réfléchi sur les différentes typologies de risques : remontée des données opérationnelles, risques dans la constitution des fichiers statistiques, traitement informatique des statistiques, protection et confidentialité des données. Ces différents aspects nous ont été présentés le 23 mars et les publications ont été refondues en janvier. Il est important que le système statistique présente son action au public.

Il n'y a pas lieu de remettre en cause la labellisation de l'enquête DEFM. Les demandes faites en 2014 ont été satisfaites. Compte tenu de l'importance politique de ces statistiques, nous avons demandé que la Dares et Pôle emploi poursuivent leurs travaux pour mieux présenter leurs résultats, en tendance. Ils produisent actuellement des avertissements à géométrie variable en fonction des résultats. Ce n'est pas la bonne méthode, ces avertissements doivent être pérennes. Ces informations doivent figurer dans la conception même du document et non comme un simple avertissement. L'ASP demande des cliquets irréversibles, et ces modifications seront faites dans les prochains mois.

Pour une meilleure compréhension, le chiffre labellisé doit être mieux raccordé à d'autres chiffres, et notamment à ceux de l'enquête Emploi de l'Insee, fondée sur les critères du BIT. Nous avons demandé que les écarts entre les chiffres Insee et les données administratives soient expliqués : la diversité des sources ne doit pas être un facteur d'incertitude mais de complémentarité. À la suite de la revue par les pairs, nous leur avons demandé plus de traçabilité, de démarche qualité et d'anticipation, pour plus de transparence. Si on change la manière dont les gens s'enregistrent sur Internet, il faut anticiper et chiffrer ex ante la modification. Ex post, les changements concernent soit la technique statistique, soit le processus d'enregistrement, soit la réalité du fonctionnement du marché du travail. Évitons toute suspicion entachant la crédibilité des chiffres. Cela suppose d'anticiper sur les impacts des changements de procédure, pour savoir si l'élément atypique est dû au mauvais fonctionnement du thermomètre ou à un changement du marché du travail. Donnons le maximum d'information sur les chiffres de l'enquête trimestrielle de l'Insee et les statistiques administratives de Pôle emploi. Dans un an, la clause de revoyure concernera la Dares, Pôle emploi mais aussi l'Insee pour examiner la manière dont le système statistique fournit de l'information pertinente sur le chômage.