Intervention de Vincent Drezet

Je vais m'efforcer d'apporter les réponses les plus complètes possible à toutes vos questions.

Sur la question des moyens et des effectifs, il faut lever une ambiguïté. Depuis plusieurs années, et notamment depuis l'accélération des suppressions d'emplois liées à la RGPP, nous avons perdu de nombreux emplois : 25 000 depuis 2002 sur les champs d'activité de la Direction générale des finances publiques, résultat de la fusion, en 2008, de la Direction générale des impôts et de la Direction générale de la comptabilité publique et du Trésor ; puis, 14 000 emplois depuis 2007, date à laquelle a été mis en place le non-remplacement de deux départs à la retraite sur trois.

La DGFiP et Bercy déclarent que les effectifs, c'est-à-dire les moyens humains, du contrôle fiscal sont sanctuarisés. C'est à la fois vrai et faux.

C'est vrai en ce que le nombre de vérificateurs n'a pas bougé ; mais ceux-ci ne font pas que du contrôle fiscal. Il y a 5 000 vérificateurs en France, un ratio assez faible par rapport à celui des autres administrations fiscales européennes, comme l'ont noté les missions comparatives de l'OCDE et le rapport Strainchamps de 2001.

Même si le nombre de vérificateurs a peu bougé, en réalité, le nombre d'agents affectés au contrôle fiscal en général, au-delà du contrôle dit « externe », c'est-à-dire sur place, a baissé.

Il a diminué dans les services qui gèrent l'impôt et effectuent le « premier contrôle », c'est-à-dire la relance et, de temps en temps, de la taxation d'office, notamment pour les entreprises.

Il a également diminué dans les pôles de contrôle et d'expertise qui font à la fois de la programmation du contrôle fiscal et du contrôle sur pièces.

Le contrôle sur pièces, on l'oublie trop souvent, rapporte plus de 5 milliards d'euros en redressement, sur un total de 12 milliards d'euros en termes de droits. Il faut y ajouter 3 milliards d'euros de pénalités. Le contrôle fiscal externe, quant à lui, rapporte presque 8 milliards d'euros. C'est dire si le contrôle sur pièces est important ! Or c'est dans la sphère du contrôle sur pièces et de la programmation du contrôle fiscal que les effectifs ont diminué.

On peut donc afficher, comme le fait la DGFiP, un nombre de vérificateurs stable, mais cela ne signifie en aucun cas que le nombre d'agents travaillant dans la sphère du contrôle fiscal l'est. En effet, les effectifs dédiés au contrôle sur pièces et à la programmation ont diminué. Ils ont même baissé à tel point qu'il a fallu augmenter de nouveau les objectifs des agents chargés du contrôle fiscal externe : nous étions environ à douze milliards d'euros en 2003-2004, voire en 2005 dans certains services, et nous sommes actuellement plutôt à quatorze.

Qui plus est, les effectifs ont baissé dans les services chargés de la programmation, qui est pour nous l'élément central du dispositif, car elle permet de détecter les anomalies et d'envoyer, ensuite, un dossier en contrôle fiscal. Si le nombre d'agents chargés de la détection des anomalies diminue, le contrôle fiscal ne peut pas être de bonne qualité.

Nous assistons à un transfert. Les vérificateurs qui faisaient peu de programmation, parce qu'ils effectuaient surtout du contrôle fiscal sur place, font aujourd'hui de « l'auto-programmation » pour combler les insuffisances des services touchés par les suppressions d'emplois. Ce transfert, réalisé dans des conditions d'urgence, nuit à la qualité.

Ainsi, les effectifs du contrôle fiscal ont donc bien baissé, même si ceux des vérificateurs ont été relativement préservés ; mais pour combien de temps ?

Qui plus est, nous avons connu plusieurs restructurations. Ainsi, dans certains départements ou résidences de l'administration fiscale, plusieurs services, chargés de la programmation et du contrôle sur pièces, ont été regroupés pour absorber les suppressions d'emplois. Ces restructurations, ajoutées à ces suppressions d'emplois, ont nui à la qualité du travail et la quantité des dossiers traités.

J'en viens à la question sur l'observatoire des délocalisations fiscales.

Nous estimons, en tant qu'acteurs de notre administration, que la DGFiP, et notamment le centre des impôts des non-résidents, dispose de données dont elle pourrait faire bénéficier un tel observatoire, qui ne saurait être laissé sous la seule main de Bercy.

Il nous semblait spontanément que la Cour des comptes et le Parlement devaient être associés à ce projet, qui permettrait de dresser un état des lieux chiffrés. Nous ne nous sommes pas aventurés à spéculer sur les expatriations fiscales des contribuables non redevables de l'ISF, car il n'existe aucune donnée en la matière. Il serait donc assez intéressant de mesurer statistiquement, mais aussi qualitativement, les profils des personnes qui s'expatrient, de celles qui reviennent et des étrangers qui s'installent en France, en bref les flux entrants et sortants.

La DGFiP peut être un outil pour y parvenir, ainsi qu'un observatoire qui, par nature, est un lieu ouvert.

Ernst and Young-KPMG a déjà mené des études sur cette question, ainsi que le Sénat au début des années 2000. Nous pourrions prévoir, dans le cadre de cet observatoire, des points d'étape réguliers, sous forme de missions, ce qui permettrait d'éviter de voir circuler des évaluations plus ou moins fantaisistes qui, si elles ne sont pas fausses, sont basées sur des éléments peu fiables, par exemple sur les capitaux qui s'en vont. Cet outil serait intéressant pour le débat public et ferait autorité.

Le serpent fiscal européen est une proposition que nous portons de longue date. Il s'agit non pas, loin s'en faut, de construire un boa constrictor fiscal (sourires), mais plutôt de réduire les écarts entre fiscalités. Nous défendons en effet la thèse selon laquelle l'Union européenne et le marché unique se sont construits de manière déséquilibrée, puisque l'on s'est privé d'un attribut de souveraineté : la politique monétaire. Une forme de souveraineté fiscale a été laissée aux États, mais celle-ci est en réalité fortement impactée par le jeu de la concurrence fiscale et par quelques décisions communautaires concernant la TVA ou l'égalité de traitement des résidents de l'Union européenne, par exemple.

Il nous semblait naturel que l'Union européenne se dote d'outils communs, ce qui appelle un débat plus large, philosophique et politique. Les chantiers que nous identifions sont les suivants : la TVA intracommunautaire est actuellement largement « fraudée », comme l'a récemment indiqué la Cour des comptes ; l'impôt sur les sociétés ; les revenus de l'épargne ; la lutte contre la fraude. Il s'agit là de chantiers prioritaires, auxquels il conviendra peut-être d'ajouter, par extension, la réflexion sur d'autres impôts.

Pour ce qui concerne la TVA, il existe, à la fois, nous l'avons dit, des règles communes et un système « fraudogène », qui devait être temporaire, mais qui perdure.

S'agissant de l'impôt sur les sociétés, nous nous sommes basés en grande partie sur les travaux de la Commission européenne relatifs à l'assiette commune consolidée pour l'impôt sur les sociétés, la fameuse ACCIS. Ces travaux montrent qu'une telle harmonisation, qui donne une base commune et neutralise les prix de transfert au sein de l'Union européenne, est techniquement possible. Elle peut donc permettre de consolider les budgets publics. Si ce n'est pas la solution miracle, c'est en tout cas un outil envisageable.

Pour éviter que le jeu de la concurrence fiscale, qui se fait aujourd'hui sur les assiettes, ne se déplace vers les taux, nous préconisons un taux plancher, qui pourrait d'ailleurs prendre la forme d'un impôt sur les sociétés européen ou, tout simplement, d'un engagement des États à ne pas baisser leur taux par rapport au niveau actuel. En poussant le raisonnement plus loin, nous pourrions calculer ce taux plancher en fonction d'un taux implicite d'imposition des bénéfices des sociétés sur l'excédent brut d'exploitation.

J'en viens aux revenus de l'épargne. Nous étions partisans de la révision de la directive sur l'imposition des revenus de l'épargne, car nous nous étions aperçus, en lisant plusieurs communications, que ce texte rapportait peu, tout simplement parce qu'il était contourné.

Puisque cette directive ne visait que les particuliers et les revenus d'obligations, en tout cas les placements à revenu fixe, les personnes qui voulaient y échapper, soit ont acheté des actions, car les dividendes ne rentraient pas dans le champ d'application, soit ont constitué des sociétés.

Comme la plupart des observateurs fiscaux, nous avons dit dès 2005, et même avant, qu'il fallait élargir le champ de la directive. Il existe actuellement un projet de révision de ce texte. Nous ne savons pas exactement où il en est, mais il nous semble intéressant. S'agissant de l'évasion fiscale, un tel texte permettrait de stabiliser une partie des budgets publics, tout au moins au niveau de l'Union européenne.

Enfin, pour ce qui concerne la lutte contre la fraude, nous constatons, dans l'exercice de notre métier, que tous les systèmes d'échange d'informations, par exemple en matière de TVA intracommunautaire, fonctionnent mal et qu'ils sont parfois mal alimentés. Tout cela favorise la fraude.

Le système d'information qui existe aujourd'hui au niveau de l'Union européenne mériterait d'être mieux servi. Il est certain que ce serait plus facile si nous disposions d'une assiette harmonisée. Ainsi, on n'utilise pas suffisamment certaines formes de contrôle tel le contrôle multilatéral coordonné. Ce dernier permet, par exemple, à l'occasion d'un contrôle fiscal réalisé en France, de demander à nos collègues belges de se rendre dans une société liée à celle qui est contrôlée par l'administration fiscale française.

Ces outils existent ; il faut les utiliser davantage et les améliorer.

S'agissant de la rigueur des contrôles, il n'est pas tellement dans nos habitudes de communiquer les statistiques du contrôle fiscal, mais, dans la période actuelle, il nous semblait légitime de le faire. Il existe assez peu de données, tant en interne qu'en externe. Nous faisons partie de ceux qui estiment qu'il convient d'éclairer à ces deux niveaux, notamment le Parlement, sur le détail des résultats du contrôle fiscal.

Ces chiffres, que nous avons décidé de « sortir », nous paraissaient éclairants, et, par un heureux hasard, l'article est justement publié aujourd'hui même. En outre, nous avons beaucoup à dire sur la question des expatriations.

De tout temps, le contrôle fiscal a suscité de nombreuses idées reçues, ou fausses, notamment celles qui suggèrent l'existence d'interventions politiques. Nous ne disons pas que ces interventions n'ont jamais eu lieu. Simplement, nous n'en avons pas été témoins directement : si elles existent, elles ne remontent pas jusqu'à nous.

La meilleure des garanties contre ce genre de pratiques est l'information publique sur le taux de couverture du tissu fiscal, un taux qui doit être « mesuré ». Nous soutenions, quant à nous, l'idée d'un indice de couverture du tissu fiscal. Un tel indice permettrait de prendre en compte l'ensemble des particuliers et des entreprises - non pas nominativement -, en le subdivisant par niveaux de patrimoine, afin d'assurer une couverture harmonieuse du tissu fiscal.

Cette solution n'a pas été retenue en totalité ; elle aurait cependant été plus pertinente que celle qui a été choisie à l'époque par la Direction générale des impôts et qui consiste à classer les dossiers entre les « normaux », en deçà de tant de millions d'euros de patrimoine, et « à fort enjeu », au-delà de ce niveau.

Or, on le sait bien, les effets de seuil sont pervers. Ainsi, les dossiers en deçà de 3 millions d'euros étaient « normaux » et, au-delà, « à fort enjeu ». Une personne possédant un patrimoine de 2,9 millions d'euros n'était donc pas nécessairement contrôlée, tandis qu'une autre détenant 3,1 millions d'euros était traitée comme faisant partie des plus riches.

Il nous semble donc intéressant de subdiviser. On y vient d'ailleurs progressivement puisque, sous l'influence des affaires, la DGFiP est seulement, hélas, en train de s'adapter. L'indice de couverture du tissu fiscal aurait permis une meilleure transparence du contrôle.

Je le répète, nous n'avons pas été témoins directs d'interventions politiques, sinon, par le passé, avec beaucoup de recul ou de retard. Nous restons donc vigilants car, selon nous, le contrôle fiscal doit aller jusqu'à son terme, quelle que soit la personne concernée.

Sur le rapport Bassères et le lien entre le ministère du budget et l'administration fiscale, nous sommes un peu à fronts renversés.

Pour notre part, nous sommes attachés au principe républicain selon lequel le ministre est responsable de son administration. Dans la République française, c'est un principe auquel nous sommes attachés ? Nous ne sommes donc pas partisans d'une situation qui verrait un ministre signer un contrat avec un directeur général et le laisser agir seul. Il ne nous semble pas idiot, dans le principe, que le ministre soit informé de ce qui se passe dans son administration puisqu'il en est responsable. Reste à savoir jusqu'où l'on peut aller pour ne pas créer de zones d'opacité.

Ce que nous savons de la cellule qui a été, de fait, condamnée dans le rapport Bassères, c'est que, régulièrement, des élus ou d'autres personnes écrivaient au ministre, qui demandait alors un éclairage technique à cette cellule sur le dossier dont il était saisi. Il pouvait également arriver que le ministre soit saisi, dans le cadre du Comité des affaires fiscales, afin d'accorder certaines remises gracieuses. Dans ce cas, aussi, un éclairage technique lui était nécessaire.

Sur tous ces sujets, nous ne sommes pas choqués par le fait que le ministre, qui est responsable de son administration, soit éclairé, y compris s'il est pris à partie médiatiquement sur un dossier particulier. Même s'il ne peut pas lever le secret fiscal, il ne nous semble pas absurde qu'il sache ce que fait cette administration.

Le risque, nous ne l'ignorons pas, est que l'on dise ensuite que le ministre intervient dans certains dossiers. Il faut donc faire preuve de vigilance et de transparence, qui nous semblent plus satisfaisantes que la rupture et le décrochage de l'administration par rapport à son ministre.

Il faudra voir comment fonctionne le nouveau système, mais le principe qui vient d'être réaffirmé nous semble intéressant.

Nous ferons toujours partie de ceux qui demandent plus de transparence, afin d'éviter de potentielles interventions et d'éventuels procès d'intention.

Pour ce qui concerne l'évaluation de la fraude, nous avons tout simplement fait, à l'instar du Conseil des prélèvements obligatoires qui nous a auditionnés, une extrapolation des résultats du contrôle fiscal. Comment avons-nous procédé ? Nous avons découpé régime d'imposition par régime d'imposition pour l'impôt sur les sociétés et pour la TVA et nous avons découpé l'impôt sur le revenu par revenus catégoriels. Nous avons examiné les résultats du contrôle fiscal dans chacune de ces catégories, puis fait une extrapolation en modulant le tout, le propre de la programmation du contrôle fiscal étant de détecter les anomalies et de cibler les zones à risque.

Nous avons tenté de voir, sur la base d'échantillons représentatifs, ce que donnerait un contrôle de l'ensemble des contribuables, et ce que récupérerait alors l'État, en incluant à cette analyse à la fois les omissions involontaires et l'évasion fiscale internationale.

Il est vrai que le Conseil des prélèvements obligatoires a manifestement d'abord travaillé sur le contrôle fiscal externe, et n'a pas, comme il le reconnaît dans son rapport, intégré tous les éléments constitutifs de l'évasion fiscale internationale. Le contrôle sur pièces ayant été mis de côté, une certaine forme de fraude, et donc, en réalité, de manque à gagner pour l'État, n'a pas été prise en compte. À partir d'une même méthode, nous avons donc obtenu des fourchettes différentes.

En revanche, le résultat que nous avons obtenu, soit 2,5 % du PIB, correspond à peu près à celui de la Commission européenne.

Pour la fraude fiscale internationale, l'exercice était un peu plus difficile et la fourchette obtenue plus large, car nous disposons de trop peu de résultats.

En prenant en compte tel ou tel article, ainsi que les dispositifs anti-abus, effectivement peu nombreux, prévus aux articles 209 B et 238 A du code général des impôts, nous avons tenté de dire ce que pouvait représenter un tel montant par rapport au tissu fiscal représentatif. Le résultat, j'en conviens, peut être aussi bien de 10 milliards que de 100 milliards d'euros. Lorsque nous avançons des chiffres, nous le faisons donc avec beaucoup de prudence.

Pour notre part, nous n'avons pas estimé les avoirs fiscaux placés en Suisse.

Nous avons souvent entendu dire que 80 milliards à 90 milliards d'euros d'avoirs fiscaux étaient placés en Suisse, mais nous ne nous sommes pas basés sur ce chiffre pour estimer un quelconque manque à gagner. Il serait sans doute intéressant de constater qu'une grande partie de cette base n'a pas été déclarée à l'ISF, et que, sur un taux de rendement à 3 % ou 4 %, une bonne part n'a pas été déclarée non plus. Comme nous ne disposons pas de « clés » de lecture, nous nous abstenons d'exploiter cette donnée.

Le nombre de dispositifs anti-abus est effectivement peu élevé, mais assez stable. L'article 209 B du code général des impôts, relatif au transfert de bénéfices à l'étranger, en prévoit environ une dizaine. De la même manière, l'article 238 A en prévoit de vingt à vingt-sept. Cet article, relatif aux charges déductibles, autorise les transferts de bénéfices à l'étranger. Il n'y a qu'une poignée de fausses expatriations : on en comptait 201 en 2009 ; on en recense aujourd'hui 193. Ces résultats sont significatifs.

Nous regrettons que ce chiffre soit si faible, au regard de l'énergie et de l'investissement très importants, qu'il faut souligner, consacrés à ces recherches par les vérificateurs. Ils travaillent en effet seuls, ou en binôme, mais chacun avec des objectifs quantitatifs bien déterminés. Il y a donc matière, dans le domaine de la fraude fiscale internationale, à mettre en oeuvre une coopération, aujourd'hui beaucoup trop faible.

Enfin, la hausse des déclarations de comptes à l'étranger est directement liée à la série des régularisations qui ont lieu, certaines dans le cadre de la cellule de régularisation. On peut aussi espérer qu'à l'avenir, mais ce sera soumis au contrôle fiscal, les contribuables concernés rempliront le formulaire n° 3916 sur les déclarations de comptes à l'étranger.

Cette efficacité est subordonnée à plusieurs facteurs. Lorsque le ministre du budget avait développé sa stratégie et décidé de mettre en place une cellule de régularisation, en interne, nous avions dit « Chiche ! », sans porter de jugement de valeur. Nous avions étudié la question afin de savoir s'il ne s'agissait pas d'une amnistie déguisée, et conclu que tel n'était pas le cas, même si une telle mesure était effectivement dérogatoire. Nous étions certes quelque peu gênés et n'avons pas soutenu cette initiative, mais, dans le même temps, nous nous disions : si cette cellule permettait un renforcement du contrôle fiscal, après tout, pourquoi pas ?

Le bilan que nous dressons est le suivant.

Des moyens juridiques ont été mis en place, parmi lesquels figurent certains de ceux que nous avions réclamés, comme la fameuse Brigade nationale de répression de la délinquance fiscale, la BNRDF.

Cependant, faute qu'on soit allé au bout du dispositif, nous ne sommes pas, aujourd'hui, dans une stratégie d'actualisation de ces moyens juridiques. Je pense, par exemple, à la liste noire nationale, qui devrait permettre de faire le bilan des conventions fiscales, c'est-à-dire à la fois du nombre de demandes et du nombre de retours.

Malheureusement, faute de données et d'une transparence suffisante, nous ne sommes pas capables de dire exactement ce qu'il en est. Nos collègues de la Direction nationale des enquêtes fiscales, de la Direction des vérifications nationales et internationales et de la Direction nationale de vérification des situations fiscales ont surtout dû travailler plus et plus rapidement, sans que se produise de rotation de long terme, ce que nous regrettons.