Intervention de Vincent Drezet

Monsieur le président, monsieur le rapporteur, mesdames, messieurs, je commencerai mon propos en évoquant l'étude que nous avons faite fin octobre 2010 sur les expatriations fiscales. Je poursuivrai en essayant de dresser un rapide tableau du contrôle fiscal, notamment du contrôle des expatriations fiscales. Sous le vocable « expatriations fiscales », il est vrai que nous nous sommes beaucoup centrés sur les particuliers. Pour autant, je n'oublierai pas les entreprises. En effet, l'évasion des capitaux ne concerne évidemment pas que les particuliers.

Nous avons voulu, dans un premier temps, revenir sur la question des particuliers pour la simple raison que, de tout temps, ce sujet a généré beaucoup d'idées reçues, avec des estimations plus ou moins fantaisistes avancées ici ou là.

Nous avons voulu y voir plus clair pour aller au-delà des idées reçues et prendre la mesure des difficultés auxquelles nous nous heurtons au cours du contrôle fiscal, d'abord pour détecter la fraude et, surtout, pour la prouver.

Nous nous sommes intéressés au sujet avec le regard du professionnel, en nous substituant en quelque sorte pour partie à cet observatoire des délocalisations fiscales qui n'existe pas. Nous voulions essayer de voir ce qui se passe au juste.

Nous avons recensé l'ensemble des chiffres faisant autorité qui peuvent circuler au sujet des particuliers. C'est ainsi que nous avons spontanément collecté ce que le rapporteur général de la commission des finances du Sénat disait, notamment sur l'ISF. Nous avons relevé ce que contenait le rapport du Conseil des prélèvements obligatoires consacré à la fiscalité du patrimoine. En fait, nous avons tout simplement établi un état des lieux général en essayant de mettre en regard cette question des expatriations fiscales avec la fiscalité du patrimoine et les personnes potentiellement concernées par une expatriation fiscale.

C'est sur ce premier point que je voudrais insister. L'impact sur l'économie de la fiscalité du patrimoine et des expatriations fiscales a donné lieu à un certain nombre de polémiques dans lesquelles je n'entrerai pas. Tout récemment encore, ce sujet a repris un caractère d'actualité.

Nous nous sommes employés à prendre connaissance des données existantes, qui sont peu nombreuses. En tout cas, on dispose d'une faible quantité de données connues, publiques. Sous le vocable de « données publiques », je vise celles qui demandent quelque effort pour les trouver - dans les rapports parlementaires, notamment. Quoi qu'il en soit, il en existe très peu, ce qui ouvre une première interrogation.

En effet, la Direction générale des finances publiques recense chaque année - et c'est heureux ! - les contribuables, ne serait-ce que pour leur envoyer les avis d'imposition. Elle collecte l'impôt et elle reçoit les déclarations. Elle sait assez précisément - sans dire que c'est à l'unité près - quels sont en volume, voire en profil, les contribuables qui s'en vont à l'étranger. Elle le sait pour l'ISF, elle le sait pour l'impôt sur le revenu, elle le sait pour l'ensemble des impôts. Or c'est une donnée que nous n'avons pas. Nous ne connaissons pas le nombre global des expatriés. On avance le chiffre de deux millions, mais c'est une première donnée qui nous manque.

Il nous manque également une étude qualitative sur le profil et les motivations de ceux qui s'expatrient. Une mission d'information du Sénat s'est penchée sur le sujet au début des années 2000. Il y a, de temps en temps, ici ou là, des cabinets privés qui font une étude, mais on voit bien que les pouvoirs publics n'ont mis ni outils ni études sur la table.

Ensuite, nous avons constaté que, sur la question de l'ISF, on ne disposait que de statistiques. C'est sur elles que nous avons basé nos travaux. Nous nous sommes aperçus que, depuis qu'il est établi une mesure du nombre de redevables de l'ISF - c'est-à-dire, de mémoire, depuis 1997 - on constate, rapporté à ce nombre, une très grande stabilité du nombre de personnes qui s'expatrient. Ce chiffre est constant : sur le nombre total de redevables de l'ISF, ils sont entre 0,10 % et 0,15 % à partir à l'étranger. Évidemment, en valeur absolue, le chiffre augmente. Mais, toujours en valeur absolue, le nombre de redevables de l'ISF a beaucoup augmenté. Il était proche de 600 000 avant la réforme. Le premier enseignement factuel fait donc apparaître une certaine stabilité.

Ensuite, un autre enseignement factuel souligne que les chiffres relatifs aux retours d'expatriés sont stables, voire en légère augmentation, sans doute du fait de la crise. Contrairement aux départs, les retours ne sont pas mesurés annuellement. Sur ceux qui le sont, le taux varie entre 25 % et 39 %, en fait aux alentours de 30 %.

Nous avons creusé pour savoir quelles sont ces personnes et évaluer ce que leur départ peut représenter en termes de pertes budgétaires, mais aussi en termes de pertes de richesses et de bases imposables. En effet, l'impact pour l'économie française peut, au fond, être double : la perte de recettes budgétaires et la perte en bases imposables.

Après étude de ces données, il est apparu que la perte en recettes budgétaires est également assez mineure puisqu'elle représente environ 18 millions d'euros sur un rendement de 4 milliards d'euros d'ISF. Cette somme est donc relativement peu élevée.

De même, quand on regarde la composition du patrimoine imposable à l'ISF des contribuables types, on s'aperçoit que, lorsqu'il y a une expatriation, le patrimoine immobilier, par construction - si j'ose dire ! - reste en France. La tâche à laquelle il faut s'atteler consiste à apprécier l'impact de l'expatriation sur les investissements et sur les capitaux, car l'impact de l'expatriation sur l'économie française peut éventuellement être limité à l'investissement. Dans le profil des contribuables - même si c'est dur à déterminer, on le sait avec certitude - les personnes assujetties à l'ISF en France le paient sur l'ensemble de leur patrimoine mondial, donc sur des actifs financiers qui sont parfois placés à l'étranger, parfois placés en France. Lorsqu'ils s'expatrient, ces contribuables continuent à investir en France. La précision est intéressante parce qu'elle marginalise l'impact potentiel des expatriations fiscales sur l'économie française et, par suite, sur la fiscalité française.

Pour le mesurer, nous avons examiné la structure de l'ISF. Elle comporte une niche fiscale, l'exonération pour les non-résidents sur les actifs financiers placés en France. Ils sont 7 000 non-résidents à en bénéficier ; sans doute des Français expatriés, mais, là encore, il est très difficile de le savoir. Potentiellement, il y a aussi des étrangers riches qui ont investi en France. Quoi qu'il en soit, 7 000 personnes, c'est beaucoup plus que le nombre d'expatriés fiscaux tels qu'ils sont mesurés depuis 1997.

Donc, à défaut d'autres outils, d'autres statistiques, d'autres données, nous nous sommes concentrés sur l'ISF. Et il est apparu, chiffres à l'appui, que les expatriations des personnes assujetties à l'ISF n'avaient pas nécessairement un impact si important que cela sur l'économie française.

Nous avons conscience que cette étude est partielle, car elle ne concerne que les personnes assujetties à l'ISF et elle ne concerne que les départs. Nous n'avons pas les mêmes profils sur les retours, faute de savoir exactement quelles sont les personnes qui reviennent. À en croire certains témoignages, le retour trouve parfois sa raison dans une crise. C'est le cas des traders de la City. On pourrait également citer des personnes qui ont tenté leur chance dans des paradis fiscaux un peu plus exotiques, comme Dubaï. Certaines expériences font apparaître que, confrontés à la maladie ou à la naissance de leurs enfants, des expatriés ont préféré revenir en France pour y bénéficier de la protection sociale, de l'action publique et des services publics.

Enfin, il est un autre élément qui n'est pas mesuré et dont nous ignorons totalement l'ampleur : je veux parler des impatriés, des personnes qui viennent habiter en France. On le sait, il y a beaucoup d'Anglais - et pas seulement des pauvres ! - qui viennent s'installer en France, notamment dans le Sud- Ouest, mais nous n'en connaissons ni le volume ni le profil. Nous ignorons si, parmi eux, certains paient ou non l'ISF. Au-delà de la question de l'ISF, nous ne connaissons pas leur profil, nous ne savons pas s'ils investissent.

L'enseignement de cette étude, c'est qu'en réalité il est assez dur de dresser un impact des expatriations fiscales, y compris des impatriations. Nous avons voulu résumer ce qu'il y avait sur le sujet. Malheureusement, l'outil qui éclairerait le débat dans un sens ou dans l'autre reste à construire. Nous avons voulu mettre cela sur la place publique, notamment pour appeler à poursuivre ce travail.

De toute façon, au-delà du débat actuel, la question des expatriations fiscales perdurera. En effet, dans une économie ouverte, nous serons nécessairement amenés à mesurer, à avoir des études d'impact sur les choix fiscaux, sur les expatriations et les impatriations. Nous sommes de ceux qui pensent - en l'assumant complètement - que, dans l'attractivité de la France, il n'y a pas que la fiscalité : il y a aussi les facteurs publics, et ceux-ci rendent la France particulièrement attractive.

J'en ai fini avec les particuliers et j'en arrive aux entreprises. Sur ce sujet, nous disposons d'un petit peu moins de données. À l'évidence, la fuite des capitaux, l'évasion fiscale représentent, pour les entreprises, un volume budgétaire sensiblement plus important que celui des particuliers. L'OCDE et la Commission européenne estiment, à grands traits, que la moitié du commerce mondial, ce sont des prix de transfert. Certes, tous ne relèvent pas de la fraude, tous ne sont pas de l'évasion fiscale, mais, en leur sein, il est particulièrement difficile de déterminer la richesse qui s'en va illégalement.

Nous avons produit une petite étude sur le crédit impôt recherche. Nous avons également travaillé sur la question des paradis fiscaux pour montrer que nous sommes particulièrement mal outillés en matière de contrôle et, tout simplement, en termes d'évaluation de l'évasion fiscale potentielle. Si l'on fait une extrapolation du contrôle fiscal, sur une masse de fraude fiscale que nous estimons, pour notre part, entre 40 milliards et 50 milliards d'euros - nous avons peur, au vu des dernières affaires, d'être en dessous de la réalité ! - nous en sommes réduits à évaluer la fraude fiscale internationale des particuliers et des entreprises à un chiffre situé entre 15 milliards et 20 milliards d'euros, ce qui représente une somme importante.

Si nous disons avoir peur d'être en dessous de la réalité, c'est que, il faut le savoir, une poignée des seuls prix de transfert représente déjà entre 1 milliard et 2 milliards d'euros de redressements par an, ce qui est considérable. Cela veut dire que, par extension, les plus grandes entreprises, celles qui sont de dimension internationale - on en recense quand même 15 000 dans le portefeuille de la Direction des grandes entreprises, c'est-à-dire les plus grandes firmes, à la fois les têtes de pont et leurs filiales - sont susceptibles d'agir dans le champ de la mondialisation. Et on le sait, c'est une zone à risques sur les prix de transferts, sur la sous-capitalisation, sur des montages fiscaux.

Je cite au passage un exemple parce qu'il nous tient à coeur. Sur la question du crédit impôt recherche, le fait d'exploiter des redevances et tout ce qui est droit à la propriété industrielle et intellectuelle dans des paradis fiscaux est suspect à nos yeux. Nous n'arrivons pas toujours à le prouver mais, on le sait, ce sont des masses d'argent considérables qui échappent au fisc français et, par conséquent, à l'économie française.

Cela m'amène à la question du contrôle fiscal et à ses résultats face à cette situation.

Disons-le d'emblée, s'agissant des expatriés fiscaux, la fraude, c'est la fausse expatriation. Certes, pour les particuliers, il y a d'autres formes de fraude - notamment, les comptes non déclarés à l'étranger, qui font partie de l'évasion et de la fraude fiscales. Quant aux entreprises, notamment sous l'angle de la question des prix de transfert, les difficultés que nous avons sont multiples.

On manque d'accès à l'information. Il s'ensuit une mauvaise programmation du contrôle fiscal, une mauvaise sélection des dossiers et, par conséquent, un contrôle fiscal insuffisamment efficace. Nous ne dirions pas, nous, qu'il n'est pas efficace. Efficace, il l'est, mais sans doute ne l'est-il pas suffisamment au regard de la fraude et de son évolution. Cette fraude devient plus rapide, plus internationale, plus complexe, tout simplement parce qu'il est de plus en plus facile d'ouvrir des comptes à l'étranger et d'y créer des structures. Même s'il y a une obligation de les déclarer, le fait d'ouvrir un compte ou une société dans un paradis fiscal, c'est-à-dire dans un pays qui offre le secret bancaire, nous le rend invisible et nous place donc dans l'impossibilité de le détecter. C'est une évidence, aujourd'hui communément admise sur la place publique.

Notre premier enjeu, c'est donc l'accès à l'information. Il se fait notamment par les échanges d'informations dans le cadre des conventions fiscales. Il n'existe malheureusement pas un système d'échange automatique d'informations, mais, à nos yeux, il devrait exister, au moins au sein de l'Union européenne. Dans cet espace, la contrepartie de la liberté de circulation des capitaux et des personnes devrait être que les autorités publiques s'échangent spontanément les ouvertures de comptes ici et les créations de sociétés là. Par son effet dissuasif sur la fraude au sein de l'Union européenne, cette mesure stabiliserait une bonne part des budgets publics.

À défaut, nous en sommes réduits à développer l'analyse-risque et à essayer, ensuite, d'utiliser les conventions fiscales internationales. Mais, il faut le dire, compte tenu de notre mode de management et des effectifs dont nous disposons, l'assistance administrative internationale est assez peu développée. Sur 50 000 opérations de contrôle fiscal externe, la proportion d'affaires qui font apparaître un redressement de fiscalité internationale se situe entre 9 % et 10 %. On pourrait trouver le chiffre significatif mais il serait bien moindre si on enlevait la TVA intracommunautaire, impôt certes très « fraudé », mais qui ne fait pas nécessairement appel à tous les mécanismes de fraude internationale.

Pour utiliser les conventions fiscales internationales, on passe par l'assistance administrative, laquelle représente environ 2 % des 50 000 opérations de contrôle fiscal externe. Cela veut dire que l'administration n'a pas les moyens suffisants pour développer la recherche et la lutte contre la fraude internationale. Certes, des directions nationales, comme la Direction nationale des enquêtes fiscales, la Direction des vérifications nationales et internationales et la Direction nationale de vérification des situations fiscales, s'emploient à développer ce combat. On fait au mieux avec ce qu'on a, mais on n'a pas assez ! Le retour des services est unanime là-dessus !

Si l'on ne peut pas, d'abord, avoir le temps de faire de la recherche sur les dossiers - notamment les dossiers les plus complexes -, si l'on ne peut pas, ensuite, utiliser les conventions fiscales, alors, on ne pourra pas combattre la fraude de manière satisfaisante ! C'est un constat que nous dressons de longue date. Nous l'avons dressé en 2008 dans notre rapport sur la lutte contre la fraude fiscale. La Cour des comptes vient de le confirmer récemment dans son dernier rapport public sur la couverture du tissu fiscal. Il montre que l'organisation du travail est déficiente. Nous y ajoutons, parce que c'est central, les emplois qui, dans le contrôle fiscal, sont des emplois à haute valeur ajoutée. Ils ne sont pas assez nombreux et assez bien structurés pour combattre ce phénomène.

Comment peut-on faire ? Il y a évidemment la question des emplois. Nous avons coutume de dire que les emplois sont, dans notre administration, socialement justes et budgétairement rentables. Nous avons fait un petit calcul pour illustrer cela : un agent opérant dans la sphère du contrôle fiscal « produit » 1,3 million d'euros de redressement fiscal en deux ans. Autrement dit, en deux ans, il a payé toute sa carrière, retraite comprise ! L'exemple est intéressant dans le débat actuel. Il montre surtout que, même si, ensuite, on ne collecte pas tout, parce qu'il y a parfois une insolvabilité organisée, la détection de la fraude et son combat constituent un enjeu important. Il faut concentrer les efforts sur cette question.

Au titre des propositions, nous pensons qu'il importe de développer l'expertise. À l'évidence, nous sommes en concurrence non seulement avec les autres pays, mais également avec des conseillers privés, lesquels conseillent parfois en toute légalité, mais qui, de temps en temps, franchissent la ligne jaune. Il nous semble que l'on pourrait renforcer l'expertise au sein de la Direction générale des finances publiques en créant une structure centrale qui irriguerait les services et permettrait d'apporter le soutien technique qui fait défaut.

Nous sommes critiques à l'égard des orientations de la Direction générale des finances publiques, notamment sur le contrôle fiscal. Elles produisent des effets pervers. Ainsi, le tissu fiscal n'est pas couvert de manière harmonieuse, pas seulement faute de moyens, mais aussi parce qu'on n'a pas mis l'accent sur telle ou telle catégorie de population. Là aussi, il y a matière à progrès.

Enfin, sans prétendre proposer la solution miracle, je citerai la coopération envisageable avec d'autres administrations comme les douanes - et pas simplement la police pour la délinquance de banlieue -, ce qui appelle probablement un débat à l'échelle européenne.

Faute de tout cela, nous avons du mal à détecter les prix de transfert, la sous-capitalisation. Nous avons du mal à détecter des comptes bancaires ouverts à l'étranger, des fausses expatriations. Pourtant, les quelques exemples dont nous disposons sur ce type de fraude montrent son importance. Les fausses expatriations font l'objet d'environ 200 redressements par an, ce qui représente plusieurs dizaines de millions d'euros - de mémoire, aux alentours de 50 millions d'euros pour 2010 sur 193 redressements. Cela représente 2,5 millions d'euros par dossier. Autant dire que nous sommes sur un tissu fiscal particulier et souvent solvable.

Cela montre que nous sommes sur une fraude importante, injuste, coûteuse, qu'il est important de combattre dans la situation actuelle des finances publiques. Cela veut dire que, sans mettre des radars fiscaux derrière chaque expatrié - nous en sommes loin ! -, il y a peut-être une orientation particulière à définir sur cette question.

Dans le champ des propositions et des constats, je voulais avancer ces quelques éléments chiffrés pour montrer que notre sentiment en matière de contrôle fiscal est celui d'un décrochage progressif entre, d'une part, notre manière de travailler, les redressements que nous opérons et, d'autre part, l'évolution de la réalité de la fraude.

J'illustrerai mon propos par un exemple. Depuis de nombreuses années, le premier redressement fiscal en France porte sur la TVA déduite par anticipation, c'est-à-dire un pur effet de trésorerie. Je ne dis pas qu'il ne faut pas redresser. Ce que je veux souligner, c'est que ce redressement n'est pas forcément très « payant ». Simplement, c'est le premier chef de redressement. Parmi les redressements qui, pris isolément, sont d'une manière générale les plus « payants », on retrouve la fraude fiscale internationale, notamment les prix de transfert.

On le voit, un décalage existe : on fait peu de prix de transfert, peu d'expatriation, mais, chaque fois, pour le dire sommairement, cela « paie » ! Et, d'un autre côté, l'immense majorité du volume du contrôle fiscal est axée autour d'une fraude relativement ordinaire dont nous ne disons pas qu'il ne faut pas la combattre mais sur laquelle on voit qu'il y a une réorientation à programmer d'urgence.

Dans les services, nous avons le sentiment - ce n'est pas une simple question d'effectifs et je ne m'exprime pas en tant que syndicat qui veut avoir plus de moyens - qu'aujourd'hui on tourne dans le vide sur le même tissu fiscal. Si l'on ne raccroche pas le wagon, il risque de filer sans nous !

J'en ai terminé avec mon exposé liminaire et suis prêt à répondre aux questions.