La responsabilité du contrôle relève de la collectivité chargée de la tutelle des établissements. En matière d'ASE, ce sont les présidents de conseil départemental qui sont responsables des contrôles. Le préfet n'a pas le pouvoir de contrôler ces structures. Il peut toutefois agir en cas de péril immédiat au titre des compétences générales de l'État. Par ailleurs, les corps d'inspection de l'État peuvent conduire des missions sur place et la Cour des comptes peut également s'intéresser à ces sujets.