Évaluation des politiques publiques

Murielle Arrivé : « Si j’évalue, c’est parce que je veux produire de la connaissance sur un sujet, je vais capitaliser cette connaissance pour la rendre intelligible. L’évaluation, c’est une observation et une analyse à un moment donné de ce qui se passe, et de ce qui s’est passé. En évaluant, on va aller regarder 5 choses : est-ce que c’est cohérent, efficient, pertinent, utile et efficace ? L’idée derrière, c’est d’améliorer les choses ».

Murielle Arrivé : « Quand on est évaluateur ou évaluatrice, on a des devoirs qui s’imposent à nous et qui font qu’on doit aller évaluer avec la neutralité et l’objectivité la plus entière possible. On n’est jamais des êtres complètement neutres car c’est impossible, mais il faut se comprendre en tant qu’évaluateur ou évaluatrice, s’interroger sur les raisons qui nous poussent à faire ce métier. 

La déontologie nous impose plusieurs choses. D’abord, il faut faire attention à la donnée que l’on collecte. Il faut que cette donnée soit anonymisée, conservée dans un endroit sûr. Il y a tout un travail autour de la sécurité collectée, à la fois statistique, mais aussi la donnée terrain. Les gens peuvent confier des choses, et je dois m’assurer qu’elles restent confidentielles. D’autre part, quand je vais sur le terrain, je ne viens pas inspecter, mais récolter de la matière sur quelque chose, ce qui implique de prendre en compte les représentations culturelles, la réalité des personnes interrogées. 

Sur un même sujet, on a des points de vue différents, d’où l’intérêt d’aller interroger un maximum de personnes en typologie d’interlocuteurs pour mieux cerner l’action publique qui est par nature subtile et complexe. Il faut aussi permettre à la personne de s’exprimer librement en ayant une posture explicative sur la démarche, préciser à la personne qu’elle peut interrompre l’entretien à tout moment, que ses paroles resteront anonymes, qu’elle sera destinataire des résultats… Il est aussi essentiel de mettre de côté ses propres points de vue. Cette posture ouvre le regard que l’on peut porter sur les choses et contribue à sa propre ouverture d’esprit. En faisant de l’évaluation, on s’ouvre sur le monde.

 Au niveau de la déontologie, il y a aussi un grand principe, c’est que chacun peut s’exprimer, même si ce sont des personnes dites vulnérables ou souffrant d’un handicap, on adapte la façon de les aborder, en utilisant le FALC (Facile à lire et à comprendre) par exemple, des pictogrammes… Le lieu des entretiens est aussi important, les personnes choisissent l’endroit où l’on réalise l’entretien pour favoriser la liberté d’expression. »

Murielle Arrivé : « Je suis vraiment passionnée par ce métier. À la base, j’ai un grand centre d’intérêt pour les politiques sociales, mais aussi pour le lien qu’il peut y avoir entre les politiques menées et la réalité sur le terrain. Et puis, c’est une perpétuelle découverte, je suis en veille, je lis beaucoup et je découvre toujours des choses. Quand je rencontre les acteurs sur le terrain, qui ont tous des parcours, des formations différentes, ils vont apporter une telle densité dans leurs réponses que je trouve ça passionnant. En tant qu’évaluatrice, je vais aussi pouvoir rencontrer tous ceux qui participent à une action commune et puis tous ceux qui peuvent en bénéficier, cela m’intéresse de voir comment tout cela s’articule. Il y a la nécessité de comprendre, décortiquer un sujet, cela demande un vrai effort de recherche, car parfois les sujets sont complexes. Et puis, il y a toute une partie pédagogique, car il faut rendre un matériau dense, complexe, le plus clair et intelligible possible. Il y a aussi un travail de conviction, de résistance aussi, car parfois les résultats ne plaisent pas. Je peux toujours sourcer mes résultats via des éléments factuels. Nous faisons le lien entre le terrain et la politique globale, nous sommes des capteurs. »

Une évaluation peut être réalisée à plusieurs moments et stades d’intervention publique :

• Avant – évaluation ex-ante : l’évaluation constitue alors une aide à la conception de la politique publique, c’est un outil de mesure de la cohérence et de la pertinence de celle-ci.
• Pendant – évaluation in itinere : réalisée au moment du déploiement de la politique, cette évaluation vise à vérifier que la politique menée correspond bien aux objectifs fixés et à en apprécier les premiers effets et à ajuster si besoin.
• Après – évaluation finale (juste après l’action) ex-post (plus tard, avec du recul) : ce type d’évaluation prend en compte l’ensemble de la politique publique à l’issue de sa mise en œuvre et cherche à mettre en évidence ses résultats.

La décision d’évaluer telle ou telle politique ou dispositif est prise après un passage par différentes instances :

• Les délégations générales des pôles.
• Le comité de gestion de la direction générale.
• Le comité d’évaluation des politiques publiques composé de 7 élus issus de la majorité et de la minorité de l’assemblée départementale.
• Le groupe exécutif restreint composé d’élues et élus départementaux, il peut proposer des sujets d’évaluation et arbitre sur le programme final (en le priorisant).

Au terme de ces étapes, un programme annuel d’évaluation est établi. Deux évaluations sont lancées par an par les services du Département.

• La demande : il s’agit de comprendre le choix du sujet et son approche générale.
• Le cadrage : il s’agit de comprendre les besoins du commanditaire (quel est le sujet ?), le contexte autour de la commande (que se passe-t-il en France sur ce sujet ? En local ? ), les motivations de l’évaluation, les attentes de cette évaluation, les délais à tenir. La méthodologie est définie (qui va-t-on rencontrer ? comment ?), avec des aspects liés à la déontologie et à la gouvernance de l’évaluation (instances de validation au fur et à mesure de l’évaluation).
• Le lancement de l’évaluation : avec une réunion validant le démarrage de la mission et les modalités de travail.
• L’enquête sur le terrain : l’enquête consiste à la collecte de données statistiques auprès des services, lors d’entretiens avec des usagers, des familles, avec toutes les personnes en lien avec la politique ou le dispositif évalué.
• L’analyse : qui aboutit à la rédaction du rapport d’évaluation et de sa synthèse de 4 pages.
• La restitution et la communication / diffusion de l’évaluation : les résultats sont communiqués à l’ensemble des usagers sur le site internet du Département, aux participants et participantes de l’évaluation, et sont également présentés lors d’une session de l’assemblée départementale.
• Le suivi : les années suivant l’évaluation, l’évaluateur ou l'évaluatrice va analyser ce qui a changé ou non, ce qui s’est passé depuis l’évaluation.

Pour collecter des données auprès des acteurs concernés sur le terrain, les agents et agentes utilisent plusieurs méthodes :

• Entretiens individuels et collectifs (directifs ou semi-directifs) de bénéficiaires, d’acteurs clés du dispositif…
• Réunions de travail avec des partenaires, des agents.es ressources (finances, RH…).
• Questionnaires en ligne.
• Observations sur le terrain pour constater et récupérer des informations sur place.
• Focus groupe.
• Lecture d’études / recherches menées sur ce sujet.
• Comparaison ou contacts avec d’autres collectivités sur le même sujet.

Par exemple, pour évaluer le chantier départemental d’insertion au sein des espaces naturels, plus d’une centaine de personnes ont été interrogées, dont 44 salariés en insertion.

Dans un contexte de fortes évolutions en matière de protection de l’enfance, le Département d’Ille-et-Vilaine agit fortement depuis de nombreuses années, y compris en direction des jeunes majeurs pris en charge par l’aide sociale à l’enfance.

En 2023, il a souhaité s’interroger sur le soutien qu’il apportait aux jeunes majeurs et son adaptation à leurs besoins, en déployant une démarche d’évaluation. Cette démarche a été l’occasion de rencontrer des professionnel.les et des jeunes concernés. 

L’évaluation a été pilotée par les agent.es du service Evaluation, pilotage et audit et réalisée par le cabinet ASDO Etudes, expert sur cette thématique. Le travail s’est fait en partenariat étroit avec la Direction Enfance-Famille, pilote de cette politique publique, mais également avec le pôle Solidarité humaine sur les questions d’insertion des jeunes, et les collègues du pôle Territoires, œuvrant sur le terrain en faveur des jeunes.