Navigation – Plan du site
Travail (compétences)

Les compétences des évaluateurs de politiques publiques

Skills for public policy assessors
Kompetenz der Evaluatoren öffentlicher Politik
Las competencias de los evaluadores de políticas públicas
Claire Tourmen
p. 53-65

Résumés

Comment étudier, décrire et développer des compétences ? Nous allons montrer ce qu’une analyse du travail peut apporter à la compréhension des compétences mobilisées dans une activité complexe comme l’évaluation de politiques publiques. Il s’agit en effet d’un champ professionnel émergent où les acteurs s’interrogent sur les compétences nécessaires pour évaluer et la manière de les développer en formation. Dans le cadre d’une recherche en sciences de l’éducation, nous avons observé et analysé la façon dont des professionnels expérimentés et débutants réalisent cette activité dans le cadre théorique de la didactique professionnelle. Nous avons mis à jour différentes formes de conceptualisations mobilisées dans l’activité. Ces résultats permettent d’enrichir la compréhension des compétences des évaluateurs et fournissent des pistes pour leur formation.

Haut de page

Notes de l’auteur

Cet article provient d’une thèse en sciences de l’éducation réalisée en convention CIFRE (Convention industrielle de formation par la recherche) sous la direction de Gérard Figari (université Grenoble II) et de Patrick Mayen (ENESAD). Données brutes (retranscriptions), analyses et texte complet de la thèse disponibles sur demande auprès de l’auteur.

Texte intégral

L’analyse du travail permet de comprendre les compétences mobilisées dans une activité complexe comme l’évaluation de politiques publiques. On peut ainsi caractériser la nature des situations qui façonnent l’activité des professionnels et le rôle de l’expérience.

1Il existe plusieurs manières d’étudier des compétences. L’une d’elles – classique – consiste à lister « un ensemble hétéroclite d’aptitudes, de savoirs, de capacités d’action et de comportements » (Stroobants, 1994) à partir d’entretiens avec des experts ou des professionnels sur ce qu’ils disent qu’ils font ou devraient faire. Une autre est de réaliser une analyse du travail afin d’éclairer la logique des activités en situation.

2Nous allons montrer ce qu’une analyse du travail peut apporter à la compréhension d’une activité complexe – collective, intellectuelle et saturée de prescriptions concurrentes – comme l’évaluation de politiques publiques. En effet, les acteurs de ce champ professionnel émergent s’interrogent sur leurs compétences, la manière de les décrire et de les développer en formation. Il existe une abondante littérature sur l’évaluation qui dit pourtant peu de choses sur l’activité en situation réelle et son apprentissage. Si évaluer est une activité courante, c’est aussi une activité méconnue et difficile à formaliser.

3Ces questions ont motivé une thèse en sciences de l’éducation réalisée en Convention industrielle de formation par la recherche (CIFRE) au sein d’un cabinet de conseil spécialisé en évaluation de politiques publiques. Nous avons fait le pari de considérer l’évaluation comme un travail comme un autre : cette recherche visait, par une analyse du travail inspirée des méthodes de la psychologie du travail, de l’ergonomie et de la didactique professionnelle, à mieux comprendre comment l’évaluation est réalisée, à partir de quels modes de pensée et d’agir, et comment elle peut être apprise. En effet il n’existe pas, à notre connaissance, de travaux qui aient analysé l’activité évaluative par une telle approche, excepté ceux sur l’activité de jurys de validation des acquis de l’expérience (Mayen, Mayeux & Savoyant, 2006).

4Afin d’avancer sur ces questions, nous avons analysé ce qui est dit sur l’évaluation au regard de la façon dont des professionnels expérimentés et débutants réalisent cette activité en situation.

5Nous montrerons que la question des compétences des évaluateurs n’est pas résolue. En effet si, comme le postulent les ergonomes, les compétences permettent l’adaptation, la littérature en évaluation peine à dépasser les longues listes de « capacités » qui masquent la logique de l’adaptation aux situations. Elle classe aussi les différentes modalités d’évaluation en « paradigmes » qui figent les débats entre approches sans résoudre la question.

6À l’aide de résultats issus d’une analyse du travail, nous montrerons comment des professionnels expérimentés régulent leur activité en s’adaptant aux situations qu’ils rencontrent. À l’inverse, les débutants peinent à sortir du déroulement mécanique des méthodes prescrites. Ces résultats permettent d’enrichir la compréhension des compétences des évaluateurs et fournissent des pistes sur leur formation.

L’émergence de professionnels de l’évaluation

  • 1  Nous retiendrons le terme « évaluation de politiques publiques » pour désigner ces pratiques, term (...)

7Évaluer est-il une activité professionnelle ? En apparence, rien n’est plus courant qu’évaluer si cela consiste à estimer la valeur de quelque chose ou de quelqu’un. Pourtant, depuis le milieu du XXe siècle, l’évaluation a été instituée comme une pratique spécifique dans un vaste champ de pratiques professionnelles : à l’école, en entreprise, dans les administrations… Les praticiens de l’évaluation de politiques publiques1 revendiquent l’évaluation comme un métier à part entière. Ils ont contribué à construire et à normer une profession émergente, et ils posent la question des compétences d’une manière d’autant plus cruciale. Ces pratiques se sont développées, depuis les années 70, en Amérique du Nord et, depuis les années 90, en France et dans différents pays du monde, où des sociétés professionnelles ont été créées. En France, elles concernent plusieurs centaines de personnes, responsables d’évaluation en administration ou évaluateurs dans des organismes publics ou des cabinets privés.

Encadré 1 : Les professionnels de l’évaluation de politiques publiques

En 2006, on dénombre 21 sociétés d’évaluation de programmes et politiques publiques dans le monde dont :

• La Société Américaine d’Evaluation (AEA) : 5 000 membres ;
• La Société Canadienne d’Evaluation (SCE) : 2 000 membres ;
• La Société Française d’Evaluation (SFE) : 2 50 membres.
Il existe deux emplois-types en France :
• « Responsables d’évaluation » : fonctionnaires (Commission européenne, ministère, conseil régional…) en charge de la construction d’une commande publique, du suivi et du contrôle qualité des démarches d’évaluation ;
• « Évaluateurs » : consultants privés, chercheurs, experts indépendants et fonctionnaires (« évaluateurs internes ») en charge de la réalisation des évaluations en réponse à la commande publique (recueil des données et production d’un rapport.

8En France, des demandes d’évaluations portées par le niveau politique ont progressivement émergé depuis le milieu des années 80. Elles ont été formalisées comme suit : « Évaluer une politique, c’est rechercher si les moyens juridiques, administratifs ou financiers mis en œuvre permettent de produire les effets de cette politique et d’atteindre les objectifs qui lui sont fixés » (Décret du 22 janvier 1990). En réponse à ces demandes, des emplois spécifiques ont été créés. Nous avons identifié deux emplois-types en reprenant la méthode développée par Mandon (2000) : un emploi donne lieu à une activité à temps plein comme fonction principale ; il a une dénomination spécifique et ses titulaires sont recrutés sur des compétences spécifiques. Nous les avons appelés « responsables d’évaluation » et « évaluateurs » (encadré 1) bien que leurs dénominations ne soient pas stabilisées. Ces emplois sont occupés par des fonctionnaires, des chercheurs et des consultants qui se sont spécialisés en évaluation. Les premiers professionnels français étaient « autodidactes », provenant de fonctions d’études en sciences sociales ou d’un secteur d’action publique en particulier. La création de masters spécialisés en évaluation, depuis la fin des années 90, a favorisé l’arrivée de jeunes professionnels et la poursuite de carrières transversales (entre administrations et cabinets privés…) construites sur ce champ de compétences (voir Tourmen (2007), pour une étude approfondie de la professionnalisation de ce champ).

9L’émergence d’une figure des professionnels de l’évaluation est donc récente ; ils ont construit leur professionnalité sur leur capacité à évaluer des politiques, programmes et projets publics variés, pour différentes finalités, avec différentes modalités (expertes, participatives…) et à l’aide de diverses méthodes de recueil et de traitement de données (modèles économétriques, enquêtes par questionnaire et études statistiques, entretiens et études de cas, etc.). Il s’agit d’une activité de service où des prestataires, en réponse à des commanditaires, produisent des connaissances permettant l’attribution de jugements de valeur sur une politique.

10L’émergence de professionnels de l’évaluation s’est accompagnée de celle d’une littérature abondante constituée de définitions conceptuelles, de prescriptions d’étapes, d’outils et de manières d’évaluer. Les auteurs ont posé – sans la résoudre – la question des compétences nécessaires pour évaluer.

Les compétences des évaluateurs : une question non résolue

11Il y a eu plusieurs tentatives de description des compétences des professionnels de l’évaluation. Les principaux travaux sont ceux de la Société Canadienne d’Évaluation (Mc Guire, Zorzi & Perrin, 2002) et des travaux américains (King, Stevahn, Ghere & Minnema, 2001). Ils ont produit des taxonomies de compétences, à savoir des listes détaillées d’éléments de compétences des évaluateurs, découpées de différentes façons. La taxonomie américaine de King et al. (2001) se présente par exemple comme une longue liste de « capable de », allant de « porter des jugements », « analyser des données » à « être ouvert aux suggestions des autres » et « être capable de composer avec le stress pendant un projet », sans oublier les classiques items « aptitude au travail d’équipe » et à la « communication ».

12Les auteurs de ces travaux soulignent les difficultés qu’ils ont rencontrées et qui sont caractéristiques des référentiels de compétences. En effet, la liste des compétences se confond souvent avec un inventaire qui juxtapose des éléments variés, plus proches de la description de toutes les tâches possibles (à qui on ajoute « être capable de ») et de tous les outils possibles. Mc Guire et al. (2002) affirment que les évaluateurs « doivent sélectionner les outils qui conviennent le mieux à une évaluation donnée, compte tenu du contexte de l’évaluation et des avantages recherchés », sans entrer davantage dans le détail. Cette limite dépasse le seul cadre de l’évaluation car elle concerne l’ensemble des concepteurs de référentiels de compétences. La question qui se pose est alors : comment rendre compte des compétences en situation ?

13Cette question est aussi soulevée, mais n’est pas non plus résolue dans l’abondante littérature scientifique qui traite de l’évaluation. Nous avons examiné les deux principales traditions de recherche en évaluation : l’évaluation dans le monde éducatif et l’évaluation dans le monde politico-administratif. Il en ressort l’hypothèse qu’évaluer consisterait à (Figari, 1994 ; Barbier 1985) :

  1. comparer des données sur un objet (« référés ») à des éléments sur son état souhaité/habituel (« référents ») permettant de leur attribuer un sens, une valeur ;

  2. préparer cette comparaison en explicitant/reconstruisant les référés et référents dans ce que Figari (1994) a appelé un processus de « référentialisation », parfois implicite, parfois explicité, comme c’est le cas en évaluation de politiques publiques.

14La complexité vient du fait qu’il n’existe pas une mais plusieurs façons de réaliser ces deux opérations, selon différents buts et critères de réussite, avec différentes méthodologies et différents outils de collecte et traitement des données. Les auteurs déroulent ces opérations en étapes successives et classent les diverses modalités prescrites en différents « paradigmes » ou approches concurrentes de l’évaluation (Rodrigues, 2001 ; Patton, 1986). Rodrigues (2001) distingue ainsi le paradigme « objectiviste », centré sur la mesure externe des objets, le paradigme « subjectiviste », centré sur la participation des évalués, et le paradigme « dialectique » où différents acteurs participent au processus. Leur principal inconvénient est de figer les débats en choix d’approches. Ils laissent à penser qu’ils seraient, dans la pratique, exclusifs les uns des autres, ou que certains seraient meilleurs que d’autres, comme le déplore Patton dans ce qu’il appelle la « guerre des paradigmes » (1986). Pour savoir évaluer, suffit-il de suivre les prescriptions d’un courant d’évaluation ?

15La question des compétences des évaluateurs est aussi parfois renvoyée à la sagacité des choix en situation (Nadeau, 1988). Hadji (1989) observe ainsi qu’« il y a plusieurs façons d’effectuer ce travail, plusieurs jeux encore possibles à l’intérieur de ce cadre imposé ». Stone (1984, cité par Nadeau, 1988) « affirme de son côté que l’excellence en évaluation de programmes réside dans le choix et l’utilisation de méthodes appropriées aux contextes ». Les choix des évaluateurs sont-ils guidés par des préférences renvoyant à différentes approches et/ou par une prise en compte des caractéristiques des situations qu’ils ont à traiter ?

Les compétences selon la didactique professionnelle

16Pour tenter d’apporter des réponses à ces questions, nous avons décidé de changer de perspective par rapport à la littérature en évaluation. Nous avons étudié les compétences des évaluateurs à partir de l’observation de leur activité et non à partir de ce que l’on pense qu’ils font ou devraient faire.

17Les ergonomes ont déjà montré que la richesse et l’intelligence du travail résideraient dans les interstices où l’activité réelle dépasse la tâche prescrite. De Montmollin (1986) parle de « l’intelligence de la tâche » qui résiderait dans les « aspects mentaux du travail » : le travail ne serait pas la simple mise en œuvre d’une panoplie d’aptitudes ou de procédures, mais un dialogue entre l’opérateur et son environnement… Différentes recherches ont montré que, même dans le cas d’une pratique fortement prescrite avec des procédures détaillées, les agents réalisent les adaptations qui permettent de réaliser les buts dans des conditions imprévues, voire les modifient (Leplat, 1997). Dans ce sens, les compétences peuvent être décrites comme « des modalités de régulation des situations de travail » (Gaudart, Weill-Fassina, 1999) : « Ces régulations établissent des compromis entre efficacité productive, préservation de soi et de sa santé et place dans le groupe de travail. »Ce serait a fortiori le cas pour des activités de service telles que l’évaluation de politiques publiques. Comme le notent Caroli et Weill-Fassina (2007), « L’activité (de service) est “ située” dans un contexte environnemental et social en évolution. (…) Pour le prestataire, la compréhension de l’autre, la construction de stratégies à adopter, les compromis élaborés sont essentiels pour atteindre son but ». Elles concluent que « dans les métiers de service aux personnes, l’élaboration et/ou la réélaboration des représentations des situations (…) constitue une part essentielle des activités individuelles et collectives des “prestataires de service” pour adapter leurs actions aux circonstances et assurer la qualité de service attendu ».

  • 2  Une croyance peut être définie comme une représentation issue de l’expérience et/ou socialement tr (...)

18Afin d’étudier la logique des choix des évaluateurs en situation, nous avons utilisé le modèle des compétences développé en didactique professionnelle : le modèle du « schème » de Vergnaud (1996). Selon lui, les activités sont organisées par un ensemble de ressources conceptuelles se développant dans et par l’expérience. Ces formes de conceptualisation sont constituées d’un réseau de buts et sous-buts, conceptions sur le travail et ses objets (appelées « invariants opératoires »), et règles d’action (raisonnements conditionnels de forme si… alors…) permettant des adaptations aux situations et des anticipations (Vergnaud, 1996). Les « invariants opératoires » en constituent la base : il est possible de repérer des « concepts-en-acte » (faisant référence à une dimension de la situation retenue comme importante pour agir) et des « propositions tenues pour vraies sur le réel » (croyances ou connaissances2) qui organisent l’activité de professionnels dans une situation donnée. Pastré (1999) a par exemple mis à jour l’importance du concept-en-acte de « bourrage » dans l’organisation de l’activité d’ouvriers travaillant sur des presses à injecter, et Mayen (2001) a mis à jour l’importance de « propositions tenues pour vraies » sur les clients dans l’activité de réceptionnaires d’ateliers. Ces concepts et propositions peuvent être regroupés en champs conceptuels, certains étant particulièrement opératoires pour traiter certaines situations (Vergnaud, 1990). Existe-t-il, chez les évaluateurs, différentes formes de conceptualisation des situations selon les niveaux d’expérience ? Qu’est-ce qui organise les choix des professionnels en situation ?

19Pour tenter de répondre à ces questions, nous avons recueilli des données sur l’activité de professionnels de l’évaluation de politiques publiques grâce à une méthodologie d’analyse du travail (Encadré 2). Nous avons centré nos observations sur une comparaison de l’activité de professionnels débutants et expérimentés dans les phases de conception d’une évaluation.

Encadré 2 : Une méthode d’analyse du travail en didactique professionnelle

Nous avons mené une analyse du travail inspirée des méthodologies classiques en ergonomie (Leplat, 1997), en deux temps :

Une analyse des situations qui encadrent et donnent forme à l’activité des professionnels, à travers l’étude des caractéristiques des objets donnés à transformer, des buts prescrits, des conditions habituelles du travail et des ressources mises à disposition dans le milieu professionnel. Nous avons analysé les textes officiels encadrant les pratiques, des études sur leur développement, la littérature scientifique et prescriptive en évaluation de politiques publiques et mené quatorze entretiens exploratoires auprès d’un panel varié de professionnels en France et à la Commission européenne.

Une analyse de l’activité de professionnels en situation. L’activité peut être définie comme une suite d’actions de transformations d’objets en vue de buts à l’aide de certains outils (De Montmollin, 1986).

Nous avons centré nos observations sur les phases de conception d’une démarche d’évaluation. Nous avons étudié un échantillon de neuf professionnels Français (cinq expérimentés et quatre débutants, plus un groupe d’étudiants en formation) en croisant les résultats de trois méthodes de recueil de données : 1) des entretiens de retour sur activité auprès de trois professionnels, à savoir des entretiens semi-directifs menés sur base de traces concrètes du travail 2) l’observation de deux séquences réelles mêlant des expérimentés et des débutants (construction d’un logigramme(*) et construction d’un référentiel d’évaluation(**), ce qui nous a permis de poser des premières hypothèses. Nous les avons ensuite testées à l’aide d’une troisième méthode, 3) des entretiens cliniques :nous avons provoqué une activité de construction d’un cahier des charges d’évaluation sur base d’un cas, donné à réaliser selon un protocole identique à deux professionnels expérimentés et à deux débutants. Nous avons ensuite mené un entretien détaillé avec eux sur les raisons de leurs choix et leurs difficultés.

Population enquêtée :vingt-quatre professionnels en activité ou en formation, composés de : dix-sept responsables d’évaluation (fonctionnaires en ministère, collectivités territoriales et Commission européenne), cinq évaluateurs (en cabinet de conseil privé de moins de quinze salariés) et deux étudiants en formation (Master II d’évaluation).

(*) : Un logigramme est un schéma qui reconstruit les impacts attendus d’une politique à partir de ses réalisations. C’est un outil couramment utilisé par les professionnels lors de la conception d’une évaluation.

(**) : Un référentiel d’évaluation se présente sous la forme d’un tableau déclinant des questions d’évaluation en critères et indicateurs. C’est un outil couramment utilisé pour préparer le recueil de données.

20Les résultats ont mis à jour différentes formes d’activités selon le niveau d’expérience des professionnels, pouvant être expliquées par différentes formes de conceptualisation des situations rencontrées.

L’expérience permet d’adapter les activités aux situations

21L’observation de l’activité des professionnels, qu’ils travaillent dans un organisme privé ou public, a tout d’abord montré qu’ils avaient différentes manières d’agir, que nous avons regroupées en deux modes de pilotage :

  1. un mode de pilotage caractéristique des moins expérimentés : ils sont « orientés par les méthodes » prescrites ou déjà mises en œuvre qu’ils cherchent à suivre dans une logique d’imitation et sont déroutés par les variations de situation ;

  2. un mode de pilotage caractéristique des plus expérimentés : ils sont « orientés par les résultats » dans le sens où ils « jouent » avec les méthodes selon leur lecture des situations. Ils réalisent un diagnostic de situation plus élargi, qui est l’occasion d’un véritable « travail sur la situation », et ils en pronostiquent davantage l’évolution. Ils visent également davantage de buts dans une même situation et réalisent de nombreux compromis.

22Première différence : les professionnels expérimentés prélèvent davantage d’indices de situation que les débutants.Ces indices sont à la fois propres à chaque professionnel et présentent des traits communs. Nous avons regroupé ces indices autour de trois variables de situation :

  1. certaines caractéristiques de l’objet évalué : diagnostic de ses objectifs (plus ou moins formalisés ou confus, « sensibles », vastes…), de ses réalisations (plus ou moins connues, conflictuelles…), de ses effets (plus ou moins vastes, complexes à mesurer, soumis à d’autres influences que la politique évaluée…) ;

  2. certaines caractéristiques des stratégies autour de l’évaluation : diagnostic des attentes exprimées et implicites (plus ou moins précises, claires, contradictoires, ayant différents degrés d’urgence et d’exigence méthodologique, selon différentes volontés à participer au processus…) ;

  3. certaines caractéristiques des moyens pour évaluer : diagnostic des partenaires associés et de l’ampleur des ressources (budgets différents, informations plus ou moins disponibles…).

23Les débutants restent davantage centrés sur la prise en compte de l’objet à évaluer, dans une logique de production de connaissances que nous qualifions de « technique ». À l’inverse, les professionnels expérimentés sont aussi attentifs aux moyens disponibles et aux acteurs concernés et impliqués, dans une logique que nous qualifions de « politique ». Ainsi, les professionnels expérimentés sont attentifs aux attentes explicites envers une évaluation mais aussi aux attentes implicites, aux divergences, aux attitudes plus ou moins favorables par rapport à l’évaluation et au degré d’exigence méthodologique des acteurs, qui n’est pas toujours explicité ou explicitable mais renvoie à des habitudes, des formats ou des présupposés épistémologiques propres à des individus, des lieux et des manières d’évaluer.

24Deuxième différence : le diagnostic mené par les professionnels expérimentés est plus actif dans le sens où il est l’occasion d’un véritable « travail » sur la situation. Leur diagnostic évolue et s’affine aux différentes étapes de la conception d’une évaluation. Ceci s’explique par le fait qu’il est plus qu’une simple identification de l’état initial d’une situation, il est en même temps l’occasion d’un véritable « travail » sur la situation visant à la transformer dans le sens voulu. La situation est à la fois donnée et transformée, « structurante » et « structurée » (Mayen, 2001). Il apparaît ainsi que les attentes sont l’objet d’un véritable « travail » dans le sens où elles sont à la fois identifiées, précisées, discutées, ciblées et mises en confrontation.

  • 3  Toutes les personnes ont été rebaptisées pour conserver leur anonymat.

25Ainsi, Clarisse3 (46 ans, responsable d’évaluation dans un conseil régional depuis dix ans) commence la phase de construction de la commande dans son administration par la réalisation d’un logigramme (schéma des impacts attendus de la politique) avec les acteurs impliqués pour discriminer les différents types d’attentes : « Quand une direction vient nous voir en nous demandant une évaluation, on dit attendez, on va déjà faire un diagramme logique d’impact pour voir de quoi il s’agit, s’il faut faire un audit ou une évaluation… »

26Elle l’utilise aussi pour négocier les attentes envers une évaluation en les ciblant, les reformulant et les justifiant : « Alors quelquefois, à l’issue du diagramme logique d’impacts on restreint le champ d’évaluation, parce qu’on s’aperçoit que ouh là là c’est beaucoup trop vaste on pourra jamais faire une évaluation sur un truc aussi important, ça relève de l’impossible (…) Mon collègue et moi après on va aller présenter ça (aux élus) pour voir aussi si ça répond à leurs attentes, pour leur expliquer pourquoi on en est arrivé là et éviter après des mécontentements (des élus) en disant on n’a pas tenu compte de notre avis et tout, donc là on s’explique et si ils nous disent on voudrait ça, on dit mais non, ça vous l’aurez autrement, c’est pas l’objet, on s’entend beaucoup mieux et du coup on n’a pas à avoir affaire à des  mécontentements ultérieurs. »

27Troisième différence : les professionnels expérimentés ne font pas que diagnostiquer l’état d’une situation, ils en pronostiquent l’évolution. Ainsi, un responsable d’évaluation expérimenté en conseil régional (47 ans, en poste depuis 7 ans) a énoncé l’anticipation suivante lors de la rédaction de questions d’évaluation : « Les questions évaluatives vont tomber chez les élus, si je commence à poser des problèmes de pilotage, à dire y’a des conflits entre les uns et les autres, euh… on risque de me rayer la question alors qu’elle est centrale. » Les débutants ont au contraire exprimé des difficultés à anticiper. Estelle, une débutante de 24 ans qui termine un master d’évaluation et n’a jamais effectué de stage, a ainsi exprimé des difficultés à anticiper les conséquences de ses choix de formulation de questions d’évaluation dans le traitement du cas soumis en entretien clinique : « Même si c’est une question, je ne sais absolument pas comment on pourrait y répondre. » Elle dit avoir consacré peu de temps au choix des outils de collecte des données en raison des difficultés d’anticipation de leurs résultats : « J’avoue que les méthodes, j’arrive pas encore bien à comprendre quelle méthode va permettre d’arriver à quoi, et ça reste assez vague. » Elle semble davantage guidée par le choix d’outils qu’elle « connaît » et elle a rédigé ses questions d’évaluation en suivant la formulation prescrite dans les guides mis à disposition.

28Quatrième différence : les professionnels expérimentés visent davantage de buts dans une même situation et réalisent des compromis entre eux.Les débutants visent avant tout à identifier et respecter les buts prescrits par les méthodes, étape par étape (« faire des indicateurs »), alors que les professionnels expérimentés sont motivés, sur l’ensemble des étapes, par le souci d’atteindre les buts finaux dont ils se sont reconstruits une représentation située. Les professionnels expérimentés font des compromis entre différents buts possibles pour une même évaluation. Ils cherchent à la fois à « juger les effets » d’une politique de façon à ce que ça « tienne la route », et à « avoir des effets » sur les acteurs en charge de la politique, à « s’en sortir » dans des systèmes d’acteurs complexes aux rapports parfois tendus, à « ne pas mettre le feu » tout en « mettant le doigt sur les problèmes » (« Souvent, il y a des conflits pour garder les choses secrètes et là c’est à nous de les faire sortir », selon un évaluateur de 58 ans, travaillant en cabinet privé, avec 10 ans d’expérience), tout en respectant des contraintes de budget, de calendrier voire de rentabilité pour les consultants.

29Ces résultats confirment des études en psychologie et en ergonomie qui ont mis à jour de telles différences dans les formes d’activité des débutants par rapport aux plus expérimentés (Chi, Glaser & Farr, 1988 ; Gaudart & Weill-Fassina, 1999). Le cadre théorique de la didactique professionnelle permet toutefois d’aller plus loin en expliquant ces différences par diverses formes de conceptualisation des situations, que nous avons caractérisées dans le cas de l’évaluation de politiques publiques.

Différentes activités pour différentes conceptualisations des situations

30Ces différences de pratiques entre professionnels expérimentés ou débutants peuvent être rapportées à différentes formes de conceptualisation des situations, quels que soient les lieux d’exercice des professionnels.

31Les professionnels expérimentés énoncent davantage de raisonnements conditionnels de forme « si… alors… »qui orientent leurs choix dans une situation donnée. Ceci explique pourquoi leur activité de diagnostic est aussi poussée : elle leur sert à construire le problème – qu’ils ne prennent pas pour donné tel que formulé initialement par les premiers commanditaires (élus, fonctionnaires…) – et décider entre plusieurs alternatives.

32Ainsi, dans un entretien de retour sur activité, la responsable d’évaluation Clarisse a exprimé des raisonnements qui mobilisent les concepts-en-acte de « possible » et de « facile » : si la question d’évaluation est trop large, l’information peu disponible et le budget restreint, alors l’évaluation est « impossible ».

33Si la question est « comme ça » (attentes trop larges), « on s’en sort pas ». Dès lors, cette question n’est pas évaluée, « parce que derrière nous on commence à mesurer ce que ça veut dire en termes de recherche, de collecte d’informations ». Elle développe ce raisonnement comme suit : « Automatiquement, on se pose la question : Est-ce qu’on a les informations disponibles ?”, si on les a pas, Est-ce que le cabinet va les avoir facilement, pas facilement ? ”, donc…  et automatiquement on re-restreint le champ, parce qu’on se dit “Attendez-là, on a dit qu’on prévoyait que 100 000 €, à 100 000 € le cabinet il pourra pas, c’est pas possible” »

34Lors de l’étude de cas, au moment de la conception du dispositif d’évaluation, Arnaud, un responsable d’évaluation en conseil régional (50 ans, 8 ans d’expérience), a énoncé un raisonnement mobilisant des concepts-en-acte liés au champ de la légitimité, sous l’angle de l’acceptation, de l’indépendance et de l’utilisation des résultats : « Soit j’écarte les élus, par principe parce qu’on peut craindre une pression sur l’évaluation et ce qu’elle produit, ou parce qu’on va avoir une réaction de rejet par un certain nombre d’acteurs qui vont dire c’est encore une évaluation qui est contrôlée par les élus donc elle est pas valable. Bon, mais dans ce cas-là je peux avoir l’effet inverse que je crains beaucoup qui est le désintérêt des élus et la non appropriation des résultats. L’expérience prouve que quand j’ai des élus membres de l’instance, j’ai une meilleure appropriation et une meilleure utilisation des résultats. Donc je garde l’élu. »

  • 4  Clarisse, cf. plus haut.

35L’analyse a donc révélé différentes façons d’interpréter une situation et de raisonner à son sujet, selon les réseaux de croyances et connaissances des évaluateurs : ainsi, les professionnels expérimentés mobilisent un réseau de conceptions – ou « propositions tenues pour vraies sur le réel » – comme autant de clés pour interpréter une situation particulière et prédire son évolution. Ils se sont constitués ce que Shadisch, Cook et Leviton (1991) appellent des « théories spontanées » sur les trois dimensions de situation : 1) la façon dont les acteurs se comportent, 2) le déroulement habituel des politiques publiques et 3) la façon dont différents moyens et méthodes peuvent produire différents résultats. Par exemple, un responsable d’évaluation en ministère (58 ans, en poste depuis 8 ans) affirme que « La facilité des experts, c’est de satisfaire le commanditaire », et une responsable d’évaluation en conseil régional4 déclare que « On peut très bien avoir des réalisations qui ne produiront pas du tout les impacts que l’on attend ». Un évaluateur en organisme public (57 ans, plus de 10 ans d’expérience) souligne le rôle des corps de savoirs institués (économie, sociologie…) « pour avoir des hypothèses quant aux comportements des acteurs qui soient des hypothèses vraisemblables », « un schéma théorique qui vous permette de dire les effets possibles de ce type de chose c’est ça, ça et ça et votre expérience vous amène à vous dire que telle hypothèse explique pas mal de trucs sur ce qui se passe. » À l’inverse, les débutants expriment, à de très rares occasions, des « propositions tenues pour vraies sur le réel », s’appuyant davantage sur les exemples, méthodes et règles prescrites à leur disposition pour guider leurs choix.

36Ces réseaux de croyances et connaissances mobilisent un large spectre de concepts, provenant de différents champs : 1- les méthodes d’étude en sciences sociales (« facteurs externes », « biais »…); 2-  l’analyse des politiques publiques (« besoins sociaux », « objectifs », « résultats », « impacts »…) ; 3- l’évaluation elle-même (« jugement », « critères », « indicateurs », « standards »…) ; 4- mais aussi le conseil et l’intervention (« cahier des charges », « rapport »…).  

37L’analyse a révélé que certains concepts étaient plus importants que d’autres dans les choix des professionnels. En effet, les principaux choix de conception d’une évaluation (approche, questions évaluatives, critères, indicateurs, outils de recueil et d’analyse des données) reposent sur l’usage d’un nombre limité de « concepts-en-actes » aux significations proches, que nous avons regroupés en deux principaux champs conceptuels :

  1. la « faisabilité » d’une évaluation : les professionnels expérimentés sont attentifs à ce qui sera « faisable », « mesurable », « évaluable » ou « difficilement évaluable », « possible » ou « impossible » dans une situation donnée

  2. la  « légitimité » d’une évaluation et de ses conclusions : les professionnels expérimentés tentent de produire des conclusions aussi « solides  », « valides » ; « fiables  », « crédibles  » et « robustes » que possible – en opposition à des conclusions « pas sérieuses » ou « bancales » –  ; ils cherchent aussi à produire des conclusions « utiles », « efficaces », « pertinentes », « acceptables » et « indépendantes » qui ne seront pas « rejetées ».

38Ces concepts organisent les raisonnements des professionnels expérimentés en situation, comme l’ont montré les exemples de raisonnements ci-dessus. À l’inverse, les débutants n’ont pas utilisé de tels concepts ou, quand ils les ont énoncés, cela a peu influencé leurs choix. On peut donc les considérer comme des concepts pragmatiques (Pastré, 1999) qui seraient la pierre angulaire de l’activité. Même s’ils y ont fait fréquemment référence, les professionnels expérimentés étaient peu conscients de leur importance pour l’action.

39Si tous les professionnels expérimentés ont mobilisé des concepts relatifs à ces deux champs (faisabilité et légitimité), tous ne leur donnent pas les mêmes significations. Ainsi, ce qui est considéré comme un résultat « solide » dépend, entre autres, de conceptions épistémologiques liées à des champs disciplinaires. Ainsi, les professionnels peuvent développer différemment ces concepts dans l’expérience, en lien avec leur parcours et formation d’origine.

40Pourquoi ces champs conceptuels sont-ils apparus aussi décisifs chez différents professionnels ? Ceci peut être expliqué par les similarités des situations qu’ils ont à affronter et des problèmes qu’ils ont à résoudre.

41Tout d’abord, les évaluations prennent place dans un champ de contraintes temporelles, techniques et budgétaires fortes. Les évaluateurs doivent construire des connaissances et des jugements sur des objets aussi complexes que des changements sociaux, ayant lieu sur des temporalités longues et difficiles à mesurer et interpréter. Ils doivent le faire dans un temps et avec un budget limités. Analyser une situation à partir de concepts-en-acte renvoyant au champ de la faisabilité peut être utile pour s’adapter à ces contraintes.

42De plus, la légitimité des conclusions d’une évaluation n’est jamais assurée a priori mais doit être construite, justifiée et parfois défendue. Comme les évaluations sont censées influencer les objectifs et budgets des politiques publiques, leurs conclusions peuvent être rejetées, critiquées ou ignorées en raison de l’enjeu qu’elles représentent pour les élus, fonctionnaires et citoyens. L’évaluation est ainsi liée aux enjeux de pouvoir et stratégies des acteurs pour influer sur les décisions publiques (Barbier, 1985). Analyser une situation à partir de concepts-en-actes renvoyant au champ de la légitimité peut permettre d’anticiper le type de méthodologies et de conclusions qui peuvent être acceptées, reconnues et capables de produire des effets. Nous avons choisi le terme de légitimité en raison de la richesse de ses significations : il renvoie à la fois à la justification des conclusions au regard des objets évalués et des moyens utilisés (« validité », « solidité »), et au crédit que les acteurs accorderont aux conclusions (« impartialité », « non rejet », et, peut-être, « utilisation »).

43Différentes formes de conceptualisation des situations expliquent ainsi une plus ou moins grande souplesse, pertinence et anticipation dans le choix des évaluateurs. Ceci concerne le choix des modalités d’évaluation (renvoyant à ce qui a été classé en différents « paradigmes ») qui, dans notre échantillon, ne se réduisent pas à des choix d’école mais qui peuvent être combinées au gré des contextes par les évaluateurs. Ainsi, Bruno, responsable d’évaluation (55 ans, 10 ans d’expérience) mobilise tantôt une approche qu’il appelle « partenariale » (associant élus et citoyens dans un comité de pilotage), tantôt une approche qu’il qualifie d’« experte »(basée sur un face-à-face entre commanditaire et évaluateurs), selon le type d’administration et de politique, et ce afin d’être « le plus efficace ». Ces formes de conceptualisation permettent donc aux professionnels de dépasser le strict respect des règles prescrites. La légitimité des résultats et la faisabilité de la démarche ne sont pas données une fois pour toutes mais construites dans chaque situation, ce qui confère aux concepts-en-acte leur caractère plastique et dynamique.


***

44L’approche des compétences par l’analyse du travail nous a permis d’explorer la dimension située d’une activité comme l’évaluation. Les résultats permettent de caractériser la nature des situations qui façonnent l’activité des professionnels et le rôle de l’expérience dans leur prise en compte.

45Tout d’abord, nous avons mis en exergue l’importance de la prise en compte des situations dans l’activité des évaluateurs. Il n’existe ni méthode ni outil meilleurs qu’un autre dans l’absolu, mais des méthodes et des outils plus ou moins pertinents en situation. De même, les choix des évaluateurs ne renvoient pas nécessairement à des paradigmes exclusifs les uns des autres. Certains professionnels peuvent même en faire de véritables « instruments » dans leur activité en choisissant de s’inscrire dans telle ou telle approche selon les caractéristiques des situations. D’où le rôle crucial des phases de diagnostic lors de la conception d’une évaluation, d’ordinaire passées sous silence dans les guides méthodologiques. Elles sont en effet généralement confondues avec les étapes techniques de construction des référentiels d’évaluation.

46Les situations ne sont pas irrémédiablement opaques ni variables à l’infini ; à l’aide de nos données, nous avons tenté de caractériser les principales dimensions auxquelles les professionnels sont attentifs pour agir. Nous avons montré que les situations posent des problèmes liés à la faisabilité et la légitimité de la démarche et de ses conclusions, champs conceptuels qui peuvent être objets de développement en formation.

  • 5  Dans la lignée des travaux de Mayen, Ferron, Humblot & Bazile, 2006.

47Une formation à l’évaluation peut ainsi se donner pour objectif d’aider les débutants à développer leur capacité à lire les situations et s’y adapter pour dépasser la seule imitation des règles prescrites. Dans les formats habituels de formation, une méthode prescrite est présentée aux évaluateurs débutants. Ils sont ensuite mis en activité par le biais d’une étude de cas qui leur permet de s’exercer dans une seule situation. S’il nous semble nécessaire de continuer à stabiliser une première forme de pratique autour d’une méthode prescrite, nous proposons donc de faire varier les situations pour que les débutants comprennent ce que ces changements induisent sur l’activité. Cela implique de faire varier les paramètres pertinents des cas présentés (« Que feriez-vous si le budget était deux fois moins élevé ou si la politique était partenariale ? »), ou de présenter différentes études de cas et d’analyser leurs différences. Les dimensions de situation peuvent aussi être objet d’étude et décrites dans ce que nous proposons, à savoir un « référentiel de situation » qui s’ajouterait aux référentiels compétences traditionnels5. Un tel référentiel présenterait les trois variables de situation identifiées dans cette recherche en listant les principales variations (par exemple : évaluer différents objets, évaluer pour des demandes de diverses origines, évaluer avec différents budgets, etc.) et en fournissant des exemples de ces variations (par exemple : demande d’évaluation obligatoire, demande politique, demande des services administratifs…). Il pourrait guider les processus de validation des acquis de l’expérience (VAE) et devenir un outil pour les formateurs.

48De plus, l’analyse du travail a permis de mettre à jour la dimension pleinement sociale – et non uniquement technique – des situations d’évaluation. La littérature en évaluation met l’accent sur les connaissances méthodologiques et techniques des évaluateurs (production de référentiels, techniques de mesure des objets…). Pourtant, ce processus ne tourne pas à vide, déconnecté de toute considération sur la nature des objets évalués, les moyens disponibles et les stratégies des acteurs concernés par l’évaluation. Nous avons ainsi montré qu’une partie des compétences des évaluateurs repose sur un réseau de connaissances-en-actes portant sur ces trois dimensions. Elles leur permettent d’interpréter et de prédire leur déroulement/comportement et d’éviter les méprises à leur sujet. Ainsi, nous pouvons faire l’hypothèse qu’il n’existe pas de compétences universelles d’évaluation (sous-entendues méthodologiques) qui feraient l’économie d’une connaissance des situations. En ce sens, les professionnels sont autant spécialistes d’évaluation que spécialistes des politiques publiques en général (voire d’un secteur d’action publique donné), de même qu’ils sont aussi spécialistes des logiques des acteurs publics.

49Ce constat permet aux formateurs d’éviter de mettre uniquement l’accent sur les méthodes d’évaluation au détriment de la prise en compte de la spécificité des objets et des contextes sociaux. Les parcours des évaluateurs ont ainsi tout à gagner d’une fréquentation des milieux administratifs et d’une formation en sociologie des politiques publiques, voire dans la spécialisation sur un secteur d’action publique.

50Nos résultats permettent enfin de discuter le rôle de l’expérience dans la construction des compétences. Nous avons mis à jour des différences dans l’activité des débutants et des expérimentés, dans la lignée de recherches en psychologie : l’évolution du rapport à la prescription, dont on apprend à se détacher par l’expérience (Gaudart & Weill-Fassina, 1999), la construction progressive de concepts pragmatiques qui, en plus d’être énoncés, deviennent de véritables outils de résolution de problèmes (Vidal-Gomel, 2007).Malgré tout, les « théories spontanées » des expérimentés ne sont pas nécessairement exemptes de biais et de présupposés infondés. Elles se développent dans l’expérience au risque d’être empreintes de raccourcis, de croyances limitées à la généralisation de cas particuliers, voire influencées par des discours ambiants. Elles peuvent aussi provenir de corps de connaissances instituées qui fournissent des hypothèses sur les comportements des acteurs et le déroulement des politiques publiques (science politique, sociologie, économie…). Elles peuvent donc être plus ou moins pertinentes et objet d’étude et de travail en formation. La professionnalisation des évaluateurs peut ainsi passer par des périodes de retour sur l’expérience – entre expérimentés ou entre débutants et expérimentés – afin d’expliciter et de discuter les connaissances-en-actes construites et, au besoin, de les remettre en question.

Haut de page

Bibliographie

Barbier J.-M. (1985), L’évaluation en formation, Paris, PUF.

Caroli S. & Weill-Fassina A. (2007), « En quoi différentes approches de l’activité collective des relations de services interrogent la pluralité des modèles de l’activité en ergonomie », @ctivités, 4 (1), pp. 85-98.

Chi T.H., Glaser R. & Farr M.J. (1988), The nature of expertise, Hillsdale, Laurence Erlbaum associates.

Figari G. (1994), Evaluer : Quel référentiel ?, Bruxelles, De Boeck Université.

Gaudart C. & Weill-Fassina A. (1999), « L’évolution des compétences au cours de la vie professionnelle : une approche ergonomique », Formation Emploi n° 67, pp. 47-62.

Hadji C. (1989), L’évaluation, règles du jeu, Paris, ESF.

King J.A., Stevahn L, Ghere G. & Minnema J. (2001), “Toward a taxonomy of essential evaluator competencies”, American Journal of evaluation, Vol. 22, n° 2.

Leplat J. (1997), Regards sur l’activité en situation de travail. Contribution à la psychologie ergonomique, Paris, PUF.

Mandon N. (2000), Évolution des métiers de la formation professionnelle et de leurs pratiques, approche par l’analyse des emplois, Cahier ETED n° 3, Marseille, Cereq.

Mayen P. (2001), Développement professionnel et formation : une théorie didactique. Thèse pour l’habilitation à diriger des recherches en Sciences de l’Education, Grenoble, université Pierre Mendès France.

Mayen P., Ferron O., Humblot J.-P. & Bazile J. (2006), Introduire un référentiel de situations dans les référentiels de diplôme en BTS, Rapport de recherche de l’unité propre « Développement professionnel et formation », Département des sciences de la formation et de la communication, Enesad, septembre.

Mayen P., Mayeux C. & Savoyant A. (2006), « Construire la référence : une activité permanente des jurys de VAE », in Figari G., Rodrigues P., Palmira Alves M. & Valois P. (Dirs.), Evaluation des compétences et apprentissages expérientiels, Lisbonne : Admee Europe et Educa.

Mc Guire M., Zorzi R. & Perrin B. (2002), Projet de la société canadienne d’évaluation à l’appui de la défense des intérêts et du perfectionnement professionnel, Société Canadienne d’Évaluation, www.evaluation.francophonie.org

Montmollin de M. (1986), L’intelligence de la tâche, Eléments d’ergonomie cognitive, Berne, Peter Lang.

Nadeau M.-A. (1988), L’évaluation de programme, théorie et pratique, Québec : Ed. Les Presses de l’université Laval.

Pastré P. (1999), « La conceptualisation dans l’action : bilan et nouvelles perspectives », Education permanente n° 139, pp. 13-36.

Patton M. Q. (1986), Utilization focused evaluation, California, 2nde edition, Sage.

Rodrigues P. (2001), « L’entretien de recherche comme pratique d’évaluation », in Figari G. & Achouche M., L’activité évaluative réinterrogée, Bruxelles, De Boeck.

Shadish W.R., Cook T.D. & Leviton L.C. (1991), Foundations of Program Evaluation Theories of Practice, Newbury Park: Sage publications.

Stroobants M. (1994), « La visibilité des compétences », in Ropé, F. & Tanguy L. (Dir), Savoirs et compétences, de l’usage de ces notions dans l’école et l’entreprise. Paris, l’Harmattan.

Tourmen C. (2007). Les compétences des évaluateurs. Le cas des évaluateurs de politiques publiques. Thèse de doctorat, université de Grenoble II.

Vergnaud G. (1990), « La théorie des champs conceptuels », Recherches en didactique des mathématiques, 10, 2-3, pp. 133-170.

Vergnaud G. (1996), « Au fond de l’action, la conceptualisation », in Barbier J.-M (dir.), Savoirs théoriques et savoirs d’action, Paris, PUF, pp.  275-292.

Vidal-Gomel C. (2007), « La conceptualisation et la place des concepts pragmatiques dans l’activité professionnelle et le développement des compétences », @ctivités, 4-1, pp. 49-84.

Haut de page

Notes

1  Nous retiendrons le terme « évaluation de politiques publiques » pour désigner ces pratiques, terme qui est le plus utilisé en France, bien qu’en Amérique du Nord le terme « évaluation de programme » (program évaluation) soit préféré.

2  Une croyance peut être définie comme une représentation issue de l’expérience et/ou socialement transmise sans statut validé par un corps de savoirs ; une connaissance peut être définie comme une représentation validée et issue d’un corps de savoirs institués (sociologie, économie…).

3  Toutes les personnes ont été rebaptisées pour conserver leur anonymat.

4  Clarisse, cf. plus haut.

5  Dans la lignée des travaux de Mayen, Ferron, Humblot & Bazile, 2006.

Haut de page

Pour citer cet article

Référence papier

Claire Tourmen, « Les compétences des évaluateurs de politiques publiques », Formation emploi, 104 | 2008, 53-65.

Référence électronique

Claire Tourmen, « Les compétences des évaluateurs de politiques publiques », Formation emploi [En ligne], 104 | octobre-décembre 2008, mis en ligne le 01 octobre 2010, consulté le 23 novembre 2017. URL : http://formationemploi.revues.org/1373

Haut de page

Auteur

Claire Tourmen

Claire Tourmen est maître de conférences en sciences de l’éducation au sein de l’ENESAD (École nationale d’enseignement supérieur agronomique de Dijon) et spécialisée en didactique professionnelle et en évaluation. Elle pratique l’analyse du travail dans le cadre de la formation professionnelle auprès d’évaluateurs, de dirigeants, de doctorants et s’intéresse à l’évaluation des politiques publiques, des dispositifs de formation et des compétences. Elle a réalisé une thèse CIFRE sur les compétences des évaluateurs au sein d’un cabinet de conseil, où elle a participé à différentes missions d’évaluation de politiques publiques dans le domaine éducatif. Elle a notamment publié : Tourmen C. (2009, sous presse), « Evaluators’ decision making. Between theory, practice and experience. », American Journal of Evaluation. Tourmen C. (2005), « Comment former à évaluer ? Quelques apports de la didactique professionnelle », Éducation permanente, automne 2005.

Haut de page

Droits d’auteur

© Tous droits réservés

Haut de page