Séance 3 : Quelle évaluation ?

Pilotage et évaluation

Exposé d’introduction de Jean-Marc BERTHET

Gouvernement, gouvernance, gouvernement à distance

Piloter, c’est gouverner, mais les modes de gouvernement changent et s’ils changent, c’est aussi pour une raison forte : l’Etat n’a plus le monopole de la dépense éducative, la part des collectivités locales approche les 27% aujourd’hui. Cela oblige l’Etat à changer son mode de gouvernement.

Derrière se jouent des modes de gouvernement différenciés. Si l’on veut simplifier, on pourrait dire qu’en trente ans, nous sommes passés de politiques qui fonctionnaient sur le modèle de la loi à des politiques qui sont passées au modèle du contrat, puis à des politiques qui sont gouvernés aujourd’hui de plus en plus à distance. Je reprends là les termes d’un article de Renaud Epstein paru dans la revue Esprit en novembre 2005[1]. Cela pourrait donner un modèle suivant : gouvernement - gouvernance - gouvernement à distance, qui s’imbriquerait dans le temps sans qu’un terme ne se substitue à un autre et qui expliquerait les difficultés dans lesquelles nous sommes aujourd’hui :

1. une première période qui correspond au gouvernement : l’Etat pilote, le local suit et se tait : cela dure très longtemps et se transforme dans les années 1980 avec la décentralisation et l’outil contractuel comme outil juridique du développement local. 
2. Une deuxième période avec la mise en œuvre de politiques contractuelles : la gouvernance. Que veut dire ce terme ? Qu’il s’agit d’associer les différents pilotes dans un système pluridimensionnel et à multi-niveau de pilotage. Qu’il n’y a donc plus vraiment de pilote mais bien un co-pilotage ou des co-pilotages qui correspondent à autant de contrats, c’est le début de l’illisibilité du système dans lequel nous sommes encore.
3. Puis, à partir du milieu des années 2000, une forme de recentralisation. Epstein l’exemplifie à travers la construction de l’ANRU et ce qu’il appelle le passage aux agences, et dit que nous avons vécu un ternaire loi, contrat, agence, que je reformule par des modes de gouvernement. A partir du milieu 2000, donc, se met en place dans certains modes de financement un gouvernement à dis-tance. Celui-ci se caractérise par des formes de recentralisation, de développement d’une mise en concurrence des territoires ou des acteurs entre eux sur fond de baisse des enveloppes financières et par une attention accrue à l’évaluation comme nouvel outil du pilotage du gouvernement à dis-tance.

Que veut dire cette idée de gouvernement à distance ? On sort de la gouvernance, et donc des pluri-partenaires pour revenir à la notion de gouvernement. Chaque institution reprend ses ressources financières et les gère seule, sans prendre forcément l’accord des autres. Cela veut dire aussi tout simplement, que certains financeurs, dont l’Etat, n’ont plus les moyens du co-pilotage… Ou pour le dire encore autrement, qu’ils n’ont plus les moyens humains d’être associés dans la démultiplication des scènes locales qui se sont développées tout au long du modèle contractuel et pour lesquels nous tentons en vain de retrouver une unification à travers un optimum territorial, qui je le redis, n’existe sans doute pas. Lors de la présentation du comité départemental du PEL et de la parentalité à la dernière séance, la première question des autres collègues de l’Etat était quel moyens humains avez vous pour vous inscrire dans les partenariaux locaux ?

De façon similaire, l’an passé, dans le groupe partenariat des acteurs de terrain, un CPE de lycée professionnel ne cessait de dire que pour lui, la question du territoire communal pour penser les politiques éducatives n’avait pas de sens car le périmètre de recrutement de ces élèves était beaucoup plus vaste. Du coup, faire appel à des partenaires locaux pour venir remédier aux diffi-cultés scolaires de ces élèves relevait de la gageure… Nous avons un peu le même problème avec le programme de réussite éducative expérimental pour les 16-18 ans en région Rhône-Alpes. Ce qui montre bien que se joue des formes de pilotage interterritorial et que c’est vers cela qu’il faudrait peut-être avancer… Derrière ce triptyque gouvernement, gouvernance, gouvernement à distance , je ne dis pas qu’on passerait de l’un à l’autre, je dis qu’aujourd’hui les trois sont imbriqués et c’est ce qui rend le pilotage compliqué… Il se joue aussi un rapport particulier des financeurs aux associations qui peuvent porter des dynamiques éducatives locales.

On pourrait simplifier en disant que s’est mis en place un nouveau triptyque dans le temps : sub-vention, appel à projet, marchés publics. Mais, je pense que l’on va rester dans ces formes d’imbrication, sans qu’un modèle unique celui du marché public qui serait la pente ne se dégage vraiment totalement.

De la même façon que l’on trouve le triptyque autour du gouvernement imbriqué, on pourrait dire qu’il en va de même de ce nouveau triptyque, c’est à dire que si on l’on va sans doute de plus aller vers les marchés publics (et certaines collectivités se posent de plus en plus cette question tant sur la politique de la ville que sur la politique de réforme des rythmes scolaires),  il semble important de pouvoir garder ces trois modes de financement du local ensemble et surtout de les adapter au mieux en fonction des interventions associatives pour en particulier garder l’aspect expérimental que seule la subvention peut permettre aujourd’hui.

La place de l’évaluation dans le pilotage des politiques éducatives locales

On peut s’appuyer sur les interventions d’Alain Bollon[2], spécialiste de l’évaluation en éducation. Tout d’abord évaluer, c’est bien juger de la valeur, et donc des plus-values, c’est donc aussi un moyen de valoriser ce qui se fait.  Mais les valeurs, ou les finalités d’un projet, c’est toujours l’inatteignable, ce qu’on vise, l’idéal, l’utopie (« l’égalité », la « fraternité »)qu’on ne touchera jamais. 

Il n’y a donc pas forcément de mesure en évaluation mais bien des comparaisons. Evaluer c’est produire de la valeur, noter, c’est produire de la norme. Par exemple, faire passer un test une fois à des enfants, c’est du contrôle, évaluer c’est leur faire passer deux fois le même test. Qu’ont-ils gagné ? Ont-ils compris le trajet qui leur a fait gagner quelque chose… C’est donc la maîtrise du travail effectué qui rend autonome et pas le résultat.

Evaluer, c’est aussi comparer un idéal avec une réalité et porter un jugement sur la qualité de la différence. Pour évaluer, il nous faut un point de départ, un T0, et un point d’arrivée, un T1. A l’évaluation, il faut toujours deux prises. L’évaluation, c’est regarder du côté des traces et des changements laissés et opérés entre le T0 et le T1. Donc évaluer, c’est dire la valeur d’un changement. Evaluer, c’est rentrer dans le projet de l’autre, sinon, on reste dans le contrôle, c’est à dire qu’on se place dans une posture en extériorité, et que par là même on impose et ses critères et ses indicateurs d’évaluation. C’est la raison pour laquelle, au-delà des critiques de l’évaluation qui sont nombreuses, la seule critique de l’évaluation qui vaille est de dire que si l’évaluateur impose ses critères aux évalués, il est dans le contrôle…

C’est à travers la notion de projet que la question de l’évaluation arrive dans les questions éduca-tives… et du coup cela pose la question de l’articulation des projets entre eux et donc des projets d’établissements qui doivent être associés aux projets de territoire… Cela pose la question des cadres au sens d’encadrement des systèmes éducatifs qui doivent à la fois tenir le contrôle (car il en faut, il y a des choses non négociables) et l’évaluation, c’est à dire accompagner la démarche d’évaluation. Ce qui fait que l’accompagnement doit être déconnecté du contrôle, ce qui, est particulièrement compliqué lorsque le contrôleur et l’évaluateur sont la même personne. Alors, pour introduire au débat, on peut revenir sur les postures professionnelles à travers deux questions :

• Finalement, dans quel type de pilotage êtes-vous ?
• A quoi vous sert l’évaluation dans ce pilotage ?

Synthèse des échanges

Stéphane Kus, reprenant les travaux de Marceline Laparra[3], a ensuite insisté sur l’invisibilité de certaines formes d’actions difficilement évaluables et l’importance de mieux visibiliser ces processus pour éviter des situations qui tendent à construire une origine de la difficulté chez l’élève alors qu’elle est co-construite dans la relation éducative. La production des inégalités commence bien souvent dans la difficulté à mettre au jour ces constructions.

Puis les échanges ont d’emblée abordé la question du contrôle et de l’évaluation pour dire finalement que les positions des institutions étaient bien dans les deux modes avec deux logiques différentes finalement : lorsque les financeurs imposent leurs indicateurs ou lorsque les évalués imposent les leurs. D’ailleurs, les institutions attendent-elles vraiment des évaluations ou ne se contentent-elles pas seulement de bilans, comme si finalement on ne savait pas vraiment ce que l’on devait attendre de l’évaluation ?

Pour d’autres participants, l’évaluation, vue du terrain et des associations n’est qu’une des manières de justifier les financements demandés, on se trouve donc bien souvent dans des formes d’auto-évaluation un peu biaisées, où ce qui va mal n’est pas forcément dit. Pour d’autres encore, la question reste d’abord ce que l’on regarde dans le cadre des bilans, de l’évaluation ou du con-trôle, s’agit-il de la dépense et des moyens ou s’agit-il vraiment des effets sur les publics ? Ainsi, il a été rappelé qu’avant que la CNAF ne lance son expérimentation jeunesse, une enquête avait été faite en direction des jeunes et des familles, qui avait sérieusement perturbé les parties prenantes du côté des professionnels mais les avaient obligé à avancer dans leurs pratiques.

Mais même, ce rapport aux publics reste controversé entre les participants car il pose des questions méthodologiques difficiles entre demander l’avis à des publics bénéficiaires ou évaluer ce qui est produit dans les actions qui leur sont destinées. 

D’autres questions se posent encore : comment évaluer qualitativement et ne pas se contenter de mesures chiffrées et de fétichisation du chiffre ? Evalue-t-on le droit commun alors même qu’on passe beaucoup de temps et d’énergie sur l’évaluation de politiques exceptionnelles ? Mais c’est la question politique sur laquelle les participants se sont entendus. En définitive, s’agit-il vraiment d’une question de critères et d’indicateurs qui seraient négociés entre toutes les parties prenantes de l’évaluation ou ne s’agit-il pas plutôt d’une très grande difficultés à afficher de véritables objectifs politiques dans les politiques publiques menées. Ainsi, peut-on vraiment évaluer ce qu’il en est des inégalités et de leurs réductions alors même que ce n’est que très rarement posé comme objectif politique localement.

Cette question se repose sous une forme un peu différente lorsque les évaluations servent à se demander si le financeur se doit de continuer à financer des actions ou pas. Le contexte politique local va largement influer sur la décision finale. Enfin, certains ont rappelé que si la culture technique de l’évaluation s’était diffusée du côté des collectivités locales, elle n’échappait pas à sa mise en communication et donc, parfois, à son instrumentalisation politique.

Synthèse des travaux de groupe

On peut s’appuyer sur les interventions d’Alain BollonLes participants se sont partagés en deux groupes pour réfléchir sur leurs pratiques d’accompagnement à l’évaluation et au pilotage avec d’un côté l’Académie de Lyon et de l’autre l’académie de Grenoble.

En synthèse pour Lyon :

• question du pilotage entre le technique et le politique dans les institutions : comment mieux légitimer les techniciens par le politique ? La commande d’évaluation n’est jamais vraiment définie politique-ment, c’est aussi la raison pour laquelle on se trouve plus dans le contrôle.
• le constat est fait qu’il n’y a pas vraiment encore de culture commune sur l’évaluation ce qui explique aussi sa faible mise en œuvre.
• La questions des instances partenariales : comment distinguer les comités de pilotage des comités d’évaluation ?
• Peu de moyens tant humains que financiers sont consacrés à ces sujets d’évaluation.
• La tension entre évaluation par un tiers extérieur ou l’auto-évaluation n’est pas toujours levée sur les terrains : du coup qui construit vraiment l’évaluation ?
• A quoi sert l’évaluation ? Aujourd’hui, elle glisse bien souvent du côté de l’efficience et moins de l’efficacité.
• Le contrôle et l’évaluation ne sont pas incompatibles mais plutôt que de regarder en arrière, ne pour-rait-on pas aller vers de la prospective et de l’anticipation ?
• Plutôt que d’aller vers des guides de bonnes pratiques, ne pourrait-on proposer des guides de pratiques inspirantes pour éviter la modélisation ?

Pour Grenoble :

• L’évaluation oblige à réintégrer le niveau politique dans son suivi : un échange entre le technique et le politique est alors nécessaire pour éviter le pilotage à vue.
• Cela pose des questions de méthode : comment faire pour que le comité de pilotage soit efficace et pas seulement une chambre d’enregistrement ?
• Le niveau politique est-il même intéressé par ces questions ?
• Bien souvent la légitimité du pilotage se fait par le poids financier des institutions engagées, ce qui n’est pas forcément la bonne approche.
• L’un des enjeux de l’évaluation est bien de rechercher collectivement la plus-value de ce qui est fait.
• Il reste important de repartir des valeurs, de leur traduction pour retrouver du sens
• Le peu de commande politique peut placer les professionnels en limite de loyauté vis-à-vis de leurs ins-titutions, tant ils sont mal mandatés par celles-ci.
• Il reste flagrant que lorsqu’on ne sait pas vraiment quoi évaluer, on va demander aux publics ce qui s’est passé en leur faisant porter des choses qui renvoient d’abord aux limites des institutions !

Conclusion

• Le rapport au politique est une véritable difficulté surtout sur les questions éducatives où bien souvent les élus à l’éducation ne sont pas forcément les mieux positionnés dans la hiérarchie politique locale. Du coup, les techniciens peuvent avoir le sentiment de se trouver dans de l’auto-mandatement alors même qu’ils devraient être mandatés. Mais jouent-ils vraiment leur rôle dans le rapport au politique ?
• Les méthodes, les théories et les postures de l’évaluation ne sont pas aujourd’hui stabilisées dans la mesure où coexistent quatre grandes sources de production d’évaluation qui ne sont pas forcément compatibles entre elles : celle défendue par la Société Française d’Evaluation, celle défendue par l’école des Economistes de Paris, celle défendue par la cour des Comptes et enfin celle défendue par les corps d’inspection. Derrière, les méthodes se différencient. Ainsi, si l’on doit produire un projet avant même de l’évaluer, part-on du diagnostic ou des valeurs ?
• D’emblée, la question de l’évaluation pose un rapport complexe aux temporalités. Que ce soit la temporalité bien spécifique du politique dans lequel le portage technique de l’évaluation doit se glisser mais que ce soit aussi du côté des temps même de l’évaluation : regarde-t-on en arrière, en avant ou en continu ?
• L’objectif de lutte contre les inégalités quelles qu’elles soient devraient rester un objectif central, est-il vraiment toujours porté politiquement sur les territoires ?

[1] EPSTEIN R., Gouverner à distance. Quand l’État se retire des territoires. Revue Esprit, Novembre 2005, Des sociétés ingouvernables ?

[2] Lire par exemple l’intervention d’Alain Bollon à la journée d’étude de PRISMEau CNAM le 12 Février 2014 – « Quels pilotages éducatifs pour quelles politiques de territoires ? »

[3] Voir par exemple : LAPARRA M., Les ZEP, miroir grossissant des évolutions et contradictions du système éducatif français, Revue Française de Pédagogie 2011/4 (n° 177), La politique ZEP en France, laboratoire des politiques d'éducation ?, ENS Editions