Sourcebook En Ligne de l’AfCoP : le Suivi et l'Evaluation du PHBM à Madagascar

[RAVELONANDRO C. José]

L’augmentation des revenus familiaux de 75% ; l’émergence d’une dynamique de planification locale ; l’alphabétisation de plus de 6600 adultes ; la mise en valeur de 4000 à 5000 hectares de périmètres irrigués aux rendements rizicoles dépassant la moyenne nationale ; la création d’une mutuelle d’épargne et de crédit ; le désenclavement de la zone par l’aménagement d’un réseau routier.

Ces résultats de développement intervenus parmi d’autres dans différents secteurs d’une région très reculée du Sud profond de Madagascar sont l’œuvre du Projet de mise en valeur du Haut Bassin de Mandrare (le PHBM), un projet du Ministère Malgache de l'Agriculture, de l'Elevage et de la Pêche (MAEP) lancé dès 1996, financé par le Fonds International pour le Développement Agricole (FIDA) et réalisé entre 2001 et 2008. Au cours de son déroulement, le projet n’a cessé de chercher à approcher une gestion optimale de ses interventions pour atteindre les changements attendus. Nous allons rendre compte de ses avancées et en particulier de son système original de Suivi et Evaluation (S- E) tout au long des semaines à venir dans le cadre du développement En Ligne du premier Sourcebook de l’AfCoP.

L’amélioration du système de S-E du PHBM fait partie de l’Initiative en Suivi-Evaluation et Gestion du Savoir (SEGS) du Programme FIDA qui s’inscrit lui-même dans le Cadre d’orientation stratégique des opérations du FIDA (COSOP) à Madagascar pour la période 2007-2012. Cette initiative s’intègre au niveau micro dans les préoccupations des projets, et au niveau meso et macro, dans les mécanismes prévus pour le pilotage du Madagascar Action Plan (MAP), qui trace les contours de référence pour l’alignement des objectifs de développement des parties prenantes. L’initiative suit une stratégie de mise en œuvre partant du terrain qui a pour principe directeur « Apprendre en marchant », et s’attache à prioriser les informations à la portée des acteurs, tout en promouvant une approche participative. L’initiative est décrite avec plus de détails sur son site à l’adresse : www.segs-mada.net

Nous examinerons tout d’abord dans le présent article l’historique de la mise en place du système de S-E du PHBM. Mais avant cela, il convient de revenir brièvement sur le contexte et l’ambition de ce projet.

Le PHBM prend place au Sud de la grande île dans une région aux sols fertiles, présentant une forte potentialité pour la riziculture. La première phase du projet avait pour objectif de satisfaire les besoins les plus élémentaires en termes d’infrastructures pour cette zone oubliée par tous les investisseurs. Pendant la deuxième phase, marquée par une extension à la fois géographique et thématique, le PHBM est devenu un projet de développement rural intégré. Ce projet concernait plus de 100 000 habitants, très majoritairement des agriculteurs.

Jusqu’à sa mi-parcours en 2005 et malgré des investissements considérables, le projet a rencontré des difficultés à mettre sur pied un système de S-E performant pour aider à la décision. Nous faisions alors face :
- au manque d’harmonisation des exigences de suivi et de rapportage des différents partenaires (Bureau du projet, MAEP, Bureau des Nations Unies pour les services d'appui aux projets ou UNOPS et le FIDA) ;
- à la clarification tardive du cadre logique et des indicateurs de S-E ;
- au manque de capacité initiale et au fort roulement des responsables de S-E au niveau du projet ;
- à la faible sensibilisation et mobilisation de l’équipe de projet et des partenaires locaux, y compris les bénéficiaires et leurs associations, et ;
- à la production tardive et l’acheminement irrégulier des rapports d’activité.

C’est seulement à partir de 2006 que le service de S-E a réellement entamé la mise en place d’un système de suivi et évaluation qui réponde aux exigences d’une Gestion axée sur les Résultats du Développement (GRD). Pour arriver à ce changement, nous avons engagé plusieurs actions, dont une réorganisation interne du personnel, une série de formations et un atelier national. J’y ai pris part en tant que Spécialiste en Suivi-Evaluation et Gestion des Savoirs au sein de la Cellule d’Appui au Programme du FIDA (CAPFIDA) à Madagascar, une cellule rattachée au Secrétariat Général du MAEP (www.capfida.mg).

Nous avons alors franchi de nombreuses étapes qui ont contribué à la réussite du PHBM. Le cadre logique du projet qui avait déjà fait l’objet de plusieurs révisions aussi bien au niveau de la hiérarchisation des objectifs qu’au niveau des indicateurs de S-E, a été rediscuté au sein du projet et avec les partenaires pour être enfin définitivement finalisé. Le système informatisé de S-E a progressivement été amélioré avec l’aide d’un consultant national pour devenir pleinement opérationnel à partir de 2007. Suite à cela, une énorme masse de données collectées antérieurement a pu être intégrée dans la base de données (BDD).

Ces données proviennent beaucoup des bénéficiaires eux-mêmes. Non seulement les populations rurales sont associées au déroulement du PHBM afin de renforcer leurs capacités à court terme et de pérenniser les actions entreprises, mais elles sont aussi au centre de sa démarche de S-E. Pour communiquer avec elles et collecter les données nécessaires au S-E, nous utilisons les canaux de la seule radio opérationnelle de cette zone éloignée de tout centre urbain. Les succès et échecs de ce projet sont transmis par ce média et commentés par tous.

Au fur et à mesure de l’avancement des activités, les données sont enregistrées dans la BDD par les différentes cellules techniques. Cet outil permet désormais d’extraire des données et tableaux de bord de rapportage utiles pour la gestion courante des activités et de faire des analyses sous forme de tableaux croisés dynamiques. Pour la cartographie, un progiciel permet d’actualiser les cartes simultanément à l’ajout de nouvelles données dans la BDD.

La quasi-totalité de la masse de connaissances générée tout au long du projet est disponible sur le site www.phbm.mg. Le projet a intégré le concept de pérennisation des acquis dès le stade de la conception et son opérationnalisation a eu lieu au cours du projet à travers le programme de pérennisation des acquis et de transfert des avoirs et des savoirs (PATAS).

Nous continuerons à analyser les spécificités du système multidimensionnel de S-E du PHBM lors de prochains articles. Avant cela, nous attendons vos réactions et commentaires pour poursuivre le dialogue sur ce premier article. Que pensez-vous de cette brève présentation ? Les problèmes que nous avons rencontrés au niveau de la collecte et du rapportage des données correspondent-ils à des difficultés auxquelles vous avez fait face ? Vous souhaitez en connaître davantage sur un point précis ? N’hésitez pas à nous en faire part, nous nous efforcerons d’y répondre.

[Firmin Seke di Makwala]

Cher José,

J'ai pris connaissance de votre article. Je souhaiterais exprimer deux préoccupations si vous pouvez m'accorder une suite. Il s'agit de:

1) Comment puis-je accéder à ce document du projet?
2) Avez-vous développé un guide méthodologique de suivi&évaluation ainsi qu'un kit d'outils relatif au projet en concerne et le partager avec moi?

Dois-je reconnaître que l'article m'inspire énormément et m'exhorte à accélérer le processus de la création de l'association congolaise de S&E.

Et puis, la mise en place d'un "Le système informatisé de S-E ..." me tente pour émettre une autre question. Seriez-vous en mesure de m'appuyer pour un exercice analogue dans mon programme?

Meilleures salutations

Firmin Seke
Chargé de Programme
Gouvernance Locale
PNUD/RDC

[RAVELONANDRO C. José]

Cher Firmin,

Mes collègues et moi sommes très flattés par votre marque d'intérêt.

Pour ce qui est des documents, un "concept note", un document de référence et divers rapports sont disponibles sur les sites du projet, de l'initiative et de la cellule d'appuis.

Nous avons prévu une évaluation de l'initiative SEGS pour le début de l'année prochaine. A l'issu de cet exercice, nous comptons éditer un autre document de référence qui retracera les expériences vécues et donnera des directives pour la diffusion (upscaling) de ce type de pratique. Je ne manquerai pas de vous le partager le cas échéant. Mais avant, je peux vous partager certains outils disponibles.

Enfin je vous souhaite bons vents pour cette association nationale de praticiens de SE. Tenez nous au courant de l'avancement.

Bien à vous,

José

[BENELIM DJIMADOUMBAYE NINGUETA]

Bonjour Ravelonando C José. Je viens avec ma toute petite expérience en suivi évaluation partager notre expérience qui commence au Tchad dans le cadre du programme Paix à travers le développement (PDEV) piloté par Academy for educational Development AED en partrenariat avec Equal Access, une ONg AMERICAINE spécialisée dans la communication pour le dévéloppment.
En effet, ce programme PDEV est installé dans deux pays du Sahel après le retrait de la MAURITANIE pour des questions politiques.
Au Tchad, en ce qui concerne Equal Access, nous commencé par une formation en methodologie, une équipe de cinq personnes. La Bonne Gouvernence et les Op^prtunités offertes aux jeunes est notre ligne de mire. Après cette étude formative, nous avons mis en place deux programmes radios. Un magazine sur la bonne gouvernance et l'autre sur le feuilleton radiophonique et c'est la première fois au Tchad qu'une telle initiative arrive. Nous avons au total 104 épisodes de magazines et 104 épisodes de feuilletons. Ces magazines produits sont basés sur notre étude formative car nous avons appris à connaitre d'avantage sur les pratiques (administratives, sociales, religieuses, associatives, judiciares,...) et dans notre feuilleton, nous avons des personnages qui sont positive, negative et transitoire, c'est le dernier qui est porteur de nos valeurs.
Alors nous utilisons les SMS pour coller les réactions des auditeurs qui ont suivi des magazines diffusés dans 12 radios FM et la radios locales. La radio nationale est une aubaine.
Ces SMS que nous traitons par le logiciel frontline SMS, nous permet de mésurer quantitativement mais aussi (reserve) qualitativement des auditeurs.
C'est très alléchant pour notre équipe et nous ne sommes qu'à notre début.
Je voudrai savoir si ce genre de suivi évaluation par SMS se fait ailleurs.
Je vous remercie chers collègues

Bénélim DJIMADOUMBAYE
TCHAD

[RAVELONANDRO C. José]

Effectivement, cher Bénélim, votre système est intéressant et assez innovant. Il fait appel a un outil à la portée de tous et que tout le monde utilise au quotidien. L'utilisation du portable comme outil central dans un système d'information sur le marché a été expérimentée puis diffusée par le FIDA (entre autres). Pas plus tard qu'hier 26.10.09, par exemple le PPRR (projet de promotion des revenus ruraux) opérant dans la partie Est de Madagascar a signé un accord avec l'opérateur de téléphonie mobile ZAIN pour ce type de système. Quand à l'utilisation du portable pour le suivi, c'est assez nouveau pour moi. Je voudrais en savoir plus.

Pourriez-vous en décrire le fonctionnement exact et nous donner un aperçu du résultat que vous obtenez à travers ce système?

Bien à vous,

José RAVELONANDRO

[RAVELONANDRO C. José]

Nous sommes arrivés au terme des 5 premiers articles programmés pour cette discussion. Comme annoncé plus tôt, nous allons traiter ici des liens entre les systèmes de Suivi & Évaluation (SE) des projets et le système national.

A travers cette description et analyse de liens entre SE d’un gouvernement et de projets, nous comptons contribuer aux réflexions qui se généralisent auprès des praticiens sur les systèmes de suivi et évaluation à mettre en œuvre au niveau national et les alignements qu’ils nécessitent. Pour ce, le débat est volontairement ouvert sur une dimension plus large que le cercle du S-E du PHBM.

J’apprécie énormément l’importante contribution de RANDRIANARIVELO Benjamina à cet article, un membre de notre communauté de pratique qui a joué un rôle de premier ordre dans la mise en place du Système National Intégré de Suivi et Évaluation (SNISE) de Madagascar. Les précieux éléments qu’il a fournis dans le document très dense et abondamment illustré proposé en pièce jointe ont été résumés dans la première partie de cet article.

Articulation du système de SE des projets avec le SNISE

Le MAP et le SNISE : Un système pour articuler le pilotage de l’obtention de résultats pour le développement

Le référentiel de développement national “Madagascar Action Plan” (MAP) et l’Option de Stratégie pour le Pays (COSOP) convenue entre le Ministère de l’Agriculture, de l’Élevage et de la Pêche (MAEP) et le Fonds International de Développement Agricole (FIDA) couvrent la même période de 2007 à 2012, les objectifs stratégiques de ce dernier ayant été définis en accord avec ceux du premier. Les systèmes de suivi-évaluation respectifs y afférents sont ainsi relativement récents, et commencent à donner leurs premiers résultats.

Le MAP ambitionne d’achever des résultats significatifs en 2012, en phase avec la vision « Madagascar naturellement » 2020 et les Objectifs du Millénaire pour le Développement, en réagissant aux opportunités et défis globaux et nationaux, et en rendant le système de planification plus ambitieux et orienté vers les résultats. Les objectifs du MAP sont classés en 8 engagements qui se déclinent à leur tour en 54 défis au total.

Le SNISE veille à instaurer des mécanismes et un processus de suivi et d’évaluation du MAP aux niveaux central et régional, avec au cœur du dispositif, une matrice des résultats et une matrice des indicateurs. 126 indicateurs prioritaires y font l’objet d’un suivi rapproché. Le dispositif institutionnel adopté par voie de décret (2008) implique différents comité et entités privés et étatiques où la primature et le ministère de l’économie jouent un rôle central.

Le ministère de l’économie assure le leadership dans la remontée des données dont la collecte à la base est assurée par les services déconcentrés de tous les ministères. Les destinataires de rapports sont les Ministères eux-mêmes, l’Assemblée Nationale et le Sénat, les groupements professionnels, les organisations de la société civile et les partenaires techniques et financiers. Parmi les 43 indicateurs du SNISE relatifs à l'Engagement 4 "Développement rural", 14 ont été retenus comme prioritaires, soit le tiers. Ils font l’objet d’un rapport synthétique et systématique, semestriel et annuel, assuré par le MAEP.

Le SNISE sert à éclairer les actions du gouvernement, dont les indicateurs servent de références au cadrage de l’élaboration de la politique générale annuelle. A ce niveau les réflexions, les échanges, les décisions tendent à s’harmoniser autour des indicateurs du SNISE bien qu’il soit pour l’heure, moins utilisé par les acteurs à la base, dont les premiers besoins concernent leurs activités.

Le MAP relayé par le SNISE a grandement contribué à instaurer progressivement la culture de résultat dans les pratiques. Il est ainsi beaucoup plus facile pour les gens de lier leurs activités avec les résultats nationaux, grâce à la clarification apportée par la chaîne de résultats, d’où plus de mobilisation vers plus d’efficacité.

Les problèmes de mise en œuvre du SNISE sont d’ordre structurel (incertitudes dans la fiabilité des informations communiquées, déficit d’analyse de l’efficacité et de l’efficience) et institutionnel (changements de structures au niveau des ministères) et nomination de nouveaux responsables. Depuis début 2009, une instabilité institutionnelle et politique caractérise le paysage national, ayant abouti à un changement brusque des dirigeants politiques suivi d’une forte rotation au niveau des responsables de l’administration centrale et déconcentrée, ainsi que la suspension des aides extérieures.

SEGS et SNISE : Les projets jouent un rôle de locomotives dans l’opérationnalisation du système national de suivi-évaluation

Alignement du système de suivi et évaluation des projets par rapport au système de suivi-évaluation du secteur agricole

Le cadre logique de chaque projet appuyé par le FIDA est élaboré dans le rapport de pré-évaluation, en tenant compte des orientations de développement du pays (gouvernement, ministère) et des directives du FIDA, les deux étant en cohérence avec les objectifs du millénaire et la coopération entre les deux étant inscrite dans le COSOP. Et généralement, il est peu modifié dans la mise en œuvre ultérieure.

On peut y distinguer deux niveaux de résultats: celui plus agrégé (de type impact) qui intéresse le SNISE, et un niveau tenant beaucoup plus compte des spécificités, notamment sur les réalisations physiques pour le suivi des projets, à charge pour le cadre logique du projet d’établir la corrélation entre ces différents niveaux. Il en était ainsi de la révision du système opéré à mi-parcours au PHBM (voir le premier article).

Par l’alignement, certains indicateurs agrégés des projets utilisant le financement du FIDA sont quasiment similaires avec ceux du SNISE (ex : nombre de certificats fonciers établis, nombre de titres fonciers établis, taux de pénétration des institutions de financement, rendement rizicole, production rizicole, nombre de coopératives mises en place). Pour d’autres, des efforts sont actuellement en cours pour en assurer la mise en cohérence, en partant d’un document sur les indicateurs synthétisés de tous les projets (ex : le projet PPRR suit le volume de miel produits par les paysans appuyés tandis que le SNISE s’intéresse au taux d’accroissement de la production de miel).

Apports spécifiques du SEGS au système de suivi-évaluation du ministère de l’agriculture

Globalement, les projets du programme FIDA fournissent au MAEP deux types d’informations : des données synthétisées sur les effets et impacts d’une part et des données brutes sur les réalisations physiques par projet, d’autre part.

Les résultats synthétisés des projets financés par le FIDA sont présentés au gouvernement à travers le MAEP, dans un rapport annuel, Les données brutes sur les réalisations physiques sont fournies selon une fréquence trimestrielle.

D’après le Service du SE du ministère, au-delà de permettre un suivi rapproché des projets, les données sur les réalisations physiques présentent l’avantage d’être concrètes, visibles et significatives sur le terrain, d’où leur exploitation à titre d’illustration dans la communication institutionnelle (notamment à l’endroit du Parlement).

De manière générale, ces informations arrivent régulièrement et beaucoup plus tôt que celles des services de l’administration. Par ailleurs, au dire des responsables centraux du ministère de tutelle, ces éléments sont réputés beaucoup plus fiables, eu égard aux méthodes et moyens mis en œuvre au sein des projets pourvoyeurs.

Difficultés dans la mise en œuvre de l’articulation entre SEGS et système national

Pour tous, une première limite vient du manque de méthodologie commune pour renseigner et analyser les indicateurs. A ceci vient se greffer la multiplicité de définitions et de nomenclatures sur les indicateurs, qui complique un peu plus l’exercice de mise en cohérence.

Et au niveau spécifique de l’administration sectorielle – en attendant l’effectivité du renforcement annoncé pour bientôt – les faiblesses des moyens et des capacités limitent la portée des actions, et notamment, du fait qu’une partie du travail est encore traitée manuellement (re-saisie par les agents de l’état des données fournies par les projets), que des doutes planent sur la fiabilité des documents, ceux-ci étant exploités et consolidés, sans possibilité de contrôle et que le gouvernement n’a pas de vraie capacité pour traiter les impacts et les effets.

Maintenant ce débat est ouvert ! Quelles remarques, quelles analyses, quelles comparaisons notre expérience vous inspire-t-elle ? A travers nos échanges, nous pourrions améliorer le système.