Partie 2 LE PROCESSUS D’ÉVALUATION Évaluer : quoi et comment ? SUIVI MISE EN ŒUVRE CONCEPTION PRÉPARATION Introduction La préparation des termes de référence de l’évaluation La conception du système d’évaluation La mise en œuvre de l’évaluation Le suivi de l’évaluation Termes de référence Concept et objectifs, données, objectif global, indicateurs et questions clés, collecte de données, communication, dynamique de groupe Collecte, analyse, interprétation et dissémination des données Plan d’action, suivi, changements Smart Toolkit – Des outils pour l’evaluation des projets, produits et services d’information Dans la première partie, nous avons tout d’abord présenté le concept, l’objectif, les tendances, les principaux ingrédients de l’évaluation ainsi que le contexte dans lequel elle se déroule – le cycle de projet. Nous avons ensuite brièvement décrit les processus apparentés de suivi et d’évaluation d’impact. Dans la deuxième partie, nous allons à présent nous intéresser plus particulièrement au processus d’évaluation, lequel devrait s’articuler autour de quatre phases distinctes : z la préparation des termes de référence de l’évaluation ; z la conception du système d’évaluation ; z la mise en œuvre de l’évaluation ; z le suivi de l’évaluation. Quelles sont les principales questions à se poser pour bien préparer l’évaluation d’un projet d’information et comment aborder ces questions dans la formulation des termes de référence ? Dans quelle mesure ces questions influencent-elles la manière de concevoir votre évaluation ? Comment allez-vous choisir les outils d’évaluation ? Les outils sélectionnés vont-ils s’aligner sur les objectifs fixés et les ressources disponibles ? Qu’implique le suivi de l’évaluation ? Ce processus vise essentiellement la réalisation d’un outil d’auto-évaluation vous impliquant au même titre que les principaux acteurs concernés. Comme nous l’avons constaté dans la première partie, l’auto-évaluation renforce l’expérience d’apprentissage et facilite l’application effective des leçons tirées de l’expérience à un projet dans le but d’améliorer son impact. Nous examinerons le processus d’évaluation dans son ensemble et comment il s’applique plus particulièrement aux projets, produits et services d’information. On peut décomposer chacune des quatre phases du processus d’évaluation en plusieurs étapes successives. Phase 1 : La préparation des termes de référence de l’évaluation z Définir les raisons et le but de l’évaluation. z Définir la portée de l’évaluation. z Organiser la participation des parties prenantes. z Identifier les données existantes et les sources de données. z Choisir une méthodologie pour la collecte et l’analyse des données. z Formuler une stratégie de communication. z Constituer l’équipe d’évaluation. z Préparer le plan de travail et le budget. z Formuler les termes de référence. Phase 2 : La conception du système d’évaluation z Analyser le concept et les objectifs du projet. z Déterminer les données nécessaires à l’évaluation du projet. z Formuler l’objectif de l’évaluation, les questions clés et les indicateurs. z Définir les méthodes de collecte des données. z Définir les méthodes d’analyse des données. z Établir le plan de communication. z Intégrer les questions relatives à la dynamique des groupes. Phase 3 : La mise en œuvre de l’évaluation z Collecte des données. z Analyse des données. z Réflexion critique et présentation des résultats. 30 Partie 2 : LE PROCESSUS D’ÉVALUATION : Introduction Figure 2.1 Le processus d’évaluation Phase 1 Phase 3 PRÉPARATION Phase 2 MISE EN ŒUVRE Phase 4 CONCEPTION SUIVI Objectif spécifique Collecte de données Concept(s) et objectifs Analyse des données Plan d’action Portée du projet Parties prenantes Analyse critique des résultats Mise en œuvre du plan Données requises d’action Données Présentation des résultats Objectif de l’évaluation Gestion des changements Méthodologie Questions clés dans le projet Communication Indicateurs Équipe Méthodes de collecte Plan de travail des données Budget Méthodes d’analyse Termes de référence des données Plan de communication Dynamique de groupe Phase 4 : Le suivi de l’évaluation z Élaboration du suivi du plan d’action. z Mise en œuvre et suivi du plan d’action. z Gestion des changements, si nécessaire. Les différentes phases ont été présentées dans l’ordre chronologique. Sachez toutefois que le passage à la phase suivante peut vous amener à revoir une phase précédente afin d’en améliorer le contenu. Au cours de la phase 2, par exemple, lors de la mise au point du système d’évaluation et dans le cadre des discussions avec les parties prenantes, vous pourriez être amené à redéfinir les termes de référence pour qu’ils répondent plus étroitement aux besoins d’information des différentes parties prenantes. En outre, certaines phases peuvent se recouvrir partiellement. Le processus d’évaluation implique une sélection d’outils de collecte de données. Dans cette deuxième partie, nous abordons le processus de sélection sans détailler toutefois les outils eux-mêmes. La troisième partie sera consacrée à la description des outils à prendre en compte pour l’évaluation de votre projet et la quatrième partie présentera des exemples d’outils particuliers qui ont été appliqués à des projets, produits et services d’information spécifiques. Chaque processus d’évaluation est unique. Il faudra donc mettre au point un processus adapté à la nature, aux objectifs et à la portée du projet à évaluer. Il conviendra d’impliquer vos parties prenantes du début à la fin dans ce processus, quel qu’il soit. Sans un niveau adéquat de participation des parties prenantes, votre évaluation risque de ne pas donner les résultats escomptés en termes d’apprentissage et d’impact. 31 Smart Toolkit – Des outils pour l’evaluation des projets, produits et services d’information La préparation des termes de référence de l’évaluation La préparation est la première action à entreprendre lors de l’évaluation d’un projet, produit ou service d’information. Une préparation rigoureuse favorise le succès d’une évaluation. Il convient, à cet effet, d’éclaircir les aspects suivants : z l’objet de l’évaluation ; z la portée de l’évaluation (clarifier ce qu’elle couvre et ce qu’elle ne couvre pas) ; z qui sont les parties prenantes et comment les impliquer dans le processus d’évaluation ; z quelles sont les données et les sources de données existantes ; z quelle sera la méthodologie utilisée pour collecter et analyser les données ; z la stratégie d’analyse et de présentation des résultats de l’évaluation ; z la constitution d’une équipe capable de mener à bien l’évaluation et de mettre en œuvre les leçons tirées ; z le plan de travail et les ressources nécessaires (en termes de temps et d’argent). Une fois seulement que tous ces aspects ont été clarifiés, vous pouvez passer à la formulation des termes de référence (TDR). Il est crucial de rédiger des termes de référence clairs et détaillés. Ceux-ci constituent les paramètres de l’évaluation et permettent à l’équipe d’évaluation et aux parties prenantes de savoir : z ce qu’il y a à faire, z qui s’en chargera, z comment procéder, z quand démarrer. L’implication des membres de l’équipe d’évaluation et des parties prenantes contribuerait non seulement à la production d’un ensemble viable de TDR, mais stimulerait aussi l’engagement de tous ceux qui sont impliqués dans le processus d’évaluation. Définir les raisons et le but de l’évaluation Si vous ne savez pas pourquoi – ni pour qui – vous menez une évaluation, votre processus d’évaluation ne reposera vraisemblablement pas sur des choix judicieux (par exemple, quelles parties prenantes faut-il impliquer, comment collecter les données, quelle stratégie de communication adopter). Pour définir le but de l’évaluation, il faut avant tout chercher à savoir pourquoi il est nécessaire de conduire une telle évaluation. Il peut y avoir une ou plusieurs raisons. z Responsabiliser les parties prenantes. Certains mécanismes peuvent être utilisés pour responsabiliser les parties prenantes dans un projet d’information. L’un d’eux consiste à organiser un exercice d’évaluation en assurant la plus forte participation possible dans le but de susciter chez les parties prenantes la compréhension et l’engagement nécessaires à la réalisation du projet et de les encourager à contribuer activement à son succès. z Renforcer les capacités des parties prenantes. L’évaluation participative aide les parties prenantes à mieux appréhender un projet, mais aussi à acquérir de nouvelles compétences liées à la mise en œuvre, à la gestion et à l’évaluation du projet. z Améliorer la mise en œuvre du projet. Une évaluation doit pouvoir montrer si des améliorations s’avèrent nécessaires dans le cadre de la mise en œuvre d’un projet, notamment s’il s’agit simplement d’évaluer un échec ou un succès. 32 Partie 2 : LE PROCESSUS D’ÉVALUATION : La préparation des termes de référence de l’évaluation z Aider à la réorientation du projet. Le projet peut être confronté à de nouveaux défis et, dans ce cas, nécessiter des changements et une nouvelle stratégie. L’évaluation fournit les informations nécessaires à la formulation d’une nouvelle stratégie. z Assurer la redevabilité. L’évaluation est un moyen utile pour informer certaines personnes sur l’état d’avancement et l’efficacité d’un projet : soit les donateurs (on parle alors de « redevabilité vers l’amont », soit les principales parties prenantes (« redevabilité vers l’aval »), ou les deux à la fois. Encadré 2.1 Définir l’objet d’une évaluation – Points clés à retenir z Posez-vous les questions suivantes : – Qui souhaite cette évaluation ? – Pourquoi ? – Dans quelle mesure le projet peut-il tirer profit de l’évaluation ? z Utilisez les réponses à ces questions pour choisir une méthode d’évaluation judicieuse. z Chaque évaluation est unique. Par conséquent, veillez à ce que l’objet de l’évaluation soit clair dès le départ et ne soyez pas tenté de reprendre le contexte de l’objet associé à une évaluation antérieure. z Définir l’objet de votre évaluation est, somme toute, l’occasion d’apprendre, d’améliorer votre projet et de renforcer vos liens avec les parties prenantes. Définir la portée de l’évaluation Si vous souhaitez évaluer votre projet d’information, il est nécessaire de savoir sur quels critères (ou principaux domaines de préoccupation) fonder l’évaluation. La définition des critères d’évaluation vous aidera à déterminer sa portée. Chaque organisation s’appuie sur différents types de critères d’évaluation. Les critères les plus importants et les plus communément utilisés sont les suivants : z L’accessibilité. La possibilité qu’ont les principales parties prenantes d’accéder à votre projet (autrement dit, leur facilité d’accès au produit/service d’information en termes de disponibilité, de diffusion et d’opportunité). z L’impact. Les changements positifs et négatifs induits par votre projet, directement ou indirectement, de manière intentionnelle ou non (comment les principales parties prenantes ont utilisé le produit/service avec succès pour améliorer leurs conditions de vie). z La pertinence. L’adéquation du produit/service conçu par rapport aux priorités et besoins exprimés par les principales parties prenantes, ou aux priorités des autres parties prenantes, des responsables du projet et des donateurs (savoir si le projet était une bonne idée). z La durabilité. La capacité de votre organisation à continuer de fournir le produit/service à l’issue du projet (par exemple, la capacité des principales parties prenantes à continuer d’en tirer parti lorsque le financement du projet prendra fin). 33 Smart Toolkit – Des outils pour l’evaluation des projets, produits et services d’information z La convivialité. La facilité avec laquelle les principales parties prenantes utilisent votre produit/service. Celle-ci repose sur plusieurs facteurs : exhaustivité du produit/service, niveau de langue accessible (la langue par elle-même, son niveau et son style), représentations visuelles accessibles (diagrammes, illustrations, etc. ayant trait aux conditions de vie des principales parties prenantes), informations précises sur le plan technique et conception adaptée au contexte dans lequel il sera utilisé. z L’utilité. La possibilité de voir votre projet faire recette ailleurs ou parmi diverses autres parties prenantes. L’utilité concerne également les enseignements tirés du projet dans la mesure où ceux-ci pourraient être appliqués utilement à d’autres projets. z L’efficacité. La qualité du rendement ayant permis de réaliser les objectifs du projet (identique à l’impact, qui lui recouvre à la fois des changements intentionnels et non intentionnels, alors que l’efficacité est plutôt liée à des objectifs intentionnels). z L’efficience. La rentabilité de votre projet en termes de résultats – qualitatifs et quantitatifs – par rapport aux intrants engagés (le projet a-t-il mobilisé les ressources les moins coûteuses possible pour atteindre les objectifs escomptés). Le choix des critères à utiliser pour définir la portée de votre évaluation doit être guidé par les points suivants : z l’orientation politique et les valeurs fondamentales de votre organisation ; z les politiques et les intérêts des autres parties prenantes, y compris vos donateurs ; z l’état d’avancement de votre projet et les principales questions auxquelles vous allez devoir répondre ; z le niveau de participation envisagé des parties prenantes ; z les ressources (telles que le temps, l’argent, les ressources humaines) dont vous disposez. Tableau 2.1 Appliquer des critères d’évaluation à un cours de formation destiné aux agriculteurs CRITÈRES D’ÉVALUATION PRINCIPALES QUESTIONS À SE POSER Accessibilité Les agriculteurs ont-ils bénéficié du cours de formation ? Si non, pourquoi ? Efficacité Les agriculteurs ont-ils pu tirer profit de cette formation au sein de leurs propres exploitations ? Si non, pourquoi ? Convivialité Le cours de formation a-t-il été assuré dans une langue comprise par tous les participants ? Ce cours de formation était-il suffisamment complet pour permettre aux agriculteurs de le mettre en application ? Les agriculteurs ont-ils bénéficié d’un temps de formation suffisant pour leur permettre d’absorber toutes les informations ? Un appui leur a-t-il été apporté à l’issue de la formation ? Efficience Le cours de formation a-t-il été mis en œuvre de la façon la plus efficace possible par rapport aux solutions alternatives proposées ? Aurait-il été possible d’obtenir le même impact avec des ressources plus limitées ? Impact Cette formation a-t-elle débouché sur de nouvelles pratiques agricoles ? Si tel est le cas, ces pratiques améliorées ont-elles contribué à accroître les rendements ? Pertinence Le cours de formation a-t-il répondu aux priorités et besoins exprimés par les agriculteurs ? Durabilité Lorsque le financement du projet prendra fin, l’instance de pilotage sera-telle en mesure de poursuivre la formation ? Si non, pourquoi ? Les changements apportés par les agriculteurs sont-ils durables ? Les agriculteurs ont-ils perpétué les connaissances acquises ? Utilité Cette formation conviendrait-elle à d’autres agriculteurs qui connaissent des situations similaires ? 34 Partie 2 : LE PROCESSUS D’ÉVALUATION : La préparation des termes de référence de l’évaluation Encadré 2.2 Définir la portée d’une évaluation – Points clés à retenir z Il est important de choisir rigoureusement les critères d’évaluation en fonction de votre projet et de vos ressources, de telle sorte que votre évaluation soit plus ciblée et plus facile à gérer. z Un aspect important mais souvent négligé consiste à s’assurer que la portée du projet est adaptée au niveau des ressources disponibles. z Ne tenez pas compte des critères focalisant sur des questions auxquelles vous ne pourriez apporter de réponses (par exemple, ne choisissez pas « l’impact » si vous venez de démarrer votre projet). z Évitez si possible la confrontation des intérêts conflictuels des parties prenantes du projet. Organiser la participation des parties prenantes Quelles sont les parties prenantes de votre projet ? Et pourquoi devraient-elles prendre part à l’évaluation ? Pour répondre à la première question : tout projet repose sur une collaboration entre deux catégories de parties prenantes (voir figure 2.2) : z les principales parties prenantes (les utilisateurs finaux du produit/service d’information) ; z les parties prenantes secondaires, qui peuvent se répartir comme suit : – celles qui contribuent à la conception de votre produit/service d’information (donateurs, agences partenaires) ; – celles qui veillent à ce que les utilisateurs finaux escomptés aient accès à votre produit/service (distributeurs, organisations médiatiques) ; – celles qui sont impliquées dans l’élaboration et la mise en œuvre de politiques liées au produit/service (agences gouvernementales). Seconde question : Pourquoi faut-il impliquer les parties prenantes dans le processus d’évaluation ? Ainsi que nous l’avons vu dans la première partie, la participation des parties prenantes au cycle de projet est un élément crucial pour la réussite de ce projet. De même, la participation doit être importante et significative ; elle doit également faciliter l’échange d’idées et le partage des décisions. La méthode d’évaluation externe antérieure (voir tableau 1.1 dans la première partie) soulignait la pente descendante de la participation, laquelle visait par ailleurs à : z informer les parties prenantes sur le processus d’évaluation et les résultats ; z utiliser les parties prenantes en tant que source d’information (par le biais de questionnaires, d’interviews et d’ateliers, par exemple) ; z consulter les parties prenantes pour confronter leurs points de vue sur le processus d’évaluation et/ou les résultats. Aujourd’hui, cependant, l’évaluation participative implique une participation plus active des diverses parties prenantes, lesquelles : z font partie de l’équipe d’évaluation ; z contribuent activement à la conception et à la mise en œuvre de l’évaluation ; z aident à réaliser une analyse conjointe des résultats et des recommandations. 35 Smart Toolkit – Des outils pour l’evaluation des projets, produits et services d’information Figure 2.2 Parties prenantes du projet de création d’un bulletin d’information destiné aux agriculteurs DÉCIDEURS (secteur privé/public) Ministères Médias Donateurs Coordinateurs de la publication Annonceurs/ publicitaires Imprimeurs RESPONSABLES Chercheurs PARTENAIRES ET CONTRIBUTEURS ET PERSONNEL Distributeurs/ diffuseurs CONCURRENTS DU PROJET Rédacteurs ONG partenaires Graphistes Publications Agriculteurs commerciales Éditeurs Organismes de vulgarisation Organismes de formation Centres d’information UTILISATEURS FINAUX (parties prenantes clés) L’identification des parties prenantes susceptibles de participer à l’évaluation passe par une analyse des parties prenantes. Il convient d’analyser des facteurs tels que ceux présentés dans le tableau 2.2. Quels que soient les groupes de parties prenantes identifiés, un groupe devra toujours prendre part au processus d’évaluation : les principales parties prenantes. Il convient de prendre en considération les questions liées à leur participation au processus d’évaluation, notamment : z leur implication et l’influence qu’elles exercent sur le produit/service d’information ; z leur contribution au produit/service d’information ; z comment elles tirent profit du produit/service ; z comment les impliquer dans le processus d’évaluation ; z leur volonté et leur aptitude à s’impliquer dans le processus et à tirer les leçons de l’évaluation ; z les moyens les plus appropriés pour communiquer avec eux pendant l’évaluation ; z la dynamique et les conflits d’intérêts entre les parties prenantes participantes ; z le budget de la participation des parties prenantes à l’évaluation. 36 Partie 2 : LE PROCESSUS D’ÉVALUATION : La préparation des termes de référence de l’évaluation Tableau 2.2 Exemple d’analyse des parties prenantes pour l’évaluation d’un bulletin d’information destiné aux agriculteurs PARTIES IMPLICATION DANS CONTRIBUTIONS AVANTAGES IMPLICATON DANS PRENANTES LE BULLETIN AU BULLETIN DU BULLETIN LE PROCESSUS D’INFORMATION D’INFORMATION D’INFORMATION D’ÉVALUATION Lecteurs Lire le bulletin d’information Temps (lire le bulletin Amélioration des Représentés au sein de (principales parties prenantes) ; réagir aux différents d’information) ; argent (acheter connaissances en techniques l’équipe articles (questions et le bulletin d’information) de production agricole Source d’information commentaires) ; promotion privilégiée de bouche à oreille Rédacteurs, éditeurs et Élaborer le contenu ; faire Temps ; contribution Activité professionnelle, Représentés au sein de coordinateurs de la publication la mise en page professionnelle situation, expérience l’équipe Partenaires (donateurs, Fournir les informations, Temps ; contribution Diffusion des connaissances ; Représentés au sein de l’équipe départements du ministère de impression et diffusion du professionnelle et technique revenus Impliqués dans l’analyse et les l’Agriculture, instituts de bulletin d’information décisions d’intervention recherche, imprimeurs, distributeurs) Direction Définir le concept/les Temps et ressources (gérer le Objectifs organisationnels, Travailler en équipe sur les objectifs du bulletin bulletin d’information ; assurer situation TDR, l’analyse des données et d’information ; allouer des les relations avec les les recommandations ressources ; superviser la partenaires et les donateurs) Veiller à ce que les production et la distribution recommandations soient mises en ?uvre par l’organisation Encadré 2.3 Organiser la participation des parties prenantes au processus d’évaluation – Points clés à retenir z Ne soyez pas tenté de reproduire la manière dont la participation des parties prenantes a été organisée dans une autre évaluation. Vos parties prenantes (types, groupes, intérêts, disponibilité, etc.) seront différentes de celles impliquées dans tout autre projet. z Assurez-vous d’impliquer les principales parties prenantes, les utilisateurs de votre produit/service d’information, afin de répondre notamment au critère d’utilité. z Décidez clairement qui impliquer, et quand, et évitez d’impliquer l’ensemble des parties prenantes tout au long du processus. Le temps est une denrée précieuse ; ne cherchez pas à trop solliciter les parties prenantes, au risque de perdre leur collaboration une seconde fois. Identifier les données existantes L’inventaire des données pertinentes existantes pour l’évaluation vous aidera à décider quelles sont les données qu’il vous reste à collecter, en fonction de votre temps et des ressources disponibles. De quoi vous rafraîchir la mémoire et de permettre à l’équipe d’évaluation de mieux comprendre le contexte du projet et les recommandations qui ont pu être émises. Bien souvent, ces recommandations se « perdent » et ont peu de chances d’aboutir. Où trouver ces données ? Parmi les sources possibles, citons notamment : z les plans de travail et stratégique initiaux concernant le projet d’information ; z les brochures ou les descriptions concernant le produit/service d’information ; z les données de référence collectées avant la mise en œuvre du projet ; z les recherches documentaires ; 37 Smart Toolkit – Des outils pour l’evaluation des projets, produits et services d’information z les rapports d’évaluation antérieurs ; z les rapports annuels ; z les rapports de suivi ; z les documents communiqués par les parties prenantes ; z les informations statistiques officielles ; z les rapports financiers. Encadré 2.4 Identifier les données existantes – Points clés à retenir z Prenez soin de rechercher des documents expliquant pourquoi le projet existe (sa raison d’être), ce qu’il est censé faire (objectifs et perspectives), ses hypothèses, ses activités planifiées, les problèmes auxquels il est confronté et les recommandations qui ont été faites pour l’améliorer. z Demandez de la documentation aux responsables et aux membres de l’équipe de projet ; tout n’est pas nécessairement archivé ou catalogué en bibliothèque. z Demandez aux responsables de projet s’ils détiennent certaines données qui pourraient vous être utiles. Cette source de données existantes est souvent négligée. z Dressez un inventaire de toutes les données disponibles pour décider quels sont vos besoins de données supplémentaires à collecter au travers d’une recherche documentaire et de mécanismes de collecte de données. Choisir la méthodologie Divers facteurs sont à prendre en considération avant de choisir une méthode de collecte et d’analyse des données. Pour s’assurer que la méthode est adaptée à l’objectif de l’évaluation, il convient de clarifier les points suivants : z les principales questions auxquelles il vous faut répondre : il s’agit de déterminer la portée de l’évaluation et les principaux domaines de préoccupation (voir tableau 2.1) ; z les données nécessaires pour répondre à ces questions : non seulement la quantité, mais aussi le type de données collectées – primaires et secondaires (voir encadré 2.5) ; z le niveau de participation des parties prenantes : la participation extensive – mais gérée de manière effective – des parties prenantes principales et secondaires est cruciale (voir tableau 2.2) ; z les données existantes : il s’agit de connaître davantage le projet et d’éviter de mobiliser des ressources pour collecter des données qui sont déjà disponibles ; z les ressources disponibles (temps, argent, compétences) : veillez à ce que la méthode utilisée soit adaptée au niveau de vos ressources. Il existe une variété de méthodes de collecte de données. En règle générale, il convient de choisir la combinaison de méthodes qui convient le mieux au problème considéré. On citera les méthodes les plus communément utilisées. z Les méthodes quantitatives produisent des données (numériques) quantitatives relativement faciles à résumer et à comparer. Si les données sont recueillies auprès d’un échantillon représentatif, elles peuvent être généralisées (extrapolées à une plus grande échelle) à l’ensemble de la population ; si la méthode peut s’avérer très efficace, il n’est pas toujours facile de l’appliquer dans des contextes de ressources limitées. Des personnes doivent être formées au préalable pour élaborer, administrer et analyser des questionnaires et en interpréter les résultats. Présenter des tableaux de chiffres sans interprétation ni explication ne suffit pas. L’inconvénient majeur de l’approche quantitative est qu’elle ne vous permet pas de comprendre entièrement pourquoi les choses se sont produites. 38 Partie 2 : LE PROCESSUS D’ÉVALUATION : La préparation des termes de référence de l’évaluation Encadré 2.5 Types de données à collecter Il existe deux types de données à collecter : les données primaires et les données secondaires. z LES DONNÉES PRIMAIRES sont collectées directement et dans un but bien précis. Parmi les méthodes utilisées, citons les questionnaires, les interviews, les groupes de discussion. z LES DONNÉES SECONDAIRES ont déjà été collectées à d’autres fins que celles de l’évaluation : les sources consultables comprennent les statistiques quotidiennes d’activités, les rapports, les reportages, les fiches de suivi de projet et autres rapports d’avancement. Exemples de statistiques quotidiennes d’activités : données émanant de cahiers de suivi, registres, listes du personnel, carnets de quittance, bases de données de comptes et de contacts. Ces données sont collectées au cours d’activités classiques. À titre d’exemple, qui utilise votre produit/service d’information, quand est-il utilisé et à quoi sert-il. Si vous n’avez pas encore traité ce type de données pour en tirer les statistiques utiles à votre projet, commencez dès à présent ; les membres du personnel doivent être formés pour maintenir des informations précises, détaillées et actualisées. Les statistiques quotidiennes d’activités peuvent être utilisées pour gérer votre projet et réduire la quantité de données collectées au cours des évaluations. z Les méthodes qualitatives sont utilisées pour connaître la « raison d’être » de votre produit/service d’information. Elles privilégient le traitement de données non numériques (mots, images, jeux) et peuvent être utilisées pour expliciter les faits émanant des données quantitatives. Les inconvénients majeurs que présente l’approche qualitative sont les suivants : elle nécessite du temps et fait davantage appel au capital humain, elle requiert de bonnes compétences en matière de facilitation, la généralisation des résultats est souvent impossible. z Les méthodes individuelles impliquent que les données soient recueillies auprès de personnes individuelles n’ayant aucune relation avec les autres personnes interrogées (par exemple, les questionnaires et les interviews). z Les méthodes de groupe prônent l’interaction entre personnes interrogées, ce qui leur permet d’échanger leurs connaissances, reflétant une image plus fidèle de la situation (groupes de discussion). z Les méthodes participatives reposent sur le principe d’une participation des parties prenantes à l’équipe d’évaluation et au processus de collecte des données. Elles peuvent coordonner leurs activités en contact direct avec les autres parties prenantes, ce qui leur permet de mieux comprendre le projet, ses objectifs et son impact. Encadré 2.6 Choisir la méthodologie – Points clés à retenir z Il est souvent préférable d’opter pour une approche multi-échelle qui combine plusieurs méthodes de collecte et d’analyse de données quantitatives et qualitatives. Connue sous le nom de triangulation, cette approche permet de mieux comprendre et de renforcer la fiabilité des résultats. z Les outils de collecte de données, tels que les questionnaires, doivent être prétestés pour s’assurer qu’ils produisent les données requises. Le pré-test peut, par exemple, révéler des questions ambiguës qu’il conviendra de reformuler, que la langue utilisée n’est pas comprise ou que certaines questions risquent d’embarrasser les personnes interrogées. z Utilisez dans la mesure du possible les sources de données secondaires afin d’améliorer les informations quantitatives ; utilisez par ailleurs des méthodes qualitatives si l’évaluation cherche à savoir pourquoi, comment et où vous pouvez améliorer un projet. z Posez-vous la question de savoir si le temps est un élément important. En l’occurrence, si vous souhaitez mesurer les changements apportés, le temps est évidemment un élément important. Bien souvent, toutefois, vous ne souhaitez connaître que ce qui se passe actuellement (l’élément temps sera utile ultérieurement, uniquement lorsque vous comparerez des résultats à plus long terme). 39 Smart Toolkit – Des outils pour l’evaluation des projets, produits et services d’information Tableau 2.3 Exemples d’outils de collecte de données OUTIL DESCRIPTION PRINCIPALE UTILISATION CONDITIONS À OBSERVER Questionnaire auto-administré Questionnaires remplis par les Utile pour la collecte d’informations Personnes intéressées et motivées personnes interrogées elles-mêmes (numériques) quantitatives capables de compléter des réponses. Le questionnaire doit être succinct et facile à compléter pour éviter d’embarrasser ou de fatiguer la personne interrogée Questionnaire administré par L’interviewer lit les questions à voix Utile pour la collecte d’informations à Former l’interviewer pour lui permettre l’interviewer haute et complète les réponses. Peut la fois quantitatives et qualitatives de poser des questions de manière être administré en face-à-face, par constructive et respectueuse, et lui téléphone ou via Internet Un même questionnaire peut éviter une mauvaise interprétation des comporter différents types de réponses ; pour les données questions qualitatives, l’interviewer doit disposer d’une bonne capacité d’écoute et maîtriser les techniques d’enregistrement Interview d’un groupe témoin Permet à l’interviewer de savoir ce Générer rapidement des informations Une bonne préparation et un qu’un groupe d’utilisateurs pense d’un qualitatives facilitateur expérimenté capable de projet, produit ou service maîtriser la dynamique des groupes Analyse FFOM Identification et analyse des forces, Utile dans les discussions de groupe Il est important de bien préparer cet faiblesses, opportunités et menaces et les séances de réflexion exercice dans la mesure où il est facile (FFOM) d’un projet, produit ou de confondre entre elles les catégories service (par exemple, les forces, les faiblesses, les opportunités et les menaces). Donner des directives claires et faire en sorte que chaque partie impliquée se conforme à ces directives Étude de cas Analyse longitudinale et approfondie Utile pour identifier et analyser les Aptitude (compétences et d’un simple cas ou événement leçons tirées à partir d’un cas, pour connaissances) à comparer des cas les appliquer à d’autres entre eux. Bon esprit analytique et solides compétences rédactionnelles Technique participative créative Une technique participative qui Utile pour stimuler la participation, Un facilitateur expérimenté connaissant comprend jeux de rôle, dessins et notamment parmi les personnes les la signification culturelle des images vidéo afin de recueillir des points de moins cultivées vue et des données Analyse après- action Une façon simple et rapide de Utile pour identifier si les stratégies et Le facilitateur doit faire preuve de tact recueillir des données sur la processus associés au projet sont et être capable de créer un performance et les résultats du projet appropriés environnement dans lequel chacun pourra partager librement ses opinions Évaluation rapide Panoplie d’outils et de techniques Utile dans des situations complexes Aptitude à conduire des interviews et comprenant les groupes de discussion, où les données quantitatives sont bonnes connaissances du domaine les entretiens semi-structurés avec des limitées thématique concerné informateurs, les études de cas, l’observation des participants et l’utilisation de sources secondaires Apprentissage et action Implique la participation des parties Utile dans des situations complexes Création d’un environnement au sein participatifs prenantes aux séances de groupe, où les données quantitatives sont duquel chacun peut échanger et avec facilitateur, pour préparer, par limitées participer sur un pied d’égalité. exemple, le planning, les diagrammes La facilitation doit être conçue de d’impact, les cartes de villages et sorte que les opinions exprimées ressources, le classement bien-être/ reflètent les idées du groupe richesses, les diagrammes saisonniers, le classement des problèmes et les évaluations institutionnelles Observation directe Observation physique des actions et Utile pour vérifier si les activités liées Discrétion et gestion minutieuse, pour des activités au projet sont mises en œuvre sur le éviter que les participants ne se terrain ; particulièrement utile à des trouvent en présence d’un observateur fins de formation partial Partie 2 : LE PROCESSUS D’ÉVALUATION : La préparation des termes de référence de l’évaluation Certains outils d’évaluation sont propres à chaque méthode. Des exemples sont présentés dans le tableau 2.3. Les outils sélectionnés seront abordés plus en détail dans la troisième partie. Certains des outils énumérés dans le tableau nécessitent de bonnes capacités d’écoute, la maîtrise des techniques d’enregistrement et de prise de notes, ainsi que des compétences en matière de facilitation. Lorsque vous choisissez les outils, tenez compte des compétences de chaque membre de l’équipe d’évaluation ou envisagez une formation pour acquérir/renforcer les compétences dont vous avez réellement besoin. Formuler une stratégie de communication L’analyse critique et la présentation des résultats sont deux aspects essentiels d’une procédure d’évaluation.Votre stratégie de communication doit couvrir les points suivants : z comment et quand les stratégies, les activités et les résultats de l’évaluation feront l’objet d’une réflexion critique, et qui sera impliqué dans cette analyse ; z comment et quand les résultats de l’évaluation seront communiqués, et à qui. Ce qui nous amène à aborder de nouveau la question de la participation au processus ainsi que l’importance d’impliquer les parties prenantes à la fois dans la conception et la mise en œuvre de l’évaluation et dans l’analyse des résultats. Cela signifie qu’il faut clarifier ce que les parties prenantes veulent savoir, pourquoi et comment elles veulent savoir. Les parties prenantes ont des intérêts différents : z leur intérêt pour le projet ; z leur enthousiasme pour le projet ; z leur implication dans le projet ; z l’accès aux moyens de communication ; z les perspectives de retour de l’information ; z le temps disponible. Il est donc important d’élaborer une stratégie d’analyse critique impliquant les bonnes personnes au bon moment. Dans l’évaluation d’un bulletin d’information destiné aux agriculteurs, par exemple, la stratégie doit permettre aux lecteurs – en l’occurrence les agriculteurs – de prendre part à des réunions formelles organisées dans le but d’analyser d’un point de vue critique le bulletin d’information, son contenu, sa production et sa diffusion. De même, il convient de formuler une stratégie de communication qui permette à chacun de recevoir un retour d’information pertinent et au format souhaité. Par exemple, un agriculteur préférera une présentation des résultats au format vidéo plutôt qu’un long rapport écrit, alors qu’un ministre optera pour un rapport de synthèse. Sachez que, bien souvent, personne ne lit les rapports. L’envoi de rapports ne suscitera que peu de commentaires et ne s’inscrit pas vraiment dans le cadre d’une démarche participative. Il est peut-être préférable de présenter les résultats lors d’un atelier. Ici, les points clés ou même le rapport par lui-même peuvent être présentés sous forme d’affiches comportant des étiquettes autoadhésives sur lesquelles les participants pourront écrire des commentaires. Ces commentaires peuvent ensuite être analysés par le facilitateur et former la base de la discussion pour le reste de l’atelier. 41 Smart Toolkit – Des outils pour l’evaluation des projets, produits et services d’information Il existe plusieurs méthodes d’analyse et de présentation des résultats. Certaines figurent dans le tableau 2.4. Tableau 2.4 Méthodes de communication utilisées dans le processus d’analyse et le processus de présentation des résultats METHODE DE UTILISATION DANS LE PROCESSUS UTILISATION DANS LE PROCESSUS COMMUNICATION D’ANALYSE DES RÉSULTATS DE PRÉSENTATION DES RÉSULTATS Ateliers Réaliser une analyse conjointe des données collectées Parvenir à une compréhension commune de la situation Évaluer les leçons tirées Réunions/discussions Discuter les résultats issus de la collecte et de l’analyse Présenter les résultats issus de la collecte et de des données l’analyse des données Réunions individuelles (en face-à-face) Informer les personnes des analyses en cours Présenter les résultats aux personnes Jeu de rôle Visualiser les problèmes et les solutions afférents à des situations et des approches spécifiques (par exemple, comment les consultants traitent avec les clients) Pages Web Discuter des résultats avec les parties prenantes ou Présenter les principaux résultats aux parties avec des pairs prenantes, aux pairs et au public Vidéos Visualiser les problèmes et les solutions afférents à des Présenter les résultats aux utilisateurs situations et des approches spécifiques Articles (plus souvent à des fins de Présenter les principaux résultats aux parties relations publiques que de prenantes en tenant compte du centre d’intérêt de communication) chacun des destinataires (parties prenantes clés et secondaires) Brochures Présenter aux utilisateurs et au public les résultats ou les principaux changements apportés au projet, produit ou service Rapport de synthèse Présenter les résultats aux responsables Rapport intégral Présenter les résultats aux parties prenantes clés Encadré 2.7 Formuler une stratégie de communication – Points clés à retenir z Impliquez les principales parties prenantes dans chaque étape de votre stratégie de communication – elles offrent les suggestions les plus pertinentes. z Évitez dans la mesure du possible d’envoyer le même rapport à l’ensemble des parties prenantes. Certaines informations peuvent être sensibles, d’autres ne présentent pas un grand intérêt pour les non-initiés. Si votre analyse des parties prenantes a été bien menée, elle vous montrera ce dont chacun a besoin. z Lorsque vous communiquez les résultats, mettez l’accent sur les conséquences de l’intérêt qu’ils peuvent présenter pour les parties prenantes et abordez les problèmes auxquels elles pourraient être confrontées lors de la mise en œuvre des recommandations. z Assurez-vous que les modalités de diffusion des résultats sont définies de manière appropriée, auquel cas ils auront plus de chances d’être lus, intégrés et mis en valeur. 42 Partie 2 : LE PROCESSUS D’ÉVALUATION : La préparation des termes de référence de l’évaluation Constituer l’équipe d’évaluation Une équipe forte composée de parties prenantes aidera à générer des données pertinentes et précises. Elle permettra également d’établir une compréhension commune du projet en vue de formuler des recommandations pertinentes qui seront soumises aux parties prenantes. La détermination de la taille de l’équipe dépend de la portée de votre évaluation et des ressources disponibles. Si vous décidez d’auto-évaluer un projet d’information de petite envergure, votre équipe sera probablement de petite taille. Lorsque vous sélectionnez les membres d’une équipe d’évaluation, les principaux facteurs à prendre en compte sont les suivants : z l’objet et la portée de l’évaluation, ainsi que le budget disponible ; z la méthode d’évaluation ; z les connaissances et compétences spécifiques des membres de l’équipe ; z les relations entre les membres de l’équipe ; z leur capacité à influencer la mise en œuvre du projet. Avant de constituer une équipe, commencez par vous poser les questions spécifiques suivantes : z L’équipe doit-elle exercer un jugement indépendant ? z Les membres de l’équipe doivent-ils remplir les fonctions de facilitateurs de groupe et travailler en collaboration avec les parties prenantes pour les aider à impulser l’apprentissage ? z L’inclusion d’autres parties prenantes clés faciliterait-elle le processus d’apprentissage ? Celles-ci participeraient-elles volontiers à l’évaluation ? z Dans quelle mesure certains aspects, tels que le genre et l’âge, doivent-ils être pris en compte lors de la constitution d’une équipe ? z De quelles compétences doivent-ils disposer (que ce soit en matière de facilitation et de communication ou au plan organisationnel, technique et statistique) ? z Comment allez-vous rétribuer et/ou motiver les membres de l’équipe ? Encadré 2.8 Constituer l’équipe d’évaluation – Points clés à retenir z Si l’agence de financement requiert une évaluation externe plutôt qu’une auto-évaluation, faites en sorte que le personnel du projet soient inclus dans l’équipe d’évaluation. Cela facilitera l’apprentissage et la compréhension entre les diverses parties. z Si vous êtes l’unique évaluateur, prévoyez la désignation d’un comité d’évaluation qui pourrait être invité à fournir des suggestions concernant l’élaboration et la mise en œuvre de l’évaluation, ainsi que l’analyse et la présentation des résultats. z Hormis l’inclusion des parties prenantes dans l’équipe d’évaluation, demandez-leur également de vous aider à assumer certaines tâches spécifiques, comme la collecte et l’analyse des données, ainsi que la présentation des résultats. Préparer le plan de travail et le budget Un certain nombre d’activités complexes peuvent être proposées pour encadrer le processus d’évaluation. L’efficacité du processus repose sur une bonne planification et des ressources adéquates. Dans la mesure où les ressources sont généralement limitées, la préparation du plan de travail et du budget permet d’estimer ce qui peut et ce qui ne peut pas être fait au cours du processus d’évaluation. 43 Smart Toolkit – Des outils pour l’evaluation des projets, produits et services d’information Les activités à prendre en compte dans votre plan de travail sont les suivantes : z la constitution de l’équipe (comprenant les parties prenantes) ; z l’organisation des réunions et des séances de formation des membres de l’équipe ; z le pré-test des outils de collecte de données ; z la collecte des données ; z l’analyse des données ; z l’organisation des réunions de réflexion critique ; z la préparation et la communication des résultats ; z la formulation du plan d’action de suivi. Le plan de travail doit non seulement préciser qui sera chargé de mettre en œuvre les différentes activités, mais aussi spécifier les délais pour la réalisation globale du programme et pour chaque activité (échéancier). Il faudra considérer les postes budgétaires suivants : z les coûts inhérents aux différentes activités ; z la rémunération des membres de l’équipe ; z la formation des membres de l’équipe ; z les frais d’expertise-conseil ; z les coûts de transport ; z les coûts liés à la tenue de l’atelier ; z les matériels de l’atelier ; z les frais de communication (téléphone, Internet, affranchissement) ; z les frais d’impression. Encadré 2.9 Coûts à prendre en considération lors de la préparation du budget d’évaluation Les budgets d’évaluation varient en fonction de la portée et des objectifs de l’exercice. Ainsi, il n’y a pas de budget « type » pour l’évaluation d’un projet d’information. Toutefois, il vous faut dans un premier temps chercher à financer votre évaluation si un budget n’a pas déjà été alloué. Si vous menez votre propre évaluation, vous accomplirez seul la plupart des tâches – ou peut-être avec l’aide de vos collègues – vous utiliserez les équipements et fournitures de bureau existants. Il sera donc difficile de ventiler les coûts réels ; par ailleurs, l’internalisation des coûts vous permet de continuer d’aller de l’avant dans le processus d’évaluation. Vous pourriez cependant avoir recours à l’expertise externe pour l’analyse des données, par exemple, ou à des ressources supplémentaires, comme les progiciels statistiques. Ces postes de dépenses représenteront une partie de vos coûts directs et il est conseillé de constituer des provisions destinées à couvrir ces dépenses indéterminées. Si vous menez votre propre évaluation, les coûts internes et externes seront ventilés comme suit. COÛTS INTERNES z votre temps, z temps consacré par les autres membres du personnel impliqués dans le processus d’évaluation, z temps consacré par le personnel administratif à certaines tâches, comme la saisie des données, z réunions (par exemple, réunions d’information, réunions des parties prenantes, atelier de validation), z transport, z fournitures de bureau (papeterie…), z communication (télécopie, téléphone, affranchissement, photocopies, impression…). COÛTS EXTERNES z consultants (par exemple, pour l’évaluation, l’analyse des données, la publication), z autres experts (experts en TI, statisticiens, traducteurs…), z transport et hébergement des consultants externes. 44 Partie 2 : LE PROCESSUS D’ÉVALUATION : La préparation des termes de référence de l’évaluation Encadré 2.10 Préparer le plan de travail et le budget – Points clés à retenir z Votre planification ne doit pas être trop ambitieuse, au risque de susciter des espérances auxquelles vous ne pourriez sans doute pas répondre. z Vérifiez l’adéquation des compétences au sein de votre équipe et prévoyez un budget pour la formation, si possible. z Si possible, planifiez et budgétisez les activités supplémentaires qui pourraient être mises en œuvre une fois que les résultats initiaux liés à la collecte et à l’analyse des données auront été présentés. z Veillez à ce que votre budget soit raisonnable et approprié pour les activités proposées. Formuler les termes de référence Les termes de référence (TDR) d’une évaluation constituent des lignes directrices pour les membres de l’équipe d’évaluation. Même si vous êtes l’unique évaluateur, il est utile de formuler des TDR en ce sens qu’ils présentent une vue d’ensemble de l’organisation du processus d’évaluation avant de démarrer. Les TDR serviront de guide pour montrer les raisons pour lesquelles une évaluation est conduite, comment elle sera conduite et les avantages potentiels qui pourraient en découler. Il ne s’agit pas d’une liste de souhaits. Dans la mesure où les ressources sont presque toujours inférieures aux besoins, les TDR doivent refléter ce qui est disponible en réalité et ce qui peut être accompli. Des TDR réalistes, détaillés et bien formulés peuvent s’avérer utiles au moment de l’approbation du budget et lorsque vous souhaitez solliciter la participation de nouveaux membres au sein de l’équipe. Les TDR doivent contenir les éléments suivants : Contexte z les raisons justifiant la conduite d’une évaluation, z les parties impliquées dans la commande de l’évaluation. Évaluation z objet, z portée, z résultats attendus. Participation des parties prenantes z qui impliquer, pourquoi, quand et comment. Données existantes z documentation liée au projet (sources primaires), z archives (sources secondaires). Méthodologie z collecte des données, z analyse des données. Communication z réflexion critique, z présentation des résultats, z qui impliquer et comment. 45 Smart Toolkit – Des outils pour l’evaluation des projets, produits et services d’information Équipe z composition, z expertise représentée, z groupes de parties prenantes représentés, z rôles et responsabilités. Plan de travail et budget z activités et échéancier, z estimation détaillée des coûts. Encadré 2.11 Formuler les termes de référence – Points clés à retenir z Évitez de reprendre les termes de référence d’une précédente évaluation. Dans la mesure où chaque évaluation est unique, prenez le temps de rédiger vos propres TDR. z Les TDR ne doivent pas être assimilés à une simple liste de souhaits. Assurez-vous qu’ils sont élaborés en fonction des ressources disponibles. z Pour obtenir l’approbation du budget et susciter l’engagement des membres de l’équipe d’évaluation, veillez à ce que vos TDR soient réalistes, détaillés et bien formulés. z Si possible, impliquez les membres de l’équipe et les principales parties prenantes dans la formulation des termes de référence. Cela permettra de renforcer leur engagement et d’améliorer la qualité ainsi que la compréhension et le contenu des TDR. La conception du système d’évaluation Une fois les TDR et le budget approuvés, vous pouvez mettre au point le système d’évaluation. Chaque aspect devra être planifié en détail, à savoir : qui va faire quoi, quand, comment et quelles sont les ressources utilisables à chaque étape. N’oubliez pas que toutes les décisions relatives à la planification détaillée dépendront des ressources, notamment les compétences et le temps disponibles. Il ne sert à rien de choisir des méthodes ou des outils si les membres de l’équipe ne possèdent pas les compétences nécessaires à leur application et s’il n’y a quasiment aucune opportunité de formation. Le processus comprend les étapes suivantes : z Analyser le concept et les objectifs du projet. z Déterminer les données nécessaires à l’évaluation du projet. z Déterminer l’objectif de l’évaluation, les questions clés et les indicateurs. z Définir les méthodes de collecte des données. z Définir les méthodes d’analyse des données. z Formuler la stratégie de communication. Analyser le concept et les objectifs du projet Vous ne pouvez évaluer un projet, un produit ou un service d’information si vous ne savez pas de quoi il s’agit. Même si vous menez une auto-évaluation, vous devrez probablement vous rafraîchir la mémoire sur 46 Partie 2 : LE PROCESSUS D’ÉVALUATION : La conception du système d’évaluation le concept du projet, la manière dont il devait être mis en œuvre et les résultats escomptés. Si vous n’avez pas cela en tête, vous ne serez pas en mesure de faire une comparaison entre ce qui était escompté et ce qui s’est réellement produit et, par conséquent, vous ne pourrez pas évaluer le projet. Consulter la documentation disponible permet d’obtenir des informations sur : z les questions clés qui devront être abordées dans le cadre du projet ; z l’objectif du projet en rapport avec ces questions ; z les objectifs spécifiques à atteindre dans les délais impartis ; z les indicateurs utilisés pour mesurer la performance ; z le plan de travail (activités) ; z les membres du personnel et les parties prenantes ; z la structure de gestion et le budget. Comme nous l’avons vu dans la première partie, chaque projet doit reposer sur une théorie d’action et un cadre logique. Ces documents, s’ils sont bien conçus et clairement rédigés, en disent davantage sur ce que vous devez savoir concernant l’objet du projet, les objectifs et les indicateurs de performance ainsi que les hypothèses avancées lorsque le projet en était à son stade initial. Si vous ne disposez pas de documents associés au projet, si ces derniers sont incomplets ou si les objectifs du projet ont changé, vous devrez examiner avec les membres et les parties prenantes du projet comment les objectifs et les indicateurs seront interprétés dans le cadre de l’évaluation. Si cette interprétation est suffisamment claire, il sera possible de comparer les résultats effectifs aux résultats attendus. Si votre produit/service d’information correspond davantage à une activité plutôt qu’à un projet, il peut s’avérer utile d’examiner le contexte et la finalité du produit/service et vous poser les questions suivantes : z Pourquoi ce produit/service a-t-il été initié et quels sont les problèmes auxquels il faut faire face ? z Quel est l’objectif à long terme du produit/service ? z À quoi sert-il essentiellement ? z Quels sont ses objectifs à court terme ? z Quelle est la stratégie de lancement du produit/service ? z Quelles sont les valeurs fondamentales du produit/service ? Encadré 2.12 Analyser le concept et les objectifs du projet – Points clés à retenir z Spécifiez les aspects essentiels du projet et précisez dans quelle mesure ceux-ci sont liés au concept et aux objectifs du projet. z Si les documents ne fournissent pas certaines des informations dont vous avez besoin, demandez l’aide des membres et des parties prenantes du projet. z Si vous êtes novice, il pourrait s’avérer utile de conduire une analyse préalable (par exemple, une analyse de situation ou une analyse FFOM) pour vous aider à comprendre le projet, son environnement politique et culturel ainsi que les besoins et les ressources des différentes parties prenantes. z Une procédure de benchmarking vous aidera à comparer la performance du produit/service par rapport à d’autres produits/services comparables et à identifier des meilleures pratiques. De ce fait, votre évaluation ne sera pas fondée sur un jugement de valeur arbitraire. Cela vous aidera par ailleurs à formuler des recommandations destinées à améliorer la qualité du produit/service. 47 Smart Toolkit – Des outils pour l’evaluation des projets, produits et services d’information Déterminer les données nécessaires La réussite d’une évaluation repose sur l’identification des données nécessaires et des personnes susceptibles de fournir ces données. Les données dont vous avez besoin doivent répondre à des critères d’évaluation préalablement identifiés. Comme nous l’avons déjà mentionné dans la section concernant la portée de l’évaluation, ces critères se déclinent comme suit : accessibilité, impact, pertinence, durabilité, convivialité, utilité, efficacité et efficience. Il est important non seulement de veiller à la qualité des données collectées, mais aussi d’éviter l’erreur fréquemment commise de recueillir une trop grande quantité de données, dont certaines sont de piètre qualité. Des données moins nombreuses mais de bonne qualité conduiront à une évaluation plus efficace qu’avec trop de données de qualité incertaine. Il convient en outre d’être flexible sur le choix des données dont vous avez besoin.Au fur et à mesure que le processus de collecte des données avance, vous pourriez être amené à revoir le type de données dont vous avez réellement besoin. Afin de recueillir les données requises auprès des différentes parties prenantes, il vous faut définir les questions que vous souhaitez leur poser. Il peut s’avérer utile d’inventorier l’ensemble de ces questions et d’articuler la conception de vos méthodes de collecte de données (entretiens, questionnaires, groupes de discussion, par exemple) autour de ces questions. Des exemples sont présentés dans le tableau 2.5. Tableau 2.5 Exemples de questions permettant de recueillir des données auprès des principales parties prenantes impliquées dans la production du bulletin d’information PARTIES PRENANTES QUESTIONS UTILISATION EVENTUELLE DANS LE PROCESSUS D’ÉVALUATION Lecteurs Le bulletin répond-il à vos besoins d’information ? Améliorer le contenu et la thématique (principales parties prenantes) Le bulletin d’information est-il diffusé en temps utile ? Décider s’il convient ou non de recommander ce bulletin d’information à d’autres personnes Décider s’il convient ou non de poursuivre la publication et la diffusion du bulletin d’information Rédacteurs, éditeurs et coordinateurs de la Le bulletin d’information est-il efficace et efficient ? Explorer les moyens d’améliorer le bulletin publication d’information Répond-il aux besoins des lecteurs ? Identifier les moyens de réduire les coûts Les articles sont-ils rédigés de manière appropriée ? Est-il rentable ? Décider s’il convient ou non de poursuivre la publication et la diffusion du bulletin d’information Peut-il être produit de manière durable ? Les membres du personnel disposent-ils des capacités nécessaires pour produire ce bulletin d’information ? Partenaires (donateurs, départements du Le contenu des thèmes abordés est-il adapté à vos Décider d’amorcer une collaboration pour ce qui a ministère de l’Agriculture, instituts de recherche, priorités ? trait à la production du bulletin d’information imprimeurs, distributeurs) Le bulletin d’information est-il diffusé aux groupes cibles visés ? Direction Des mesures d’encouragement sont-elles prévues afin de promouvoir le bulletin d’information ? Régularité et pérennité du bulletin d’information Déterminer quelles sont les ressources nécessaires compte tenu des ressources disponibles ? pour continuer à produire le bulletin d’information et/ou à renforcer les capacités Les membres du personnel disposent-ils des capacités nécessaires pour produire ce bulletin d’information ? 48 Partie 2 : LE PROCESSUS D’ÉVALUATION : La conception du système d’évaluation Encadré 2.13 Déterminer les données nécessaires – Points clés à retenir z Lorsque vous formulez les questions, n’hésitez pas à consulter les parties prenantes pour connaître celles qui ont le plus de chances de produire des données de qualité. z Considérez l’ensemble des parties prenantes potentielles, pas seulement celles qui sont impliquées activement dans votre projet ou celles qui sont plus facilement accessibles que d’autres. z À mesure que progresse l’évaluation, ajustez votre estimation des données nécessaires afin d’ajouter/de supprimer des besoins, le cas échéant. z Évitez l’erreur fréquemment commise de collecter une trop grande quantité de données. Déterminer l’objectif de l’évaluation, les questions clés et les indicateurs L’objet de l’évaluation est de spécifier plus la portée de l’analyse. Chaque exercice d’évaluation a des objectifs restreints compte tenu des ressources limitées en termes de temps, de compétences et de budget. Qui plus est, il n’est pas possible de couvrir tous les aspects d’un projet à chaque fois que vous menez une évaluation. Une vision stratégique suppose un choix réfléchi des cibles prioritaires de l’évaluation. Il peut s’avérer utile de formuler des questions spécifiques pour chacune des cibles retenues. Les objectifs et les questions doivent en outre être en adéquation avec les indicateurs. Une erreur fréquente consiste à compiler les indicateurs uniquement sur la base des objectifs du cadre logique sans avoir une idée précise de l’objectif de l’évaluation et des questions spécifiques afférentes aux cibles prioritaires, au risque de produire des indicateurs non pertinents, non quantifiables et non fiables. De surcroît, vous ne disposeriez pas des données de base requises pour conduire une évaluation fructueuse de votre projet. Les étapes de ce processus sont les suivantes : z L’objectif. La première étape consiste à déterminer l’objectif de l’évaluation. Il convient, à ce titre, d’examiner en détail les critères utilisés pour définir la portée de l’évaluation (par exemple, l’accessibilité, l’impact, la pertinence, la convivialité, l’efficacité, l’utilité et la durabilité). Quels critères souhaiteriez-vous sélectionner en priorité ? Quelles sont les contraintes de temps et de budget susceptibles de déterminer le nombre de critères sur lesquels se fonder ? Dans quelle mesure tel critère doit s’appliquer aux groupes de parties prenantes, au produit/service, à sa promotion et à sa diffusion ? Par exemple, si un service ne permet pas d’atteindre les objectifs qui lui ont été fixés, il faudra en déterminer les raisons. z Les questions. L’étape suivante consiste à identifier les questions spécifiques ayant trait aux cibles retenues. Il vous faudra rédiger des questions simples, auxquelles il est facile de répondre et susceptibles de générer l’ensemble des informations requises.Autrement dit, vous devez avoir une vision claire de la performance du produit/service et des changements qui auraient pu en découler. Si le produit/service n’atteint pas son objectif, il faudra par exemple chercher à connaître le contenu du service et soulever la question de savoir si les utilisateurs finaux disposent des compétences et des ressources nécessaires à son utilisation optimale. z Les indicateurs. Les indicateurs sont des mesures quantitatives et/ou qualitatives qui vous permettent de répondre aux questions clés et qui peuvent vous aider à évaluer si les activités liées au projet ont été mises en œuvre et l’impact prévu atteint. Un indicateur quantitatif est une mesure 49 Smart Toolkit – Des outils pour l’evaluation des projets, produits et services d’information numérique de changement (par exemple, le nombre de personnes qui écoutent un programme radio en particulier), alors qu’un indicateur qualitatif se rapporte à des changements sur le plan de la perception (par exemple, l’opinion des utilisateurs sur le contenu d’un même programme). On a besoin de savoir clairement à quel groupe de parties prenantes les indicateurs seront appliqués. De plus, les indicateurs doivent pouvoir être réalisables techniquement et financièrement. En règle générale, les indicateurs sont répartis comme suit : z indicateurs SMART, lorsque la composante quantitative est importante ; z indicateurs SPICED, lorsque l’interprétation subjective des diverses parties prenantes est importante. Si vos indicateurs sont du type SMART ou SPICED, ou une combinaison des deux, ils doivent être clairs, réalistes, concis, appropriés et facilement contrôlables (CREAM). Tableau 2.6 Types d’indicateurs SMART et SPICED SMART SPICED S = Spécifique (mais simple) S = Subjectif M = Mesurable P = Participatif A = Applicable ou réalisable I = Interprété et communicable (parfois spécifique à un domaine) C = Recoupé et comparé R = Réaliste E = Donnant du pouvoir T = Temporellement opportun D = Divers et désagrégé Le tableau 2.7 montre comment déterminer l’objectif, les questions clés et les indicateurs (toujours à travers l’exemple du bulletin d’information). Encadré 2.14 Déterminer l’objectif, les questions clés et les indicateurs de l’évaluation – Points clés à retenir z Adaptez l’objectif de votre évaluation aux ressources disponibles en termes de temps, de compétences et de budget – lesquelles sont bien souvent limitées. z Veillez à ce que les indicateurs soient en adéquation avec les objectifs attendus. z Vérifiez que toutes les questions pertinentes concernant votre plan de projet et vos parties prenantes soient prises en compte et que celles-ci vous apportent les réponses dont vous avez besoin, assorties d’objectifs et d’indicateurs. z Évitez de tout englober. Collecter, analyser et établir des rapports sur des questions auxquelles personne ne s’intéresse réellement serait une perte de temps et d’argent. 50 Partie 2 : LE PROCESSUS D’ÉVALUATION : La conception du système d’évaluation Tableau 2.7 Déterminer l’objectif, les questions clés et les indicateurs pour l’évaluation d’un bulletin d’information à l’aide de critères standards d’évaluation CRITÈRES D’ÉVALUATION OBJECTIF QUESTIONS INDICATEURS SOURCES (PORTÉE) CLES D’INFORMATION IMPACT Lecteurs Dans quelle mesure les lecteurs Proportion des lecteurs Lecteurs (principales parties ont-ils tiré le meilleur parti des utilisant de façon optimale le prenantes) informations contenues dans bulletin d’information ce bulletin en vue d’améliorer leurs pratiques ? Comment le bulletin d’information est-il utilisé ? PERTINENCE Éleveurs de bétail Dans quelle mesure les Nombre d’articles par Archives du bulletin informations contenues dans numéro ciblant les éleveurs d’information ce bulletin sont-elles de bétail appropriées aux besoins des éleveurs de bétail ? ACCESSIBILITÉ Accès aux informations Tous les éleveurs de bétail Proportion des éleveurs de Éleveurs de bétail qui lisent le reçoivent-ils le bulletin bétail n’ayant jamais entendu bulletin d’information d’information ? Si non, parler du bulletin pourquoi ? d’information ou estimant qu’il est difficilement accessible Les raisons justifiant ces restrictions CONVIVIALITÉ Utilisation des informations Les agriculteurs parviennent-ils Proportion des éleveurs de Éleveurs de bétail qui lisent le à comprendre et à utiliser les bétail satisfaits des bulletin d’information informations contenues dans informations contenues dans ce bulletin ? Si non, le bulletin d’information pourquoi ? (langue inconnue, niveau linguistique trop Proportion d’éleveurs non difficile, contenu pas satisfaits et raisons invoquées suffisamment détaillé, etc.) Les raisons de leur (non-) satisfaction EFFICACITÉ Accessibilité Dans quelle mesure les Nombre et proportion Lectorat et statistiques agriculteurs ont-ils accès au d’agriculteurs abonnés au bulletin d’information ? bulletin d’information Pourquoi ont-ils souscrit un abonnement ? Dans quelle mesure lisent-ils ce Nombre d’articles lus par Lecteurs bulletin ? numéro Exactitude Le bulletin divulgue-t-il des Nombre de commentaires/ Commentaires des lecteurs informations précises ? questions par numéro concernant les imprécisions EFFICIENCE Rédaction des articles Combien de temps faut-il pour Nombre d’heures passées sur Registre d’horloge rédiger un article ? un article de 300 mots Durée estimée par les membres du personnel et les partenaires Contributions émanant des Dans quelle mesure les Nombre d’articles rédigés Archives du bulletin partenaires organisations partenaires par les membres du d’information contribuent-elles au bulletin personnel d’information ? Nombre d’articles rédigés par les partenaires Coûts Quels sont les coûts de Coût unitaire par bulletin Service comptabilité production du bulletin d’information ? DURABILITÉ Bulletin d’information Dans quelle mesure le Engagement budgétaire pour Plans stratégiques assimilé à un service partenaire financier du bulletin les années à venir d’information peut-il promouvoir la poursuite de sa réalisation ? 51 Smart Toolkit – Des outils pour l’evaluation des projets, produits et services d’information Élaborer les méthodes de collecte des données Une évaluation peut se solder par un échec si les données ont été collectées en trop grande ou trop petite quantité sans avoir posé au préalable des questions adéquates et pertinentes. Il est donc important de préparer soigneusement le programme de collecte des données pour faire en sorte que : z les données dont vous avez besoin soient disponibles au cours de l’évaluation ; z les données recueillies puissent répondre à vos questions ; z les données soient collectées en nombre strictement nécessaire et suffisant. Comme nous l’avons vu précédemment, il est possible d’utiliser plusieurs méthodes de collecte de données : quantitative, qualitative, participative, individuelle ou de groupe. Chaque méthode est associée à une variété d’outils de collecte de données, et ces outils permettent d’obtenir différents types de données.Vous devrez spécifier le type de données à collecter : des données qualitatives (par exemple, lorsque vous souhaitez savoir comment certains aspects du projet affectent les principales parties prenantes) ou des données quantitatives (lorsque les donateurs associés au projet, ou les donateurs potentiels, souhaiteront voir des statistiques précises). Lorsque vous sélectionnez les outils, vous devez connaître leurs méthodes d’application. Il vous faudra par exemple spécifier : z les sources d’information ; z les questions clés à aborder ; z les indicateurs liés à ces questions. Lorsque vous aurez déterminé l’objectif de l’évaluation, les questions clés et les indicateurs, il vous sera facile de fournir ces informations. Le tableau 2.8 présente un exemple de méthode de collecte de données appliquée à l’évaluation du bulletin d’information. Notez qu’une description plus précise des outils de collecte de données figurera dans la troisième partie. Si les renseignements issus du recueil de données doivent servir à l’évaluation, les parties prenantes et autres acteurs intéressés (les donateurs potentiels, par exemple) peuvent demander à voir l’ensemble de ces données à une date ultérieure. Encadré 2.15 Élaborer les méthodes de collecte de données – Points clés à retenir z Préparez soigneusement vos méthodes de collecte de données afin de recueillir uniquement ce dont vous avez besoin et de ne pas négliger certaines données requises pour répondre aux questions clés. z Rappelez-vous que l’analyse des données qualitatives peut prendre du temps. L’analyse des données quantitatives, en revanche, est souvent effectuée à l’aide de progiciels statistiques. z Au niveau local, il est préférable de mener une analyse qualitative approfondie plutôt qu’une analyse quantitative si l’évaluation vise à déterminer où il peut être nécessaire de concentrer ses efforts afin d’améliorer le projet, produit ou service d’information. z Les restrictions d’accès aux ressources en termes d’argent, de temps et de main-d’œuvre limitent le type d’outils de collecte de données que vous pourriez utiliser. Élaborer les méthodes d’analyse des données Une fois collectées et compilées, les données doivent être analysées. Cela signifie que les liens entre les données devront être clarifiés et que des conclusions devront être tirées. Avant de procéder à la collecte des données, précisez toujours la méthode d’analyse que vous comptez utiliser. Cela vous aidera, d’une part, à collecter uniquement des données appropriées et, d’autre part, à ne pas négliger certaines données dont vous avez réellement besoin. 52 Partie 2 : LE PROCESSUS D’ÉVALUATION : La conception du système d’évaluation Tableau 2.8 Méthode de collecte de données pour un bulletin d’information destiné aux agriculteurs OUTIL SOURCE QUESTIONS INDICATEURS COMMENTAIRES ET D’INFORMATION CLES PRÉOCCUPATIONS RECHERCHE Lettres destinées à l’éditeur Degré de satisfaction des Proportion des lecteurs Seuls les lecteurs actifs et/ou DOCUMENTAIRE Abonnements lecteurs vis-à-vis du bulletin satisfaits du bulletin non satisfaits écriront une lettre d’information ? d’information Derniers numéros du bulletin Ne permet pas de décrire les d’information raisons qui expliquent leur Le bulletin d’information Nombre de commentaires/ insatisfaction divulgue-t-il des informations questions par numéro précises ? concernant les imprécisions Archives du bulletin Dans quelle mesure les Nombre d’articles par Utile au départ ; une fois d’information informations contenues dans numéro ciblant les informé, vous pouvez collecter ce bulletin sont-elles agriculteurs des données qualitatives afin appropriées aux besoins des de déterminer quels ont été les agriculteurs ? articles pertinents Dans quelle mesure les Nombre d’articles rédigés organisations partenaires par les membres du contribuent-elles au bulletin personnel d’information ? Nombre d’articles rédigés par les partenaires Registre des abonnements Dans quelle mesure d’autres Nombre et proportion des groupes d’utilisateurs ont-ils utilisateurs cibles abonnés au accès au bulletin bulletin d’information ? Service comptabilité Quel est le coût de production Coût par lecteur On ne connaît pas avec d’un bulletin d’information ? exactitude le temps passé par le personnel à la production/ publication du bulletin d’information QUESTIONNAIRE Lecteurs et ex-lecteurs Êtes-vous satisfait du contenu ? Proportion des utilisateurs Bon nombre de lecteurs ne AUTO-ADMINISTRÉ Combien d’articles par numéro satisfaits du bulletin retourneront pas le lisez-vous en moyenne ? d’information questionnaire Le bulletin d’information est-il facile à lire ? Quels autres thèmes aimeriez- vous voir apparaître ? Dans quelle mesure le bulletin d’information vous a-t-il aidé ? INTERVIEWS Personnel et partenaires Temps nécessaire à la Nombre d’heures passées sur rédaction d’un article ? un article de 300 mots Comment améliorer la qualité tout en réduisant le temps passé ? RÉUNIONS Personnel et Quelles sont les forces, les Certains partenaires peuvent partenaires/parties faiblesses, les opportunités et ne pas souhaiter prendre part prenantes les menaces ? aux réunions Comment renforcer la collaboration ? ATELIERS Principales parties prenantes Êtes-vous satisfait du contenu ? Nombre de lecteurs satisfaits Permet de décrire les raisons – échantillon représentatif Combien d’articles par numéro et utilisant les informations qui expliquent pourquoi les d’individus lisez-vous en moyenne ? choses marchent (ou pas) Le bulletin d’information est-il Il peut s’avérer difficile de Groupes de parties facile à lire ? réunir les groupes, à prenantes, si possible Quels autres thèmes aimeriez- l’exception des petits groupes vous voir apparaître ? (3 à 4 personnes), bien qu’ils Dans quelle mesure le bulletin appartiennent à une même d’information vous a-t-il aidé ? organisation 53 Smart Toolkit – Des outils pour l’evaluation des projets, produits et services d’information Lors de la conception des méthodes d’analyse des données, répondez aux questions suivantes : z Quels sont les outils à utiliser pour analyser les données ? z Quelles sont les méthodes de collecte qui permettront de générer des données pour ces outils ? z Quels types d’observations et de recommandations peut-on formuler pour chaque outil ? z Comment l’analyse sera-t-elle vérifiée ? L’analyse des données quantitatives est souvent assistée par ordinateur à l’aide de tableurs et/ou de progiciels statistiques. Ces analyses peuvent être présentées sous forme de tableaux, de graphiques, de diagrammes en bâtons ou en secteurs. Les données qualitatives sont souvent mieux analysées au moyen d’outils tels que l’analyse de l’arbre des problèmes ou l’analyse FFOM Tous ces outils sont décrits en détail dans la troisième partie. Le tableau 2.9 présente un exemple de méthode d’analyse des données pour un bulletin d’information. Tableau 2.9 Méthode d’analyse des données pour un bulletin d’information OUTILS METHODE TYPES TYPES DE ANALYTIQUES DE COLLECTE D’OBSERVATIONS CONCLUSIONS Analyse statistique Recherche documentaire Augmentation/diminution du nombre Groupes cibles nécessitant une Questionnaire de lecteurs dans les différentes attention accrue catégories Analyse statistique de la partie Questionnaire, face-à-face avec les Satisfaction générale Conclusions générales sur le contenu, qualitative formelle du questionnaire lecteurs la présentation, la langue, etc. et sur la distribution Coûts et revenus Recherche documentaire Augmentation/diminution des Où réduire les coûts ? Comptabilité coûts/revenus Comment augmenter les revenus ? Analyse FFOM Réunion(s) avec le(s) partenaire(s) et Forces, faiblesses, opportunités et Stratégies visant à améliorer les les utilisateurs (principales parties menaces (FFOM) liées à l’utilisation possibilités de collaboration (par prenantes) et la durabilité du bulletin exemple, les thèmes à inclure ou à d’information éviter, les thèmes à mettre en avant) Lettres des lecteurs Par exemple : –- utilité –- respect des délais –- facilité de lecture –- sujets d’intérêt –- sujets sans intérêt pour l’utilisateur Élaborer la stratégie de communication La stratégie de communication qui repose sur l’analyse critique et la présentation des résultats a été formulée au cours de la phase 1. Il convient à présent d’élaborer un plan de communication plus détaillé. Préparer une combinaison efficace de méthodes de communication contribue à la compréhension mutuelle entre les parties prenantes et à l’engagement actif de ces dernières. Parmi ces méthodes, il faut citer notamment les ateliers, les réunions, les articles et les rapports. Il est également possible que ce plan de communication influence vos activités de collecte et d’analyse des données. Il convient tout d’abord de répondre à la question suivante : Qu’attendez-vous des processus d’analyse critique et de présentation des résultats ? 54 Partie 2 : LE PROCESSUS D’ÉVALUATION : La conception du système d’évaluation Encadré 2.16 Élaborer les méthodes d’analyse des données – Points clés à retenir z Veillez à ce que des ressources suffisantes soient allouées à l’analyse des données. On consacre parfois beaucoup de temps et d’efforts à recueillir des données qui ne seront jamais analysées correctement en raison du manque de ressources. z N’hésitez pas à consacrer suffisamment de temps à l’analyse des données qualitatives. Malgré l’usage d’outils logiciels dans les procédures de l’analyse qualitative, d’importants moyens humains sont nécessaires pour comprendre les données qui ont été collectées. z Continuez à rechercher des données qui contredisent vos hypothèses pour les tester de manière fiable. Envisagez différentes explications alternatives. N’oubliez pas que le but de l’analyse des données est de comprendre. z Restez concentré sur les objectifs de l’évaluation. z Ne vous lancez pas dans des analyses statistiques complexes à moins d’en connaître les rouages. z Ne faites pas trop d’analyses. z Impliquez dans le processus d’analyse les personnes qui ont pris part à la collecte des données. Lorsque vous avez répondu à cette question, concentrez-vous sur les deux phases opérationnelles du plan de communication : z La réflexion critique. Parmi les questions à se poser avant de choisir les méthodes d’analyse critique, citons notamment : Qui participera à ces analyses ? Autour de quels objectifs conviendrait-il de les articuler ? Quelles sont les méthodes de communication qui se marient particulièrement bien avec les différents groupes impliqués ? Lorsque vous élaborez le plan d’analyse critique, il est important de noter les questions de base qui sous-tendent cette analyse, à savoir : Qu’est-ce qui se passe et pourquoi ? Quelles sont les conséquences pour le projet ? Que faire ensuite ? z La présentation des résultats. Les questions à se poser avant de choisir les méthodes de présentation des résultats comprennent : Quels sont les groupes cibles concernés par les rapports (présentations orales, articles, vidéos, brochures, rapports) ? Dans quel but les résultats sont-ils présentés ? Peut-on omettre d’indiquer certains résultats selon le groupe cible concerné ? Quelles sont les méthodes de communication qui se marient particulièrement bien avec les différents groupes impliqués ? Au moment de préparer le plan de présentation des résultats, assurez-vous que le message à délivrer est clair (que ce soit sur le plan du contenu, de la langue ou des illustrations graphiques) et opportun (dans les délais impartis). Le tableau 2.10 propose un exemple de plan de communication pour l’évaluation d’un bulletin d’information. Les résultats de l’évaluation peuvent contribuer, d’une part, à accroître les connaissances et les compétences et, d’autre part, à changer les attitudes susceptibles d’influencer la manière dont se comportent les individus au sein de l’organisation. On part généralement du principe que les résultats de l’évaluation serviront à orienter le processus décisionnel et à consolider le projet. Mais ce n’est pas toujours le cas. Si nous entendons valoriser au mieux les résultats de l’évaluation, il convient de les analyser avec l’ensemble des parties prenantes (principales et secondaires). 55 Smart Toolkit – Des outils pour l’evaluation des projets, produits et services d’information Tableau 2.10 Plan de communication pour l’évaluation d’un bulletin d’information METHODE DE PARTIES PRENANTES POINTS IMPORTANTS COMMUNICATION CONCERNEES À EXAMINER / À PRÉSENTER Atelier sur l’analyse FFOM des principaux Représentants des principales parties prenantes Réflexion critique sur les résultats liés à la collecte résultats et des perspectives d’avenir (agriculteurs/lecteurs) et personnel du bulletin des données d’information Atelier pour explorer les principaux résultats Personnel et direction du bulletin d’information, Solutions créatives aux problèmes identifiés et les perspectives d’avenir parties prenantes sélectionnées Rapport intégral, y compris le résumé Agence de financement, partenaires, personnel et Épanouissement des lecteurs opérationnel direction Satisfaction des lecteurs Thèmes Coûts et revenus Conclusions et recommandations Réunion en face-à-face Direction Conclusions et recommandations Suggestions des membres du personnel Article du bulletin invitant les lecteurs à faire Ensemble des lecteurs Principaux résultats et perspectives d’avenir part de leurs commentaires Encadré 2.17 Formuler un plan de communication – Points clés à retenir z Un plan efficace devra contenir des méthodes de communication variées pour veiller à ce que toutes les parties prenantes puissent communiquer de la manière qui leur semblera la plus appropriée. z Les processus d’analyse critique et de présentation des résultats doivent faire partie intégrante du plan de communication. Cela contribuera à assurer la qualité des résultats et facilitera leur approbation par les parties prenantes. z Impliquez la direction, vos collègues ainsi que les autres parties prenantes clés dans le processus de réflexion critique afin de tirer pleinement profit de l’évaluation. z Bien que tous les résultats ne puissent être partagés ou approuvés par l’ensemble des parties prenantes, établissez une liste des principales recommandations et essayez dans la mesure du possible de les mettre en œuvre. Intégrer les questions relatives à la dynamique des groupes Lorsque vous collaborez et dialoguez avec des groupes au cours d’une évaluation, il faut avoir en tête quelques règles fondamentales relatives à la dynamique des groupes et savoir comment intégrer ces questions dans le processus d’évaluation. La manière dont on procède dans ces groupes de travail peut influer sur la valeur globale des résultats. La manière dont les groupes évoluent et se développent est connue sous le nom de « développement de groupe ».Tous les groupes évoluant dans un environnement de travail commun sont confrontés à des problèmes particuliers définis dans le contexte des phases du développement. Ces phases sont les suivantes : z L’inclusion. Il s’agit du besoin d’appartenir et d’être accepté.Au cours de cette phase, on en reste souvent à l’« échange de banalités ». Les membres du groupe cherchent à savoir s’ils sont importants 56 Partie 2 : LE PROCESSUS D’ÉVALUATION : La conception du système d’évaluation aux yeux de leurs dirigeants et le niveau d’implication des dirigeants influence fortement le comportement des membres. Une fois qu’ils ont évalué ce niveau d’implication, les membres s’intéressent à évaluer leur engagement et leur participation au sein du groupe. z Le contrôle. Au cours de cette phase, les membres du groupe tentent de déterminer le degré d’influence qu’ils peuvent exercer. Ils ont tendance à se montrer plus concernés par le pouvoir et testent les autres membres du groupe. L’apparition de problèmes de contrôle au sein d’un groupe sera un germe d’incessants conflits de loyauté et certains membres n’assumeront plus les responsabilités qui leur incombent tandis que d’autres tenteront de s’approprier toutes ces responsabilités. Dans cette phase, il vaut mieux ne pas approuver en toute hâte les points de vue ou opinions exprimés par les membres, dans la mesure où le problème risque encore de s’aggraver. z L’affectivité. À mesure que la cohésion se développe, les membres du groupe sont plus disposés à coopérer et font même référence aux termes « nous » et « notre groupe ». Qui plus est, ils s’intéressent courtoisement aux problèmes de chacun. Le danger ici est qu’ils en viennent à dissimuler des sentiments négatifs pouvant affecter leur travail. Il arrive bien souvent que des sous-groupes se forment et menacent ainsi la coopération au sein du groupe.Voilà pourquoi il faut faire toute la clarté pour savoir où s’arrête la loyauté envers le groupe et où commence l’autonomie personnelle. De même, les différences culturelles en termes de facteurs tels que l’ouverture d’esprit et le partage de l’information personnelle ne sont pas sans susciter des problèmes. Même si un conflit peut surgir au sein d’un groupe, il faut bien admettre que tous les conflits ne peuvent être considérés comme « mauvais ». Le conflit présente un aspect positif en ce sens qu’il peut permettre la dynamisation des activités au sein du groupe si les membres sont capables d’identifier les questions à résoudre de manière concertée et constructive. Le tableau 2.11 recense les sources de conflits qui peuvent être perçues comme positives et celles qui peuvent avoir des effets négatifs. Si vous êtes le facilitateur du groupe, vous devez vous poser les questions suivantes : z Qu’est-ce qui empêche le groupe de bien fonctionner ? z Le comportement du groupe apparaît-il problématique ou cela fait-il partie de la stratégie de développement équilibré du groupe ? z Que pouvez-vous envisager pour aider le groupe à traverser cette phase ? Une solution intermédiaire autorisant certains types de comportements leur permettrait-elle de dépasser le problème identifié et de repartir sur de bonnes bases ? Tableau 2.11 Sources de conflits au sein d’un groupe ASPECTS POSITIFS Conflits axés sur les tâches à accomplir Différences d’opinion légitimes sur les tâches à accomplir Différences en termes de valeurs et de points de vue Différentes perspectives sur l’impact des décisions ASPECTS NÉGATIFS Rivalités concernant le partage du pouvoir, les ressources, les récompenses (légitimes pendant la phase de contrôle uniquement) Conflits entre objectifs individuels et collectifs Réunions mal structurées Rancunes personnelles héritées du passé Manque de communication 57 Smart Toolkit – Des outils pour l’evaluation des projets, produits et services d’information Il faut également chercher à promouvoir un développement équilibré du groupe, en veillant particulièrement aux points suivants : z créer des conditions favorables (adhésions volontaires, définition d’objectifs clairs) ; z reconnaître les phases de développement du groupe et encourager celui-ci à adopter le comportement souhaité ; z proposer un large éventail de compétences pour appuyer le groupe ; z évoluer dans un environnement propice aux membres qui travaillent en groupe ; z avancer dans le sens de l’unité ; z modéliser et appuyer les processus pertinents (par exemple, si l’implication est nécessaire, faites preuve d’engagement). Lorsqu’un conflit surgit au sein d’un groupe impliqué dans votre évaluation, il existe cinq modes de gestion possibles (Levi, 2001) : l’évitement, l’accommodation, la confrontation, le compromis et la collaboration. Si l’évitement, l’accommodation et la confrontation permettent de résoudre un conflit, ils peuvent également faire des gagnants et des perdants. Le résultat d’un compromis doit satisfaire chacun au moins en partie ; c’est loin d’être la situation idéale. La collaboration est un processus qui demande du temps mais qui permet à chacun de sortir gagnant. Il stimule par ailleurs la créativité et la performance. Vous devriez essayer de créer un environnement qui favorise l’affectivité et l’inclusivité, et qui offre à chaque membre du groupe l’opportunité de participer ouvertement et sur un pied d’égalité. La mise en œuvre de l’évaluation Une fois les termes de référence formulés et le processus d’évaluation mis au point, il faudra le mettre en œuvre. Une conception soigneusement étudiée facilitera considérablement cette mise en œuvre. Les principales étapes du processus de mise en œuvre se présentent comme suit : z la collecte des données ; z l’analyse des données ; z l’analyse critique et la présentation des résultats. Collecte des données Il est souvent utile de commencer par collecter l’ensemble des données pertinentes disponibles et la meilleure façon d’y parvenir consiste à effectuer une recherche documentaire. Cet exercice peut également conduire à mettre en lumière certains domaines dans lesquels davantage de données primaires sont nécessaires et souligner la nécessité de vérifier la qualité des données disponibles avec les parties prenantes. Une fois les données secondaires collectées, vous pouvez recueillir les données primaires à l’aide des outils sélectionnés dans la phase 2. Vous devrez : z élaborer les outils (par exemple, un questionnaire, une liste de contrôle en prévision de l’interview) ; z former les interviewers, le cas échéant, pour parvenir à une approche commune ; z identifier et motiver les personnes interrogées ; z tester les outils avec les personnes sélectionnées ; z établir un échéancier et organiser la logistique (par exemple, le transport) ; z appliquer les outils ; z faire l’examen des expériences avec les interviewers. 58 Partie 2 : LE PROCESSUS D’ÉVALUATION : La mise en œuvre de l’évaluation Il faut tenir compte des problèmes éventuels liés à la qualité des données recueillies à partir de questionnaires et d’entretiens. Le pré-test des questionnaires et la formation des interviewers peuvent aider à résoudre ces problèmes. Cela peut vous amener, par exemple, à reformuler vos questions le cas échéant ou à choisir de privilégier la méthode du questionnaire par rapport à la technique de l’entretien. Les problèmes couramment associés aux outils de collecte de données sont les suivants : z Le manque de clarté. Il est probablement la source d’erreurs majeure dans les questionnaires et les entretiens. Les questions doivent être claires, concises, simples et univoques. Le concepteur du questionnaire doit faire en sorte que chaque question ait une signification unique pour tous. Dans le cas contraire, les participants répondront à des questions différentes. L’utilisation de plusieurs interviewers peut compliquer davantage encore le problème. z L’usage du jargon. Le jargon bureaucratique (y compris les termes techniques) et les expressions familières ne sont pas toujours utilisés et compris par tous les participants. z Les questions suggestives. Une question suggestive induit une réponse particulière. Évitez toujours ce type de questions dans la mesure où elles génèrent des données incertaines. z Les mots ou les phrases comportant une connotation positive ou négative. Deux mots quasi similaires peuvent avoir des connotations différentes (le terme « enfantin », par exemple, s’applique aussi bien à un homme qu’à une femme, à un jeune qu’à une personne d’un certain âge ; « puéril », en revanche, a une connotation péjorative – personne n’aime être considéré comme un être puéril). z Les questions embarrassantes. Les personnes interrogées peuvent être placées dans une situation plutôt inconfortable. Ces questions peuvent fermer l’accès à une source d’information potentiellement utile. z Les questions hypothétiques. Elles semblent basées sur la conjecture (par exemple, « si vous étiez gouverneur, que feriez-vous pour endiguer la criminalité ? »). Évitez ce type de questions dans la mesure où elles ne permettent pas de recueillir des données fiables représentant des opinions réelles. z Le penchant pour le prestige. Les personnes interrogées peuvent avoir tendance à répondre en déployant des artifices rituels de mise en scène et de séduction. Encadré 2.18 Collecter les données – Points clés à retenir z Ne partez pas du principe que vos questions sont claires et univoques. Attachez une importance particulière aux pré-tests et à la formation de vos interviewers. z Examinez les résultats initiaux liés à la collecte des données avec d’autres interviewers afin de cerner rapidement les problèmes potentiels. z Remplacez un outil de collecte de données s’il s’avère que celui-ci ne génère pas des données claires et de bonne qualité. z Préparez-vous à organiser une nouvelle collecte de données si le besoin s’en fait sentir au vu des résultats initiaux. z Référez-vous toujours aux TDR. 59 Smart Toolkit – Des outils pour l’evaluation des projets, produits et services d’information Analyse des données Une fois collectées, les données primaires et secondaires devront être analysées.Vous pouvez envisager les deux approches suivantes : z Une analyse quantitative – Effectuez les calculs pertinents (totaux, moyennes, écarts). – Analysez la signification statistique. – Présentez les données selon le format approprié (sous forme de tableaux ou graphiques, par exemple). z Une analyse qualitative (et critique) – Organisez les résultats. – Identifiez les parties prenantes à impliquer. – Organisez une réunion ou un atelier afin d’analyser les résultats. – Préparez un rapport sur les résultats obtenus lors de la réunion ou de l’atelier. Après avoir analysé vos données quantitatives et qualitatives, il conviendra de vérifier la crédibilité des résultats. La qualité et l’approbation du rapport d’évaluation en dépendent. Pour vérifier les résultats, vous pourriez : z dialoguer avec les personnes qui connaissent déjà le produit/service (points de vue d’experts) ; z comparer vos données avec les données externes d’autres enquêtes ; z intégrer une méthode de vérification dans le processus de collecte des données (un groupe de contrôle, par exemple) ; z comparer les résultats obtenus avec diverses autres méthodes de collecte de données (triangulation). Encadré 2.19 Analyser les données – Points clés à retenir z Songez à vérifier votre méthode d’analyse des données. z Faites appel à un statisticien qui déterminera si les différences sont significatives. Seules des personnes spécialisées dans le domaine des méthodes statistiques sont à même de définir la pertinence de telles différences. z Impliquez les parties prenantes dans l’analyse et l’interprétation des données. z Combinez analyse des données et vérification dans le cadre d’une première réflexion critique avec les acteurs intéressés. Analyse critique et présentation des résultats Le processus de présentation des résultats peut être considéré comme une séquence d’événements, chacun d’eux ayant ses propres objectifs, groupes cibles et caractéristiques afin de s’assurer que les résultats de l’évaluation sont analysés d’un point de vue critique et présentés de manière efficace aux parties prenantes. Votre stratégie de communication doit préciser quels événements et outils vous utiliserez pour analyser et présenter les résultats. La mise en œuvre de la stratégie s’articule autour des objectifs suivants : z préparer une présentation des résultats définitifs liés à l’analyse des données ; z préparer un événement au cours duquel les résultats seront présentés ; 60 Partie 2 : LE PROCESSUS D’ÉVALUATION : Le suivi de l’évaluation z formuler des questions et des hypothèses liées à ces résultats ; z définir le résultat attendu de l’événement ; z sélectionner les participants à cet événement ; z élaborer le programme afin d’aborder les questions et les hypothèses ; z organiser l’événement ; z aborder les questions et les hypothèses, et approuver les recommandations ; z communiquer les résultats et les recommandations destinées à améliorer le projet, produit ou service. Encadré 2.20 Analyse critique et présentation des résultats de l’évaluation – Points clés à retenir z Les participants aux séances de présentation des résultats peuvent présenter des intérêts divergents ; sachez que seule l’absence de parti pris et de préjugés permet de poser les jalons d’une discussion ouverte et objective ; insufflez une atmosphère d’ouverture en prônant vous-même un dialogue ouvert. z Identifiez les parties prenantes susceptibles d’être plus affectées que d’autres par les résultats de l’évaluation. z Organisez un événement tourné vers l’action en vue de mettre en œuvre les résultats au cours de la phase suivante. z Votre plan de communication doit être flexible. Il conviendra d’y intégrer les changements induits par les résultats obtenus dans le cadre d’une précédente collecte de données. z Rédigez votre rapport en temps opportun et – dans la mesure du possible – au terme de l’événement, pour conserver enthousiasme et conviction, et éviter de marquer le pas. z Évitez de rédiger un trop long rapport sous prétexte qu’il aura davantage de poids. Seul le contenu importe réellement. La plupart des gens parcourent les rapports sans les lire en profondeur. Le suivi de l’évaluation Trop souvent, la production du rapport d’évaluation n’est pas assortie – pour des raisons variées – d’activités destinées à appuyer la mise en œuvre des recommandations. Si le plan d’action de suivi doit faire partie intégrante du plan de travail global, celui-ci doit également pouvoir synchroniser les processus de suivi du plan d’action et de gestion des changements apportés au projet. Les activités post-évaluation se présentent donc comme suit : z la formulation du plan d’action ; z le suivi de la mise en œuvre du plan d’action ; z la gestion des changements apportés au projet. Formuler le plan d’action Le plan d’action sera formulé après avoir analysé les résultats de l’évaluation. Il conviendra de planifier des actions réalisables en rapport avec les compétences existantes et le budget alloué, de définir les responsabilités de chacun et d’élaborer un échéancier de mise en œuvre. 61 Smart Toolkit – Des outils pour l’evaluation des projets, produits et services d’information Un plan d’action doit comprendre les éléments suivants : z un objectif clair (clarifier ce vers quoi on veut aller) ; z une description concise des activités (qu’est-ce que nous allons faire) ; z des dates butoirs (quand les activités devront être exécutées) ; z des responsabilités bien définies (qui est chargé de la mise en œuvre du plan). Lorsque vous formulez un plan d’action, assurez-vous que : z les parties prenantes impliquées s’engagent à mettre en œuvre ce plan ; z le plan est réaliste et exécutable, et qu’il ne s’agit pas d’une simple liste de souhaits ; z le plan offre des avantages à court terme et des gains à long terme pour permettre aux parties prenantes de prendre rapidement connaissance des améliorations ; z le plan est mis en œuvre dans les meilleurs délais pour éviter d’instaurer un décalage. Encadré 2.21 Formuler le plan d’action – Points clés à retenir z Veillez à ce que les éléments majeurs du plan d’action soient intégrés dans la stratégie organisationnelle. z À l’aide d’une approche pilote, testez les actions planifiées qui pourraient susciter quelque résistance. z Assurez-vous que les principales parties prenantes impliquées s’engagent à mettre en œuvre le plan pour aider à surmonter une possible résistance des parties prenantes par rapport aux changements apportés au projet. z Communiquez le plan d’action, ainsi que ses objectifs, à travers différents canaux. Assurer le suivi de la mise en œuvre du plan d’action Le suivi de la mise en œuvre du plan d’action permettra de contrôler si les changements préconisés ont été appliqués et s’ils contribuent à améliorer la performance et l’impact du projet. Le suivi de la mise en œuvre, conformément au processus de suivi qui a été établi (comme décrit dans la première partie, pages16-18), contribuera par ailleurs à tirer des leçons pour le renforcement des activités futures d’évaluation. Afin d’assurer le suivi de la mise en œuvre du plan, il faudra préciser les actions planifiées et les changements attendus (indicateurs de réussite). De cette façon seulement il sera possible d’évaluer si les changements effectués ont contribué à l’amélioration du projet. Si les changements sont substantiels, il pourrait être utile de constituer un comité de coordination composé de diverses parties prenantes chargées d’évaluer l’état d’avancement du processus. Encadré 2.22 Assurer le suivi de la mise en œuvre du plan d’action – Points clés à retenir z Il est inutile de tout contrôler. Concentrez-vous sur les activités les plus importantes. z Pour éviter de marquer le pas, réagissez immédiatement si les actions ne sont pas mises en œuvre conformément au plan établi. z Soyez prêt à modifier votre plan d’action si, comme vous pouvez le constater, certaines actions ne donnent pas les résultats attendus. 62 Partie 2 : LE PROCESSUS D’ÉVALUATION : Le suivi de l’évaluation Gérer les changements L’évaluation est un processus qui sert à améliorer la performance et l’impact de votre projet, produit ou service d’information. Cette amélioration implique d’apporter certains changements et cela suppose que les parties prenantes pourraient avoir besoin d’adapter leur comportement. Compte tenu des positions exprimées par les uns et les autres, certains résultats de l’évaluation pourraient ne pas être partagés. Chaque partie prenante peut également être impliquée à différents niveaux du processus d’évaluation. La mise en œuvre du plan d’action doit par conséquent tenir compte des différentes réactions que pourraient susciter les résultats de l’évaluation. On distingue quatre types de réactions parmi les parties prenantes : z Les parties prenantes approuvent les résultats et les recommandations et sont disposées à les valoriser. Il s’agit de la situation la plus facile à mettre en œuvre. Il peut néanmoins subsister un certain nombre d’obstacles à la mise en œuvre intégrale (par exemple, il se peut que certaines personnes résistent aux changements dans leur manière de travailler). z Les parties prenantes approuvent les résultats et les recommandations, sont disposées à les mettre en œuvre mais sont incapables de les valoriser. Dans ce cas, vous devrez chercher à savoir quels sont les types d’obstacles rencontrés. Ils peuvent être de types variés : manque de compétences, de personnel et de ressources nécessaires. La mise en œuvre du plan d’action risque d’échouer à défaut de pallier ces problèmes. z Les parties prenantes approuvent les résultats, mais pas les recommandations, et ne sont pas disposées à les valoriser. Cela peut arriver non seulement lorsque les recommandations débouchent plutôt sur des effets négatifs (temps de travail et coûts supplémentaires) que sur des améliorations positives pour les parties prenantes – auquel cas il faudra prendre des mesures d’atténuation des effets négatifs et de renforcement des effets bénéfiques – mais aussi lorsqu’une partie prenante n’est pas capable d’imaginer les bénéfices qu’elle pourrait tirer desdites recommandations et qu’elle hésite, par conséquent, à émettre un avis favorable à leur mise en œuvre. Dans ce cas, la sensibilisation des parties prenantes passe par des exemples de réussite. z Les parties prenantes rejettent les résultats et les recommandations. Il s’agit probablement d’une réponse fondée sur la relation entre la partie prenante et les évaluateurs et/ou le projet d’information plutôt que sur le rapport lui-même (à supposer que l’évaluation et le rapport étaient appropriés). Cette réaction peut également être due au fait que la partie prenante n’était pas impliquée dans le processus d’évaluation ou il peut s’agir d’une incompatibilité d’humeur, ou encore d’un désaccord entre la partie prenante et l’instance de pilotage du projet. Dans ces cas, il convient d’intensifier les efforts pour renforcer les relations avant d’envisager toute nouvelle forme de coopération de la partie prenante concernée dans le processus de mise en œuvre. Pour anticiper les réactions possibles d’une partie prenante au moment de la présentation des résultats et des recommandations, vous pourriez être amené à réaliser une nouvelle analyse des parties prenantes. L’objectif consisterait à évaluer les contributions et les avantages liés aux changements préconisés. Le modèle ADKAR est un outil particulièrement utile pour évaluer la capacité et la volonté des parties prenantes de participer au changement (Hiatt, 2006). Dans ce modèle, cinq facteurs doivent être pris en compte pour gérer le changement avec succès au niveau individuel : z La conscience de la nécessité du changement. z Le désir de soutenir le changement et d’y participer. z La connaissance des voies du changement. z La capacité à mettre en œuvre le changement. z Le renforcement pour conserver le changement. 63 Smart Toolkit – Des outils pour l’evaluation des projets, produits et services d’information Ce modèle peut être utilisé pour diagnostiquer les raisons de la résistance au changement et aider les parties prenantes à prendre part activement au processus de changement. Il peut également être utilisé pour élaborer un plan d’action axé sur le perfectionnement personnel et professionnel tout au long du processus ainsi qu’un plan de gestion du changement destiné aux parties prenantes. La stratégie de gestion du changement exige de prendre en considération les facteurs ci-après : z chaque personne réagit différemment aux changements ; z chacun doit satisfaire ses besoins fondamentaux ; z le changement s’accompagne souvent d’un sentiment de perte et l’individu qui y est confronté peut paraître désorienté ; z les espérances doivent être gérées avec réalisme ; z les craintes doivent être surmontées. Si les recommandations issues de l’évaluation appellent à une série de changements assez complexes impliquant diverses parties prenantes, il pourrait être intéressant de s’attacher les services d’un agent de changement capable d’orienter et de conduire le processus. Il peut s’agir d’une personne impliquée dans le processus de changement, capable de piloter un tel processus et ayant des relations saines avec les parties prenantes. Encadré 2.23 Gérer les changements – Points clés à retenir z Votre stratégie de communication doit permettre de tenir informées les parties prenantes de manière régulière et complète ; attention à ne pas la restreindre à la technique du bouche à oreille. Cette stratégie devra inclure les entretiens individuels avec les parties prenantes de manière à les orienter tout au long du processus de changement, qui les affecte personnellement. z Soyez ouvert et honnête sur les faits. Évitez d’échafauder des perspectives irréalistes. z Laissez aux parties prenantes la possibilité de faire des choix et soyez très clair sur les conséquences possibles de ces choix. z Laissez-leur le temps d’exprimer leurs points de vue et leurs préoccupations. Appuyez leur processus décisionnel et offrez-leur le soutien, les conseils et les informations dont elles pourraient avoir besoin. z Lorsque le changement s’accompagne d’un sentiment de perte, explorez les moyens de le surmonter. Cela contribuera à apaiser leurs craintes éventuelles. z Lorsque le processus de changement est complexe, vous pouvez vous attacher les services d’un agent de changement. Si l’évaluation a été conduite par un évaluateur externe, l’expérience a montré qu’il n’est jamais opportun d’utiliser la même personne pour gérer les changements apportés à un projet. 64