Regional Strategic Analysis and Knowledge Support System Capacity Strengthening Strategy through Capacity Needs Assessment for Country Level Strategic Analysis and Knowledge Support System (SAKSS) RESAKSS CNA REPORT 1 MALAWI   1    Capacity Strengthening Strategy through Capacity Needs Assessment for Country Level Strategic Analysis and Knowledge Support System (SAKSS) ReSAKSS CNA Report #1 | March 2014M. Alexander R. Phiri  MALAWI EXECUTIVE SUMMARY  This report presents findings of the capacity needs assessment for the Malawi Strategic Analysis and Knowledge Support  System (SAKSS). The study was conducted from August to December 2012. The overall purpose of the country‐level capacity  needs assessment was  to develop a  country‐specific  capacity‐strengthening  strategy  to meet  the  strategic‐analysis and  knowledge management objectives of  the country Comprehensive Africa Agriculture Development Programme  (CAADP)  process. The specific objective of the capacity needs assessment in Malawi was to identify areas for improving the quality  and utility of agricultural policy analysis, investment planning and implementation, monitoring and evaluation (M&E), and  knowledge management at the country level. The findings of the study have been used to draw up some recommendations  and develop a capacity‐strengthening strategy for the Malawi SAKSS. The study adopted qualitative and quantitative approaches, and used several tools in gathering data and information, in‐ cluding extensive literature review. The latter provided some background material that assisted in understanding the ca‐ pacity landscape in the public sector more generally and in the agriculture sector specifically. This research was comple‐ mented by key‐informant interviews in target institutions to understand the composition of the Malawi SAKSS as well as its  capacity needs to meet the strategic‐analysis and knowledge management objectives of the country CAADP process. Two  generic questionnaires were also used in gathering data. One focused on organizational capacity needs while the second  one focused on individual staff members’ capacity needs within selected member organizations of the Malawi SAKSS. Un‐ fortunately, feedback was poor, with only 12  individual members completing questionnaires and only two organizations  providing partial information on organizational capacity. Hence much of the information and data used in the report were  collected through key informants and secondary sources.   Summary Findings  The study results focus on three main areas of the assessment as guided by the terms of reference, as follows:   Institutional capacity in policy processes   Organizational capacity needs    Individual capacity needs    2    SUMMARY | APRIL 2010 1. Institutional Capacity in Policy Processes  Aberman and colleagues (2012) used an adapted Net‐Map approach to collect data on the contemporary fertilizer policy  landscape  in Malawi. Because their data collection effort not only  included questions specific to the case study but also  assessed the on‐the‐ground reality of the actors involved, including power structures and the linkages among them, their  findings shed light on the policy process in Malawi in general. The authors found that policy processes in Malawi are usually  highly consultative,  involving diverse  individuals and organizations,  including government departments and  institutions  (peopled by politicians and technocrats), civil society organizations, donors, private companies, and local government. How‐ ever, the specific institutions or agencies involved in any given policy process depend upon the policy issue that is being  debated or developed. Following are a few key issues highlighted by Aberman and colleagues (2012) that are relevant to  the present study:   The authors described a perfectly centralized network as one that has one main actor; the other actors are ar‐ ranged around the main actor with no  lateral  links, such that all  interactions go through the central actor. The  Malawi policy process involves a high degree of network centralization.   The fertilizer policy network, which was analyzed in this case and is typical of the policymaking process in Malawi,  has a few highly central actors—the Ministry of Agriculture and Food Security (MoAFS, the main implementer), the  Ministry of Finance (the financier), and the president (the decisionmaker)—with all other actors arranged around  them, trying to advise or influence their policy decisions.    Aberman and colleagues (2012) also performed a core‐periphery analysis, finding that the network core—made  up of central actors that are highly  linked to each other and surrounded by peripheral actors who are not well  connected—consists of MoAFS, the Ministry of Finance, and because of his overlap with MoAFS, the president of  Malawi.   This analysis demonstrated that although MoAFS has the highest degree of centrality, it is not the most influential actor in  determining the level and shape of fertilizer policy. Instead, a majority of the fertilizer policy study interviewees agreed that  the president is by far the most influential actor in this respect. This situation limits the objectivity and capacity of individual  actors in agricultural policy processes in Malawi.   2. Organizational Capacity  The present study has established that the M&E system for the agricultural sector  is well organized, with the extension  delivery system forming its core skeleton. However, coordination is a major issue of concern. Additionally, the study looked  at the Technical Working Group (TWG) on M&E, a body established by Malawi’s Agriculture Sector Wide Approach (ASWAp).  The TWG on M&E is a group with representation from several government agencies (including Improvement of Coordina‐ tion of ASWAp in the Ministry of Agriculture, or ICAM), civil society organizations, academic and research institutions, and  the Donor Committee on Agriculture and Food Security. The TWG has created a critical mass of capacities for evidence‐ based policy formulation as well as for effective M&E. Despite the high level of capacity as a team, informants report a need  to improve on knowledge management and sharing. As one interviewee noted, “The TWG on M&E in itself is not a major  problem. It only requires more effective coordination of all the actors involved.”   Additionally, capacity needs to be expanded in terms of actual numbers of people in the M&E section of MoAFS. In view of  the fact that the other components (ICAM and the International Food Policy Research Institute, or IFPRI) of the TWG on    3    SUMMARY | APRIL 2010 M&E are not permanent structures, a weak M&E Unit in MoAFS creates a lot of uncertainty as to the future of ASWAp M&E  system coordination.  In most cases, the few staff members that are available are overstretched, particularly during the  implementation of the Farm Input Subsidy Programme, as has been noted in recent years. This leaves these staff members  with little time to do any analysis of the data that they collect because they are always in the field. This problem is com‐ pounded by the poor coordination, which fails to take advantage of the diversity of skills and capacities that exist in the  TWG on M&E membership.   Furthermore, the need to develop a harmonized M&E system following the adoption of ASWAp has created some gaps in  the indicators being monitored as well as in the level of monitoring. Most of the indicators for ASWAp monitoring are at  the high policy level, leaving out lower‐level indicators such as child mortality monitoring, for example. Additionally, mi‐ crolevel monitoring through decentralized structures (at the district, extension planning area, and section  levels) where  most projects capture their data is not adequately covered under ASWAp. While recognizing that harmonization of M&E  systems is still a work in progress, these gaps need to be addressed.   Finally, the study has revealed that adoption of ASWAp as an overarching framework for guiding investments in the agri‐ culture sector entails doing things differently from the way they were done in the past. Therefore, effective systems are  needed to support monitoring of achievements under ASWAp that are consistent with the paradigm shift. This will involve,  among other things, adoption of more inclusive approaches and processes to ensure wider acceptability and ownership of  results and achievements.   3. Individual Capacity Assessment  In general, organizations that participated in the study have the necessary skills to use evidence for strategic analysis and  other policy work. However, the level of competency varies across the different types of organizations. Government and  research  institutions boast relatively highly skilled  individuals compared with donors and civil society organizations. The  study results also reveal serious individual capacity gaps in the use of analytical as well as bibliographic software. However,  individual capacities in Lilongwe University of Agriculture and Natural Resources and the Department of Agricultural Plan‐ ning Services  (within MoAFS) are relatively higher than  in the other organizations  interviewed. Despite the presence of  highly trained individuals in government, respondents felt that low levels of funding limit their participation in policy anal‐ ysis. On the other hand, civil society organizations are faced with shortages of staff able to conduct strategic analysis and  policy‐related work. While government agencies are  faced with high  staff  turnover, arising mainly  from poor  incentive  structures, donors and civil society organizations experience relatively stable staff complements. As noted already, the re‐ ported weaknesses at  individual organizations as well as among  individuals within those organizations can easily be ad‐ dressed with proper coordination for the benefit of the whole SAKSS.   4. Lessons Learned from Policy Formulation and Implementation in Malawi  Of the factors identified in this report as impeding effective design and implementation of policies in Malawi, several could  nevertheless serve as key lessons for future policy decisionmaking processes, including the formulation of a capacity‐devel‐ opment strategy. The main lessons learned are the following:  1. Effective coordination is key to successful generation and sharing of data and information among all user groups  and stakeholders  in the country. However, besides the need for requisite human capacities at all  levels of data  generation and sharing, coordination is also contingent upon existence of the necessary infrastructure and equip‐ ment, such as means of connectivity.    4    SUMMARY | APRIL 2010 2. Participatory and pluralistic policy formulation and decisionmaking processes usually receive support at all levels,  leading to successful policy implementation.   3. An effective M&E system requires, among other things, that all stakeholders who contribute to and make use of it  have adequate understanding of the indicators that make up the system. Such understanding must encompass the  data that are required to measure progress toward achieving the various indicators as well as well how the data  should be collected and analyzed.   4. Diversity of both skills and knowledge base is a major asset in knowledge management systems.        5    SUMMARY | APRIL 2010 Recommendations  The findings of this study point to some recommendations to guide the design of the capacity‐strengthening strategy for  the SAKSS platform for Malawi. The key ones are the following:    MoAFS needs to realize that successful implementation of ASWAp and indeed of the CAADP process in Malawi will  depend on  its M&E system. M&E constitutes a  feedback mechanism  for steering  the strategic direction of  the  ministry. Hence, MoAFS should design appropriate mechanisms  for strengthening the activities of the TWG on  M&E, including its coordination.    Members of the TWG on M&E need to be more aware of the CAADP process. The TWG should devise deliberate  efforts to ensure that all the members understand this institution as well as the indicators that they are tracking.   Some view the TWG on M&E as not inclusive enough because it leaves out key players in the sector, particularly  from the private sector. We therefore strongly recommend revisiting its membership. A more inclusive member‐ ship of the TWG will, among other things, ensure preparation of more comprehensive joint sector review reports.    MoAFS has to define the frequency for reporting on the various indicators in ASWAp, with a clear division of labor  among the members. Failure to do so will mean that the TWG on M&E will continue to operate in an ad hoc man‐ ner, which would greatly compromise the success of ASWAp and CAADP implementation in Malawi. A more com‐ prehensive and harmonized system is therefore necessary.    To enhance  its effectiveness and functionality, MoAFS should build the capacity of the CAADP focal point. This  should take the form of purchasing equipment for the unit that would enable it to effectively communicate with  the wider membership. Among other things, this would also necessitate embedding or integrating the CAADP focal  point into the M&E Unit.                 6    SUMMARY | APRIL 2010TABLE OF CONTENTS  Executive Summary ....................................................................................................................................................... 1  Summary Findings .................................................................................................................................................................1  1.  Institutional Capacity in Policy Processes ................................................................................................................2  2.  Organizational Capacity ...........................................................................................................................................2  3.  Individual Capacity Assessment ...............................................................................................................................3  4.  Lessons Learned from Policy Formulation and Implementation in Malawi ............................................................3  Recommendations ................................................................................................................................................................5  Table of Contents .......................................................................................................................................................... 6  List of Tables ................................................................................................................................................................. 9  List of Figures ................................................................................................................................................................ 9  List of Abbreviations .................................................................................................................................................... 10  1.  Introduction .................................................................................................................................................... 11  1.1. .. Background of the Study .......................................................................................................................................... 11  1.2. .. Objective of the Study .............................................................................................................................................. 12  1.2.1.  Context, Levels, and Themes .............................................................................................................................. 12  1.2.2.  Specific Tasks of the Study .................................................................................................................................. 13  1.2.3.  Deliverables and Timeline .................................................................................................................................. 15  2.  Methodology .................................................................................................................................................. 16  2.1. .. Policy Process Level .................................................................................................................................................. 16  2.2. .. Organizational Level ................................................................................................................................................. 16  2.3. .. Individual Level ......................................................................................................................................................... 17  3.  Policy Analysis and M&E in Malawi ................................................................................................................. 18  3.1. .. Background on SAKSS ............................................................................................................................................... 18  3.1.1.  The SAKSS‐Malawi .............................................................................................................................................. 18  Box 3.1. Recommendation ............................................................................................................................................ 19  3.1.2.  The IFPRI‐SAKSS Project ...................................................................................................................................... 19  3.1.3.  Importance of TWG on M&E in ASWAp ............................................................................................................. 21  3.2. .. The M&E System of ASWAp ..................................................................................................................................... 22  3.2.1. M&E of the Food and Nutrition Security Policies ............................................................................................... 23  Composition and Activities of the Food and Nutrition Security Policy Working Group ................................................. 24    7    SUMMARY | APRIL 2010 3.2.2.  Project‐Level Monitoring .................................................................................................................................... 25  3.2.3.  ASWAp and Harmonization of M&E Systems ..................................................................................................... 26  3.2.4.  Challenges for Effective ASWAp/CAADP Monitoring ......................................................................................... 26  3.3. .. Information Exchange among Research Organizations ............................................................................................ 27  3.4. .. Types of Organizations That Generate and Use Information ................................................................................... 29  3.4.1.  Role of Research Evidence in Policy Decisionmaking ......................................................................................... 34  3.5. .. Capacity Assessment in the Public Sector ................................................................................................................ 34  3.5.1.  Human Resources Issues .................................................................................................................................... 34  3.5.2.  Lack of a Performance or Compliance Culture ................................................................................................... 35  3.5.3.  Communication .................................................................................................................................................. 35  3.5.4. Management Information .................................................................................................................................. 35  3.5.5.  Financial Resources ............................................................................................................................................ 36  4.  Institutional Capacity in the Policy Processes ................................................................................................... 37  4.1. .. Actors Involved in Policy Processes .......................................................................................................................... 37  Box 4.1. A case study of fertilizer input subsidy policy .................................................................................................. 37  4.1. .. Case Study 2: Participatory Agricultural Policymaking—ASWAp ............................................................................. 38  5.  Capacity Assessment ....................................................................................................................................... 40  5.1. .. Effectiveness of Leadership in the Policy Process .................................................................................................... 40  5.2. .. Strategic Guidance by Organizational Leaders ......................................................................................................... 40  5.3. .. Availability of Skills and Incentives ........................................................................................................................... 41  5.4. .. Staff Turnover ........................................................................................................................................................... 41  5.5. .. Staff Incentives ......................................................................................................................................................... 42  5.6. .. Adequate Funding to Cover the Cost of Operations ................................................................................................ 42  5.7. .. Level of Effective Application of M&E ...................................................................................................................... 43  5.8. .. Use of Evidence in Strategy and Policy Formulation ................................................................................................ 45  5.9. .. Internal Management and Evaluation That Stimulates Critical Reflection .............................................................. 46  5.10.  Effective System to Stay in Touch with General Trends ........................................................................................... 46  5.11. Capability to Deliver on Mandate and Development Objectives ............................................................................. 47  5.12.  Extent to Which Institution Delivers on Planned Outputs ....................................................................................... 47  5.13. Mechanisms in Place to Verify That Services Meet Client Expectations .................................................................. 48  5.14.  Extent to Which Organization Effectively Maintains Relationships ......................................................................... 49  5.15. Capacity of Selected TWG Member Institutions in Use of Analytical Software ....................................................... 49    8    SUMMARY | APRIL 2010 5.1.6. Lessons Learned from Policy Formulation and Implementation in Malawi ............................................................. 51  6.  Concluding Remarks ........................................................................................................................................ 52  6.1. .. Recommendations ................................................................................................................................................... 53  7.  Proposed Strategy for Strengthening Capacity of the Malawi SAKSS ................................................................ 55  7.1. .. Strategic Interventions ............................................................................................................................................. 56  7.1.1. Mission, Vision, and Objectives .......................................................................................................................... 56  7.1.2.  Key Thematic Intervention Areas ....................................................................................................................... 56  References .................................................................................................................................................................. 60  Appendixes ................................................................................................................................................................. 61  Appendix 1: A Potential Country SAKSS Operational and Governance Structure.............................................................. 61  Appendix 2: Current Capacity of TWG on M&E Member Organizations ........................................................................... 63  Appendix 3: Composition of the Food and Nutrition Security Joint Task Force ................................................................ 65  Appendix 4: List of People Interviewed ............................................................................................................................. 66  Appendix 5: Participants in the Dissemination Workshop ................................................................................................. 67          9    SUMMARY | APRIL 2010LIST OF TABLES  Table 3.1. Composition of Technical Working Group on Monitoring and Evaluation ............................................................ 19  Table 3.2. ASWAp focus areas, support services, and cross‐cutting issues ............................................................................ 21  Table 3.3. Institutions that generate and demand information on agriculture in Malawi .................................................... 32  Table 4.1. Affiliation categories of stakeholders .................................................................................................................... 39  Table 5.1. Availability of skills and incentives ........................................................................................................................ 41  Table 5.2. Staff turnover ......................................................................................................................................................... 42  Table 5.3. Staff incentives ...................................................................................................................................................... 42  Table 5.4. Adequate funding to cover the cost of operations ................................................................................................ 42  Table 5.5. Use of evidence in strategy and policy formulation .............................................................................................. 45  Table 5.6. Internal management and evaluation that stimulates critical reflection .............................................................. 46  Table 5.7. Effectiveness of bodies employed by organizations .............................................................................................. 46  Table 5.8. Effective system to stay in touch with general trends ........................................................................................... 46  Table 5.9. Capacity to use analytical and bibliographic software in the Department of Agricultural Planning Services ....... 50  Table 5.10. Capacity to use analytical and bibliographic software in CARD and DAAE .......................................................... 50  Table 7.1. Summary of capacity‐strengthening activities and estimated costs ..................................................................... 57    LIST OF FIGURES  Figure 3.1. SAKSS‐Malawi’s strategic context ........................................................................................................................ 20  Figure 3.2. Structure of extension delivery in Malawi ............................................................................................................ 23  Figure 3.3. Information generation and use for evidence‐based decisionmaking ................................................................. 31  Figure 4.1. Fertilizer subsidy program network ..................................................................................................................... 38  Figure 5.1. Effectiveness of leadership in the policy process ................................................................................................. 40  Figure 5.2. Strategic guidance by organizational leaders ....................................................................................................... 41  Figure 5.3. Level of effective application of monitoring and evaluation ................................................................................ 43  Figure 5.4. Capability to deliver on mandate and development objectives ........................................................................... 47  Figure 5.5. Extent to which the institution delivers on planned outputs ............................................................................... 48  Figure 5.6. Mechanisms in place to verify that services meet client expectations ................................................................ 48  Figure 5.7. Extent to which your organization effectively maintains relationships ............................................................... 49             10    SUMMARY | APRIL 2010LIST OF ABBREVIATIONS  ASWAp  Agriculture Sector Wide Approach CAADP  Comprehensive Africa Agriculture Development Programme CARD  Centre for Agricultural Research and Development (of Lilongwe University of Agriculture and Natural  Resources)  CISANET  Civil Society Agriculture Network CSSP  country strategy support program DAAE  Department of Agricultural and Applied Economics (of Lilongwe University of Agriculture and Natural  Resources)  DAES  Department of Agricultural Extension Services DARS  Department of Agricultural Research Services FEWSNET  Famine Early Warning System Network FtF  Feed the Future   GIZ  German Agency for International Cooperation ICAM  Improvement of Coordination of ASWAp in the Ministry of Agriculture IFPRI  International Food Policy Research Institute INTERFAIS  International Food Aid Information System M&E  monitoring and evaluation  MDG  Millennium Development Goal  MoAFS  Ministry of Agriculture and Food Security NARS  national agricultural research systems NEPAD  New Partnership for Africa's Development NGO  nongovernmental organization ReSAKSS  Regional Strategic Analysis and Knowledge Support System SAKSS  Strategic Analysis and Knowledge Support System TWG  Technical Working Group  USAID  United States Agency for International Development     11    SUMMARY | APRIL 2010 1. INTRODUCTION  The agriculture sector  is the backbone of Malawi’s economy and thus plays a pivotal role  in achieving the national and  international policy goals of economic growth and poverty reduction. To attain the nation’s Vision 2020, the government  of Malawi has put  in place the Malawi Growth and Development Strategy as a medium‐term strategy to create wealth  through sustainable economic growth as a means of achieving poverty reduction, thereby transforming the country from a  predominantly importing and consuming to a manufacturing and exporting economy. Malawi is also committed to the Mil‐ lennium Development Goals (MDGs), which include the goals of halving poverty and hunger by 2015. To accomplish these  goals, the government has implemented several sectorwide development strategies. Key among these is ASWAp, a strategic  development and investment plan for the agricultural sector. The ASWAp document (Malawi, MoAFS 2011) articulates Ma‐ lawi’s ambition to transform, modernize, and diversify its agricultural sector with a view to raise agricultural productivity,  improve food and nutrition security, and increase the agricultural incomes of rural people. The ASWAp implemented from  2010 to 2014 set a growth target of 6 percent per year for the agricultural sector, which is in line with the CAADP program  of the New Partnership for Africa’s Development (NEPAD).  In order to monitor and evaluate the performance of the agricultural sector in the country, the ASWAp document proposed  the establishment of the TWG on M&E. This is one of seven technical working groups formed under ASWAp, each having  defined mandates and terms of reference. The TWG on M&E is mandated to develop tools for monitoring the performance  of the sector and to support the collection and dissemination of information pertaining to agricultural sector performance  in order to facilitate evidence‐based decisionmaking and accountability for the entire agricultural sector. In Malawi, in view  of the fact that ASWAp is aligned to NEPAD/CAADP, the TWG on M&E has been identified as the SAKSS platform for the  country, whose role is to monitor the implementation of these regional frameworks.   It is against this broad background that this study was conceived with the overall purpose of carrying out a capacity needs  assessment  so  as  to  develop  a  country‐specific  capacity‐strengthening  strategy  to  meet  the  strategic‐analysis  and  knowledge management objectives of Malawi’s CAADP process.   1.1. Background of the Study  With the Maputo Declaration of agricultural ministers of African countries in 2003, CAADP became the vehicle for directing  agricultural development efforts and partnerships in Africa. To date, more than 29 countries have gone through the CAADP  round‐table process, and a majority of them are now elaborating their agricultural investment plans, which detail key in‐ vestment areas for achieving agricultural‐sector objectives.   The CAADP process is progressing in these countries, albeit at various rates. One of the key elements needed for the success  of the CAADP process and the achievement of its goals at the country level is the continuous generation of evidence for the  design, implementation, and modification of various programs and interventions in the agricultural sector. To address this  need, the country compacts signed so far identify the need to establish mechanisms for continuous analysis of emerging  issues, constraints, and challenges facing the agricultural sector and to develop a system of information generation, M&E,  and  knowledge management. Thus,  country‐level  SAKSS—that  focus on  country‐specific analytical and  capacity needs,  working  in close collaboration with the regional‐level knowledge nodes (constituting the Regional Strategic Analysis and  Knowledge Support System, or ReSAKSS), are an important initiative in the CAADP process.     12    SUMMARY | APRIL 2010 At the heart of the CAADP agenda is the need to improve the quality of policy and strategy planning and implementation in  order to accelerate growth and progress toward poverty reduction and food and nutrition security. This improvement calls  for capacities, analytical tools, and information to generate credible, timely, and high‐quality knowledge products to inform  and guide agricultural‐sector policies and, in particular, planning and review processes. However, capacity to generate evi‐ dence‐based  information,  M&E,  and  knowledge  sharing  through  effective  communication  of  the  information  and  knowledge to the policymakers and promotion of policy dialogue needs strengthening to varying degrees in all countries.  Certain questions arise:   What are the country‐specific needs for strategic agricultural policy analysis and investment planning, implemen‐ tation, M&E, and knowledge management?    What individual capacities are needed in the short, medium, and long terms to satisfy those needs?    How can these capacities be harnessed through their effective use  in  the organizations  involved  in  the CAADP  process?    What institutional and capacity constraints in the policy process hinder the policy organizations from playing their  role effectively to meet the objectives of CAADP?    How can such capacity gaps be identified and filled?   Answering these questions through a capacity needs assessment and a capacity‐strengthening strategy is an important first  step in customizing the SAKSS concept (see Appendix 1) to each country’s context and capacity needs.  Against this background, we conducted a capacity needs assessment in Malawi under the guidance of IFPRI researchers and  ReSAKSS coordinators, with the aim of generating findings and recommendations from local reports to design and imple‐ ment a country‐specific capacity‐strengthening strategy for the SAKSS platform in Malawi.  1.2. Objective of the Study  The overall purpose of the country‐level capacity needs assessment was to develop a country‐specific capacity‐strengthen‐ ing strategy to meet the strategic‐analysis and knowledge management objectives of the country CAADP process. The spe‐ cific objective of the capacity needs assessment  in Malawi was to  identify areas  for  improving the quality and utility of  agricultural policy analysis,  investment planning and  implementation, M&E, and knowledge management at the country  level. The findings of the study have been used to design a capacity‐strengthening plan for the SAKSS for Malawi.   1.2.1. Context, Levels, and Themes  This study developed the capacity‐strengthening strategy in the context of contributing to the CAADP process through es‐ tablishment of a SAKSS. It carried out the capacity needs assessment at three levels: individual, organizational, and policy  process.   Specific thematic areas for the capacity needs assessment included generating evidence through the following means:  1. Strategic policy analysis  2. M&E     13    SUMMARY | APRIL 2010 3. Knowledge management and sharing at the country level to help in the CAADP process  Capacity assessment for strategic policy analysis, for example, involved an examination of specific research and analytical  skills involved in generating evidence. These further included skills for data generation and processing, analysis of policy  alternatives, and impact assessment of the policies and programs that are implemented as part of the CAADP process.  To assess the capacity of M&E systems, for example, the study identified what systems for M&E are in place as well as what  strategies would be feasible for strengthening them and improving their synergy to provide sufficient data for producing  periodic reports on the performance of the agricultural sector and at the country levels (such as the ReSAKSS flagship Agri‐ cultural Trends and Outlook Reports). These included assessing the following:   The evolution of the M&E system for monitoring food and nutrition security policies in Malawi   Indicators (definitions and measurements) for tracking agricultural and rural development policy and planning pro‐ cesses and agricultural funding, for monitoring performance in the agricultural and rural sectors, and for monitor‐ ing changes in development outcomes (such as poverty, food and nutrition security, and hunger)   Data sources on the above, including instruments and tools   Periodicity of data collection and reporting on indicators   Data and knowledge management and analytical tools   Integration of different data and M&E systems for monitoring and reporting on overall national growth and devel‐ opment objectives, and for assessing the impact of policies   To assess the capacity for knowledge management and information sharing, we borrowed findings from work done by IFPRI‐ SAKSS,  which  examined  systems  for  storing  and managing  data  and  for  communicating  information  using  different  knowledge products and channels to target different audiences. This also included a brief summary of the findings by IFPRI  in a discussion paper titled Who Talks to Whom in Agricultural Research Information Networks? The Malawi Case (Droppel‐ mann et al. 2013). All of this was supplemented with our own assessment of the institutional linkages between those who  generate information and those who use it.   The rationale behind this approach is that strengthening capacity in the policy process could help to identify opportunities  for encouraging policy decisionmakers to demand policy analysis outputs and put them  into effective use. Although the  policy process differs from country to country depending on the nature of leadership and governance, the mapping of the  policy process by identifying key players and actors, their roles, and their influence helped in identifying opportunities for  strengthening the policy processes for effective implementation of CAADP investment plans in Malawi.  1.2.2. Specific Tasks of the Study  The study carried out the following specific tasks:   1. Assess the existing capacity for strategic policy analysis and  investment planning at the country  level. This step  required identifying key individuals within the organizations that are currently contributing to evidence generation  for policymaking in the agricultural sector. This level of assessment included the following:    14    SUMMARY | APRIL 2010 • Key‐informant  interviews  to assess  the need  for human capacity  in  terms of  total number of professionals  needed for strategic policy analysis, M&E, and knowledge management and sharing   • Using  formal  instruments to  identify the existing human capacity  in the organizations  involved  in policy re‐ search and analysis, M&E, and knowledge management and sharing  • Identifying capacity gaps at the individual level   • Developing a baseline database on individual capacities by organization, which will be used for periodic moni‐ toring of progress made toward implementing the capacity‐strengthening strategy  2. Assess  the organizational capacity and  identify areas  for  improving  the quality and utility of agricultural policy  analysis, investment planning and implementation, and M&E, including strengthening organizations’ capacity to  produce periodic reports on the performance of the agricultural sector, such as the ReSAKSS flagship Agricultural  Trends and Outlook Reports. This part of the study included, but was not limited to, the following:  • Compiling an annotated list (including a map showing linkages) of the roles and responsibilities of the major  state and nonstate organizations involved in strategic policy analysis, investment planning and implementation,  M&E, and knowledge management and sharing  • Assessing the existing organizational capacity for investment planning and implementation related to agricul‐ tural and rural development, and  identifying areas where systems should be strengthened for effective and  efficient performance  • Assessing the existing data and M&E systems related to agricultural and rural development, and  identifying  areas where systems should be strengthened for effective and efficient performance  • Assessing the existing content and knowledge management systems related to agricultural and rural develop‐ ment, and identifying areas where systems should be strengthened for effective and efficient performance  3. Assess the institutional and capacity constraints in the policy process related to CAADP implementation (including  development and implementation of investment plans) with particular reference to effective use of evidence (in‐ cluding policy analysis results and M&E data) in policy and program design and in investment planning. Specific  activities and outputs included the following:  • Through discussions with key informants, develop a network map of major decisionmakers in the agriculture  and rural development sectors (for example, ministers, principal secretaries, directors, parliament members,  other cabinet members, and donors), their roles, and their levels of influence  • Assess the demand for and use of policy analysis results, M&E data, and other forms of knowledge by various  players and actors in the policy process. Identify the cycle of major agricultural and rural development–related  events, policy discussions, and planning processes (such as budget preparation), and the key M&E data and  policy analysis used and demanded.  • Analyze  the current  institutional and capacity constraints  in  the policy process  that  impede  the design and  implementation of investment plans, and identify specific opportunities for strengthening the policy process  4. Based on the above three levels of assessment across the three themes, develop a capacity‐strengthening strategy  for the country SAKSS. This step included, but was not limited to, the following:  • Identify specific capacity‐strengthening activities and opportunities for strengthening the individual, organiza‐ tional, and policy process capacity with particular reference to the components and structure or architecture    15    SUMMARY | APRIL 2010 of the country SAKSS—for example, coordination team, network and members (institutions and key individu‐ als), host institution(s), governance structure and members  • Relate the capacity‐strengthening activities  identified to the roles and responsibilities of the  individuals and  organizations involved in strategic policy analysis, M&E, development and implementation of investment plans,  and knowledge management  • Develop an initial capacity‐strengthening work plan for the SAKSS, including inputs, outputs, and expected out‐ comes, as well as the roles and responsibilities of different actors to be involved  1.2.3. Deliverables and Timeline  The main deliverable of this exercise is a comprehensive, peer‐reviewed ReSAKSS working paper on the country‐level ca‐ pacity‐strengthening strategy, based on the capacity needs assessment. The working paper will contain three major ele‐ ments:  1. Capacity needs assessment report: The needs assessment component, delivered within two months of signing  the contract, is based on the first three tasks listed above.  2. Baseline database for capacity M&E: A major output of the capacity needs assessment exercise is the baseline  database that can be tracked and monitored in Malawi. This has been presented as an appendix to the current  report.   3. Capacity‐strengthening  strategy and  full  report: Key elements of  the capacity‐strengthening  strategy have  been detailed at the end of this report.          16    SUMMARY | APRIL 20102. METHODOLOGY  The study adopted qualitative and quantitative approaches and used several tools in gathering data and information. An  extensive literature review provided some background material that assisted in understanding the capacity landscape in  the public sector generally and in the agriculture sector specifically. This was complemented with key‐informant interviews  in target institutions to first understand the composition of the Malawi SAKSS platform as well as its capacity needs to meet  the strategic‐analysis and knowledge management objectives of the country CAADP process. Two generic questionnaires  were also used  in gathering data. One focused on organizational capacity needs, the other on  individual staff members’  capacity needs within selected member organizations of the Malawi SAKSS platform. Unfortunately, feedback was poor,  with only 12 individual members completing questionnaires and only two organizations providing partial information on  organizational capacity. Hence much of the information and data used in the report were collected through key informants  and secondary sources.   The country‐level capacity needs assessment for developing a capacity‐strengthening strategy for the CAADP process in‐ volved understanding what capacity existed, what capacity was needed, what gaps existed, and how to fill the gaps. The  assessment was conducted at  three  levels:  the policy process  level,  the organizational  level, and  the  individual  level.  It  focused on thematic issues related to (1) strategic policy analysis, (2) M&E, and (3) knowledge management and sharing at  the country level to help in the CAADP process or National Agricultural Investment Plan implementation process. The spe‐ cific methods used at these levels are discussed below.  2.1. Policy Process Level  This component involved identifying major actors and players in the policy process through a network mapping exercise.  Initial consultations and key‐informant interviews revealed that findings of recent network mapping exercises were availa‐ ble and could be used for this study. Two case studies of recently developed policies or strategies in the agricultural sector  were used to develop the network map of the policy process, the Farm Input Subsidy Programme and ASWAp. Specifics  from the two case studies informed the analysis of issues related to the demand for and use of policy and strategic analysis  as well as entry points for the use of information from policy analysis, data and briefs from M&E, and knowledge sharing.  The report from a third network mapping exercise conducted by IFPRI, titled Who Talks to Whom in Agricultural Research  Information Networks? The Malawi Case (Droppelmann et al. 2013) was also consulted in the course of revising the report.  This study mainly focused on information flows among agricultural research institutions in the country. Finally, the institu‐ tional and capacity constraints in the policy process as indicated by the interviews were documented using a formal ques‐ tionnaire.  2.2. Organizational Level  Organizations identified through the policy process mapping exercise were interviewed for their capacity needs in accom‐ plishing tasks related to the thematic issues. The interviews used a questionnaire on the characteristics of the organization  and its role in the policy process and in the thematic areas identified above. The questionnaire also collected information  related to how the organizations and their units are administered, coordinated, and led for accomplishing tasks related to  strategic analysis, M&E, and knowledge sharing. Further questions related to how the data, M&E, and knowledge sharing  systems are organized, what challenges they face, and what outputs are produced. Finally, interviews identified capacity    17    SUMMARY | APRIL 2010 needs for improving the systems, as well as the issues, constraints, and challenges that organizations and their units face in  their efforts to improve effective functioning.  2.3. Individual Level  A pretested formal questionnaire was used to collect information on individual capacity in the organizations that contrib‐ utes  to  the  thematic  issues  addressed  above.  The  survey  involved  interviewing  heads  of  the  organizations  (identified  through the two levels above) for information on the individuals involved in the thematic areas, their current qualifications,  the need for additional skills and tools, and the gaps that need to be filled through capacity‐strengthening activities. This  exercise faced major challenges because most people who received the questionnaire did not return it.       18    SUMMARY | APRIL 20103. POLICY ANALYSIS AND M&E IN MALAWI  3.1. Background on SAKSS  SAKSS is a network of people and institutions that provides timely, credible, and evidence‐based knowledge and analysis to  inform agricultural and rural development strategies in Africa. Researchers at IFPRI originated SAKSS based on their many  years of providing key data analysis, policy research, and capacity strengthening to governments and donors in Africa who  were formulating and implementing development strategies. The network involves a number of key international and local  actors  from academic, research, government, and nongovernmental  institutions  located  in a specific country or region,  including  researchers, policy  analysts,  statisticians,  geographic  information  systems  analysts,  government  technocrats,  practitioners, and policymakers. The actors who make up the SAKSS network contribute their expertise and knowledge to  analysis, peer review, and dialogue surrounding the evidence generated for agricultural and rural development strategies  (Johnson and Flaherty 2011).   The SAKSS concept has evolved over time and has since been adopted widely among most developing countries. At the  multicountry level, the SAKSS concept was also adopted as a framework to help establish an Africa‐wide network, known  as ReSAKSS, in support of implementing CAADP, a program of the African Union and NEPAD. Three nodes were set up, one  in each of the African regional economic communities  (the Common Market of East and Southern Africa, the Southern  African Development Community, and the Economic Community of West African States) under the guidance and coopera‐ tion of IFPRI and four other Africa‐based international agricultural research centers. Members from each country include  individuals from analytical units of agriculture ministries, statisticians, university professors, researchers from national ag‐ ricultural research institutions, members of think tanks, and others.   Today, both the country and regional SAKSS networks share the following principles: (1) providing timely and credible anal‐ ysis and data to policymakers to strengthen the evidence during deliberations about future agricultural and rural develop‐ ment  investments and policies, (2) promoting  locally relevant research and analysis based on needs, and (3) working to  strengthen local capacities for analysis and evidence‐based dialogue.   3.1.1. The SAKSS‐Malawi  MoAFS  in Malawi,  in collaboration with development partners and other relevant stakeholders, formulated ASWAp as a  vehicle for achieving agricultural growth and as a means of reaching the poverty reduction targets set forth in the Malawi  Growth and Development Strategy. ASWAp is a strategy, spearheaded by government, that prioritizes activities in the sector  that aim to increase agricultural productivity, enable access to nutritious food for people, and increase the contribution of  agro‐processing to economic growth. ASWAp is a single, comprehensive program and budget framework that has a formal‐ ized process for better donor coordination, harmonization of investment, and alignment of funding arrangements between  the government of Malawi and donors in the agricultural sector. It promotes increased use of local procedures for program  design, implementation, financial management, planning, and M&E.  In order to monitor and evaluate the performance of the agricultural sector in the country, the ASWAp document proposed  the establishment of the TWG on M&E. The working group is mandated to develop tools for monitoring the performance  of the sector and to support the collection and dissemination of sector performance information in order to facilitate evi‐ dence‐based decisionmaking and accountability for the entire agricultural sector.     19    SUMMARY | APRIL 2010 As already pointed out, ASWAp sets a growth target of 6 percent annually for the agricultural sector, which is in line with  the targets of NEPAD and CAADP. Since in Malawi, the responsibility to monitor and evaluate agricultural policies and in‐ vestment falls under the TWG on M&E, it has also been deemed logical to identify this technical working group as the SAKSS  platform for the country. The group is made up of government departments, donor agencies, civil society organizations,  and academic and research institutions (Table 3.1).  TABLE 3.1. COMPOSITION OF TECHNICAL WORKING GROUP ON MONITORING AND EVALUATION  Government departments  Civil society organiza‐ tions  Donor agencies  Academic  and  re‐ search institutions  Director  of  agriculture  planning  ser‐ vices (chair)  Farmers Union of Ma‐ lawi  Donor Committee on Ag‐ riculture  and  Food  Secu‐ rity—two representatives  International Food Pol‐ icy Research Institute  Ministry of Trade and  Industry—direc‐ tor of planning   Civil  Society  Agricul‐ ture Network    Lilongwe  University  of  Agriculture  and  Natu‐ ral Resources (formerly  Bunda College)  Ministry of Finance, Department of De‐ velopment Planning—director of moni‐ toring and evaluation   Malawi Economic  Jus‐ tice Network         Ministry  of  Finance  and Development  Planning   Famine Early Warning  Network        National Statistical Office           Office of the President and Cabinet, De‐ partment of Nutrition, HIV and AIDS—  director of planning            Reserve Bank of Malawi           Source: GoM/MoAFS (2010): ASWAp Management Structure: TWGs Composition    3.1.2. The IFPRI‐SAKSS Project  BOX 3.1. RECOMMENDATION  Key‐informant discussions revealed and the report dissemination meeting confirmed that the Technical Working  Group on Monitoring and Evaluation is not inclusive enough. Therefore its membership should be revisited to ensure  that all key stakeholders are represented. Such a membership revision would also help meet the need for a more har‐ monized monitoring and evaluation system with enhanced information sharing and mutual accountability.  Source: Author 2013    20    SUMMARY | APRIL 2010 In 2008 MoAFS adopted SAKSS  in Malawi to promote capacity‐building and policy research activities aligned to ASWAp.  Specifically, the objective of the project was to help facilitate and promote evidenced‐based dialogue and decisionmaking  during the formulation and implementation of strategies and policies linked to the ASWAp goals for food security and for  agricultural  and  rural  development.  These  objectives  are  achieved  through  strategic  collaborative  research,  capacity  strengthening, and policy dialogue. SAKSS‐Malawi is attached to the Department of Agricultural Planning Services within  MoAFS.  The SAKSS‐Malawi project brings together MoAFS, USAID (the United States Agency for International Development), and  IFPRI as partners to move the development process in Malawi forward through implementing the ASWAp/CAADP agenda.  The development objectives of SAKSS‐Malawi therefore underpin the broader,  long‐term development strategies of the  three partner institutions. The ASWAp document is one of the guiding strategic documents of the government of Malawi,  with MoAFS playing a leading role in its implementation. The Feed the Future (FtF) strategy of the US government, which is  being implemented by the USAID Malawi country office, in turn, guides the US government’s development support world‐ wide. Finally, IFPRI increasingly implements country strategy support programs (CSSPs) in developing countries where IFPRI  sees the need to have a more visible presence and contribute to the development process. ASWAp, FtF, and CSSPs therefore  provide the strategic context of the SAKSS‐Malawi project (Figure 3.1).  FIGURE 3.1. SAKSS‐MALAWI’S STRATEGIC CONTEXT  Source: SAKSS/IFPRI‐Malawi  Agriculture Sector Wide Approach  (ASWAp) of the government of Ma‐ lawi  Strategic Analysis &  Knowledge Support–Malawi (SAKSS‐Malawi)  Feed the Future (FtF)  strategy of the govern‐ ment of the United  States  Country strategy support pro‐ grams (CSSPs) of the Interna‐ tional Food Policy Research In‐ stitute (IFPRI)    21    SUMMARY | APRIL 2010 As  it supports ASWAp  implementation, the SAKSS project also aims to provide technical support to the TWG on M&E  in  analyzing the information and data collected so as to generate evidence‐based information for strategic policy decisionmak‐ ing in the country’s agricultural sector. Specifically, the role of the IFPRI/SAKSS‐Malawi project is to assess trends on various  indicators related to ASWAp as well as CAADP using the data that are being generated through the TWG on M&E. SAKSS‐ Malawi personnel believe they can provide such policy analysis support by regularly participating in TWG meetings so as to  identify issues that require policy analysis. Issues thus identified could be presented to the Donor Committee on Agriculture  and Food Security for financial support and to academic institutions, in particular Lilongwe University of Agriculture and  Natural Resources and Chancellor College, for technical support.  3.1.3. Importance of TWG on M&E in ASWAp  Recognizing the importance of agriculture as an engine for overall national development and growth, the government of  Malawi, in collaboration with development partners and other relevant stakeholders,1 formulated ASWAp as a vehicle for  achieving agricultural growth  (2011–2015) and as a means of  reaching  the poverty  reduction  targets set  in  the Malawi  Growth and Development Strategy (Malawi, MoAFS 2011). ASWAp is a strategy, spearheaded by government, that priori‐ tizes activities in the sector that aim to   increase agricultural productivity,   enable access to nutritious food for all people, and   increase the contribution of agro‐processing to economic growth.  ASWAp has three focal areas, two key support services, and two cross‐cutting issues (Table 3.2).   TABLE 3.2. ASWAP FOCUS AREAS, SUPPORT SERVICES, AND CROSS‐CUTTING ISSUES   Focus areas  Support services  Cross‐cutting issues  Food security and risk management  Technology  generation  and dissemi‐ nation  HIV prevention and AIDS impact  mitigation  Commercial  agriculture,  agro‐processing,  and market development   Institutional  strengthening  and  ca‐ pacity building     Gender  equity  and  empower‐ ment Sustainable agricultural land and water man‐ agement  Source: GoM/MoAFS (2010): ASWAp Document  ASWAp is implemented by the Malawi government through MoAFS in collaboration with key stakeholders in the agricultural  sector. ASWAp is oriented toward results and focused on contributing to a minimum 6 percent annual national economic  growth, sustainable food security, and sustainable natural resource management. ASWAp was derived from the medium‐ term policy goal of Malawi as stipulated in the Growth and Development Strategy. Apart from the Growth and Development  Strategy, ASWAp is also driven by the national policy context as articulated in the National Agricultural Policy Framework.  At the same time, it is consistent with CAADP (Malawi, MoAFS 2011).                                                                     1These include various central government ministries, local district councils, civil society organizations, nongovernmental organizations,  and cooperating partners, as well as academia, the private sector, and the general public.     22    SUMMARY | APRIL 2010 In order to monitor and evaluate the performance of the agricultural sector in the country, the ASWAp document proposed  the establishment of the TWG on M&E. The TWG on M&E is mandated to develop tools for monitoring the performance of  the sector and to support the collection and dissemination of sector performance information in order to facilitate evidence‐ based decisionmaking and accountability for the entire agricultural sector. In addition, the ASWAp document stipulates that  the TWG on M&E should be responsible for three key activities: (1) to support all stakeholders on M&E methodologies for  the successful implementation of ASWAp, (2) to advise decisionmakers on ASWAp M&E issues and sector performance, and  (3) to compile information from different sources on ASWAp implementation.   The ASWAp document sets out guidelines for establishing the proposed TWG on M&E. The guidelines are a first step toward  putting in a place a formalized mechanism for tracking progress of the implementation of ASWAp and for tracking sector  performance through a sectorwide, multistakeholder, inclusive forum.   In order to enhance M&E, the ASWAp document calls for a number of surveys, including the Beneficiary Impact Assessment  Baseline Survey, which MoAFS has implemented under the Agricultural Development Program Support Project to serve as  the reference point. In addition, MoAFS is implementing regular monitoring surveys. ASWAp includes plans to fund addi‐ tional regular agricultural surveys, including the annual Agricultural Production Estimates Sample Survey, to increase the  availability of statistical data necessary for planning, policy formulation, and early warning. These surveys will be  imple‐ mented in close collaboration with the National Statistical Office. Thus, the TWG on M&E will carry out these monitoring  surveys, tracking a total of 18 indicators from ASWAp plus 56 indicators2 from the former Food and Nutrition Security Tech‐ nical Secretariat (now known as ICAM). MoAFS has also adopted some indicators from CAADP, mainly those focusing on  investments and on research and development, which the TWG on M&E is likely to monitor as well.   The M&E Unit of MoAFS, ICAM, and IFPRI‐SAKSS constitute the key pillars of the TWG on M&E coordination for ASWAp. In  other words, they constitute the secretariat for the joint sector review or monitoring of the sector.  3.2. The M&E System of ASWAp  The M&E system of the agriculture sector has evolved significantly over the last decade. The Department of Agricultural  Planning Services and the agricultural extension delivery system under the Department of Agricultural Extension Services  constitute key components of the M&E system in MoAFS. It should be pointed out, however, that all other departments in  the MoAFS structure play a role in the M&E system, mainly as sources of data that are then channeled through the extension  delivery system. In addition, for more than a decade, the Food and Nutrition Security Technical Secretariat (now ICAM) has  supported the Department of Agricultural Planning Services  in monitoring the  implementation of policies, projects, and  programs in the sector. Figure 3.2 shows the agricultural extension delivery system, which is also the feedback and moni‐ toring system for projects and programs implemented at decentralized levels.                                                                         2 Following a recent review, some of these 56 indicators have been condensed and others dropped. The informant who provided this  information did not elaborate the specifics of the final set of indicators.    23    SUMMARY | APRIL 2010 FIGURE 3.2. STRUCTURE OF EXTENSION DELIVERY IN MALAWI  Source: Phiri (2010).  Notes: DAES = Department of Agricultural Extension Services; MoAFS = Ministry of Agriculture and Food Security.  To provide background on  the current M&E system under ASWAp,  the next sections aim at briefly discussing  the M&E  system that has been used to monitor implementation of policies, projects, and programs in the agricultural sector since  2005.  3.2.1. M&E of the Food and Nutrition Security Policies  Malawi’s cabinet approved its food and nutrition security policy in 2005; the policy was later split into two: a food security  policy and a nutrition security policy. The formulation of these policies was an attempt to effectively address the recurrent  and deteriorating food insecurity situation in the country and to reduce malnutrition, which had remained at unacceptably  high levels for many decades. The government is particularly concerned with the negative impact of undernutrition on child  development and maternal health as well as the accompanying impact on long‐term economic growth. The country is also  committed to the achievement of the MDGs, in particular MDG 1, which seeks to eradicate poverty and hunger (Malawi,  MoAFS 2012a). The right of every Malawian to adequate nutrition and good health is enshrined in the country’s constitution  and is also reflected in the opening statement of the food and nutrition security policy. It was thus necessary to establish a  comprehensive M&E system that could be used to track the level of achievement in policy implementation.   Following the 2005 approval of the food and nutrition security policy, the government set up a multisectoral working group  to collect and analyze critical data for a total of 57 indicators, forming a part of the M&E system for the policy. The main  aim of the M&E system was to identify policy strategies that were working and those that were not and, where possible,  come up with recommendations at either policy or program level for consideration by government, donors, and civil society.  The indicators were monitored at three levels:   MoAFS – DAES director  8 agricultural development divisions, managed by a  program manager   28 districts of the country—previously called rural development pro‐ jects but reorganized following the decentralization process. Coordi‐ nated by the district agricultural development officer. More than 200 extension planning areas (EPAs) that subdivide the districts. Each EPA is  managed by an agricultural extension development coordinator.  About 2,880 sections that subdivide the EPAs. Some of these are being split further to create smaller  operation units. Each section is managed by an agricultural extension development officer.    24    SUMMARY | APRIL 2010 1. Level 1: 27 indicators that tracked outputs from policy strategies (output indicators)  2. Level 2: 16 indicators that assessed achievement of policy objectives (impact indicators)  3. Level 3: 14  indicators for monitoring the broader policy environment within which the policy was being  imple‐ mented. This broader policy environment, external to the sectors of food security and nutrition, can influence the  success or failure of the policy (cross‐cutting indicators).  These indicators were further categorized into four broad themes: (1) food production and storage, (2) macroeconomic and  environmental, (3) nutrition and health, and (4) poverty and poverty alleviation.  Composition and Activities of the Food and Nutrition Security Policy Working Group  The purpose of  the  food and nutrition security policy M&E system was to generate  information  that would permit  the  government of Malawi and other stakeholders to systematically monitor resource allocation, soundness of implementation  processes, and impacts of the food and nutrition security interventions. The system also enabled decisionmakers in govern‐ ment, the donor community, the private sector, and nongovernmental organizations (NGOs) to make informed decisions  on  improving both  implementation approaches  to and  impacts of strategies outlined  in  the policies.  In addition,  target  populations—whether individuals or interest groups (such as the Civil Society Agriculture Network, or CISANET)—would be  able to use the information generated for further analysis to independently judge the performance of the policy in relation  to their own expectations and to lobby for relevant policy changes in support of their goals. In order not to reinvent the  wheel, the structure of the M&E system was designed to build, as much as possible, on existing national M&E systems  including, but not limited to, the following:   Malawi Poverty Reduction Strategy M&E system   Common Approach to Budget Support M&E System   Health Sector Wide Approach M&E System   Health management information system   Education management information system   Agricultural Market Information System   Malawi Vulnerability Assessment Committee   Famine Early Warning System   Malawi Integrated Nutrition and Food Security Surveillance System   World Food Programme  International Food Aid  Information System  (INTERFAIS) database and community and  household surveillance system   National Statistical Office database   Reserve Bank of Malawi and Ministry of Finance monetary and fiscal databases  As a result, a large proportion of the membership of the Food and Nutrition Security Policy Working Group was drawn from  these systems. The working group was expected to meet twice per year, in March and September, to discuss progress made    25    SUMMARY | APRIL 2010 in relation to agreed‐upon targets for each indicator as well as carry out analyses of trends and propose some recommen‐ dations for consideration and further analysis by the various subcommittees of the Food and Nutrition Security Joint Task  Force3 before they are submitted to the plenary session of the task force.   During the biannual review meetings, each member of the Food and Nutrition Security Policy Working Group was expected  to present the status of achievement on each  indicator he or she had been assigned to monitor. In addition to showing  trends, reports used color coding to show the level of achievement under each indicator: (1) Green—significant positive  change on the targets set, (2) Amber—improvement on the indicator, (3) Red—little or no progress made on the indicator.  Based on the various presentations, the task force sometimes recommended detailed studies as a way of elucidating levels  of achievement under indicators where inadequate information was available. Furthermore, in view of the apparent rigor‐ ous nature of gathering and analyzing data under each of the 57 indicators, the members were supposed to be kept up‐to‐ date with analytical tools and appropriate data‐gathering processes. Hence, when membership changed (sometimes with  poor handover), training was supposed to be organized for the new members.   Until the adoption of the ASWAp framework, the food and nutrition security policy monitoring system had constituted the  main tool for assessing achievements at the policy and program levels in the sector. Activities of the working group were  coordinated by the Food and Nutrition Security Technical Secretariat4 and co‐chaired by the M&E Unit in MoAFS.   3.2.2. Project‐Level Monitoring  The Food and Nutrition Security Policy Working Group, through the Technical Secretariat, also used to capture information  on the contribution of various projects on food and nutrition in the country, including those implemented by NGOs. The  group monitored a total of 24 indicators (15 output and 9 impact indicators) at the project level to assess how projects were  contributing to food and nutrition security in the country. In order to ensure that the partners implementing projects cap‐ tured the right information using appropriate methodologies, the Technical Secretariat facilitated training sessions of pro‐ ject implementers or relevant staff in the target organizations through cost‐sharing arrangements. The training was aimed  at informing implementers about the food and nutrition security policy M&E framework, including the indicators, how to  capture data, and how to report. Each project using the data collected was therefore expected to indicate which indicators  (among the 24) the project addressed. This meant harmonization of the two  levels of reporting  in terms of the units of  measurement for each indicator. The Technical Secretariat then consolidated information gathered from all the projects  within agreed‐upon time frames and used the consolidated data and  information to establish a measure of the  level to  which these projects were contributing to the respective indicators.   Deducing from the level at which projects are usually implemented, the food and nutrition security policy M&E system thus  ensured that data were captured at all decentralized levels, in this way establishing a clear linkage between the projects  and higher policy–level monitoring. The main challenge, however, was  that  the projects did not always have resources  earmarked for capturing data and reporting on indicators as required by the food and nutrition security policy M&E system.  Among other things, this lack of budgeting affected the comprehensiveness of the data capturing and reporting from these  organizations.                                                                     3 See Appendix 3 for the composition of the task force.  4 Now ICAM.    26    SUMMARY | APRIL 2010 3.2.3. ASWAp and Harmonization of M&E Systems  When the government adopted ASWAp in 2010 as an overarching framework for guiding budgeting, investments, and donor  coordination in the sector, a harmonized M&E system became necessary. This necessity also arose from the recognition  that donor and nongovernment support to the sector is highly fragmented, mainly taking the form of multiple independent  projects. Furthermore, as highlighted in the ASWAp document (Malawi, MoAFS 2011), most of the larger projects funded  by donors are implemented by MoAFS, usually through project implementation units, while some are implemented by the  Ministry of  Irrigation and Water Development (funded by the African Development Bank) and others by the Ministry of  Local Government and Rural Development (funded by the International Fund for Agriculture Development). This fragmen‐ tation  in funding and  implementation results  in multiple M&E systems. Different projects addressing similar  issues have  different systems to measure the results and impacts of their interventions. Even when the same indicators are used, dif‐ ferent methods are used to collect the data, making it difficult to compare the results achieved by the different projects  (Malawi, MoAFS 2012b). Hence, the ASWAp document points out that in moving toward a prioritized annual work plan and  budget that details activities to be implemented by the districts, agriculture development divisions, and departments of all  relevant ministries in the sector, as well as NGOs and civil society organizations, it has been necessary to harmonize plan‐ ning, monitoring, evaluation, and reporting systems and procedures. Both planning and M&E thus need to be linked directly  to the output targets of ASWAp.  What this has meant is developing a common M&E system by consolidating indicators from three systems—CAADP, ASWAp,  and the food and nutrition security policy—into one common framework. Hence, currently all M&E reporting in the sector  has to be done at the level of ASWAp themes. As discussed above, for ASWAp implementation monitoring, the TWG on  M&E was established to harmonize the reporting.   As part of the transformation, the Technical Secretariat has been renamed Improvement of Coordination of ASWAp in the  Ministry of Agriculture and Food Security (ICAM). As the new name suggests, ICAM plays a crucial role in ASWAp implemen‐ tation monitoring. The M&E Unit of MoAFS, ICAM, and IFPRI‐SAKSS constitute the key pillars of TWG on M&E coordination  for ASWAp. In other words, they constitute the secretariat for the joint sector review or monitoring of the sector.  3.2.4. Challenges for Effective ASWAp/CAADP Monitoring  Harmonization of M&E systems in the agricultural sector is a welcome move for more comprehensive capture and analysis  of data generated by various players. If systems are well coordinated, all key players will identify themselves with the levels  of achievement in the sector. All other things being equal, there will be more transparency and accountability at all levels  because stakeholders will, with time,  learn to share successes and failures  in a more mutual way. However,  informants  report that several challenges still impinge on achieving these outcomes:   First, the biannual sector reports are distributed mainly to TWG on M&E members and not widely disseminated to  policymakers. The purpose of an M&E system  is to  influence decisionmaking processes,  including at the policy  level. Thus, efforts should be made to ensure that these reports, including joint sector review reports, are widely  disseminated to all relevant stakeholders in the sector.    Second, in the consolidation of the three M&E systems into one, some of the relevant indicators have been left  out, creating gaps. While cognizant of the fact that harmonization and alignment of M&E systems is still a work in  progress, informants point to indicator gaps as an area that requires ReSAKSS support to correct.     27    SUMMARY | APRIL 2010  Third, most of the indicators consolidated for ASWAp implementation monitoring are at the policy level, largely  leaving out project microlevel monitoring. The success of policies starts at the grassroots level, where much of the  project activity takes place. Hence, decentralized data gathering and analysis systems must be strengthened  in  order to be able to assess how the various projects or microlevel activities contribute to food and nutrition security  as well as poverty reduction in the country.5 Harmonizing the two levels of monitoring into one comprehensive  system will enhance transparency and accountability.    Fourth, the TWG on M&E is coordinated by a secretariat whose future is precarious for a number of reasons. First,  ICAM, which constitutes about two‐thirds of the coordination role of the TWG on M&E, has a life span only up to  December 2013. How will this gap be filled after December? Second, the M&E Unit of MoAFS currently has only  four staff members, two of whom are due to leave for further studies in the next few weeks. What measures has  the ministry put  in place to fill the gap that will be created? Finally,  IFPRI‐SAKSS  is a donor‐funded unit/project  whose future also depends on continued donor  interest  in supporting  its activities. What will happen after this  component goes away? These uncertainties call for urgent action to redesign the coordination of the ASWAp mon‐ itoring system. In other words, the whole coordination aspect of the ASWAp M&E system requires urgent exami‐ nation and answers.   3.3. Information Exchange among Research Organizations  ASWAp has two support pillars, one of which is the technology generation and dissemination component. This component  aims at improving research services with a focus on results‐ and market‐oriented research on priority technology needs in  the sector. The component also deals with the needs of the stakeholders for technical and regulatory services, comple‐ mented by efficient farmer‐led extension and training services. In light of the crucial role that research plays in driving the  ASWAp agenda and cognizant that this strategy is also aligned to the CAADP process, the importance of information sharing  and dissemination cannot be overemphasized. Furthermore, sharing of information generated from research is pivotal to  the overall purpose of this study, to develop a specific capacity‐strengthening strategy to meet the strategic‐analysis and  knowledge management objectives of the country CAADP process.   However, the main question is to what extent information sharing among research organizations in support of ASWAp takes  place in Malawi. Who plays the most central role in information generation and sharing in agricultural research in the coun‐ try? Simply put, who talks to whom in Malawi’s agricultural research information networks? Droppelmann and colleagues  (2013) conducted research to find answers to these questions and thereby assess the readiness of Malawi’s national agri‐ cultural research systems (NARS) to respond to the national agricultural research agenda. Specifically, it analyzed the re‐ sponsiveness of Malawi’s NARS to ASWAp.   This study focused on actors in the Malawian NARS. According to the authors, Malawi’s NARS consists of a wide array of  actors, including a public agricultural research department that has several research stations throughout the country, agri‐ cultural academic institutions, semiautonomous research institutions, private companies, and international agricultural re‐ search institutions. The study sampled several research units and sections within the public agricultural research depart‐ ment because they each have separate core functions and mandates. Other research institutions sampled included CGIAR                                                                    5 Figure 3.2 gives an idea of where capacity building in the decentralized structure will be required.    28    SUMMARY | APRIL 2010 centers operating in Malawi, private seed companies and seed industry associations, farmers’ organizations, and academic  as well as other types of research institutions.  The study employed social network analysis, “a tool to analyze structural patterns of social relationships [that] provides  measures to identify and analyze networks within and between organizations” (Droppelmann et al. 2013, 2). Social network  analysis, the authors stated, “helps to identify information pathways, brokers, and gatekeepers, and it supports processes  of knowledge sharing within and between organizations. In social network analysis, the density of a network refers to the  proportion of  ties  (or  relationships between actors) expressed as a percentage of all possible  ties  in  that network. The  denser the network, the higher the number of potential ties present. The network density gives insight about the speed at  which information diffuses among the network actors” (Droppelmann et al. 2013, 2).  Based on the findings of the social network analysis exercise, with the government’s Department of Agricultural Research  Services (DARS) treated as a single entity, the network has a density (proportion of ties present out of all possible ties) of  44.3 percent. The authors indicate that the central location of DARS in the network is apparent and, as expected, indicates  its importance, power, and influence within the network. The size of its ego network and number of ties, combined with  high levels of “betweenness” and closeness, and high information sending and receiving means, all confirm that the DARS  occupies an influential position within Malawi’s agricultural research information network. The authors note, however, that  its reach efficiency is relatively low compared with that of other actors within the network, indicating that its reach beyond  primary points of contact is relatively low.  When separate DARS sections were treated as individual entities, the picture changed substantially. The results indicated  an increased density of the network, 53.3 percent. It was also readily apparent which DARS sections play a more central  role within the network—namely, Plant Protection and Quarantine Services, and Technical Services, and to a lesser degree  Maize Breeding, Soils and Chemistry, and Horticulture. The authors also noted that this scenario caused the Natural Re‐ sources College to move to a more central position within the network. However, the authors observed that many CGIAR  centers, private‐sector companies, and industry associations remained on the periphery of the network.   Further analyses confirmed the  influential roles of the aforementioned DARS sections  (Plant Protection and Quarantine  Services, Technical Services, Maize Breeding, Soils and Chemistry, and Horticulture). Plant Protection and Quarantine Ser‐ vices and Technical Services displayed very high means for both information sending and receiving, and high levels of close‐ ness and betweenness, indicating influential roles in information exchange. The same measures for the other three sections  were also relatively high and indicated their importance in the network. Private seed companies (SeedCo, Monsanto, and  Pannar Seed) continued to occupy positions of relative influence and power, as indicated by relatively high means of infor‐ mation sending and receiving, closeness, and betweenness. The Natural Resources College occupied a significantly more  important position in this example, particularly as a receiver of information with a high level of closeness. Relatively low  means for information sending and receiving for CGIAR centers, private‐sector companies, and industry associations con‐ firmed their relatively less influential and less powerful positions within the network.  This research concluded that although several units under the public agriculture research department play important roles  in Malawi’s agricultural research information network, there is scope for improvement to increase the efficiency of infor‐ mation exchange and contribute to implementation of the country’s sectorwide strategy for agricultural development. Fur‐ thermore, the authors pointed out evidence that many important players in the system are not fully integrated into the  network, such as the CGIAR centers, private‐sector companies, industry associations, and other academic institutions. Many  of those players are somewhat cut off from the public agricultural research department and rely on their own networks    29    SUMMARY | APRIL 2010 (primary and secondary contacts) to send and receive information. However, the authors observed that although the net‐ works of some of those players are not as broad as those of the public department, in many cases they reach deeper and  further through the network due to reach efficiency or reliance on friend‐of‐a‐friend information flows.  It  is clear from the findings of the study by Droppelmann and colleagues (2013) that a coordinated effort to harmonize  information generation and sharing is a major challenge among the players in the network. As discussed later in this report,  similar observations have been made with respect to M&E systems in the sector. In addition to being disparate in method‐ ology, M&E systems are also poorly coordinated, thereby failing to effectively monitor implementation of ASWAp.   3.4. Types of Organizations That Generate and Use Information  The organizations that generate and use information for evidence‐based decisionmaking in Malawi form a web, interacting  at various levels and through different types of forums. These organizations and agencies could be grouped into five differ‐ ent categories:6  First category: This category comprises the main generators of evidence‐based information that guides policy decisionmak‐ ing in the agricultural sector. These are mostly academic institutions, with the primary ones being Lilongwe University of  Agriculture and Natural Resources, where the Department of Agricultural and Applied Economics (DAAE) and the Centre  for Agricultural Research and Development (CARD) play a pivotal role; the University of Malawi (Chancellor College—De‐ partment of Economics and Centre for Social Research, and The Polytechnic—Department of Commerce); and Mzuzu Uni‐ versity. The international agricultural research centers, such as IFPRI, the International Centre for Tropical Agriculture, and  the International Crops Research Institute for Semi‐arid Tropics (to mention only a few) also play a crucial role in generating  information that is used in policy decisionmaking. Through their core research activities as well as commissioned activities,  these agencies serve as think tanks in policy decisionmaking processes. They could be classified as primary sources of infor‐ mation for evidence‐based policy decisionmaking.  Second category: This category generates  information but also uses  information generated  from the category above  in  lobbying the government for better policies. Farmer and civil society organizations fall into this category. The main ones in  Malawi are the Farmers Union of Malawi, CISANET, and Malawi Economic Justice Network. Other donor‐funded projects,  such as the Famine Early Warning System Network (FEWSNET), also play a crucial role in generating information that is used  in policy decision processes while at the same time using information from other sources in their own decisionmaking pro‐ cesses and policy advocacy activities. In addition to these agencies, private‐sector agencies (such as seed and fertilizer com‐ panies and consulting firms) also generate a lot of information while simultaneously relying on information from the first  category.   Third category: The Donor Committee on Agriculture and Food Security occupies this category. Using information gener‐ ated through various sources, the committee plays a crucial policy advisory role to MoAFS.   Fourth category: This category mainly comprises government departments and agencies, such as the Department of Agri‐ cultural Planning Services; the Department of Nutrition, HIV and AIDS; and the Agricultural Development and Marketing  Corporation, to mention a few. Using different models of partnership, these agencies work with a wide range of the agencies                                                                    6 Table 3.3 gives a detailed list of institutions.    30    SUMMARY | APRIL 2010 mentioned above in generating information but also in translating evidence‐based information as guided by MoAFS head‐ quarters.   Fifth category: The center of the web, represented by MoAFS headquarters, is the core user of the information and policy  guidance from the outer layers.   These descriptions  show  that no  single agency or category  is  complete without  the others. The weblike  structure also  demonstrates the interdependence among the various components, which calls for close collaboration and effective coor‐ dination of the parts to the benefit of each while serving the needs of the whole. The main question, however, is to what  extent the information generated by various agencies is used for policy decisionmaking.  Figure 3.3 illustrates the interaction between institutions that generate and those that demand information in the agricul‐ ture sector  in Malawi. Generating and demanding  information  is an  interactive process, wherein all the various players  highlighted in the diagram may generate and share information with others but will also gain some information from others.  On the one hand, some of the institutions are mainly generating information to the benefit of others; on the other hand,  some of the institutions are mainly demanders of information, though they may also produce some information. For exam‐ ple, as explained in relation to the various categories above, academic and research institutions are mainly generators of  information, though they may also demand some information from others as they carry out their research. These relation‐ ships are summarized  in Table 3.3. Similarly, while most government agencies and departments may mainly be users of  information for policymaking, they also generate a lot of information that is used by others. Thus, in our view, there are no  pure users or pure generators of  information. Most  institutions perform both  tasks. The central position of the MoAFS  Department of Agricultural Planning Services  in Figure 3.3 shows  that  the generation and use of  information  is  for  the  benefit, through this department, of MoAFS, the main coordinating institution in the agriculture industry.         31    SUMMARY | APRIL 2010 FIGURE 3.3. INFORMATION GENERATION AND USE FOR EVIDENCE‐BASED DECISIONMAKING    Source: Author’s own reconstitution  Notes: CSO = civil society organization; DAPS = Department of Agricultural Planning Services; DCAFS = Donor Committee on Agriculture and Food Security;  IARC = international agricultural research center; MoAFS = Ministry of Agriculture and Food Security; NGO = nongovernmental organization.      NGOs/CSOs and private‐sector agencies Government agencies  and departments DCAFS Academic institutions  and IARCs MoAFS/  DAPS    32    SUMMARY | APRIL 2010 TABLE 3.3. INSTITUTIONS THAT GENERATE AND DEMAND INFORMATION ON AGRICULTURE IN MALAWI  Institutions  that  demand  infor‐ mation  Institutions  that  demand  but  also  generate information  Institutions that generate information Ministry  of  Agriculture  and  Food  Security:    Food Security Unit; Depart‐ ment  of  Agricultural  Plan‐ ning Services;   Monitoring and Evaluation  Unit;    Improving Coordination of  ASWAp in Malawi;    Department of Agricultural  Extension Services;    Department  of  Animal  Health  and  Livestock  De‐ velopment;    Department of Agricultural  Research  Services  (Chitedze  Agricultural  Re‐ search Station)  Ministry of Agriculture and Food Se‐ curity:    Department  of  Agricultural  Planning Services;    Monitoring  and  Evaluation  Unit;    Improving  Coordination  of  ASWAp in Malawi  Academic institutions  Ministry of Finance    Lilongwe University  of Agriculture  and  Natural Resources (formerly Bunda Col‐ lege): Chancellor College, Centre for So‐ cial Research, The Polytechnic  Ministry of Economic Planning and  Development  Ministry of Economic Planning and De‐ velopment  Ministry of Trade and Industry  Donor agencies Department  of  Nutrition,  HIV  and  AIDS  in  the Office of  the President  and Cabinet  International Monetary Fund Malawi Institute of Management   World Bank UN and donor agencies  United States Agency for International  Development  Mzuzu University  International Monetary Fund  UK Department  for  International De‐ velopment   Livingstonia University  World Bank  African Development Bank Natural Resources Management College Irish Aid    Mwimba Agricultural College     Catholic University  Norwegian Embassy    International agricultural  research cen‐ ters  Japanese International Cooperation  Agency  Academic institutions International  Center  for  Tropical  Agri‐ culture  Flanders  International  Cooperation  Agency  Lilongwe University of Agriculture and  Natural  Resources  (formerly  Bunda  College):  Chancellor  College,  Centre  for Social Research, The Polytechnic  International Potato Center   33    SUMMARY | APRIL 2010 United  States  Agency  for  Interna‐ tional Development     International  Crops  Research  Institute  for the Semi‐arid Tropics  UK  Department  for  International  Development    International Food Policy Research Insti‐ tute   African Development Bank  Malawi Institute of Management International Institute for Tropical Agri‐ culture  United  Nations  Development  Pro‐ gramme    International Centre for Agro Forestry Food and Agriculture Organization  Mzuzu University World Fish Center  European Union  Livingstonia University Public agencies and parastatals World Food Programme  Natural  Resources Management  Col‐ lege  Ministry of Agriculture and Food Secu‐ rity: Food Security Unit; Department of  Agricultural Planning Services; Monitor‐ ing and Evaluation Unit;  Improving Co‐ ordination of ASWAp in Malawi; Depart‐ ment of Agricultural Extension Services;  Department of Animal Health and Live‐ stock Development; Depar