Breve introducción a la evaluación en la cooperación al desarrollo

Giorgio Mosangini
El Col·lectiu

Aunque con mayor intensidad en la cooperación oficial que en el ámbito de las organizaciones de la sociedad civil, la evaluación en la cooperación al desarrollo se incorpora cada vez más como herramienta de aprendizaje y mejora de la calidad. En este breve artículo de introducción, se repasan sus principales características: los objetivos y principios que la caracterizan, así como los criterios de evaluación y los factores de desarrollo que guían la práctica evaluativa. Evidenciando la complejidad de evaluar, también se mencionan las tipologías y enfoques de la evaluación, así como la elaboración de términos de referencia y la devolución y socialización de resultados.

Con todos sus altibajos, la evaluación en el ámbito de la cooperación al desarrollo constituye una práctica relativamente consolidada entre las grandes agencias donantes internacionales y en la cooperación oficial. La mayoría de ellas disponen de unidades de evaluación independientes que asumen las competencias de implementación de las políticas de evaluación. No es el caso de la cooperación no gubernamental, dónde las asociaciones y fundaciones que han incorporado la evaluación en sus dinámicas de trabajo siguen siendo la excepción. Diversos elementos explican esta situación. El coste elevado que supone la acción evaluativa es un obstáculo evidente que favorece a las grandes agencias y limita las posibilidades de los actores de la sociedad civil. De hecho, la realidad del trabajo de las pequeñas y medianas asociaciones, muy dependientes de la financiación pública, les dificulta incorporar plenamente a la evaluación en el ciclo de vida del proyecto ya que es impensable actualmente incluir en la financiación de un proyecto su evaluación dos o tres años después de la ejecución. Otro aspecto relacionado tiene que ver con la complejidad metodológica, ya que evaluar requiere conocimientos teóricos y prácticos específicos sobre un gran número de herramientas. También existen resistencias de las organizaciones a una labor percibida a veces como un control obligatorio o incluso una amenaza.

A pesar de las dificultades, se avanza en considerar la evaluación como una herramienta que permite aprender de nuestras acciones y mejorar la calidad y la eficacia del trabajo realizado.

Pero ¿qué entendemos por evaluación? Se trata de valorar y examinar intervenciones de cooperación al desarrollo, de acuerdo a criterios técnicos y políticos, que permitan considerar si las acciones llevadas a cabo han sido positivas o no, y si se han alcanzado los impactos deseados.

La acción de evaluar constituye tanto un instrumento de análisis como un proceso de aprendizaje y puede responder a objetivos diversos, entre los cuales señalamos algunos de los más relevantes:

  • Aprendizaje para futuras acciones.

  • Rendición de cuentas.

  • Mejora de la calidad y de la eficacia de las acciones y de la gestión institucional.

  • Determinar la conveniencia de la continuidad de proyectos y programas.

La evaluación también contempla unos principios, acordados en el Comité de Asistencia para el Desarrollo (CAD) de la OCDE, que deben guiar el proceso evaluativo:

  • Existencia de una política y de un sistema de evaluación.

  • Independencia e imparcialidad de la evaluación respecto a las estructuras de decisión política y de gestión (unidades separadas de las unidades operativas).

  • Proceso de evaluación abierto y creíble (independencia de los evaluadores, transparencia, participación, socialización de resultados, etc.).

  • Retroalimentación para la toma de decisión.

  • Participación de todos los actores involucrados (donantes, receptores, etc.).

  • Evaluación y sus requerimientos deben ser parte integral de la planificación desde un principio.

Para la ejecución de las evaluaciones es imprescindible orientar la investigación de acuerdo a elementos que permitan abordar las preguntas y objetivos de interés. Los componentes básicos que permiten orientar las evaluaciones son los criterios de evaluación y los factores de desarrollo.

El CAD ha definido unos criterios de evaluación que actualmente son reconocidos internacionalmente en el ámbito de la cooperación al desarrollo y han sido consensuados por las principales agencias nacionales y multilaterales. Son los siguientes:

  • Eficacia: Medida en que se han alcanzado los objetivos de una intervención.

  • Eficiencia: Medida en que lo recursos se han convertido económicamente en resultados.

  • Pertinencia: Medida en que los objetivos de una intervención son congruentes con el contexto y las necesidades.

  • Impacto: Efectos de largo plazo, positivos y negativos, esperados y no esperados, producidos directa o indirectamente por una intervención para el desarrollo.

  • Sostenibilidad: Probabilidad de que continúen los beneficios de una intervención en el largo plazo.

La valoración del impacto es el criterio más importante y más difícil de evaluar en las evaluaciones posteriores a la ejecución. La valoración del impacto permitirá analizar las consecuencias a largo plazo de un proyecto en la vida de la población y en el contexto amplio de la intervención, sin limitarse a resultados esperados o positivos y a la población meta, sino contemplando el conjunto de consecuencias que pueden evidenciarse (efectos indirectos, negativos, inesperados, sobre población que no participaba en el proyecto, relativos a otros ámbitos de intervención, etc.)

Los criterios no deben entenderse como categorías exclusivas, sino como elementos que nos guían y orientan en la tarea de evaluación. Cada evaluación concreta puede adaptar los criterios a sus necesidades e incorporar otros que se consideren relevantes.

Para orientar las evaluaciones, el modelo reconocido internacionalmente contempla además de los criterios mencionados siete factores de desarrollo, que centran su atención en el contexto en el que se insertan las intervenciones:

  • Políticas de apoyo (análisis de la relación de la intervención con las políticas y estrategias de otros actores).

  • Aspectos institucionales (análisis de la estrategia para dotar a los/as receptores/as del proyecto de las capacidades necesarias para gestionarlos y sostenerlo en el futuro).

  • Factores financieros y económicos (análisis de la viabilidad económica del proyecto).

  • Factores tecnológicos (análisis de la adecuación de la tecnología – en su sentido más amplio – empleada por el proyecto al contexto de intervención).

  • Factores socioculturales (análisis de la adecuación e impactos del proyecto en el sistema social receptor).

  • Género y desarrollo (análisis del impacto del proyecto en las relaciones de género y en la promoción de la igualdad entre los sexos).

  • Factores ambientales y ecológicos (análisis del impacto del proyecto en el medio ambiente local).

Los factores, al igual que los criterios, constituyen elementos claves para orientar la evaluación, sus objetivos y las preguntas de investigación que nos marcamos. Normalmente, se suelen aplicar los criterios a los distintos factores (sobre todo en el caso de la sostenibilidad), como método de evaluación que permite considerar todos los elementos relevantes para la evaluación.

Los criterios de calidad junto con los factores de desarrollo, adoptados de manera consensuada por las principales agencias de cooperación, definen los principales elementos del modelo de evaluación vigente en la cooperación al desarrollo.

En cuanto a los tipos de evaluaciones, existen diferentes tipologías en función de las características consideradas. Señalamos las más significativas:

De acuerdo al factor temporal:

    • Evaluación ex ante (anterior a la ejecución del proyecto)

    • Evaluación intermedia (durante la ejecución del proyecto)

    • Evaluación ex post (posterior a la ejecución del proyecto)

En función del agente que la realiza:

    • Evaluación Interna o autoevaluación (realizada por la entidad ejecutora o la población participante en el proyecto).

    • Evaluación Externa (realizada por una persona ajena al proyecto y a la entidad ejecutora, generalmente experta en evaluación y en el ámbito de intervención)

    • Evaluación Mixta (realizada por un equipo evaluador mixto, que reúne personas que han participado en el proyecto, representantes de la población beneficiaria y expertos/as externos/as)

Otra tipología fundamental en cuanto a evaluación se refiere a los enfoques que la caracterizan. Manteniendo los criterios y factores del CAD, además de otros considerados prioritarios, el diseño de la evaluación deberá adaptarse al objeto de la evaluación (proyecto, instrumento, impacto en un ámbito determinado, etc.), de acuerdo a un enfoque que se ha priorizado. Así, en función de las modalidades de intervención y de los objetivos de la evaluación, podríamos mencionar entre los principales enfoques los siguientes tipos de evaluación:

  • Evaluaciones de proyectos, programas, estrategias o políticas

  • Evaluaciones sectoriales

  • Evaluaciones geográficas (por país, por región, etc.)

  • Evaluaciones de instrumentos

  • Evaluaciones temáticas

A la hora de ponerse a evaluar (un proyecto, un instrumento, etc.) no existe un único modelo que valga para todas los casos. El diseño de la evaluación, la elección de modelos y herramientas, del equipo evaluador, etc., dependerán de las características específicas de cada evaluación, considerando el objeto a evaluar, los objetivos de la evaluación, el contexto, los recursos disponibles, etc. Cada intervención, cada contexto, presenta características únicas y necesita el diseño de un modelo propio de evaluación que se adapte a su realidad. De la misma manera, hemos mencionado anteriormente que los criterios y factores propuestos por el CAD deben orientar la evaluación pero no deben ser considerados de manera exclusiva. Cualquier otro criterio o factor puede añadirse al enfoque de la evaluación si se considera pertinente para responder a las preguntas y objetivos que nos hemos marcado.

Para diseñar la puesta en marcha de una evaluación, la entidad que la realiza o encarga deberá elaborar unos términos de referencia que permitirán definir los principales elementos que la van a caracterizar, tal y como los objetivos que se persiguen, las características de quién realizará la evaluación, qué metodologías y herramientas se van a emplear, los recursos y el tiempo disponibles, las formas de presentar y socializar los resultados, etc.

La recogida y el análisis de la información serán momentos claves de la evaluación, debido a que nos proporcionarán las bases para emitir juicios, conclusiones y recomendaciones acerca de la intervención analizada. Para realizar estas actividades, se distinguen dos grandes familias de herramientas, los métodos cuantitativos y los cualitativos.

Otro momento decisivo en el proceso de evaluación es la presentación y socialización de los resultados ya que de ellos depende la eficacia en responder a los objetivos de aprendizaje y de mejora de la calidad. Se trata de que las conclusiones y recomendaciones de la evaluación se difundan lo máximo posible, para reducir los errores y orientar la mejora de las decisiones e intervenciones futuras.

Para concluir, destacar que evaluar es un asunto tremendamente complicado. La persona o el equipo evaluador no sólo tiene que tener conocimientos de evaluación y tener facilidades de comunicación, de análisis y de redacción, sino también disponer de nociones sobre desarrollo, saber manejar las herramientas técnicas de la cooperación (gestión del ciclo del proyecto, etc.), conocer el contexto dónde se ha ejecutado la acción a evaluar, así como el ámbito específico de intervención de la acción. Dificultades que a menudo parecen insuperables. La conformación de equipos evaluadores permite muchas veces complementar los conocimientos necesarios. La complejidad debe tenerse presente, no como elemento de desmotivación, sino para garantizar que se reúnan los conocimientos y capacidades necesarios para que la evaluación se convierta en un auténtico proceso de aprendizaje.

Noviembre de 2006

Debates sobre desarrollo es un portal web gestionado por el Col·lectiu d'Estudis sobre Cooperació i Desenvolupament