La evaluación de la cobertura en la cooperación al desarrollo oficial en el Estado español

Jordi Gascón
El Col·lectiu

La distribución de los beneficios del proyecto es uno de los mayores retos que enfrenta la cooperación para el desarrollo, más cuando las herramientas tradicionales de la cooperación no facilitan enfocar la atención sobre este tema. El presente trabajo quiere estudiar cómo la cooperación oficial del Estado español considera el análisis de cobertura. La tesis es que el modelo actual de evaluación parte de la premisa de que la identificación del grupo beneficiario fue correcta, por lo que lo único que evalúa es si el proyecto ha beneficiado a quien pretendía beneficiar, y no si ha beneficiado a quien tenía que beneficiar. La consideración de la cobertura como criterio de evaluación puede solucionar este problema (1).

Una de las mayores dificultades con la que se enfrenta la cooperación para el desarrollo, especialmente en el caso de proyectos productivos, es la distribución de los beneficios entre la población destinataria. En el ámbito de los estudios rurales se sabe que aquellos individuos que poseen más recursos a título privado son los que más provecho consiguen de los comunales (Netting 1992); así por ejemplo, en aquellas poblaciones donde el pasto es un bien de propiedad comunal, el campesino que posee un mayor rebaño obtiene mayor usufructo que el resto. Esto también sucede con los proyectos de desarrollo: muchas veces los individuos con mayores recursos (o formación, o relaciones sociales, que también se pueden considerar como tal) son los que acaban beneficiándose más de ese nuevo.

A ello ayuda la presión que sufren los agentes de desarrollo por alcanzar el mayor grado posible de viabilidad. A menudo este objetivo lleva a priorizar, sobre el diseño de intervenciones dirigidas a la población más marginada o empobrecida de la comunidad, el diseño de proyectos viables, al que suelen tener un acceso más cómodo la población con mayores y/o mejores recursos, ya sea porque éstos son fácilmente “desarrollables” (tierras irrigables, capacidad crediticia, etc.), ya porque su mejor nivel económico les permite afrontar con mayor posibilidad de éxito posibles adversidades una vez terminada la ayuda externa. El resultado, en ocasiones, es el incremento de la diferenciación dentro de la comunidad (Pérez Berenguer & Gascón 1997).

En otros casos, no son razones de diferenciación socioeconómica las que marginan a un sector de los beneficios del proyecto. También lo puede ser por su localización (encontrarse cerca o lejos de una vía de comunicación, por ejemplo) o por su adscripción política o religiosa, entre otras posibilidades. Igualmente puede ocurrir por la naturaleza de la organización contraparte, que establezca implícita o explícitamente sesgos en su afiliación (Roche 2004); este es el caso de organizaciones indígenas a las que no puede pertenecer la población mestiza o blanca de la zona aunque padezcan problemas similares.

Tampoco es que las herramientas tradicionales de la cooperación faciliten enfocar la atención sobre esta cuestión. Así sucede con los modelos de evaluación más generalizados en los diferentes órganos de cooperación oficial del Estado español, que toman como referencia el establecido por el Comité de Ayuda al Desarrollo (CAD) de la Organización para la Cooperación y el Desarrollo Económico (CAD 1996). Como señala Juan Andrés Ligero (2001: 169),

“el modelo actual (de evaluación) no nos dice si el proyecto ha llegado exactamente a las personas que se quiere que llegue. No nos habla de si están existiendo sesgos en la ejecución o si se está beneficiando a los más necesitados. Tampoco sabemos si el proyecto está dejando de lado a los que hablan determinada lengua, o a los que profesan una determinada religión. No sabemos si el proyecto está excluyendo a los que viven en la periferia o a los del centro urbano. No sabemos si el proyecto ha redundado en los analfabetos o en los alfabetos, ni si está siendo capitalizado más por los más ricos, ni a cuánta gente podría cubrir y a cuántos realmente cubre”

El trabajo de Ligero tenía como objetivo incidir en este tema y presentar una opción para su corrección: la incorporación, a los cinco criterios de evaluación establecidos por el CAD (pertinencia, eficacia, eficiencia, impacto y viabilidad), de uno nuevo, el de cobertura, que consiste en evaluar hasta qué punto el proyecto ha llegado a la población necesitada, si existe sesgo en la cobertura y, si es así, analizar el por qué (Alvira 1991). (2)

El presente trabajo quiere continuar en la línea del citado artículo de Ligero, y en concreto estudiar cómo la cooperación oficial que se realiza en el Estado español, especialmente por parte de la Secretaría de Estado para la Cooperación Internacional (SECI), está considerando en sus evaluaciones la heterogeneidad de la población. En los últimos años se observa una mayor preocupación por este factor. No obstante al análisis de la cobertura, que debería permitir evaluar el impacto de las intervenciones en la población beneficiaria según sus elementos diferenciadores, no se le ha concedido la categoría de criterio, ni aún el de factor de desarrollo.

La tesis del presente artículo es que el modelo actual de evaluación, al tomar como centro de atención el proyecto (juzga si se han alcanzado los objetivos propuestos y en qué forma) y no sus consecuencias sobre la población, carece de herramientas que faciliten evaluar si la identificación de la población beneficiaria fue acertada. En esta circunstancia, el análisis de cobertura siempre partirá de la premisa de que la identificación del grupo beneficiario fue correcta; lo único que evaluará será si el proyecto ha beneficiado a quien pretendía beneficiar, y no si ha beneficiado a quien tenía que beneficiar. La consideración de la cobertura como criterio permitiría romper la tendencia “proyectocéntrica”, en palabras de Ligero, del modelo de evaluación actual, al evaluar también el proceso de identificación de la población beneficiaria y valorar la heterogeneidad (diferencias sociales, de acceso a los recursos, educativas, religiosas, etc.) de la comunidad.

Qué evalúa el modelo de evaluación CAD

Las metodologías de evaluación herederas del modelo establecido por el CAD consideran dos factores. Por un lado, la lógica interna de la intervención. Por otro, la relación del proyecto con el contexto en el que se desarrolla, ya que éste es una variable externa que puede influir en su ejecución. Así, criterios como el de eficiencia o el de eficacia hacen énfasis casi exclusivamente en la coherencia del proyecto. Otros, como el de pertinencia, y especialmente los factores de desarrollo, los otros componentes de la evaluación, relacionan el proyecto con el contexto. A todo caso, el modelo de evaluación se centra en la lógica y en el desarrollo del proyecto, y sólo tangencialmente se fija en el grupo necesitado: no contempla componentes específicos que relacionen el proyecto con la población.

Ligero (2001) descubre una de las razones de esta situación: el modelo parte de la premisa de que si el proyecto se diseña y ejecuta para mejorar la calidad de vida de una determinada población, su correcta ejecución tiene que haber logrado el objetivo. Esta premisa, a la que llamaremos “premisa metodológica”, lleva al modelo a una evaluación indirecta, lo que no está exento de riesgos.

Pero esta premisa no es la única. El modelo parte de otra: de forma implícita, juzga a la población beneficiaria como homogénea (“premisa epistemológica”). Sólo en un caso se pregunta si la diferenciación socioeconómica afecta a la distribución de los beneficios del proyecto: en relación a la cuestión de género, considerada como un factor de desarrollo (MAE-SECIPI 1998b). Pero éste no es el único factor de diferenciación socioeconómica. La situación en la jerarquía familiar por el factor generacional, el sistema de herencia (que puede favorecer a unos hijos en detrimento de otros), el ciclo evolutivo del grupo doméstico (3), la cantidad y calidad de recursos en propiedad de la familia, el nivel de educación formal o las redes sociales a las que se pertenece, entre otras, son variables de diferenciación que marcan o pueden marcar un desigual acceso a los beneficios de la intervención. Si no se consideran las posibles diferencias intracomunitarias que pueden atañer al proyecto, difícilmente será posible descubrir si los individuos han tenido las mismas oportunidades.

Ante esta situación, la cobertura aparece como un criterio que sitúa a la población beneficiaria como factor central de la evaluación, lo que rompe con la premisa metodológica, y estudia el acceso diferenciado a los beneficios del proyecto por parte de la población, lo que rompe con la premisa epistemológica.

El análisis de la cobertura en el Estado español

El criterio de cobertura está siendo utilizado desde la década de los ’90 en diferentes ámbitos de la intervención social, como el de las drogodependencias. En algunos casos, incluso planteándose como un tipo de evaluación en sí misma (Ligero 2001).

La cobertura también está siendo valorada en la ayuda humanitaria y de emergencia. Éste sería el caso de la cooperación británica (Hallam 1998), que también la considera en sus programas de rehabilitación-desarrollo (WELL 1998), o la española. (4)

La cooperación oficial española que se realiza a través de la SECI dio un salto cualitativo a principios de la presente década. En el primer tomo de la Metodología de evaluación de la Cooperación Española, publicado en 1998, el termino “cobertura” no aparece, y sólo encontramos una breve advertencia a los evaluadores, a volapié en la sección sobre el enfoque de género en el desarrollo, que hace referencia al diferente efecto que puede tener el proyecto entre la población debido a su heterogeneidad sociocultural. (5)

En la tercera parte del libro, dedicada a proponer soportes documentales para la evaluación, se plantea una “tabla de valoración del desempeño de la intervención” compuesta por una batería de 28 cuestiones cuya respuesta debe dar una imagen de cómo ha ido el proyecto. Sólo tres de estas preguntas hacen referencia a la población beneficiaria. Dos de ellas, en relación al criterio de pertinencia, y bajo las premisas arriba mencionadas: no se plantea si la identificación de los beneficiarios ha sido correcta (premisa metodológica), ni si existe diferenciación entre la población que pudiera influir en un acceso diferenciado al proyecto (premisa epistemológica) (6). La tercera cuestión, en relación al criterio de viabilidad, si parecería romper con la premisa de la homogeneidad de la comunidad, al preguntarse si el proyecto ha beneficiado a los colectivos más vulnerables, pero como tales se suele identificar a grupos sociales específicos con tendencia a ser marginados. (7)

Finalmente, cabe señalar que en las preguntas de la “tabla de valoración” dirigidas a los aspectos metodológicos se observa un mayor énfasis en discernir si la formulación ha seguido las pautas del Enfoque de Marco Lógico y el nivel de coherencia interna que en detectar si se ha realizado un oportuno análisis de participantes.

En cambio en la Metodología de Evaluación de la Cooperación Española II (a partir de ahora Metodología II), publicada tres años después de la primera, la heterogeneidad de la población, más allá del enfoque de género, surge como un factor esencial en la evaluación. Así, se plantean técnicas de evaluación participativa procedentes del Diagnóstico Rural Participativo que tienen como finalidad descubrir las diferencias socioeconómicas entre los hogares de una comunidad, como el “ranking de riqueza o bienestar” (pp. 62-63) y la creación de “mapas sociales” (pp. 71-73), o análisis económico-financieros que consideran también el factor de equidad (enfoque del decisor) (pp. 84-86). En el mismo texto se presenta una nueva “tabla de valoración” en el que aparecen preguntas que cuestionan la correcta identificación de la población beneficiaria y que inciden directamente en la heterogeneidad socioeconómica de la comunidad (pp. 207-213). (8)

Aparece, también, el concepto de cobertura, y lo hace en dos ámbitos. Por un lado, la Metodología II considera el estudio de la cobertura como uno de los “aspectos centrales” que analiza un determinado tipo de evaluación: la de ejecución o de procesos, aquel que se realiza en algún momento durante la intervención. El análisis de cobertura busca, en este tipo de evaluación, averiguar “hasta qué punto (el proyecto) está alcanzando la población o el área a la que pretendía llegar” (MAE-SECIPI 2001: 46). El subrayado es nuestro, y como veremos más adelante, tiene su importancia. La Metodología II habla aquí de manera general refiriéndose a cualquier instrumento de cooperación.

Por otro, considera la cobertura como uno de los factores (o subcriterios) esenciales, y el primero a analizar, dentro del criterio de eficacia en la evaluación de las intervenciones de ayuda humanitaria de emergencia. En este caso, la cobertura “debe acercarse al 100% del total de la población vulnerable de la zona atendida” (MAE-SECIPI 2001: 128), y debe valorar “la existencia de posibles sesgos favorecedores o no favorecedores hacia grupos específicos de la comunidad” (MAE-SECIPI 2001: 129). Cabe señalar que aquí se entiende por “población vulnerable” aquella en situación de necesidad de forma, en principio, coyuntural. (9)

La cuestión de la identificación de la población beneficiaria en la evaluación de proyectos de desarrollo

Que se empiece a considerar la heterogeneidad socioeconómica y cultural, más allá de la diferencia de género, como un factor que puede influir en la distribución de los beneficios del proyecto y, por tanto, como un elemento a tener en cuenta en la evaluación, es un importante avance, que se materializa en el desarrollo del análisis de cobertura. No obstante, el análisis de cobertura propuesto sigue siendo insuficiente.

El principal problema es que sigue sin poner en duda (es decir, sin considerar como un elemento a evaluar) la identificación realizada de la población beneficiaria en el diseño del proyecto.

Hace más de una década, Sabalza (1994) ya detectó el problema de la identificación en el proceso de evaluación:

“El objeto central de la evaluación de un proyecto lo constituye la población beneficiaria, ya que prácticamente todas las acciones de cooperación se orientan a mejorar las condiciones de vida de alguna comunidad. Esto puede parecer algo muy obvio. Sin duda lo es, pero cuando se está inmerso en un proceso de evaluación no es difícil que nuestro centro de atención se desplace hacia el grado de consecución de los objetivos previstos inicialmente. Y en ocasiones, como resultado de una deficiente identificación de objetivos, puede ser que éstos no guarden una relación muy directa con las condiciones de vida de la comunidad beneficiaria (…) Lamentablemente, esta situación se da con más frecuencia de lo que cabría esperar y, por supuesto, de lo que sería deseable” (483-484)

Sabalza ve como los modelos de evaluación “proyectocéntricos” no ponen en duda el proceso de identificación realizado debido a lo que hemos denominado “premisa metodológica”: si el proyecto se diseña y ejecuta para mejorar la calidad de vida de una determinada población, su correcta ejecución tiene que haber logrado el objetivo.

Así la Metodología II, además de considerar el factor de cobertura en las acciones de desarrollo como un elemento a evaluar sólo en un determinado tipo de evaluación, la de ejecución o intermedia, se refiere a ella como el análisis de “hasta qué punto (el proyecto) está alcanzando la población o el área a la que pretendía llegar”; es decir, a la previamente identificada.

Pero por definición, el criterio de eficacia “es una medida del grado o nivel de alcance del objetivo y resultados de una actividad en una población beneficiaria y en un periodo temporal determinado” (MAE-SECIPI 1998a: 46). Es decir, juzga la consecución de los resultados y objetivo específico establecidos en la matriz de planificación del proyecto. La eficacia es uno de los criterios CAD más centrados en la lógica interna del proyecto.

Para descubrir qué pérdida de información supone considerar la cobertura exclusivamente a partir de la formulación del proyecto utilizaremos el diagrama de Cohen y Franco (1993), si bien ligeramente modificado para su mejor aplicación a las características de la cooperación al desarrollo (10). Cohen y Franco, a la hora de plantear la evaluación de cobertura, parten de una primera clasificación de la población que representan en tres circunferencias o conjuntos:

  1. Población con una necesidad insatisfecha. Hace referencia a la realidad.

  2. Población objetivo del proyecto; es decir, identificada por el agente de desarrollo como la población con una necesidad insatisfecha. Hace referencia a la formulación del proyecto.

  3. Población que acaba recibiendo los beneficios del proyecto, tenga o no la necesidad identificada. Hace referencia a la ejecución del proyecto.

 

Diagrama 1

Cohen y Franco entrecruzan estos tres conjuntos en un diagrama de Venn que da por resultado siete subconjuntos, que representan las siete circunstancias en las que se puede encontrar la población en relación a un proyecto.

Diagrama de Venn

Estas siete posibilidades son:

  1. Hay una población con una necesidad insatisfecha, pero no ha sido identificada como tal ni se ha beneficiado del proyecto. Ejemplo de esta situación sería la de intervenciones muy localizadas en el espacio, dirigidas a beneficiar a una determinada comunidad, y que olvidan a otras vecinas que padecen la misma problemática que se pretende enfrentar y con las que configura un espacio administrativo o natural (valle, región, comarca, etc.)

  2. Hay una población identificada inicialmente como beneficiaria, pero que en realidad no padece la problemática que se pretende afrontar y finalmente no se beneficia del proyecto. Sería una situación característica de aquellas intervenciones que identifican a la población beneficiaria por comunidad y no por sector social. Ejemplo: se crea un fondo de crédito de libre acceso a todos los habitantes de la comunidad para la construcción o mejora de sus viviendas, pero un determinado sector, que ya posee una vivienda en condiciones, se autoexcluye del proyecto y no solicita ningún crédito.

  3. Hay una población que se ha beneficiado del proyecto, pero que no estaba necesitada ni había sido identificada como tal. Ejemplo: tras identificar que el sector más pobre de una comunidad no tiene acceso a un servicio sanitario básico, se ejecuta un proyecto consistente en establecer un ambulatorio gratuito para cubrir la asistencia médica primaria de esta población, pero sus servicios son también utilizados por sectores con recursos ya que la asistencia sanitaria privada, a la que ellos pueden acceder económicamente, se encuentra lejos.

  4. Hay una población identificada como beneficiaria y que recibe los beneficios del proyecto, pero que no estaba necesitada. Ejemplo: proyecto de regadío cuyo criterio de identificación es el territorial (un valle, por ejemplo), y beneficia a todos los que poseen tierras en esa zona, tanto a los sectores campesinos más pobres como a los más pudientes. En estos casos los más beneficiados suelen ser los campesinos con más recursos, ya que normalmente son los que poseen mayor cantidad de tierras.

  5. Hay una población con una necesidad insatisfecha no identificada inicialmente como tal, pero que finalmente recibe los beneficios del proyecto. Ejemplo: durante la ejecución se detecta que un sector necesitado no había sido identificado como beneficiario y se reformula el proyecto para incorporarlo.

  6. Hay una población necesitada, que había sido considerada como tal en la formulación del proyecto, pero que finalmente no recibe los beneficios de la intervención. Esta situación es muy característica de aquellos proyectos que solicitan aportaciones a la comunidad beneficiaria sin valorar si ello está al alcance de toda la población. Ejemplo: un proyecto que reclama a la población beneficiaria la participación en el trabajo comunitario sin considerar que un sector de los más necesitados, obligado a practicar la emigración temporal porque no posee los suficientes recursos en propiedad, no puede cumplir el requisito.

  7. Hay una población con una necesidad insatisfecha, que fue identificada como tal y que finalmente recibió los beneficios de la intervención. Esta es la situación deseable en todos los proyectos.

Los modelos de evaluación proyectocéntricos, incluso aquellos que pueden no caer en lo que hemos denominado “premisa epistemológica” al considerar la heterogeneidad de la población, dejan cojo el análisis de cobertura al no valorar el proceso de identificación del grupo beneficiario. Así por ejemplo, los actuales modelos de evaluación de la cooperación española no ofrecen herramientas para detectar los casos 1 y 4 del diagrama de Cohen y Franco. En el ejemplo del caso 2, el evaluador se encontraría con el problema de no entender como una población identificada como beneficiaria en la formulación del proyecto se autoexcluye de sus beneficios.

Obviamente, el evaluador no es un simple encuestador que recopila las respuestas de un sondeo previamente establecido. Que el modelo de evaluación no considere suficientemente la heterogeneidad de la población y, debido a ello, la posible existencia de sesgos de cobertura y diferencias en la accesibilidad del proyecto, no significa que el evaluador no lo contemple, o que incluso la institución que encarga la evaluación no lo solicite a través de los términos de referencia (11). No obstante, ello depende de su sensibilidad hacia este tema o de una fragante mala distribución de los beneficios de la intervención imposible de omitir; como afirma Ligero (2001: 169), “a la evaluación con criterios standard le cuesta ver cuando no le han dicho que mire”.

No podemos olvidar que la Metodología II de la SECI concede un papel importante al análisis de cobertura en la evaluación de la ayuda humanitaria de emergencia (no en la de desarrollo), como subcriterio del criterio de eficacia. Como sucede en los casos anteriores, la evaluación se centra en descubrir “hasta qué punto la distribución de la ayuda ha alcanzado a la totalidad de la población vulnerable identificada” (MAE-SECIPI 2001: 129. El subrayado es nuestro); de nuevo no se pone en duda el proceso de identificación. Pero en este caso, si se considera que en una situación de emergencia generalmente toda la población de una determinada área es susceptible de ser afectada y que el problema suele centrase en una o pocas necesidades supuestamente coyunturales (escasez de alimentos, destrucción de viviendas, etc.), es más fácil que la identificación de la población necesitada no padezca sesgos de cobertura (12). No obstante, esto funciona en los modelos tradicionales de ayuda de emergencia, basados en la distribución de bienes de primera necesidad, y no en planteamientos más novedosos que rompen con las fases “emergencia-rehabilitación-desarrollo” (Pirotte et al. 2002).

Conclusiones

Los modelos de evaluación de la cooperación al desarrollo que siguen el establecido por el CAD parten de dos premisas. Por un lado, el modelo considera que si el proyecto se diseña con la finalidad de solucionar un problema que padece un grupo humano, con evaluar su ejecución tendremos bastante para saber si se ha alcanzado el objetivo propuesto. Esta premisa, que hemos denominado metodológica, lleva al modelo a centrarse en el proyecto y tratar sólo tangencialmente la relación de éste con la población beneficiaria. El principal problema de esta premisa es que no pone en duda, y por tanto no evalúa, el proceso de identificación de la intervención.

Por otro, merced a lo que hemos denominado premisa epistemológica, el modelo no considera la diferenciación dentro del grupo beneficiario (exceptuando el factor de género), diferenciación que puede establecer sesgos en la distribución de los beneficios.

En los últimos años, algunas entidades de cooperación oficial, como la SECI, han iniciado un proceso encaminado a valorar la heterogeneidad de la población e introducir el análisis de cobertura en sus evaluaciones. Esto debería ser suficiente para romper la premisa epistemológica, pero no es así. La razón es que el modelo de evaluación mantiene su tendencia “proyectocéntrica”: al no romper también con la premisa metodológica, el análisis de cobertura no se puede hacer al proceso de identificación. Resultado de ello, el modelo no ofrece herramientas para valorar si ha habido sesgo de cobertura o limitaciones en la accesibilidad del proyecto en la identificación de la población necesitada. El modelo detecta si ha habido población identificada en el proyecto como grupo meta que finalmente no han recibido beneficios o los beneficios previstos, pero no si la población identificada por el proyecto como grupo meta es realmente la necesitada.

La propuesta es dar la categoría de criterio a la cobertura, al mismo nivel que los cinco criterios clásicos del CAD. Esto rompería con las dos premisas citadas, ya que el nuevo criterio introduciría dos factores nuevos en la evaluación: por un lado, introduciría a la población en el análisis de manera directa; por otro, trataría a la población como una sociedad heterogénea y, a partir de ello, analizaría si las consecuencias de la intervención sobre la población ha sido diferenciada.

Bibliografía

AECI: Ley de Cooperación Internacional para el Desarrollo y Disposiciones Reglamentarias, Madrid, 2000.

ALVIRA, F.: Metodología de la evaluación de programas, Centro de Investigaciones Sociológicas, Madrid, 1991.

CAD: Manual de ayuda al desarrollo: Principios del CAD para una ayuda eficaz, Mundi Prensa, Madrid, 1995 (orig. 1992).

CHAYANOV, A.V.: La organización de la unidad económica campesina, Nueva Visión, Buenos Aires, 1974 (orig. 1925).

COHEN, E. & FRANCO, R.: Evaluación de proyectos sociales, Siglo XXI, Madrid, 1993.

CRUZ ROJA ESPAÑOLA: Cooperación internacional: Guía para la evaluación, Madrid, 2001 (orig. 1997)

HALLAM, A.: Evaluating Humanitarian Assitence Programmes in Complex Emergencies, Overseas Development Institut, London, 1998.

LIGERO, J.A.: “Un nuevo criterio de evaluación: la cobertura”, Revista Española de Desarrollo y Cooperación, nº8, 2001, pp. 167-181.

MAE-SECIPI: Metodología de evaluación de la Cooperación Española, Madrid, 1998a.

MAE-SECIPI: Directrices y guía de conceptos del CAD sobre la igualdad entre mujeres y hombres, Madrid, 1998b

MAE-SECIPI: Metodología de Evaluación de la Cooperación Española II, Madrid, 2001.

MAE-SECIPI: Evaluación del Proyecto DRI Cotacachi, 1998-2001 (Informes de evaluación nº11), Madrid, 2003.

NETTING, R.: “Unequal commoners and uncommon equity: property and community among smallholders farmers”, The Common Property Digest, 25, 1992, 6-11.

PEREZ BERENGUER, E. & GASCON, J.: “El impacto del turismo y de los proyectos de desarrollo de ONGs en la estructura social y económica de dos comunidades andinas”, Agricultura y Sociedad, 84, 1997, 225-252.

PIROTTE, C. & HUSSON, B. & GRÜNEWALD, F.: Entre emergencia y desarrollo: Cuestionamiento de las prácticas humanitarias Icaria, Barcelona, 2002.

PRENNUSHI, G., RUBIO, G. & SUBBARAO, K: “Monitoring and Evaluation”, in PRSP Sourcebook, World Bank, Washington. (www.worlbank.org/poverty/strategies/chapters/monitoring/moneval.htm)

ROCHE, C.: Evaluación de impacto para agencias de desarrollo. Aprendiendo a valorar el cambio, Intermón Oxfam, Barcelona, 2004.

SABALZA, M.: “Referencias para la evaluación de proyectos de cooperación al desarrollo realizados por ONG”, Boletín de Estudios Económicos, 49 (153), 1994, 481-496.

WELL (Water and Environmental Healthat London and Loughborough): Guidance manual on water supply and sanitation programmes, Department for International Development, London, 1998.

Notas

1) El presente artículo surgió a partir de un taller-seminario sobre nuevas propuestas en evaluación de proyectos de desarrollo organizado por la Federació Catalana d’ONGD y que el autor impartió en octubre del 2003. Agradezco sus valiosas aportaciones a los participantes de dicho taller, así como a Ernest Cañada sus comentarios al borrador de este artículo.

2) A partir de la definición de Alvira, Ligero considera tres aspectos a analizar en la cobertura: la “tasa de cobertura”, que sería el porcentaje de grupo meta beneficiado por el proyecto; el “sesgo de cobertura”, que se definiría como la indagación de si la población beneficiada, o la no beneficiada, se caracteriza por algún aspecto social, cultural, económico o de otro tipo; y la “accesibilidad”, que sería el análisis del diseño del proyecto para descubrir si comprendía algún tipo de requisito que, directa o indirectamente, marginase a algún sector social.

3) La familia campesina no presenta siempre el mismo carácter, entendiendo como tal la composición (edad de los individuos) y el tamaño (número de individuos). La familia se halla en un continuo ciclo biológico que la lleva a pasar por fases de crecimiento y de mayor capacidad productiva, y otras de contracción y escisión, y de menor capacidad productiva (Chayanov 1974).
 
4) Caso aparte sería el del Banco Mundial, que propone aprovechar en las evaluaciones la existencia de cobertura parcial en los proyectos. Si parte de la población no ha recibido los beneficios del proyecto pero tiene las mismas características que la beneficiada, se puede utilizar como “grupo de control” para realizar una comparación “sin” y “con” que puede responder a la pregunta “¿qué habría pasado si el proyecto no se hubiera realizado?” (Prennushi et al. 2001). La cooperación española también considera la posibilidad del uso de un “grupo de control” en lo que denomina “diseño de evaluación experimental”, pero señala su dificultad por razones éticas: “¿Hasta qué punto es correcto privar a un grupo de personas de los beneficios del desarrollo sólo para poder evaluar el impacto de un proyecto de manera científica?” (MAE-SECIPI 1998a: 76)

5) “Para lograr una percepción correcta acerca de estos temas resulta conveniente evitar la consideración de los beneficiarios como un grupo homogéneo, no solamente en cuanto al género sino también en términos socioculturales. Los efectos de una acción serán en general diferentes para los distintos grupos” (MAE-SECIPI 1998a: 63).

6) Las pregunta son: ¿Se corresponde el proyecto con las prioridades de los beneficiarios?, ¿Han cambiado las prioridades de los beneficiarios desde la definición de la intervención? (MAE-SECIPI 1998a: 254).

7) La Ley 23/1998 de Cooperación Internacional para el Desarrollo considera como “grupos de población más vulnerables” a mujeres, menores de edad, refugiados, desplazados, retornados, indígenas y minorías (AECI 2000: 16).
 
8) Entre otras, se preguntan cuestiones como: ¿Se ha contemplado de qué forma afecta esa situación de necesidad a los diferentes grupos de edad, a las diferentes etnias, castas o grupos religiosos, a diferentes estratos socioeconómicos y a hombres y mujeres?, ¿Se han establecido mecanismos y criterios de selección o de incorporación de población beneficiaria que garanticen la participación equitativa de los grupos seleccionados, asegurando el acceso tanto de hombres como mujeres y, eventualmente, de grupos minoritarios o tradicionalmente marginados o excluidos?, ¿Se han considerado mecanismos de recuperación de costes que impidan el acceso a los servicios de la población más vulnerable?

9) El capítulo sobre la ayuda humanitaria de emergencia toma como referencia la Guía de evaluación de la Cruz Roja Española (Cruz Roja Española 2001).
 
10) El trabajo de Cohen y Franco se centra en el ámbito de la asistencia y de los servicios sociales.

11) Un interesante ejemplo de evaluación que considera esta situación sería la realizada por la Oficina de Planificación y Evaluación (OPE) de la SECIPI al proyecto de desarrollo rural integral DRI Cotacachi, que ejecuta la Agencia Española de Cooperación Internacional (AECI) en el norte de Ecuador desde 1998 (MAE-SECIPI 2003). Los evaluadores detectaron graves deficiencias en la identificación de los grupos beneficiarios como resultado de la “falta de definición del grupo objetivo y (la) omisión de la heterogeneidad del campesinado” (17), lo que, entre otras cosas, facilitó el establecimiento de sesgos y limitaciones en la accesibilidad del proyecto que llevó a que sus principales beneficiarios fueran sectores campesinos medios y no los más pobres.
 
12) La Metodología II, por eso, señala que el análisis de la cobertura “se relaciona con el de no discriminación, ya que se valorará la existencia de posibles sesgos favorecedores o no favorecedores hacia grupos específicos de la comunidad” (MAE-SECIPI 2001: 129)

Abstract in english

The distribution of the benefits of the project is one of the great difficulties that the development cooperation faces, especially because the traditional tools of the cooperation do not facilitate the focus of attention on this subject. The present text studies how the Spanish official cooperation considers the coverage analysis. The thesis is that present evaluation model considers that the identification of the group beneficiary was correct. From this premise, the model evaluates if the project has benefitted who tried to benefit, and not if it has benefitted who should have benefitted. The consideration of the coverage like an evaluation criterion, in the line already advanced by other authors (Ligero 2001), can solve this problem.

Octubre de 2006

Debates sobre desarrollo es un portal web gestionado por el Col·lectiu d'Estudis sobre Cooperació i Desenvolupament