Breu introducció a l'avaluació en la cooperació al desenvolupament

Giorgio Mosangini
El Col·lectiu

Encara que amb major intensitat en la cooperació oficial que en l'àmbit de les organitzacions de la societat civil, l'avaluació en la cooperació al desenvolupament s'incorpora cada vegada més com eina d'aprenentatge i millora de la qualitat. En aquest breu article d'introducció, es repassen les seves principals característiques: els objectius i principis que la caracteritzen, així com els criteris d'avaluació i els factors de desenvolupament que guien la pràctica evaluativa. Evidenciant la complexitat d'avaluar, també s'esmenten les tipologies i enfocaments de l'avaluació, així com l'elaboració de termes de referència i la devolució i socialització de resultats.

Amb tots els seus alts i baixos, l'avaluació en l'àmbit de la cooperació al desenvolupament constitueix una pràctica relativament consolidada entre les grans agències donants internacionals i en la cooperació oficial. La majoria d'elles disposen d'unitats d'avaluació independents que assumeixen les competències per la posada en marxa de les polítiques d'avaluació. No és el cas de la cooperació no governamental, on les associacions i fundacions que han incorporat l'avaluació en les seves dinàmiques de treball segueixen sent l'excepció. Diversos elements expliquen aquesta situació. El cost elevat que suposa l'acció evaluativa és un obstacle evident que afavoreix a les grans agències i limita les possibilitats dels actors de la societat civil. De fet, la realitat del treball de les petites i mitjanes associacions, molt dependents del finançament públic, els dificulta incorporar plenament a l'avaluació en el cicle de vida del projecte ja que és impensable actualment incloure en el finançament d'un projecte la seva avaluació dues o tres anys després de l'execució. Un altre aspecte relacionat té a veure amb la complexitat metodològica, ja que avaluar requereix coneixements teòrics i pràctics específics sobre un gran nombre d'eines. També existeixen resistències de les organitzacions a una labor percebuda de vegades com un control obligatori o fins i tot una amenaça.

A pesar de les dificultats, s'avança a considerar l'avaluació com una eina que permet aprendre de les nostres accions i millorar la qualitat i l'eficàcia del treball realitzat.

Però què entenem per avaluació? Es tracta de valorar i examinar intervencions de cooperació al desenvolupament, d'acord a criteris tècnics i polítics, que permetin considerar si les accions portades a terme han estat positives o no, i si s'han arribat a els impactes desitjats.

L'acció d'avaluar constitueix tant un instrument d'anàlisi com un procés d'aprenentatge i pot respondre a objectius diversos, entre els quals assenyalem alguns dels més rellevants:

  • Aprenentatge per a futures accions.

  • Rendició de comptes.

  • Millora de la qualitat i de l'eficàcia de les accions i de la gestió institucional.

  • Determinar la conveniència de la continuïtat de projectes i programes.

L'avaluació també contempla uns principis, acordats en el Comitè d'Assistència per al Desenvolupament (CAD) de l'OCDE, que han de guiar el procés d’evaluatiu:

  • Existència d'una política i d'un sistema d'avaluació.

  • Independència i imparcialitat de l'avaluació respecte a les estructures de decisió política i de gestió (unitats separades de les unitats operatives).

  • Procés d'avaluació obert i creïble (independència dels avaluadors, transparència, participació, socialització de resultats, etc.).

  • Retroalimentació per a la presa de decisió.

  • Participació de tots els actors involucrats (donants, receptors, etc.).

  • L'avaluació i els seus requeriments han de ser part integral de la planificació des d'un principi.

Per a l'execució de les avaluacions és imprescindible orientar la investigació d'acord a elements que permetin abordar les preguntes i objectius d'interès. Els components bàsics que permeten orientar les avaluacions són els criteris d'avaluació i els factors de desenvolupament.

El CAD ha definit uns criteris d'avaluació que actualment són reconeguts internacionalment en l'àmbit de la cooperació al desenvolupament i han estat consensuats per les principals agències nacionals i multilaterals. Són els següents:

  • Eficàcia: Mesura en que s'han arribat a els objectius d'una intervenció.

  • Eficiència: Mesura en que los recursos s'han convertit econòmicament en resultats.

  • Pertinència: Mesura en que els objectius d'una intervenció són congruents amb el context i les necessitats.

  • Impacte: Efectes de llarg termini, positius i negatius, esperats i no esperats, produïts directa o indirectament per una intervenció per al desenvolupament.

  • Sostenibilitat: Probabilitat que continuïn els beneficis d'una intervenció en el llarg termini.

La valoració de l'impacte és el criteri més important i més difícil d'avaluar en les avaluacions posteriors a l'execució. La valoració de l'impacte permetrà analitzar les conseqüències a llarg termini d'un projecte en la vida de la població i en el context ampli de la intervenció, sense limitar-se a resultats esperats o positius i a la població meta, sinó contemplant el conjunt de conseqüències que poden evidenciar-se (efectes indirectes, negatius, inesperats, sobre població que no participava en el projecte, relatius a altres àmbits d'intervenció, etc.)

Els criteris no han d'entendre's com categories exclusives, sinó com elements que ens guien i orienten en la tasca d'avaluació. Cada avaluació concreta pot adaptar els criteris a les seves necessitats i incorporar altres que es considerin rellevants.

Per a orientar les avaluacions, el model reconegut internacionalment contempla a més dels criteris esmentats set factors de desenvolupament, que centren la seva atenció en el context en el qual s'insereixen les intervencions:

  • Polítiques de suport (anàlisi de la relació de la intervenció amb les polítiques i estratègies d'altres actors).

  • Aspectes institucionals (anàlisis de l'estratègia per a dotar als/las receptors/as del projecte de les capacitats necessàries per a gestionar-lo i sostenir-lo en el futur).

  • Factors financers i econòmics (anàlisis de la viabilitat econòmica del projecte).

  • Factors tecnològics (anàlisis de l'adequació al context d'intervenció de la tecnologia – en el seu sentit més ampli – empleada pel projecte).

  • Factors socioculturals (anàlisis de l'adequació i impactes del projecte en el sistema social receptor).

  • Gènere i desenvolupament (anàlisi de l'impacte del projecte en les relacions de gènere i en la promoció de la igualtat entre els sexes).

  • Factors ambientals i ecològics (anàlisis de l'impacte del projecte en el medi ambient local).

Els factors, igual que els criteris, constitueixen elements claus per a orientar l'avaluació, els seus objectius i les preguntes d'investigació que ens marquem. Normalment, se solen aplicar els criteris als diferents factors (sobretot en el cas de la sostenibilitat), com mètode d'avaluació que permet considerar tots els elements rellevants per a l'avaluació.

Els criteris de qualitat juntament amb els factors de desenvolupament, adoptats de manera consensuada per les principals agències de cooperació, defineixen els principals elements del model d'avaluació vigent en la cooperació al desenvolupament.

Quant als tipus d'avaluacions, existeixen diferents tipologies en funció de les característiques considerades. Assenyalem les més significatives:

D'acord al factor temporal:

    • Avaluació ex ante (anterior a l'execució del projecte)

    • Avaluació intermèdia (durant l'execució del projecte)

    • Avaluació ex post (posterior a l'execució del projecte)

En funció de l'agent que la realitza:

    • Avaluació Interna o autoavaluació (realitzada per l'entitat executora o la població participant en el projecte)

    • Avaluació Externa (realitzada per una persona aliena al projecte i a l'entitat executora, generalment experta en avaluació i en l'àmbit d'intervenció)

    • Avaluació Mixta (realitzada per un equip avaluador mixt, que reuneix persones que han participat en el projecte, representants de la població beneficiària i experts/as externs/as)

Un altra tipologia fonamental quant a avaluació es refereix als enfocaments que la caracteritzen. Mantenint els criteris i factors del CAD, a més d'altres considerats prioritaris, el disseny de l'avaluació haurà d'adaptar-se al objecte de l'avaluació (projecte, instrument, impacte en un àmbit determinat, etc.), d'acord a un enfocament que s'ha prioritzat. Així, en funció de les modalitats d'intervenció i dels objectius de l'avaluació, podríem esmentar entre els principals enfocaments els següents tipus d'avaluació:

  • Avaluacions de projectes, programes, estratègies o polítiques.

  • Avaluacions sectorials.

  • Avaluacions geogràfiques (per país, per regió, etc.).

  • Avaluacions d'instruments.

  • Avaluacions temàtiques.

A l'hora de posar-se a avaluar (un projecte, un instrument, etc.) no existeix un únic model que valgui per a totes els casos. El disseny de l'avaluació, l'elecció de models i eines, de l'equip avaluador, etc., dependran de les característiques específiques de cada avaluació, considerant l'objecte a avaluar, els objectius de l'avaluació, el context, els recursos disponibles, etc. Cada intervenció, cada context, presenta característiques úniques i necessita el disseny d'un model propi d'avaluació que s'adapti a la seva realitat. De la mateixa manera, hem esmentat anteriorment que els criteris i factors proposats pel CAD han d'orientar l'avaluació però no han de ser considerats de manera exclusiva. Qualsevol altre criteri o factor pot afegir-se a l'enfocament de l'avaluació si es considera pertinent per a respondre a les preguntes i objectius que ens hem marcat.

Per a dissenyar la posada en marxa d'una avaluació, l'entitat que la realitza o encarrega haurà d'elaborar uns termes de referència que permetran definir els principals elements que la caracteritzaran, tal com els objectius que es persegueixen, les característiques de qui realitzarà l'avaluació, quines metodologies i eines s’empraran, els recursos i el temps disponibles, les formes de presentar i socialitzar els resultats, etc.

La recollida i l'anàlisi de l’informació seran moments claus de l'avaluació, degut al fet que ens proporcionaran les bases per a emetre judicis, conclusions i recomanacions sobre la intervenció analitzada. Per a realitzar aquestes activitats, es distingeixen dues grans famílies d'eines, els mètodes quantitatius i els qualitatius.

Un altre moment decisiu en el procés d'avaluació és la presentació i socialització dels resultats ja que d'ells depèn l'eficàcia a respondre als objectius d'aprenentatge i de millora de la qualitat. Es tracta que les conclusions i recomanacions de l'avaluació es difonguin el màxim possible, per a reduir els errors i orientar la millora de les decisions i intervencions futures.

Per a concloure, destacar que avaluar és un assumpte tremendament complicat. La persona o l'equip avaluador no només ha de tenir coneixements d'avaluació i tenir facilitats de comunicació, d'anàlisi i de redacció, sinó també disposar de nocions sobre desenvolupament, saber manejar les eines tècniques de la cooperació (gestió del cicle del projecte, etc.), conèixer el context on s'ha executat l'acció a avaluar, així com l'àmbit específic d'intervenció de l'acció. Dificultats que sovint semblen insuperables. La conformació d'equips avaluadors permet moltes vegades complementar els coneixements necessaris. La complexitat ha de tenir-se present, no com element de desmotivació, sinó per a garantir que es reuneixin els coneixements i capacitats necessaris perquè l'avaluació es converteixi en un autèntic procés d'aprenentatge.

Novembre de 2006

Debats sobre desenvolupament és un portal web gestionat pel Col·lectiu d'Estudis sobre Cooperació i Desenvolupament