Guía para el monitoreo y la evaluación

de Fondos de Agua

Por Craig Leisher, David Courtemanch, Nathan Karres, Paulo Petry y John Sowles

Implementar
Elaborar una Elaborar un
Seleccionar protocolos de Compartir el
teoría del plan de
indicadores de garantía de la aprendizaje
cambio con los monitoreo y
output y de evaluación
calidad de los interna y
aliados resultados datos externamente

Definir los Elegir una Llegar a un Recopilar datos Recopilar datos

cambios técnica de acuerdo sobre de línea base y de seguimiento
deseados evaluación los resultados de monitoreo de indicadores
debido al fondo deseados con los y analizarlos
de agua aliados
Contenido
Resumen ............................................................................................................................................................... iii
Por qué esta guía................................................................................................................................................ 1
Por qué es importante el monitoreo ......................................................................................................... 1
La triste realidad de las evaluaciones de los fondos de agua ......................................................... 2
Definir los cambios deseados y desarrollar una teoría del cambio ............................................. 2
Elegir una técnica de evaluación................................................................................................................. 3
Seleccionar indicadores .................................................................................................................................. 6
Plan de monitoreo y evaluación .................................................................................................................. 7
Recopilar datos ................................................................................................................................................... 8
Problemas éticos.............................................................................................................................................. 11
Análisis de los datos ....................................................................................................................................... 11
Calidad de los datos ........................................................................................................................................ 12
Compartir y aprender .................................................................................................................................... 12
Cómo enfrentar las dos mayores limitaciones.................................................................................... 13
Conclusión .......................................................................................................................................................... 16
Enlaces útiles (seleccionados) ................................................................................................................... 17
Apéndice 1: Lista de verificación para monitoreo y evaluación de un fondo de agua ...... 18
Apéndice 2: Glosario de los términos clave ......................................................................................... 19
Apéndice 3: Esquematización de un plan de monitoreo y evaluación ..................................... 20
Apéndice 4: Consideraciones estadísticas ............................................................................................ 21

Agradecimientos
Esta guía es resultado del trabajo del Equipo de Acción de Monitoreo de fondos de agua
de The Nature Conservancy, liderado por Nathan Karres. Sin embargo, la semilla fue
plantada por Jonathan Higgins (junto con muchas risas), quien realizó el trabajo inicial
sobre monitoreo de fondos de agua que constituye una parte fundamental de esta guía.
Colin Apse garantizó el financiamiento del Equipo de Acción de Monitoreo y guio el
proceso. Kari Vigerstol fue la gerente general y Daniel Shemie nos desafió con excelentes
preguntas. Anthony Kariuki, Claudio Klemz, Llara Kritzner Jackowski, Carolina Patricia
Polania Silgado, Carlos Andres Rogéliz Prada, Gina Waterfield y Johnny Wilson revisaron
varios borradores y proporcionaron comentarios útiles. Scott Chaplowe, un experto
externo en monitoreo y evaluación, realizó una revisión crítica y ofreció varias
sugerencias útiles.

Existen dos tipos de personas diferentes en el mundo, aquellos que quieren saber
y aquellos que quieren creer.
—Friedrich Nietzsche

ii
Resumen
El éxito de los fondos de agua depende de la implementación, pero raramente se
monitorea la implementación de un fondo de agua o se usa la gestión adaptativa para
mejorar nuestras actividades. Por eso, nuestros éxitos con fondos de agua son menores
de lo que podrían ser.

Otro elemento que falta en la mayoría de los fondos de agua es un proceso de evaluación.
Las evaluaciones son críticas para generar pruebas que demuestren que los fondos de
agua hacen la diferencia para las personas y la naturaleza, y para mejorar el diseño de
nuevos fondos de agua.

Los dos principales motivos declarados para no realizar monitoreo y evaluación son la
capacidad limitada y el financiamiento insuficiente. Ambos problemas son superables.
Las limitaciones de capacidad se pueden abordar desarrollando o comprando la
capacidad necesaria, como se detalla en el texto principal. El financiamiento insuficiente
puede abordarse incluyendo el monitoreo y la evaluación en el presupuesto de un nuevo
fondo de agua o agregándolo al presupuesto de los fondos de agua existentes. Tampoco
tiene que ser caro. Agregar un nivel mínimo de monitoreo a un fondo de agua tiene un
costo estimado aproximado de USD 18 000 al año, además de algunos costos iniciales.
Para ayudar a los equipos de los fondos de agua a comprender qué se debe hacer y cuánto
puede costar, proporcionamos un menú de opciones de monitoreo y evaluación en el
texto principal, con las opciones ordenadas por prioridad.

Un poco de planificación puede significar una gran diferencia, y todos los fondos de agua
pueden beneficiarse de un plan de monitoreo y evaluación. Incluso tener un plan mínimo
es mejor que no tener ningún plan (o descartar el monitoreo y la evaluación
considerándolos como algo imposible o un estorbo). Al desarrollar este plan, comience
con los cambios deseados y una teoría del cambio que defina las hipótesis (“teorías”)
acerca de cómo pueden producirse dichos cambios. La teoría del cambio, por su parte,
informa la selección de indicadores de output y de resultados. Mientras más se involucren
las partes interesadas en la definición de la teoría del cambio y la selección de
indicadores, más probable será que los asuman y los apoyen. Como la mayoría de los
fondos de agua son alianzas, obtener un consenso entre los aliados sobre los indicadores
de resultados es vital, porque lo que se elige medir se convierte en la manera de definir
el éxito.

Los datos de línea base son críticos para evaluar los cambios en el tiempo y proporcionar
un punto de comparación. Sin embargo, la recopilación de esos datos no es tan simple
como parece. Para los indicadores de calidad y cantidad del agua, donde no hay datos
históricos, los estudios de línea base a menudo deben comenzar algunos años antes de
las actividades en el terreno para calibrar las relaciones entre los sitios de actividad del
fondo de agua y los sitios de comparación/control, porque los valores de referencia
iniciales pueden fluctuar estacionalmente o depender de los niveles de flujo de agua.
Considere comenzar la recopilación de datos de línea base en la etapa piloto del fondo de
agua.

La información de línea base socioeconómica también es desafiante, especialmente en lo

que se refiere a los hogares de comparación/control y a asegurarse de que los hogares de
comparación/control se beneficien de la participación. Los expertos en evaluación de

iii
otros sectores desarrollaron un enfoque de diseño de cuña escalonada útil para abordar
estos problemas. Vea el texto principal para saber más sobre el asunto.

Resumiendo, si queremos mantener los fondos de agua existentes e incentivar la creación

de nuevos fondos, necesitamos implementar evaluaciones de monitoreo e impacto. La
implementación del monitoreo maximiza las posibilidades de que un fondo de agua
alcance el éxito porque permite una gestión adaptativa. Y una evaluación de impacto
genera pruebas de los beneficios para las personas y la naturaleza y destaca aquello que
funciona.

Esta guía muestra cómo hacer ambas cosas de forma práctica (y con un poco de humor).

iv
Por qué esta guía
Los fondos de agua son una idea atractiva, pero después de más de una década de
implementación, tenemos pocas pruebas de que realmente beneficien a las personas y la
naturaleza. Para pasar de las creencias a los hechos, necesitamos pruebas, y esto requiere
lo que a veces se denomina “mediciones”, pero que podemos llamar de forma más amplia
(y precisa) “monitoreo y evaluación”.

Esta es una guía para el monitoreo y la evaluación de fondos de agua. 1 Está destinada a
los creadores de nuevos fondos de agua y a los gestores de fondos de agua existentes. Es
una combinación de orientación de monitoreo y evaluación, nuevas ideas y sabios
consejos.

Esta guía es lo que se necesita para saber cómo realizar Cuatro errores mortales del
monitoreo y evaluación de los
el monitoreo y evaluación de un fondo de agua y cómo
fondos de agua
evitar los errores mortales del monitoreo y la 1. Comunicación deficiente
evaluación (ver el cuadro de texto). Es una guía breve entre los aliados
y, por lo tanto, no incluye instrucciones paso a paso, 2. Objetivos vagos y/o diseño
pero ofrece enlaces para encontrarlas. Más que un libro experimental deficiente
de recetas, es una brújula. 3. Fallas para actuar a partir
de los datos recolectados,
Por qué es importante el monitoreo en lugar de simplemente
El monitoreo a menudo es pasado por alto y se le revisarlos
considera un “pariente pobre” de las evaluaciones. Sin 4. Fallas en convertir los datos
embargo, es más importante que las evaluaciones para en información
el éxito de los fondos de agua. El éxito depende de una
buena implementación y su monitoreo es una forma comprobada de mejorar la
implementación del proyecto.

• Las iniciativas de conservación fallan tanto por una implementación deficiente,

como por un diseño inadecuado. La única forma de saber si las actividades se
implementan según lo planeado, o si podrían implementarse de una mejor
manera, es monitorear la implementación, acompañando los inputs, las
actividades y los outputs de forma sistemática. Lo que se puede medir, se puede
administrar.

• Los fondos de agua a menudo usan nuevos enfoques para abordar los problemas
locales y son implementados en sistemas socioecológicos complejos, por lo que
cuando un factor social o ecológico cambia, otros factores también cambian. La
gestión adaptativa responde a la incertidumbre inherente a través del
aprendizaje. La gestión adaptativa se relaciona con “gestionar para aprender” y
“aprender para gestionar”. Solo con la implementación del monitoreo, un fondo de

1
Esta guía se basa en 124 años (!) de experiencia en monitoreo combinada de diversos autores y obtuvo sus mejores ideas de
The Goldilocks Challenge, un análisis de sistemas de monitoreo y evaluación en otras 19 ONG internacionales, y en el
documento que comenzó todo: Primer for Monitoring Water Funds. También se usaron algunos puntos sucintos del libro Applied
Wisdom for Nonprofits.

1
 agua puede administrar de forma adaptativa la ejecución del proyecto. Las malas
noticias pueden convertirse en buenas noticias si se hace algo al respecto.

• La replicación de un proyecto tiene pocas posibilidades de éxito si los inputs

originales no están claros. Conocer los ingredientes necesarios para la replicación
es crítico y por eso necesitamos monitorear la implementación.

En pocas palabras, si los fondos de agua quieren crear resultados durables a gran escala
necesitan monitorear la implementación. Sin esto, nuestros éxitos se reducirán.

La triste realidad de las evaluaciones de los fondos de agua

Dentro de la conservación en general, y en los fondos de agua en particular, las
evaluaciones de proyectos son una excepción, en lugar de la norma. Cuando ocurren,
habitualmente son impulsadas por los donantes y evalúan el desempeño de la
implementación del proyecto. Dichas evaluaciones no carecen de mérito, pero dicen poco
sobre los impactos del proyecto. Por eso necesitamos evaluaciones de impacto.

Las evaluaciones de impacto miden qué cambió realmente debido a un proyecto o

actividad. Son herramientas poderosas para influir en los flujos de financiamiento,
especialmente cuando son cuantitativas. El número de proyectos de desarrollo
internacionales con evaluaciones de impacto cuantitativas creció rápidamente en los
últimos años gracias a organizaciones como 3ie, J-PAL e IPA. Las evaluaciones de impacto
cuantitativas se han convertido en un factor de influencia fundamental para los donantes
internacionales.

Entre las evaluaciones de impacto cuantitativas, las pruebas controladas aleatorizadas

son la técnica dominante, pero por diversos motivos, esas pruebas son desafiantes para
los proyectos de conservación. Si las pruebas controladas aleatorizadas no son la
respuesta, ¿cuál sería el camino? La técnica de evaluación de impacto cuantitativo más
prometedora para los proyectos de conservación se llama Diferencias en diferencias. Esta
técnica es cada vez más usada para medir los resultados del área de conservación. Lo
esencial de la técnica de Diferencias en diferencias es que se identifican las diferencias
preexistentes entre un grupo de proyecto o un área (también denominada “tratamiento”)
y un grupo o área de control (la primera diferencia) y estas diferencias se restan de los
resultados después del tratamiento (la segunda diferencia). Puede ver una visión general
de cómo funciona la técnica Diferencias en diferencias aquí. 2

Las evaluaciones cuantitativas son importantes si queremos aumentar el éxito y el uso de

los fondos de agua en todo el mundo.

Definir los cambios deseados y desarrollar una teoría del cambio

El monitoreo y la evaluación de un fondo de agua comienza con una teoría del cambio.
Una teoría del cambio presenta las hipótesis ("teorías") acerca de los cambios deseados
que un proyecto o grupo pretende lograr.

2
Diferencias en diferencias se usa ampliamente, pero se deben cumplir con ciertos presupuestos para que sea válida. Puede
ver una tabla que muestra cómo se calcula Diferencias en diferencias aquí.

2
Hay una serie de pasos para crear una teoría del cambio, y uno de los primeros pasos es
definir los cambios que un fondo de agua desea lograr. La mayoría de los fondos son
alianzas y es importante que en este punto se obtenga un consenso de los cambios
deseados con las organizaciones aliadas (y para evitar el error mortal número 1 del
monitoreo y evaluación: comunicación deficiente entre las partes). Mientras más
organizaciones aliadas estén involucradas en el desarrollo de la teoría del cambio, más
probablemente apoyarán los resultados.

Otro paso importante en la creación de una teoría del cambio es conocer su cuenca
hidrográfica. Comprender las fuentes de los problemas que deben abordarse es
fundamental. También es necesario comprender cuándo y dónde pueden esperarse
cambios. Para saber más sobre escalas temporales y espaciales y sobre la determinación
de metas realistas para rehabilitar una cuenca hidrográfica, vea el marco de evaluación
aquí. Puede encontrar más información sobre la evaluación de las condiciones y la
estabilidad del curso de agua aquí.

Para la teoría del cambio, comience con un gráfico que ilustre la causa y el efecto
esperados esperado entre las actividades, los resultados intermedios y los resultados a
largo plazo. A continuación, agregue una narración que establezca la causa y efecto
detallados, así como los presupuestos subyacentes. Para el gráfico, trabaje hacia atrás
desde los últimos resultados o impactos; esto se denomina “mapeo hacia atrás” y facilita
la representación de la lógica.

Puede encontrar ejemplos de las teorías del cambio en fondos de agua aquí y aquí.

Elegir una técnica de evaluación

Elegir una técnica de evaluación para un fondo de agua exige una consideración
cuidadosa. El error mortal número 2 del monitoreo y evaluación es tener objetivos vagos
y/o un diseño experimental deficiente. Evite este error haciendo una elección informada.

Primero, decida entre contribución o atribución. “Contribución” significa que un fondo de

agua contribuye con cambios, pero puede no ser la única fuente de los cambios. La
contribución incluye la medición de indicadores antes y después de las actividades del
fondo de agua. Esto solo muestra la contribución del proyecto a los cambios porque otros
factores externos podrían haber contribuido también con los cambios. Por ejemplo,
puede haber proyectos locales trabajando en actividades similares a las del fondo de agua
o las lluvias locales pueden haber sido favorables. (Ver el Apéndice 4: Consideraciones
estadísticas para saber más sobre este tema.)

“Atribución” significa que los cambios pueden atribuirse a las actividades del fondo de
agua. Esto se realiza a través de una estimación de lo que habría ocurrido de cualquier
manera si no hubieran existido las actividades del fondo de agua, lo que también se
denomina “contrafactual” (puede saber más sobre este concepto aquí). Para los fondos
de agua, el contrafactual es habitualmente una área de control/comparación similar al
área donde actúa el fondo de agua, excepto que no tiene actividades del fondo de agua.

Las técnicas de evaluación de “contribución” solo deben elegirse si el fondo de agua está
implementando actividades que ya fueron rigurosamente medidas con sitios de
control/comparación en contextos similares, y no hay necesidad de repetir estas

3
 mediciones. Todos los demás fondos de agua deben usar una técnica de evaluación que
permita la atribución (es decir, con sitios de control/comparación), de modo que se
pueda construir la base de pruebas para los fondos de agua.

Las seis opciones para las técnicas de evaluación se encuentran en la tabla que se
presenta a continuación. 3 Las opciones están ordenadas de más a menos rigurosas.
(Elegir más de una opción es posible.)

Opción Ventajas Limitaciones

Cuencas hidrográficas • Una cuenca con actividades • Depende de la comparación
pareadas del fondo de agua se compara precisa de las cuencas
con una cuenca hidrográfica hidrográficas
de control que es similar, • Se necesitan dos o más años de
pero no tiene actividades. datos de línea base para mostrar
• Esta opción permite la las diferencias preexistentes (si
atribución. las hay) entre las cuencas
• Funciona bien con las pareadas.
cabeceras de las cuencas • Incendios, infestaciones de
hidrográficas. insectos, abstracción de agua,
• Es adecuada para construcciones, construcción de
microcuencas. caminos o cualquier cambio en
uso de la tierra a gran escala
pueden anular la comparación.
Múltiples cuencas • Esto compara tres cuencas: la • Requiere un sitio de referencia
hidrográficas del fondo de agua, la de intacto para la comparación.
control y sitios de referencia • Las tres cuencas hidrográficas
intactos. tienen que responder a los inputs
• Esta opción permite la de manera similar.
atribución. • Se necesitan dos o más años de
• Muestra si la cuenca del datos de línea base para mostrar
fondo de agua está las diferencias preexistentes
divergiendo de la cuenca de entre las cuencas pareadas.
control y convergiendo con la • Incendios, infestaciones de
cuenca de referencia, que está insectos, abstracción de agua,
en la condición deseada. construcciones, construcción de
caminos o cualquier cambio en
uso de la tierra a gran escala
pueden anular la comparación.

3
Las páginas 47-59 del Water Fund Monitoring Primer, que puede ver aquí, tienen más información sobre cada opción.

4
 Opción Ventajas Limitaciones
Múltiples sitios • Mide las diferencias entre los • La atribución depende de las
arriba/abajo parámetros del agua arriba y condiciones y el contexto de los
abajo del lugar de las sitios aguas arriba, y si están muy
actividades del fondo de agua. degradados, ya que en ese caso
• El cambio puede medirse en pueden ocultar los beneficios de
un período de tiempo más las actividades del fondo de agua.
corto que en una escala de • Se necesitan dos o más años de
cuenca hidrográfica. datos de línea base para mostrar
• Funciona bien para un tramo las diferencias preexistentes
corto de un río. entre los puntos de muestreo
• Los resultados pueden usarse aguas arriba y aguas abajo.
para mostrar los beneficios • Otras corrientes o ríos que se
de las actividades que se unen entre los puntos de
están implementando en una muestreo aguas arriba y aguas
cuenca más extensa. abajo pueden afectar la
comparación.
Monitoreo aguas abajo • Esto mide los cambios a lo • No permite atribución.
de múltiples lugares largo del tiempo en diversos • Asume que no hay cambios aguas
lugares aguas abajo del lugar arriba del área de tratamiento
de las actividades del fondo que podrían influir en los
de agua. resultados.
• Proporciona múltiples puntos • Las cuencas hidrográficas
de muestreo para pueden responder de manera
comparación de los cambios diferente a los mismos inputs.
antes y después.
Dos cuencas sin datos • Esto compara una cuenca • La diferencia medida puede
de línea base iniciales hidrográfica con actividades deberse a diferencias inherentes
del fondo de agua con una a las cuencas.
cuenca de control no pareada. • No permite atribución.
• No requiere un período de • No se sabe si las dos cuencas
calibración de la línea base. hidrográficas comenzaron en las
mismas condiciones o responden
diferentemente a las lluvias o las
actividades del fondo de agua.
Monitoreo aguas abajo • Esto mide los cambios a lo • No permite atribución.
en un único lugar largo del tiempo en una única • Muestra tendencias de largo
ubicación aguas abajo. plazo, pero no si las actividades
• Se observa a menudo en un del fondo de agua cambiaron
sitio de monitoreo existente estas tendencias.
con un registro prolongado
de recolección de datos.
• Es útil para el monitoreo de
tendencias de largo plazo en
una cuenca hidrográfica
grande.

5
 Opción Ventajas Limitaciones
• Los datos de la contribución
pueden corroborar otras
fuentes de datos.
Fuente: Primer for Monitoring Water Funds

Para los fondos de agua que trabajan en áreas de cabecera, un diseño de “cuencas
pareadas” funciona bien si se eligen microcuencas (cuencas muy pequeñas en las que las
actividades del fondo de agua pueden cubrir la mayor parte de la cuenca) que sean
representativas de un área mayor del fondo de agua. Un diseño de “cuenca múltiple”
también puede funcionar si uno de los lugares es una cuenca hidrográfica de referencia
intacta, otro es una cuenca de control, y el tercero es la cuenca del fondo de agua. Ambos
diseños permiten atribución de las actividades del fondo de agua con respecto a los
cambios observados porque incluyen sitios de control comparados. Sin embargo,
encontrar fondos de agua y sitios de control comparables no es fácil (ver el cuadro de
texto).

El desafío es encontrar sitios de control comparables

Los sitios de control deben ser similares a los sitios
donde se realiza la actividad del fondo de agua. Para
decidir esto, las cuencas hidrográficas a menudo se
comparan con respecto a precipitaciones, uso
dominante de la tierra, tipo de suelo, pendiente,
aspecto y distancia de la carretera más cercana. Sin
embargo, ningún sitio de control ofrece una
correspondencia perfecta. La prueba más rigurosa
de sitios comparables se conoce como ‘supuesto de
caminos paralelos’. Aquí los sitios de comparación
no tienen que ser idénticos, pero deben tener líneas
Fuente: Mora y Roggio 2012
de tendencia paralelas antes del inicio de las
actividades del fondo de agua (“tratamiento”).

Una vez seleccionada la técnica de evaluación, deben elegirse una o más preguntas de
evaluación claves. Las preguntas de evaluación claves son aquellas preguntas que la
evaluación fue diseñada para responder. Por ejemplo, ¿las actividades de conservación
aguas arriba del fondo de agua aumentan los flujos aguas abajo durante la estación seca,
o restauraron la flora local aguas arriba, reduciendo las cargas de sedimento aguas abajo,
y en ese caso, en qué medida?

Seleccionar indicadores
Elegir indicadores puede ser una tarea abrumadora para las personas sin experiencia en
monitoreo y evaluación, pero no es algo tan difícil. Hay dos tipos principales de
indicadores en un proyecto: output y resultado.

Los indicadores de output rastrean los entregables clave del fondo de agua. Algunos
ejemplos son el número de hectáreas protegidas, el número de beneficiarios locales y el
número de árboles plantados. Los indicadores de resultados rastrean las grandes cosas
que el fondo de agua desea lograr a corto y mediano plazo. Algunos ejemplos de

6
indicadores de resultados de un fondo de agua son la reducción del 10 % en la turbidez
entre la línea base y cinco años después para los mismos niveles de alto flujo, y toneladas
de emisiones de CO2e evitadas entre la línea base y cinco años más tarde. 4 Decida cuáles
serán los indicadores de resultados antes de elegir los indicadores de output.

Elija los indicadores de resultados cuidadosamente porque de ellos depende la manera

como el fondo de agua define el éxito. Obtenga consenso entre las principales partes
interesadas del fondo de agua sobre los indicadores de resultados para asegurarse que
haya una comprensión compartida sobre qué significa el éxito.

Cuatro categorías de indicadores de resultados son importantes para la sustentabilidad

de un fondo de agua: (i) cantidad y calidad del agua; (ii) alcance o calidad de la
biodiversidad/paisaje; (iii) financieros; y (iv) bienestar humano. Sin embargo, es posible
que no todas las categorías e indicadores sean relevantes para todos los fondos de agua.
Para cada categoría relevante, seleccione por lo menos dos indicadores de resultados.
Esto ofrece protección contra problemas en los que un indicador comprometa la
evaluación de un proyecto.

Al seleccionar los indicadores, es mejor usar indicadores existentes que crear nuevos.
Esto ayuda a asegurar que los indicadores sean creíbles, válidos y factibles y permite
realizar comparaciones en el tiempo, entre lugares y medidores. Los indicadores
comunes de la calidad del agua pueden encontrarse aquí, y puede encontrar los
indicadores más usados relacionados con las personas aquí.

Al seleccionar indicadores, pregúntese tres cosas sobre cada indicador:

• ¿Qué acciones deberían adoptarse con base en los resultados del indicador?
• ¿Existen los recursos necesarios para implementar la acción?
• ¿Los gerentes están comprometidos con la adopción de acciones, si fuera
necesario?

La respuesta a estas preguntas ayuda a evitar el error mortal número 3: Fallas para actuar
a partir de los datos recolectados, en lugar de simplemente revisarlos. En resumen, sepa
cómo se usará cada indicador antes de incluirlo en el plan de monitoreo y evaluación del
proyecto.

La excepción a esto son los indicadores socioeconómicos. Muchas veces, la gama

completa de cambios socioeconómicos debido a las actividades de un fondo de agua es
desconocida. Aquí es útil incluir algunos indicadores en una encuesta de hogares para
medir todos los elementos del bienestar humano. Estos indicadores socioeconómicos
habitualmente se miden solo al inicio y al final.

Plan de monitoreo y evaluación

La definición de los cambios deseados, el desarrollo de una teoría del cambio, la elección
de una técnica de evaluación y la selección de indicadores son los bloques de construcción
para esquematizar un plan de monitoreo y evaluación. Este plan documenta las opciones
realizadas y se actualiza periódicamente a medida que el fondo de agua aprende qué
funciona y qué no.
4
Un indicador de output debe ser SMART: específico, medible, alcanzable, realista y acotado en el tiempo.

7
Para el plan de monitoreo y evaluación, incluya solo un pequeño número de indicadores
de input y output; de 10 a 20 es un número razonable de acuerdo con nuestra experiencia.
Un nuevo fondo de agua puede tener más indicadores de output que indicadores de
resultados y un fondo de agua maduro con unas pocas actividades de campo puede tener
más indicadores de resultados que de output. Pero lo importante es limitar el número
solo a los indicadores que realmente usarán los gerentes.

Finalmente, cada indicador en el plan de monitoreo y evaluación debe definirse de forma

precisa para que pueda medirse de manera repetible. Hay dos maneras de hacer esto: con
una tabla como la que se muestra aquí o con tablas de referencia de indicadores como las
que se muestran aquí.

Puede encontrar un esquema de plan de monitoreo y evaluación en el Apéndice 3. Puede

consultar un ejemplo de plan de monitoreo y evaluación de fondo de agua aquí.

Recopilar datos
Como mínimo, todos los fondos de agua deben recolectar datos sobre parámetros clave
del agua. Un fondo de agua que no recolecta datos relacionados con el agua tendrá
problemas para justificar su existencia. Un fondo de agua también necesita recopilar
información sobre la percepción de las personas con respecto a las actividades del fondo
de agua como parte de actividades de monitoreo y evaluación mínimas o se arriesgará a
tener sorpresas desagradables (ver el cuadro de texto).

8
El punto de partida para la
recopilación de datos siempre debe Monitoreo: El talón de Aquiles de los fondos de agua
ser una revisión de las fuentes de Si hay un punto vulnerable para los fondos de agua
es, sin duda, la participación de las personas locales.
datos existentes. Apóyese en eso en
Las personas que se encuentran aguas arriba pueden
la medida de lo posible. Un fondo de elegir participar de las actividades del fondo de agua
agua solo debe recoger sus propios o no: se trata de una decisión voluntaria. Nuestra
datos si las fuentes de datos hipótesis de trabajo es que la mayor parte de las
existentes son inadecuadas. personas toma esa decisión a partir de los beneficios
económicos. Pero los beneficios económicos pueden
La recolección de datos es una tarea cambiar. Si, por ejemplo, el precio de un cultivo
especializada que debe ser aumenta rápidamente y los agricultores pueden
realizada por personas capacitadas. ganar más expandiéndose a las zonas ribereñas de
Es peor tener datos de mala calidad amortiguamiento que el proyecto ayudó a proteger,
que no tener datos, porque pueden seguramente lo harán. Si los productores de leche
quieren aumentar la producción, pueden decidir
conducir a conclusiones
derribar la cerca que protege un área ribereña y usar
equivocadas. Asociarse con una la zona de amortiguamiento para pastoreo. En ambos
organización que se especialice en casos, la calidad del agua del río local probablemente
la recopilación de datos o asociarse se perjudique debido al cambio. La participación en
con académicos puede funcionar actividades de protección de una cuenca hidrográfica
bien. necesita una masa crítica de proveedores para
alcanzar los beneficios. Si el número de personas que
La frecuencia de la recolección de participan se reduce rápidamente, la protección de la
datos depende del indicador y cuenca hidrográfica puede verse comprometida. Por
puede ir de cada 30 minutos, para lo tanto, incluya en el plan de monitoreo y evaluación
las estaciones de monitoreo de por lo menos un indicador de las percepciones de las
personas. Un ejemplo de esto es el porcentaje de
agua, hasta una vez al año, para las
personas que dicen que apoyan las actividades del
percepciones de los habitantes fondo de agua. Use los datos recopilados para
locales sobre el fondo de agua. destacar subcuencas problemáticas donde la
participación es baja o no efectiva. Solamente
Todos los datos de la monitoreando el apoyo local a las actividades del
implementación deben estar fondo podemos saber si el apoyo está creciendo o se
georreferenciados con información está reduciendo. Si el apoyo está decayendo,
de altitud, latitud y longitud. Saber entender por qué se vuelve crítico para el éxito del
dónde se llevan a cabo las fondo de agua. Este monitoreo puede realizarse
actividades del fondo de agua es con un gasto reducido a través de discusiones en
vital para comprender las causas y grupos focales o mediante encuestas telefónicas
efectos a nivel local. por SMS.

Para las evaluaciones, hay dos momentos críticos para la recolección de datos en un
proyecto: el momento inicial (línea base) y el momento final. 5 La línea base es un punto
en el tiempo con referencia al cual pueden medirse y compararse los datos. Los estudios
de línea base son necesarios para la conservación basada en pruebas. Habitualmente, los
estudios de línea base se realizan antes del comienzo del proyecto, pero también pueden
realizarse después del inicio de las actividades del fondo de agua. La única consecuencia
es que tal vez no se puedan capturar las conquistas iniciales del fondo de agua debido a
que se produjeron en un momento anterior. Un estudio de línea base tardío es mejor que

5
Los proyecto también pueden tener evaluaciones formativas o evaluaciones intermedias para guiar la gestión adaptativa de
las actividades del proyecto.

9
no contar con ninguna línea base si la mayor parte de las actividades del proyecto todavía
no se realizaron.

La decisión de incluir o no una Encuestas socioeconómicas en un fondo de agua

encuesta socioeconómica en la línea Las encuestas socioeconómicas pueden ser
base y el momento final es una decisión herramientas poderosas para generar apoyo
clave (ver cuadro de texto). político y de los donantes para el fondo de agua,
pero son caras. Los fondos de agua que quieren
La obtención de los parámetros de mejorar las vidas de los habitantes locales deben
línea base del agua para un fondo de incluir alguna forma de recolección de datos
agua puede demorar varios años. Las socioeconómicos. Si hay menos de 100 hogares
que probablemente se beneficien de las
variaciones interanuales en una cuenca
actividades del fondo de agua, la discusión en
hidrográfica pueden ser sustanciales y grupos focales puede ser suficiente para saber
solo la información de varios años qué percepción tienen los habitantes locales de
permite observar si el fondo de agua y los costos y beneficios de un fondo de agua.
los lugares de control responden de Habitualmente se requieren de tres a seis grupos
manera similar a las precipitaciones focales para abordar el 90 % de los temas locales.
debido al “ruido” inherente a los datos. El costo es de unos pocos días de trabajo y
Comenzar las actividades en partes del aproximadamente USD 5000 para viajes,
área del proyecto que no sean los sitios alojamiento y comida, dos facilitadores,
de control y tratamiento es una manera bocadillos y un informe resumido al final. Si el
de no atrasar el inicio del fondo de agua número de hogares es de entre 100 y 300, deben
realizarse entrevistas en todos los hogares (una
hasta que se realice la “calibración”
encuesta amplia). Si hay más de 300 hogares, se
plurianual de las líneas base. debe realizar un estudio con una muestra
aleatorizada. Los costos de una encuesta de
La recolección de datos de momento hogares aleatorizada se ubican entre USD 60 000
final para una evaluación debe y USD 100 000 (ransporte, comidas,
realizarse aproximadamente cada enumeradores locales, recopilación de datos,
cinco años (dependiendo de los análisis de datos y redacción de informes) y una
indicadores de resultados) o al final del encuesta de ese tipo exige aproximadamente seis
ciclo de financiamiento de un donante, meses desde el diseño hasta el informe final. Para
lo que ocurra primero. una encuesta de hogares aleatorizada, un tamaño
de muestra de aproximadamente 1000 hogares a
menudo es un buen equilibrio entre la capacidad
de detección del cambio y el costo. Para saber más
sobre el tamaño de la muestra y consideraciones
estadísticas, vea el Apéndice 4.

10
 Al pensar en la recolección de datos, es útil definir el papel de cada parte interesada. Una
forma de hacerlo es a través de una definición resumida de los papeles principales de
monitoreo y evaluación, como se muestra aquí.

Problemas éticos
La recolección y el análisis de datos
deben estar totalmente alineados con
los valores principales de The Nature
Conservancy (TNC), especialmente con
respecto a la integridad irreprochable y
el respeto por las personas, las
comunidades y las culturas.

Esto significa familiarizarse con los

problemas éticos relacionados con la
recolección de datos de personas o la
realización de investigaciones con seres
humanos. El mejor lugar para comenzar
a pensar en esto es haciendo un curso en
Fuente: Plan de monitoreo y evaluación de UTNWF
línea gratuito aquí. Observe que
cualquier plan realizado por TNC para
recolectar datos sobre las necesidades de las personas debe ser aprobado por el Director
Científico o su delegado. 6

Al seleccionar los controles para los indicadores relacionados con las personas, hay un
problema ético cuando no se proporcionan los mismos fondo de agua beneficios a las
personas en los controles que a las personas en las áreas del fondo de agua o de
tratamiento. Una manera de resolver este problema es secuenciar la implementación
usando un diseño de cuña escalonada. Esto se realiza implementando una actividad por
etapas, lo que permite seleccionar de forma aleatoria el orden en el que los participantes
reciben la actividad, de modo que al final del proyecto tanto los grupos de tratamiento
como los de control se hayan beneficiado de la actividad.

Análisis de los datos

El punto de falla más frecuente en el monitoreo y evaluación es el análisis de los datos.
Ese es el error mortal número 4: Falla en convertir los datos en información. Los datos
tienden a quedar en las unidades de disco duro porque el análisis es una tarea enorme, y
los datos se apilan hasta que se vuelven abrumadores. El resultado es un nuevo conjunto
de datos muerto.

La clave para evitar esta dificultad es comenzar el análisis de datos de forma temprana
para identificar y corregir los problemas con el diseño de la muestra y la recolección de
muestras. Entonces, automatice la tarea de análisis en la medida de lo posible. La
tecnología es una aliada del analista de datos. Ahora existen nuevas herramientas para
análisis de big data, como Microsoft Power BI, DHIS2 y Google Earth Engine. Siempre que

6
Los detalles y las formas de hacer esto pueden encontrarse en Connect, aquí. Habitualmente la obtención de la aprobación
tarda menos de dos días. Observe que toda recolección de datos de personas debe comenzar con el consentimiento libre, previo
e informado (CLPI) del encuestado. Puede encontrar un ejemplo de una declaración de CLPI aprobada para su lectura a los
potenciales encuestados aquí.

11
sea posible, use software para automatizar el Tiempo transcurrido entre las actividades y
análisis de los datos de modo que pueda los impactos medibles en la calidad del
producir informes resumidos o paneles de agua
datos simplemente introduciendo los datos Mientras más grande sea la cuenca
recolectados, o en el caso de Google Earth hidrográfica, más tardarán las actividades
Engine, ejecutando un algoritmo. Haga un del fondo de agua en lograr un cambio
piloto, ajústelo y a continuación automatice mensurable en la calidad del agua. Diversos
el análisis de los datos para alimentar con él factores influyen en el tiempo necesario
un informe o un panel de datos. Se lo para producir cambios, como el estado
agradecerá a usted mismo más tarde (y inicial de degradación del paisaje, la
hidrología de la cuenca hidrográfica, el
después nos lo agradecerá a nosotros,
crecimiento de la vegetación, la velocidad
esperamos).
de transporte y el camino y las propiedades
contaminantes. El tiempo depende mucho
Calidad de los datos de la especificidad del lugar y los
Contar con datos confiables y válidos es contaminantes y puede ir de algunos meses
crítico para el éxito de largo plazo de un a algunos años.
fondo de agua (para saber qué constituye un
dato confiable y válido, consulte aquí). Los
datos de alta calidad comienzan con Almacenamiento de los datos
Para almacenar los datos de los fondos de
procedimientos de garantía de calidad.
agua en línea, el River Basin Information
Habitualmente se trata de protocolos System (RBIS) es un repositorio de datos
escritos para estandarizar la recolección de adaptado para datos hídricos que TNC
datos, de modo que diferentes personas ayudó a desarrollar. Es gratuito,
recojan los datos de la misma manera. Puede comparativamente fácil de usar y es la
encontrar ejemplos de protocolos de herramienta recomendada para
recolección de datos para fondos de agua almacenamiento de información para todos
aquí y aquí. La evaluación de la calidad de los los fondos de agua.
datos también es importante. Esto incluye
habitualmente verificaciones puntuales seleccionadas de forma aleatoria para verificar
la calidad de los datos y que la recolección se realiza de acuerdo con listas de verificación
de la calidad de la evaluación, como las que puede encontrar aquí y aquí. El
almacenamiento de los datos también es importante (ver el cuadro de texto).

Compartir y aprender
Considerando el número de fondos de agua en todo el mundo, una parte sustancial del
aprendizaje se produce, sin duda, a nivel local. Un sistema de monitoreo y evaluación
puede ayudar a capturar dicho aprendizaje. Compartir este aprendizaje interna y
externamente con los promotores de los fondos de agua ayuda a proyectos futuros y a
etapas futuras del proyecto actual.

Incluya recursos para documentar y compartir las lecciones aprendidas en el

presupuesto de monitoreo y evaluación. Sin embargo, muchos fondos de agua no tienen
presupuesto para monitoreo y evaluación. Abordaremos este problema y otras
limitaciones comunes a continuación.

12
Cómo enfrentar las dos mayores limitaciones
Dos razones citadas frecuentemente por los fondos de agua para explicar la falta de
sistemas de monitoreo y evaluación son la capacidad insuficiente del personal y la falta
de fondos. 7 Aquí le ofrecemos nuestro consejo para ambas.

Hay dos maneras principales de abordar los problemas de capacidad del personal:
desarrollarla o comprarla.

Desarrollarla significa contratar personal, como un especialista en monitoreo y

evaluación. El especialista en monitoreo y evaluación supervisa la recolección de datos,
realiza el análisis de los datos y redacta informes para los gerentes y los donantes del
fondo de agua. Es la persona que convierte los datos en información.

Comprarla significa contratar expertos externos para que realicen el monitoreo y

evaluación del fondo de agua. Esto habitualmente se divide entre un equipo que realiza
el monitoreo y un equipo que se ocupa de la evaluación (ambas son capacidades
especializadas).

Enfrentar la falta de fondos es más desafiante. El mejor abordaje es incluir los costos de
monitoreo y evaluación en el presupuesto el fondo de agua durante la etapa de diseño.
¿Pero cuánto es suficiente? La respuesta breve es que aproximadamente un 10 % del
costo total del proyecto debe destinarse al monitoreo y la evaluación. La respuesta más
larga y más precisa puede encontrarse aquí.

Todos los fondos de agua necesitan monitorear, por lo menos, un parámetro clave
relacionado con la cantidad o la calidad de agua (para saber si están teniendo algún
impacto) y la percepción de los habitantes locales sobre las actividades del fondo (para
asegurarse que continúen apoyando las actividades del fondo de agua). Esto es lo mínimo
absoluto que un fondo de agua debe hacer. Lo mínimo práctico, sin embargo, debe
determinarse de acuerdo con el número de resultados que el fondo de agua está tratando
de lograr.

Una manera de asignar los fondos escasos es mediante el establecimiento de una

jerarquía de las necesidades de monitoreo y evaluación. A continuación se presenta una
lista de actividades de monitoreo y evaluación en orden de importancia aproximado para
un fondo de agua típico que está en la fase inicial Si los recursos son escasos, asigne los
fondos de monitoreo y evaluación comenzando por la primera actividad de la lista y siga
con las próximas en la medida en que los recursos lo permitan. (Nota: las estimaciones
de costos suministradas son indicativas y variarán de acuerdo con cada contexto.)

1. Monitoreo de la implementación. El monitoreo de la implementación es la

principal prioridad para financiar porque si las actividades de implementación del
fondo de agua no se realizan de manera correcta, el fondo tiene probabilidades de
fracasar. Los costos de monitoreo de la implementación van de USD 18 000 a USD
70 000 al año. En el extremo inferior, si consideramos personal de un fondo de

7
Otro de los motivos principales es la falta de incentivos. Incluso cuando las personas tienen capacidad y fondos suficientes, a
menudo son reticentes a desarrollar e implementar monitoreo y evaluación porque no aprecian su valor agregado potencial y,
en lugar de ello, lo perciben como una rendición de cuentas y un obstáculo.

13
 agua que trabaja con un 25 % de un equivalente a tiempo completo con un salario
medio grado 7, en un país de ingreso medio-bajo como Kenia, entonces el costo es
de aproximadamente USD 15 000 anuales. Si consideramos que se recogen datos
para cinco outputs (entregables) relativamente fáciles de monitorear, como el
número de medidores en área ribereñas valladas, el número de árboles plantados
o el número de hectáreas con plantas invasoras retiradas, entonces las
herramientas de recolección de datos, el transporte y los insumos pueden costar
aproximadamente USD 2000 anuales. El agregado del monitoreo anual de la
percepción de los residentes locales a través de discusiones en grupos focales
adicionaría cerca de USD 1000 anuales. Así, el costo mínimo para la
implementación del monitoreo es de USD 18 000 al año. Para proyectos que
necesitan más que un monitoreo de la implementación básico, considere la
contratación de un especialista en monitoreo y evaluación y el uso de software de
monitoreo y evaluación como DHIS2 para el proyecto, recogiendo datos de
implementación a través de teléfonos celulares (parte de DHIS2) y usando SMS
mediante teléfonos celulares para medir las percepciones de los residentes locales
con respecto a las actividades del fondo de agua. Esta es una forma más sólida de
monitorear la implementación, y para el fondo de agua de Nairobi, los costos de
hacer esto fueron de USD 50 000 en costos de una única vez y USD 70 000 en
costos anuales (principalmente para el salario y los beneficios del especialista en
monitoreo y evaluación). Estos costos fueron cubiertos por el 10% reservado para
monitoreo y evaluación en el presupuesto del proyecto.

2. Definición de las líneas base de la cantidad y/o la calidad del agua. Esta es la
segunda prioridad porque el establecimiento de una línea base para el
comportamiento hídrico de una cuenca hidrográfica puede llevar varios años
debido al “ruido” inherente a los datos. Estas líneas base deben comenzar, de
forma ideal, varios años antes del inicio de las actividades del fondo de agua en un
lugar. Considere comenzar con las líneas base como parte de la fase piloto o la fase
de diseño de un fondo de agua. Los costos de estas líneas base están cubiertos en
algunos tipos específicos de monitoreo que se mencionan a continuación.

3. Monitoreo del clima. Mide las características físicas de la cuenca hidrográfica,

como las precipitaciones, la temperatura, la humedad y el viento. Como mínimo,
un fondo de agua debe medir las precipitaciones diarias en por lo menos dos
lugares dentro de las cuencas hidrográficas en las que actúa debido a las
relaciones entre las precipitaciones locales y la calidad y la cantidad de agua. La
solución más simple es instalar pluviómetros (USD 20 a USD 50) que permiten
una lectura y un registro diarios. Las soluciones más sofisticadas incluyen
pluviógrafos de cubeta basculante automáticos con colector de datos, que cuestan
entre USD 350 y USD 800, o estaciones meteorológicas totalmente integradas, que
cuestan de USD 500 a USD 2000.

4. Monitoreo del nivel del agua. Esto mide el nivel del agua, que entonces se usa para
calcular el caudal a partir de las curvas desarrolladas para el río o flujo específico,

14
 y puede usarse para medir cambios en los flujos de agua debido a las actividades
del fondo de agua. Los medidores del nivel del agua de escala limnimétrica y los
lectores de medidores locales son las opciones menos costosas para monitorear el
nivel del agua y pueden ayudar a los habitantes locales a interesarse y participar
del monitoreo del fondo de agua. La compra e instalación de cada escala
limnimétrica puede costar algunos cientos de dólares. El sistema más confiable es
instalar estaciones de monitoreo del agua automáticas con registradores de nivel
del agua como las que se muestran aquí, aquí y aquí. En el fondo de agua de
Nairobi, hay 26 estaciones de monitoreo del nivel del agua y una persona recoge
los datos y realiza el mantenimiento del registrador de datos cada cierta cantidad
de meses. El costo total de esto fue de USD 26 000 en costos de una única vez y
USD 650 en costos anuales. Sin embargo, dichos costos varían según el sistema de
monitoreo específico y los factores económicos locales. En Río de Janeiro, el
monitoreo de rutina incluye el clima, caudales y la turbidez. Los costos anuales
varían de US $ 10,000 a 15,000 para contratos, mantenimiento de equipos, análisis
de datos y recolección de muestras.

5. Monitoreo de sólidos en suspensión. La reducción de los sólidos en suspensión es

a menudo una prioridad de los fondos de agua porque esto reduce los costos del
tratamiento del agua y refleja la reducción de la pérdida de suelo y la alteración de
la cobertura del suelo (hábitat). El monitoreo de los sólidos en suspensión debe
realizarse junto con la recolección de datos sobre precipitaciones locales y flujo,
debido a la relación entre la intensidad de la lluvia y el escurrimiento y los sólidos
en suspensión. El monitoreo puede ser tan simple como medir la turbidez si se
puede establecer una relación entre los sólidos en suspensión y la turbidez. Un
medidor de turbidez portátil, que cuesta aproximadamente USD 1300, la descarga
sincrónica de información pluviométrica del gobierno local y alguien para que
haga la recolección de datos en el campo de forma periódica es lo mínimo
necesario para el monitoreo de los sólidos en suspensión. Un sistema de
monitoreo más robusto implica recoger muestras de los cursos de agua locales y
realizar una medición de los sólidos en suspensión totales de las muestras en un
laboratorio. En el fondo de agua de Nairobi, el costo de instalar dos estaciones de
monitoreo automático del nivel del agua y la turbidez y un empleado a tiempo
parcial para hacer el mantenimiento de rutina fue de aproximadamente
USD 17 000 en costos de una única vez y USD 650 anuales.

6. Imágenes de sensores remotos. Esta es una herramienta con buen costo-beneficio

para medir los cambios en el uso de la tierra y la cobertura de la tierra. Se pueden
usar imágenes satelitales para medir los cambios en la cobertura forestal o vegetal
de amplias áreas. Generalmente, el costo es de varios días de expertos en GIS para
descargar las imágenes y analizarlas con respecto a la cuenca hidrográfica. Para
áreas más pequeñas, como una microcuenca, tomas aéreas desde un dron o una
aeronave ligera pueden proporcionar las imágenes de alta resolución necesarias
para rastrear pequeños cambios en el terreno. Los costos pueden ir de unos pocos

15
 miles de dólares a mucho más, dependiendo del área cubierta y la resolución
requerida.

7. Evaluación de bioindicador. Como los insectos acuáticos están constantemente

expuestos a los agentes de estrés de la calidad y la cantidad de agua, su presencia,
ausencia y abundancia relativa, los convierte en buenos indicadores de las
condiciones del agua. Los insectos más grandes que pueden observarse
directamente (llamados macroinvertebrados) son dispositivos de monitoreo de la
contaminación prácticos, económicos y efectivos. También puede usarse
investigaciones de animales en el área del fondo de agua para identificar cambios
a lo largo del tiempo. Los macroinvertebrados proporcionan indicadores de corto
plazo de los cambios ambientales, mientras la distribución de peces ofrece
indicadores de largo plazo. El fondo de agua de Río de Janeiro pagó USD 8000 por
una investigación sobre peces en 14 lugares, que se repetirá cada cinco años, y
USD 15 000 por una investigación sobre pájaros en 36 lugares, que se repetirá
cada tres años. El fondo de agua Upper Tana-Nairobi pagó USD 24 000 por
investigaciones con invertebrados y pájaros en 11 lugares, que se repetirá
después de cuatro años.

8. Encuestas socioeconómicas. Estas son las encuestas socioeconómicas para medir

los cambios en las vidas de las personas debido a los fondos de agua usando
grupos de tratamiento y control. Este tipo de encuestas cuantifica los beneficios
de las actividades del fondo de agua para los habitantes locales. La encuesta
aleatoria de 1000 hogares del fondo de agua de Nairobi costó USD 71 656,
incluyendo el análisis y la redacción del informe. Las encuestas socioeconómicas
pueden ser herramientas poderosas para generar apoyo político y de los donantes
para el fondo de agua, pero son caras.

Conclusión
Los fondos de agua son una idea atractiva. Es por eso que ya existen más de 35 en la
actualidad. Sin embargo, hay pocas pruebas de los beneficios para las personas y la
naturaleza hasta el momento. Eso no es porque no existan beneficios. El problema es que
no estamos midiendo esos beneficios y no estamos maximizándolos aprendiendo qué
funciona y qué no. Estamos vendiendo los fondos de agua a partir de la solidez de la idea
y no con pruebas de que la idea funciona. Con el tiempo, esto se volverá cada vez más
tenue y podríamos exponer la organización a riesgos en cuanto a su reputación.

Para lograr un crecimiento sustentable de los fondos de agua, necesitamos pruebas del
impacto. Para eso, primero necesitamos un fuerte enfoque en la buena implementación
y, a continuación, un enfoque igualmente fuerte en las evaluaciones de impacto. En
resumen, necesitamos recapitalizar la idea del fondo de agua agregando pruebas y para
eso necesitamos el monitoreo y la evaluación de los fondos de agua.

16
Enlaces útiles (seleccionados)
Calidad del agua
Mediciones de la calidad del agua de interés para los fondos de agua
Monitoreo y evaluación de la calidad del agua
Manual de campo nacional para la recolección de datos sobre la calidad del agua
Monitoreo de la calidad del agua
Monitoreo y evaluación de fuentes difusas para proyectos de cuencas
hidrográficas

Cantidad de agua
Mediciones del flujo de agua superficial para proyectos de monitoreo de la
calidad del agua
Cómo se mide el caudal
Mediciones de descargas en las estaciones fluviométricas
Presas: medición de la velocidad del caudal del canal abierto

Datos climáticos
Manuales técnicos de la biblioteca electrónica de la Organización Meteorológica
Mundial
Capacitación para instalar nuevas estaciones del Servicio Meteorológico Nacional
de los EE. UU.

Biodiversidad
Protocolos de evaluación biológica rápida: una introducción
Protocolos de bioevaluación rápida
Manual de restauración de corredores ribereños
Ejemplo de evaluación de biodiversidad en un fondo de agua (Kenia)
Ejemplo de un estudio de integridad ecológica en un fondo de agua (Ecuador)
(español)

Socioeconómico
Diseño detallado de una encuesta de hogares
Términos de referencia para una encuesta de hogares de línea base
Ejemplo de informe de estudio de línea base

17
Apéndice 1: Lista de verificación para monitoreo y evaluación de un
fondo de agua
Garantizar los fondos para el sistema de monitoreo y evaluación del fondo de agua.
Definir los cambios deseados debido al fondo de agua.
Obtener consenso entre las organizaciones aliadas sobre los cambios que quieren
lograrse.
Definir límites aproximados del fondo de agua y áreas prioritarias
Esquematizar una teoría del cambio
Elegir una técnica de evaluación
Seleccionar indicadores de resultados y asegurarse de que sean SMART
Seleccionar indicadores de output para monitorear la implementación.
Obtener el acuerdo de las organizaciones aliadas sobre los indicadores de
resultados.
Redactar un plan de monitoreo y evaluación para el fondo de agua
Desarrollar o comprar la capacidad necesaria para implementar el plan de
monitoreo y evaluación.
Recolectar datos de línea base.
Analizar los datos de línea base.
Implementar protocolos de recolección de datos para garantía de calidad.
Comenzar la implementación monitoreando la recolección de datos.
Automatizar el análisis de los datos de monitoreo de la implementación.
Comenzar a usar datos de monitoreo para realizar la gestión adaptativa de las
actividades del fondo de agua.
Realizar verificaciones periódicas de la calidad de los datos.
Conducir recolecciones de datos de seguimiento para los indicadores de resultados.
Analizar y documentar qué funcionó y qué no (lecciones aprendidas).
Compartir el aprendizaje interna y externamente.

18
Apéndice 2: Glosario de los términos clave
Actividades: Cosas que una persona o un grupo hace para implementar un fondo de agua.
Confiabilidad: si una de las pruebas se vuelve a realizar, ¿los resultados son iguales?
Contrafactual: Muestra qué hubiera pasado si no se hubieran realizado las actividades del
proyecto. Habitualmente comprende un sitio o un grupo de control.
Control: Un lugar o grupo de comparación que es estadísticamente similar al del sitio o
grupo participante (tratamiento), pero que no es afectado por las actividades del
proyecto (o tratamiento).
Estudio final: Medición realizada al finalizar un proyecto para comprar las condiciones
después del proyecto con las condiciones de línea base.
Futuro: Período de tiempo en que nuestras realizaciones prosperan, nuestros amigos son
verdaderos y nuestra felicidad está asegurada.*
Gestión adaptativa: Proceso iterativo para mejorar de forma continua la administración
del proyecto, suministrando información oportuna a los gerentes de proyecto sobre los
problemas potenciales que pueden exigir cambios en el enfoque actual.
Indicador: Una tendencia o un hecho que indica el estado o nivel de algo. Sinónimo de
medición. Un buen indicador es medible, preciso, consistente y sensible al cambio.
Impacto: Los efectos positivos o negativos, primarios o secundarios de largo plazo
producidos por un proyecto, de forma directa o indirecta, intencional o no intencional.
Un impacto considera un plazo más largo que un resultado.
Implementación: Es el proceso de poner los planes en acción.
Input: El tiempo del personal, los contratos, los equipos, los viajes, etc. invertidos en una
actividad.
Línea base: Un punto de referencia en el tiempo con respecto al cual pueden medirse los
cambios con el paso del tiempo. Un estudio de línea base describe las condiciones iniciales
y los niveles de los indicadores de un proyecto.
Medida: Una unidad estándar usada para expresar el tamaño, la cantidad o el grado de
algo. En el monitoreo y evaluación, es un sinónimo de indicador.
Output: Un entregable sobre el cual los implementadores del proyecto tienen control.
Resolución: La precisión de una medición espacial o temporal.
Resultado: Un resultado específico, medible, alcanzable, realista y acotado en el
tiempo.(SMART) que conduce hacia la generación de un impacto. Similar a un resultado
intermedio, pero mensurable y acotado en el tiempo. Más específico y con un plazo más
corto que un impacto.
Tratamiento: Un lugar o grupo directamente afectado por las actividades del proyecto.
Validez: ¿Un indicador mide aquello que se propone medir?

*Ambrose Bierce, 1906

19
Apéndice 3: Esquematización de un plan de monitoreo y evaluación
Introducción
Teoría del cambio
Teoría del cambio narrativa y gráfica
Monitoreo
Estrategia de monitoreo
Indicadores de output
Fuentes de datos y métodos
Frecuencia del análisis de los datos
Protocolos de la calidad de los datos
Evaluación
Estrategia de evaluación
Indicadores de resultados
Fuentes de datos y métodos
Líneas base
Aprendizaje
Responsabilidades
Línea de tiempo
Presupuesto
Apéndice 1: Hojas de referencia de indicadores

20
Apéndice 4: Consideraciones estadísticas
En todos los proyectos de cuencas hidrográficas, la premisa básica por detrás del
monitoreo es proporcionar pruebas de los cambios que resultan de las intervenciones del
proyecto. La capacidad de demostrar dichos cambios depende no solo de la eficacia de las
mismas intervenciones, sino también del diseño experimental y los abordajes analíticos
usados para evaluar esos cambios. Mientras solo algunos lectores de este documento
probablemente planeen y realicen análisis de datos por su cuenta, todos los lectores
pueden beneficiarse de familiarizarse con consideraciones fundamentales relacionadas
con el análisis estadístico.

Variables explicativas
Los sistemas medioambientales son complejos. Para cada parámetro o variable, un gran
número de procesos ambientales pueden contribuir con el efecto observado. Por ejemplo,
mientras las mediciones de los sólidos en suspensión totales (SST) pueden reflejar
cambios provocados por la implementación de buenas prácticas de manufactura (BPM)
agrícolas, también pueden reflejar cambios estacionales o anuales en las precipitaciones,
el caudal, diferencias en las condiciones del suelo u otras fuentes de sedimentos, como
erosión de las riberas. En este ejemplo, los SST son
la variable dependiente, o sea, la variable que está Principales conclusiones: En la
siendo influenciada por otros factores. Los factores mayoría de los casos, el efecto que
o variables que explican los cambios en los SST son desea medir está influenciado por
conocidos como variables explicativas (o factores que van más allá de su
independientes) Mientras la implementación de intervención aislada. Adopte
BPM puede ser la principal variable explicativa de acciones para considerar estas
interés, a menudo hay muchos otros factores que variables capaces de provocar
también influyen en los valores de SST observados. confusión mediante la
implementación de un buen
diseño experimental y el
Una consideración estadística importante para el
monitoreo de las variables
monitoreo tiene que ver con considerar la influencia explicativas más importantes.
de esas otras variables explicativas. Si esas u otras
variables explicativas no se consideran, puede ser imposible distinguir los cambios
resultantes de las intervenciones del proyecto de los cambios que resultan de otras
actividades o procesos.

La selección del diseño experimental es el medio más importante para considerar los
impactos que generan confusión de otras variables explicativas (ver Elegir una técnica de
evaluación). Donde las condiciones lo permiten, la comparación de muestras de cuencas
hidrográficas pareadas y diseños arriba/abajo-antes/después puede controlar
efectivamente esas variables de confusión. En casos como esos, las variables medidas en
el control o en las cuencas hidrográficas aguas arriba pueden considerarse variables
explicativas.

Pero más allá de las variables de control, hay diversas variables explicativas cuya
inclusión debe considerarse dentro de los planes de monitoreo. La determinación de qué
variables deben monitorearse es específica de cada proyecto, pero, como mínimo, los
gerentes de un fondo de agua deben asegurarse de que se hayan considerado dichas
variables. Las categorías comunes de variables explicativas se enumeran a continuación.

21
Para cada categoría, puede haber múltiples variables que podrían ser relevantes para un
proyecto determinado.
• Cambios en el uso y el manejo de la tierra
• Estacionalidad u otros patrones cíclicos
• Variables hidrológicas y meteorológicas (p. ej. descargas, precipitaciones,
temperatura del aire)

Análisis estadístico
Mientras la decisión sobre qué modelo estadístico específico usar está fuera del alcance
de este documento, hay conceptos generales que es bueno tener en mente. Las pruebas
estadísticas son la aplicación de probabilidades para realizar inferencias a partir de los
datos. En su aspecto más básico, las pruebas estadísticas nos permiten describir, en
términos cuantitativos, qué tan probable es que las diferencias observadas se deban
exclusivamente al azar. En el caso del monitoreo de cuencas hidrográficas, las pruebas
estadísticas son particularmente importantes debido a la amplia variabilidad espacial y
temporal de muchos parámetros medioambientales.

Al inicio de un proyecto, el análisis estadístico de las

Principales conclusiones: En
condiciones previas a la intervención permite la análisis estadístico es crítico
evaluación del poder estadístico de un determinado tanto durante el planeamiento
enfoque de monitoreo. Por ejemplo, un análisis de previo a la intervención como
cambio mínimo detectable puede proporcionar una en la evaluación posterior a la
estimación de cambio porcentual esperado que podría intervención. Los resultados
ser observable, dadas las condiciones históricas de la del monitoreo sin las pruebas
cuenca hidrográfica, el diseño experimental estadísticas apropiadas
seleccionado y la frecuencia y duración del muestreo. En carecen de credibilidad.
muchos casos, los apoyadores del proyecto pueden
sorprenderse del tamaño de este cambio mínimo detectable, que a menudo puede ser
más grande que el impacto real anticipado de las intervenciones. Dicho análisis
estadístico puede proporcionar información valiosa temprana para ajustar los planes de
monitoreo y establecer las expectativas.

Después de la implementación de las intervenciones, el análisis estadístico permite

realizar inferencias de cualquier tendencia observada. En los casos en los que las
intervenciones se realicen en un período de tiempo relativamente corto, esto podría
considerarse como un cambio significativo, con períodos diferenciados antes y después
de la intervención. En los casos en los que las intervenciones se implementan
gradualmente a lo largo del tiempo, esto sugiere un tipo de tendencia lineal o monotónica.
A cada uno de estos tipos de tendencias se aplican modelos estadísticos diferentes. Por lo
tanto, comprender cómo se implementará un proyecto es importante para elegir entre
diferentes pruebas estadísticas.

En la sección anterior de destacó la importancia de un buen diseño experimental y una

buena identificación de variables explicativas más allá de la variable de interés principal
(tratamiento). Pero el buen diseño experimental y el monitoreo de las variables
explicativas solo pueden explicar las variaciones observadas en las mediciones de agua
hasta cierto punto. No es posible controlar o monitorear adecuadamente todas las fuentes
de variación, además de que existen otras fuentes de error. Entonces, el análisis

22
estadístico puede usarse para describir la incertidumbre resultante. Ese análisis
estadístico es fundamental para que las conclusiones del monitoreo de la cuenca
hidrográfica tengan alguna credibilidad.

Es importante considerar que, mientras el análisis estadístico puede proporcionar

información sobre la importancia estadística de los resultados, esto no puede confundirse
con la importancia biológica o social. Incluso cuando es posible observar un cambio
estadístico significativo, esto puede no tener importancia práctica en el “mundo real”.

Frecuencia y duración del muestreo

El número de muestras recolectadas afectará el poder estadístico de un determinado
enfoque de monitoreo. En general, el aumento de la frecuencia y/o la duración del
muestreo mejorará (reducirá) el cambio mínimo que puede detectarse. Sin embargo, hay
límites con respecto a lo que se puede ganar. A medida que los intervalos de muestreo se
vuelven menores (p. ej., menos que semanales), menos información “nueva” se
proporciona con cada muestra. Esto se debe a que las muestras dentro de una ventana de
tiempo pequeña a menudo presentan correlación (debido a la proximidad temporal). Las
pruebas estadísticas pueden evaluar y ajustarse para dicha autocorrelación. En contraste,
el aumento de la duración del período de muestreo evita este desafío, pero con el costo
obvio de aumentar las demoras, los costos, etc.

Más allá de las generalizaciones, es difícil hacer recomendaciones prescriptivas con

respecto a la frecuencia y la duración del muestreo. Las opciones específicas dependen
de la variable que se monitorea, las condiciones dentro del cuerpo de agua en cuestión, el
presupuesto y otras limitaciones. El punto crítico para tener en mente es que esas
opciones tendrán implicaciones para los análisis estadísticos subsiguientes.

Referencias y otras lecturas

J. Higgins, A. Zimmerling, “A Primer for Monitoring Water Funds”, The Nature
Conservancy, 2013:
https://www.nature.org/media/freshwater/Water_Funds_Primer_on_Monitoring_
2013.pdf
US EPA, Nonpoint Source Monitoring: TechNOTES. US EPA (2015):
https://www.epa.gov/nps/nonpoint-source-monitoring-technotes

23