Business">
Nothing Special   »   [go: up one dir, main page]

12-Modelo de Proyecto de Inversión Pública

Descargar como pdf o txt
Descargar como pdf o txt
Está en la página 1de 50

CONTENIDO

 Objetivos de aprendizaje

1. GESTIÓN DE PROYECTO

1.1. Concepto de proyecto


1.2. El marco lógico
1.3. El ML y el control del proyecto
1.4. Otros niveles de responsabilidad y articulación de objetivos en el ML
1.5. El tablero de control del proyecto
1.6. Control de avance del proyecto
1.7. Herramientas para el control del proyecto
1.8. Organización para el control del proyecto
1.9. Planeación
2. EVALUACIÓN EX-POST

2.1. Finalidad
2.2. Alcance
2.3. Enfoque y metodología
2.4. Objetos de análisis
2.5. Procedimientos
2.6. Instrumentos
2.7. El tablero de control gerencial para la evaluación ex-post
2.8. Problemas prácticos en la evaluación ex-post

3. EVALUACIÓN ESTRATÉGICA GLOBAL - METAEVALUACIÓN

3.1. Los objetivos institucionales se enfocan bajo dos perspectivas


3.2. La metaevaluación
3.3. La mesoevaluación
3.4. El encuentro de la mesoevaluación con la metaevaluación
3.5. La matriz de desempeño institucional - MDI
3.6. ¿Qué sigue?
3.7. Incentivos
3.8. Transparencia y participación
3.9. Articulación

BIBLIOGRAFÍA

Anexo: Examen

Fuente : CONTROL DE GESTIÓN Y EVALUACIÓN DE RESULTADOS EN LA


GERENCIA PÚBLICA, Héctor Sanín Ángel ILPES - CEPAL - ECLAC

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 2


O bjetivos de A prendizaje

Al concluir el estudio del presente módulo el participante deberá ser capaz de:

 Definir el concepto de proyecto y los objetivos del control de gestión de


proyectos
 Destacar y analizar las posibilidades del marco lógico como instrumento
versátil de mucha utilidad para la gerencia interna del proyecto y el esfuerzo
de control de actividades en el tablero de control del proyecto.
 Exponer los principios básicos para el establecimiento de una organización de
trabajo y de responsabilidades que faciliten el adecuado control del proyecto y
sugerir la aplicación de herramientas en función de la complejidad del
proyecto y de la tecnología disponible en el momento.
 Explicar los alcances y las dimensiones de la evaluación ex-post de proyectos
la misma que proporcionará elementos de control que fortalezca la capacidad
gerencial y permita la actuación proactiva hacia futuros proyectos y la
corrección de procesos establecidos.
 Comparar la situación ex-post con la situación ex ante en términos de
resultados y objetivos propuestos, lo que constituye la metodología de
evaluación de proyectos apoyada por diversos procedimientos e instrumentos
prioritarios para la realización de proyectos.
 Describir los tipos de evaluaciones que aparecen en las relaciones y
propósitos intergubernamentales y que facilitan la adopción de mecanismos
de información y control idóneos.
 Explicar el seguimiento y la evaluación del cumplimiento de los objetivos o
compromisos institucionales a través de la configuración de matrices de
desempeño institucional para la evaluación de planes y programas de
desarrollo.

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 3


1. GESTIÓN DE PROYECTOS

EVALUACIÓN ESTRATÉGICA GLOBAL

EVALUACIÓN DE RESULTADOS

CONTROL DE PROCESOS
EVALUACIÓN EX - POST

CONTROL DE PROYECTOS

1.1. CONCEPTO DE PROYECTO


Para los efectos de este texto entendemos por proyecto el "conjunto de
actividades interdependientes orientadas al logro de un objetivo específico en un
tiempo determinado y que implican la asignación de recursos de inversión".
Generalmente el resultado de un proyecto es la dotación de una capacidad instalada
para activar procesos.
Las tres fases del ciclo de un proyecto son la Formulación (Preinversión), la
Ejecución (Inversión) y la Operación. En la primera, se diseña el proyecto y se
evalúa para verificar que es una solución adecuada y eficiente. En la segunda, se
instala la capacidad operativa y en la tercera se ponen en marchan y se institu-
cionalizan los procesos por medio de los cuales se atenderán regularmente las
necesidades de los clientes.
El control de gestión se ocupa fundamentalmente de la fase de operación, por lo que
la gerencia de proyecto debe enfocar su control hacia las dos primeras fases del
ciclo: Formulación y Ejecución

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 4


Gerencia y Control del Proyecto Gráfico 2

PROCESOS

PROYECTOS

Proyectos Formulación Ejecución Proyectos Proyectos en


aprobados instalados Operación

CONTROL DEL PROYECTO

1.2. EL MARCO LOGICO

El marco lógico (ML) constituye un excelente instrumento de gestión para


acompañar el ciclo del proyecto en sus diferentes fases y para facilitar su articulación
vertical con objetivos superiores relacionados con los procesos determinantes del
proyecto y con los objetivos estratégicos del sector en cual la institución desea
incidir. El ML cubre varias dimensiones del control gerencial, tanto del proyecto "en
sí" como de sus nexos con otros elementos de la mesoevaluación y de la
metaevaluación.

Descripción

El Marco Lógico consiste en una sencilla matriz 4 x 4:

• En las filas se establecen 4 niveles jerarquizados de objetivos:


• Objetivo superior, o fin
• Objetivo específico, o propósito
• Productos o componentes
• Actividades

En las columnas se coloca la siguiente información:

• Resumen narrativo de objetivos


• Indicadores para medición de los objetivos
• Medios de verificación de los indicadores
• Supuestos de desarrollo.

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 5


Marco Lógico Gráfico 3

Objetivos Indicador Verificación Supuesto


Fin
Resultado
Productos
Actividad

En el cuadro siguiente se presenta un resumen del significado para cada


casillero de la matriz. Lógica del zigzag La lógica de contribución de los elementos
(objetivos) inferiores a los superiores se establece en una secuencia de zigzag, de la
siguiente forma: El logro de un Objetivo más la ocurrencia del Supuesto de
Desarrollo facilita o asegura el cumplimiento del objetivo del nivel inmediatamente
superior.

La secuencia lógica de las contribuciones en zigzag se presenta en el siguiente


gráfico:

La Estructura del Marco Lógico Cuadro 1

Indicadores
Resumen Narrativo Medios de
Verificables Supuestos
de Objetivos Verificación
Objetivamente
Fin Los indicadores a Los medios de Los supuestos
El fin es una nivel de Fin miden verificación son las indican los
definición de cómo el en el impacto fuentes de acontecimientos, las
proyecto o programa general que tendrá el información que se condiciones o las
contribuirá a la proyecto. pueden utilizar para decisiones
solución del Son específicos en verificar que los importantes para la
problema (o términos de objetivos se "sustentabilidad"
problemas) del cantidad, calidad y lograron. Pueden (continuidad en el
sector tiempo (grupo social incluir material tiempo) de los
y lugar, si es publicado, beneficios
Propósito relevante). inspección visual, generados por el
El propósito es el encuestas por proyecto
impacto directo a ser Los indicadores a muestreo, etc.
logrado como nivel de propósito Los supuestos
resultado de la describen el impacto Los medios de indican los
utilización de los logrado al final del verificación son las acontecimientos, las
componentes proyecto. Deben fuentes que el condiciones o las
producidos por el incluir metas que ejecutor y el decisiones que
proyecto. Es una reflejen la situación evaluador pueden tienen que ocurrir
hipótesis sobre el al finalizar el consultar para ver si para que el proyecto
impacto o beneficio proyecto. Cada los objetivos se contribuya
que se desea lograr indicador especifica están logrando. significativamente al
cantidad, calidad y Puede indicar que logro del fin.
Componentes tiempo de los hay un problema y
Los componentes resultados por sugiere la necesidad Los supuestos son
son las obras, alcanzar. de cambios en los los acontecimientos,
servicios y Los indicadores de componentes del las condiciones o las
capacitación que se los componentes son proyecto. Puede decisiones que

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 6


requiere quedescripciones incluir material tienen que ocurrir
complete el ejecutor breves, pero claras publicado, para los
del proyecto dede cada uno de los inspección visual,componentes del
acuerdo al contrato. componentes que encuestas por proyecto alcance el
Estos deben tiene que terminarse muestreo, etc. propósito para el
expresarse endurante la ejecución. cual se llevaron a
trabajo terminado Cada uno debe Este casillero indica cabo
(sistemas instalados,especificar cantidad, dónde el evaluador
gente capacitada,calidad y puede encontrar las Los supuestos son
etc.). oportunidad de las fuentes de los acontecimientos,
obras, servicios, etc., información para las condiciones o las
Actividades. que deberán verificar que los decisiones (fuera del
Las actividades son entregarse. resultados que han control del gerente
las tareas que el sido contratados han de proyecto) que
ejecutor debe Este casillero sido producidos. Las tiene que suceder
cumplir para contiene el fuentes deben incluir para completar los
completar cada uno presupuesto para inspección del sitio, componentes del
de los componentes cada componente a informaciones del proyecto.
del proyecto y que ser producido por el auditor, etc.
implican costos. Se proyecto
hace una lista de Este casillero indica
actividades en orden dónde un evaluador
cronológico para puede obtener
cada componente. información para
verificar si el
presupuesto se
gastó como se tenía
planeado.

Normalmente
constituye el registro
contable de la
unidad ejecutora

Concepto Indicador Verificación Supuesto

Fin Entonces

SI Propósito Más entonces Supuesto

SI Componente Más entonces Supuesto

SI Componente Mas Supuesto

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 7


Ejemplo:

La matriz adjunta ilustra la aplicación del marco lógico en el proyecto


"Construcción del parque comunal"

MARCO LÓGICO DEL PROYECTO “PARQUE COMUNAL” Cuadro 2

Resumen de Indicadores Medios de Verificación Supuestos


Concepto Objetivos
Fin • Se fortalece a • Más del 60% de los • Encuesta anual de la junta De sostenibilidad:
integración social habitantes considera que ha comunal y de la oficina • Las familias del barrio
de la comunidad mejorado el ambiente y el municipal de desarrollo mantienen su sentido
• Se mejora la nivel de “amabilidad comunitario de pertenecía
calidad ambiental comunitaria” • Sondeos en las asambleas • La junta comunal
del barrio • Más de la mitad de los niños comunales funciona de manera
• Se desarrolla el mejora su comportamiento • Encuestas y sondeos permanente y en buena
bienestar y las intrafamiliar y su semestrales en las relación con la Oficina
actitudes rendimiento escolar. escuelas del barrio de desarrollo
infantiles • Disminuye en un porcentaje • Estadísticas del centro de comunitario
significativo (>30%) la salud del barrio • En las escuelas se
incidencias de la morbilidad imparte una educación
infantil de origen psico-social creativa y una
formación basada en
valores de convivencia

Propósito • El parque • Más del 60% de los niños del • Inspecciones físicas De propósito a fin:
representa una barrio use el parque semanales • Las familias disponen
recreación • El 90% de árboles y eras • Informes mensuales de la del tiempo y de la
saludable para los permanecen en buen estado Junta Comunal actitud para participar
niños • Todos los juegos infantiles se en los programas de
• La comunidad mantienen funcionando mantenimiento y
cuida el parque • Necesidad de reparación vigilancia
menor a un módulo por mes. • Hay condiciones
favorables de seguridad
para acceso al parque
• Erradicadas las
pandillas juveniles del
barrio

Componentes PARQUE INSTALADO • 12 módulos instalados en 3 • Informe del auditor De componentes a


• Juegos infantiles meses, según • Inspección visual propósito:
instalados especificaciones de catalogo • Acta de la comunidad • Las familias estimulan
• 50 árboles de flora nativa • Informe del auditor el uso del parque por
• Árboles y jardines sembrados y 20 eras en • Inspección visual sus niños
sembrados jardines, en tres meses. • Acta de la comunidad • Los padres de familia
• El 80% de las familias • Informe del auditor acogen programa de
capacitadas al término de 4 • Inspección visual mantenimiento
COMUNIDAD meses. • Acta de la comunidad participativo
EDUCADA

Actividades • Instalar De actividad a


PRESUPUESTO ($) • CONTABILIDAD DEL
infraestructura y RPOYECTO componentes:
dotación • El proveedor tiene los
• Sembrar árboles y equipos disponibles
jardines • Hay flora nativa en los
• Capacitar a la viveros
comunidad para • La comunidad quiere
uso participar en el
programa

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 8


1.3. EL ML Y EL CONTROL DEL PROYECTO

Por ahora nos interesa destacar y examinar las posibilidades del marco lógico
como instrumento de gran utilidad para la gerencia "interna" del proyecto.

La responsabilidad del gerente de proyecto la determina el alcance del


compromiso contractual correspondiente. Por lo general, el compromiso del Gerente
de Proyecto llega hasta la entrega de los componentes del proyecto, listos para
entrar en uso. Concretamente, para el gerente de proyecto, el Marco Lógico aporta
los casilleros de la mitad inferior, que corresponden a los elementos que forman
parte de la gobernabilidad del gerente de proyecto y sobre cuyo desempeño asume
responsabilidad. Los casilleros de tono oscuro integran su conjunto de
responsabilidad y los adyacentes, de tono claro, forman parte de su referencia, en el
sentido de que son aspectos sobre los que el gerente no tienen el control directo
pero que lo condicionan y, por tanto, sobre ellos debe tener puesta su mira o
efectuarles un seguimiento colateral para tratar, en lo posible, de incidir ante terceros
para procurar que se generen medidas favorecedoras al proyecto o para minimizar
riesgos.

El gerente de proyecto tiene la misión de entregarlo terminado, prácticamente en


condiciones de iniciar operación. Su obligación garantiza que se completen unas
instalaciones consistentes en un conjunto de Componentes. Las Actividades y los
Recursos para ejecutarlas están bajo su pleno control. Pero los Supuestos de
desarrollo están por fuera de su responsabilidad directa y el Propósito sólo se realiza
cuando la responsabilidad por la Operación pasa a la Gerencia de Proceso. Por eso
estos últimos casilleros están en tono menos intenso.

ÁMBITO DE CONTROL DE LA GERENCIA DEL PROYECTO Gráfico 5

Objetivos Indicador Verificación Supuesto


Fin
Resultado
Productos
Actividad
Ámbito de responsabilidad directa Elemento referencial bajo
observación

En resumen, el gerente de proyecto tiene que ejercer control sobre tres grupos de
elementos:

• Sobre las actividades que se deben realizar para generar como resultado los
productos o componentes;
• Sobre los recursos necesarios para ejecutar las actividades, y
• Sobre los resultados mismos, expresados en los productos o componentes
que el proyecto entrega.

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 9


1.4. OTROS NIVELES DE RESPONSABILIDAD Y ARTICULACIÓN DE
OBJETIVOS EN EL ML

El marco lógico es una herramienta versátil y sirve para orientar el diseño de


varios tableros de control, dependiendo del ámbito gerencial desde donde se mire.
El ML permite definir, visualizar y conectar los niveles de responsabilidad: ·

• La responsabilidad del gerente de proyecto, ya examinada, llega hasta la


entrega de Componentes.
• La responsabilidad por el uso pasa a la gerencia de operación, o sea la
Gerencia de Procesos, que recibe las instalaciones y las coloca en
funcionamiento para producir los bienes o servicios destinados a satisfacer
necesidades de los clientes: Responsabilidad por el Propósito.
• La responsabilidad por el cumplimiento del Fin (efectos, resultados
esperados en el medio sobre el cual incide la empresa), incumbe a la
Gerencia Superior o Gerencia Institucional, con base en la contribución de
propósitos de la Gerencia de Procesos o Gerencia de Área de Operación.

En consonancia con los criterios expresados al principio del documento, las


contribuciones de realización van de abajo-arriba, pero el flujo de diseño va de
arriba-abajo: Los resultados esperados (Fin) piden procesos (Propósitos) y éstos
piden proyectos, que se expresan en Componentes instalados.

En los dos cuadros adjuntos se representan las órbitas de responsabilidad de la


Gerencia de Procesos y de la Gerencia Superior en el ML.

Ámbito de Control de la Gerencia de Procesos Gráfico 6

Objetivos Indicador Verificación Supuesto


Fin
Resultado
Productos
Actividad
Ámbito de responsabilidad directa Elemento referencial bajo
observación

Ámbito de Control de la Gerencia Superior Grafico 7

Objetivos Indicador Verificación Supuesto


Fin
Resultado
Productos
Actividad
Ámbito de responsabilidad directa Elemento referencial bajo
observación

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 10


1.5. EL TABLERO DE CONTROL DEL PROYECTO

Para manejar adecuadamente la realización del proyecto y sus productos, el


gerente se concentra, entonces, en el que podemos llamar el "Control C4". Cantidad,
Calidad, Cronología (Tiempo) y Costo.

El proyecto debe entregar unos productos (o componentes) definidos


cuantitativamente, cualitativamente y dentro de un plazo determinado. Y debe
ejecutar las actividades con sujeción a unos tiempos y a unos presupuestos. Para
ello, la gerencia del proyecto focalizará su atención en dos conjuntos de control: ·

• El control sobre logro de productos (componentes), como "salida" de la


gestión del proyecto, y
• El control sobre las actividades, a través de cuya ejecución se lograrán los
productos y para cuya ejecución deberán asignarse los insumos (recursos)
correspondientes. Si bien los atributos de cantidad y de calidad constituyen
preocupación de la gerencia en todo momento, el control de realización de las
actividades se centrará en los atributos de tiempo (Cronología) y de Costo, es
decir, las últimas 2C.

El Marco Lógico es un instrumento importante para el Tablero de Control del


Proyecto, pues aporta los indicadores de verificación sobre los productos y para el
control sobre las actividades aporta los indicadores de verificación de tiempo y de
costos. De la manera como se organice, planifique y realice el control sobre las
actividades que lo componen, dependerá el éxito en el logro de los componentes del
proyecto. Por ello nos centraremos, primero, en los elementos principales del
Tablero de Control sobre las actividades.

Control de tiempo y control de cantidad

El proyecto debe realizarse dentro de los plazos establecidos. La gerencia debe


estar atenta al cabal desarrollo de las actividades, con el fin de garantizar que éstas
inicien en las fechas previstas, no demoren más de lo programado y los recursos y
las condiciones necesarias para su realización estén al orden del día. El control de
tiempo involucra el control de cantidad, en la medida en que se verifica sobre la
marcha el cumplimiento de unos ítems y de una cantidad de obra determinada.

Control de costo

La gerencia debe asegurarse de que el proyecto se ejecute dentro del presupuesto.


El control financiero se focaliza fundamentalmente en dos aspectos: evitar que las
actividades consuman más recursos de los previstos y garantizar que los
desembolsos para la asignación de los recursos se encuentren disponibles
oportunamente.

Estos dos atributos (tiempo y costo) son los medidores del avance del proyecto. Las
fases de formulación y de ejecución pueden utilizar indicadores similares para el

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 11


control tiempo-costo, aunque generalmente por no decir siempre- la ejecución es de
mayor complejidad que la formulación, compromete mayores recursos, involucra
mayor tecnología dura, mayor diversidad de recursos y de actividades. Esta
diferencia puede exigir mayores detalles de control gerencial y, por ende, un sistema
de información y control basado en indicadores más desagregados y más
frecuentes.

Control de calidad

Buena parte del éxito del proyecto radica en el cuidado otorgado a la formulación
evaluación y en la entrega de una obra que responda a las expectativas de sus
usuarios, lo cual se logra en la medida en que las actividades y sus productos se
ciñan a las especificaciones establecidas y a las normas mínimas requeridas.

El control de calidad le hace seguimiento a todo el proceso y a la realización de


todas las actividades, bajo el principio de la calidad total "hacer las cosas bien la
primera vez", pero debe poner especial cuidado en los productos que entrega cada
fase (resultados), con el fin de verificar que se está dando respuesta integral a la
finalidad de cada fase.

En suma, el control de calidad se centra en el logro a cabalidad del objetivo, en tanto


que los otros dos verifican el cumplimiento del objetivo en función del tiempo y de los
recursos disponibles. Cada fase del ciclo del proyecto genera un resultado distinto.
La formulación entrega información organizada para tomar la decisión de hacer el
proyecto (Producto = Documento). La ejecución entrega una capacidad instalada en
condiciones de empezar a operar para satisfacer unas necesidades (Producto =
Obra). Dada la diferencia de naturaleza de sus productos, los parámetros para el
control de calidad de las dos fases también son diferentes, como vamos a
examinarlo a continuación.

El control de la formulación

Finalidad

El proceso de la elaboración consiste en generar, organizar y analizar información


para tomar la decisión de ejecutar o no el proyecto. El resultado de la fase de
elaboración es un proyecto evaluado y aprobado, en el caso positivo al que se
decide asignarle recursos para su realización.

La gerencia radica su esfuerzo de control en el TCC: verifica que el documento-


proyecto se elabore con sujeción a un cronograma y a un presupuesto y con arreglo
a los parámetros de calidad predeterminados. La calidad en esta fase se verifica en
dos planos: el proceso para formular el proyecto, y la calidad misma del proyecto
evaluado.

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 12


Tablero de Control 1 Gráfico 8

FASE DE FORMULACIÓN DEL PROYECTO

FASE RESULTADO
IDENTIFICACIÓN – FORMULACION - PROYECTO EVALUADO RECURSOS
EVALUACIO ASIGNADOS

TIEMPO CALIDAD CANTIDAD CALIDAD

Calidad
La calidad se controla en dos aspectos:

 La calidad del proceso de elaboración contempla la verificación del esmero en


las tareas, de la validez metodológica y del nivel técnico con que se ejecuten
las actividades de identificación, formulación y evaluación de las alternativas y
del proyecto resultante.
 La calidad del proyecto resultante se evalúa mediante indicadores que
expresen adecuadamente los criterios orientadores de la decisión. La calidad
del proyecto involucra su evaluación integral, bajo diferentes aspectos, pero
por lo general la declaración de viabilidad se centra en una evaluación de
eficiencia, expresada en indicadores económico-sociales, financieros y
ambientales.
 El grupo principal de indicadores sugerido para la evaluación ex-ante del
proyecto es el siguiente:
• Análisis de Costo-Eficiencia (ACE): Indicadores como el Costo Anual
Equivalente por Unidad de Beneficio o de Producto (CAE/UB). Ejemplo:
Dólares por Litro de Agua, Dólares por Usuario conectado al sistema
de agua potable.

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 13


• Análisis de Costo Beneficio (ACB): Indicadores como el Valor Presente
Neto (VPN) o Valor Actual Neto (VAN), la Tasa Interna de Retomo
(TIR), la Relación Beneficio/Costo (B/C).
• La rentabilidad financiera (r) que ofrece el proyecto
• Indicadores cualitativos y cuantitativos para el estudio ambiental o la
Evaluación del Impacto Ambiental (EIA).

El control de la ejecución
Finalidad

La ejecución está constituida por el conjunto de actividades destinadas a la


instalación de una unidad productiva o transformadora. El control de avance (tiempo
y el presupuesto) se realiza sobre las actividades necesarias para la ejecución del
proyecto. El resultado de la fase de ejecución es una obra.

Tablero de Control II Gráfico 9

FASE RESULTADO
EJECUCION DE LA OBRA OBRA TERMINADA

TIEMPO CALIDAD CANTIDAD CALIDAD

TABLERO DE CONTROL

Calidad
El control de calidad le hace seguimiento a las actividades en diversos tópicos como
insumos y materiales, selección del recurso humano, tecnología de construcción,
formas de trabajo, etc., pero se focaliza principalmente en el producto resultante de
cada actividad, con miras a garantizar la entrega de la obra dentro de las
especificaciones predeterminadas.

Los principales aspectos que se recomienda verificar en el control de calidad de la


obra son:

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 14


• Especificaciones técnicas
• Dimensionamiento
• Integralidad
• Funcionalidad

1.6. CONTROL DE AVANCE DEL PROYECTO

Para evitar ser repetitivos, vamos a desarrollar los elementos comunes, aplicables
de manera general a las dos fases en lo referente a los indicadores de avance
(Tiempo-Costo).

Indicadores de tiempo

Son los indicadores que informan adecuada y oportunamente a la gerencia sobre el


avance de las actividades. Los índices de control temporal se aplican a cada
actividad y al proyecto total. Además, un buen control de proyecto debe focalizar su
atención en el avance de las actividades de la Ruta Crítica.

No es recomendable llevar una amplia gama de indicadores complementarios, pues


con ello se pierde simplicidad en el control y el interés en mantenerlo. Como
principales indicadores para el control sugerimos:

Índice de avance = La cantidad de obra ejecutada como proporción de la total.


Índice de avance efectivo = El índice de Avance dividido por el porcentaje de
tiempo transcurrido desde que se inició la actividad. Este indicador expresa el nivel
real de ejecución de la actividad en el momento del control.

El índice de Avance se puede controlar visualmente, mediante su representación


actualizada en el diagrama de barras (Gantt). Si la barra del porcentaje ejecutado a
la fecha de control coincide con la línea vertical de fecha de control, la actividad se
encuentra al día. Si está a la izquierda, hay retraso y si rebasa a la derecha, se
encuentra adelantada.

El índice de Avance Efectivo debe dar un valor de uno cuando coincide con la
programación. Si da menor que uno, hay retraso y hay adelanto cuando supera la
unidad.

Ejemplo 1

A la fecha se ha ejecutado el 40% de la obra, la cual inició hace 12 semanas y está


programada para una duración total de 24 semanas.
Índice de Avance = 40%
Porcentaje de tiempo transcurrido = 12/24 = 0.5 = 50%
Índice de Avance Efectivo = 40%/50% = 0.8 < 1, lo que demuestra que la obra se
encuentra en retraso. Como ha transcurrido la mitad del tiempo, la obra debería
llevar ejecutado ese mismo por-centaje para estar al día.

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 15


Si, para efectos de retroalimentación, interesa conocer otros indicadores, como por
ejemplo número de días de retraso, éstos se pueden deducir de los indicadores
principales, o se le puede pedir específicamente al sistema de información que los
provea.

El índice de Avance físico del proyecto se mide ponderando los Índices de avance
de las actividades por un coeficiente de valor. El valor de las actividades realizadas y
en ejecución (VA) sobre el valor total de la inversión (VP). Quiere decir que si las
actividades de menor valor relativo en el proyecto tienen mayor nivel de retraso, su
repercusión en el índice es poco significativa. Contrario sensu, si las actividades de
mayor valor tienen retraso, el avance físico del proyecto se verá más afectado.

Control y reprogramación de tiempo

A partir de la identificación de situaciones de retraso, el objetivo de la gerencia y del


equipo de proyecto es recuperarlo y/o evitarlo hacia delante. Para ello pueden
tomarse medidas como las siguientes:

✓ Intensificar recursos para recuperar el retraso


✓ Redefinir procesos para acelerar la actividad
✓ Redefinir tecnología para realizar el proyecto en menor tiempo
✓ Reestructurar la interdependencia de las actividades
✓ Anticipar la iniciación de actividades futuras.
✓ Contratar la realización de ciertas actividades (o recontratar aquellas en que
el actual contra-tista esté incumpliendo).

Debe recordarse que cualquier esfuerzo de reducción de tiempo debe hacerse en


primera instancia sobre las actividades de la Ruta Crítica, que son las que
determinan la duración del proyecto.

Una vez efectuadas las acciones correctivas, debe procederse a la reprogramación


del proyecto, para lo cual se pondrán al día los cronogramas, se redefinirán los
estimativos de duración de las actividades pendientes y se tomarán las precauciones
para evitar la reincidencia de los factores de retraso.

Índice de cumplimiento temporal (ICT)

Al finalizar la obra se aplica el índice de Cumplimiento Temporal, medido por el


tiempo total de realización sobre el tiempo inicialmente programado. Este es un
indicador para el Informe de Término de Proyecto y para la Evaluación Ex-post.

Indicadores de costo

El control financiero del proyecto tiene dos componentes: el control de costos y el


control de fondos. El primero tiene que ver con la medición de los costos reales del
proyecto en función de lo presupuestado. El segundo verifica que los fondos para el

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 16


proyecto estén disponibles y que el flujo de pagos se esté realizando dentro de los
plazos, montos y porcentajes de avance previstos.

Para el control de costos los indicadores principales sugeridos son:

✓ índice de Cumplimiento de Costos, medido por el presupuesto ejecutado en el


momento del control, como proporción del presupuesto inicial.
✓ índice Efectivo de Costos, medido por el índice de Cumplimiento de Costos
dividido por el Índice de Avance Efectivo.

El Índice de Cumplimiento de Costos muestra el avance en la evolución de los


costos reales de la obra. Su límite es 1, pues por encima de dicho valor hay sobre-
ejecución del presupuesto inicial.

El índice Efectivo de Costos muestra en cada momento de control el grado de


aplicación de los recursos en función de la cantidad de obra realizada. Cuando su
valor es uno, se encuentra en equilibrio con el presupuesto. Si es menor que uno,
hay economía en el uso de los recursos y si es mayor que uno el presupuesto se
está desbordando, pues se está gastando en mayor proporción que lo ejecutado

Ejemplo 2

En el momento del control la actividad ha consumido recursos por un valor de


$13,500, sobre un presupuesto de $30,000 y se ha ejecutado el 40% de la obra
(índice de Avance).

Índice de Cumplimiento de Costos = 13,500/30,000 = 0.45 = 45% índice de Avance


de Obra = 40% índice Efectivo de Costos = 45%/40% = 1.125 > 1, o sea que hay
una tendencia de sobre-ejecución de costos en un 12.5% sobre el presupuesto.

Control y reprogramación de costos

Con base en el análisis de la ejecución presupuestal se pueden aplicar acciones


racionalizadoras, como:

✓ Utilizar recursos más eficientes (mayor cantidad de actividad por unidad de


costo)
✓ Rediseñar procesos para disminuir el costo (cambio en la tecnología)
✓ Eliminar vicios de trabajo, evitar desperdicios y reasignar recursos ociosos
✓ Disminuir duración cuando los costos fijos son altos, etc.
✓ Revisar precios de insumos y sistemas de adquisición y de contratación.

Una vez tomadas las medidas para corregir costos, se debe actualizar y reprogramar
el presupuesto, mediante los siguientes pasos:

✓ Actualización de costos reales sobre actividades ejecutadas


✓ Actualización de estimativos de costos por ejecutar

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 17


✓ Actualización del presupuesto global = Costos reales ejecutados + costos-
estimados por fi) ejecutar.
✓ Para el control de fondos la gerencia debe vigilar especialmente dos
aspectos:
✓ La disponibilidad oportuna de los fondos en la cuenta del proyecto, y
✓ La ejecución de los desembolsos para asignar los recursos oportunamente a
las actividades.

Con base en el análisis periódico del índice de Cumplimiento de Costos se debe


primero introducir ajustes para equilibrar el presupuesto y después tramitar los
reajustes financieros necesarios para continuar y culminar el proyecto.

Para el tablero de control de fondos se sugieren dos indicadores principales:

✓ El índice de avance financiero, que expresa los desembolsos efectuados


como proporción del presupuesto total del proyecto.
✓ El Cuadro de desembolsos pendientes.

El primero indica el grado de compromiso de los fondos disponibles. Para verificar si


hay desfases, se debe contrastar con el índice de Cumplimiento de Costos y con el
índice de Avance de Obra.

El segundo es un dato preventivo. Indica el monto y fecha en que debe hacerse


efectivo del próximo, o los próximos desembolsos.

El encargado del control financiero debe estar atento ante los responsables de la
provisión de los fondos para que éstos se coloquen a disposición de la Cuenta del
Proyecto en los montos y oportunidad requeridos. Cuando se trata de gerencia
contratante, la principal gestión de aplicación es el control de los desembolsos con
destino a los contratistas. Los pagos a los contratistas se prevén dentro de planes
financieros predefinidos o concertados (establecidos en los contratos), pero se
hacen efectivos en función del desarrollo real de la obra.

1.7. HERRAMIENTAS PARA EL CONTROL DEL PROYECTO

En función de la complejidad del proyecto y de la tecnología disponible, un proyecto


puede ser programado y controlado con una amplia gama de herramientas, desde
las más sencillas y elementales hasta las más sofisticadas. Así, un proyecto
pequeño, en un medio institucional en el que no se cuenta con herramientas
informáticas, bien puede ser controlado por métodos elementales como diagramas
de barras, cuadros de fechas críticas y tablas de costos. En cambio, si se dispone de
un equipo de cómputo con el software adecuado, se podrá hacer la programación y
el control mediante un "Programa Administrador de Proyecto" ("Project Manager”).

Los métodos de Ruta Critica reflejan gráficamente la interdependencia de las


actividades y la cadena de las actividades que determina la duración del proyecto y
por ello son apoyos muy expeditos para la gerencia. Los "Programas

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 18


Administradores de Proyectos" incorporan estas técnicas, facilitan el segui-miento de
los costos y son muy versátiles para la actualización y reprogramación del proyecto.
Son estas razones suficientes para recomendar su uso. En el ejemplo anexo se
ilustra al lector sobre la aplicación de esta herramienta en un proyecto específico de
infraestructura local.

1.8. ORGANIZACIÓN PARA EL CONTROL DEL PROYECTO

El control del proyecto se facilita en la medida en que se tengan en cuenta varios


principios para la organización del equipo de proyecto, la distribución de
responsabilidades y la habilitación de capacidad ("empowerment") para la solución
de problemas en el punto donde se generan.

Para ello, la primera recomendación consiste en establecer una organización de


trabajo y de responsabilidades que corresponda a la Estructura Analítica del
Proyecto. Esta estructura es la que se obtiene por la desagregación del proyecto en
componentes (macroactividades) y éstos a su turno en actividades básicas (o
tareas). A cada actividad y a cada agrupación de actividades afines (componente) se
le asigna un responsable por su ejecución. El responsable por una categoría de
trabajo (actividad o grupo de actividades) controla la ejecución de las actividades
bajo su jurisdicción y reporta a la categoría del nivel superior de la cual forma parte.

El gerente de proyecto debe rodearse de personal suficientemente calificado para


aplicar tam-bién los dos principios sugeridos en la gerencia de procesos:

• Que el responsable por cada tarea o actividad, en su punto de base, sea el


primer usuario de la información, luego la consolide y la envíe, como parte del
sistema de información estructurado sobre la organización de trabajo y no de
manera paralela y aislada.
• Que sea capaz de tomar decisiones en los problemas que se presenten en su
ámbito (autorizado), y no estar pidiendo permiso hacia arriba. Hacia arriba
deben fluir las soluciones y no los problemas.

Para asegurar lo anterior, la gerencia de proyecto debe colocar especial cuidado en


los procesos de selección del recurso humano y de su entrenamiento, dirigido tanto
al dominio tecnológico de las actividades, como al despliegue de capacidades y de
actitudes que correspondan al estilo gerencial y a la dinámica de trabajo de equipo
que se desee establecer. En esto radica buena parte del éxito o del fracaso del
proyecto.

Como principio general, dentro de un conjunto dado de atribuciones, al gerente de


proyecto deberla subir la información sobre las medidas que se tomaron para
corregir y no la consulta de qué hacer, Esto último debe estar previsto en las
instrucciones de trabajo, para casos en que el nivel de gravedad del asunto, o la
exigencia de conocimiento especializado pase de ciertos límites.

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 19


Ei Tablero de Control Gerencial provee una instancia complementaría al Control de
Proyectos y al Control de Gestión. Se trata de la Evaluación Ex-post, la cual
proporciona elementos de control bajo otro punto de mira, y fortalece la capacidad
gerencial para rescatar memoria que le permita actuar proactivamente hacia futuros
proyectos y corregir los procesos establecidos.

A continuación presentamos la ilustración de los instrumentos programación y


control aplicados al Proyecto "Construcción del Parque Comunal".

1.9. PLANEACIÓN

Identificación de Actividades Cuadro 3

ACTIVIDAD DESCRIPCIÓN DE LA ACTIVIDAD


Diseño Concepción, localización, planos arquitectónicos, análisis y
discusión con la comunidad
Plan Actualización del plan de trabajo, programación, aprobación de
presupuesto y autorización
Dotación Consecución y transporte de los juegos infantiles, implementos e
inmobiliario para instalar
Equipo Consecución y transporte de la maquinaria y de las herramientas
necesarias para la obra
Materiales Consecución y transporte de los materiales de construcción
Mano de obra Reclutamiento, selección y contratación del recurso humano para
ejecutar los trabajos
Plantas Selección, adquisición y transporte de las plantas que serán
sembradas en el parque
Drenaje Obras de canalización y desagües del terreno
Hoyos-eras Apertura de huecos y preparación de eras y jardineras para la
siembra de las plantas.
Construcción Realización de las obras físicas del parque
Plantación Siembra de las plantas y elaboración de jardines
Instalación Colocación e instalación de los juegos y mobiliario
Promoción Divulgación, convocatoria y activación de mecanismo de
participación
Capacitación Diseño, preparación y ejecución de eventos de capacitación para
el manejo del parque
Acabado Limpieza, terminado y retoques de las instalaciones
Ya se cuenta con los diseños

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 20


Estructura analítica del proyecto Grafico 9

OBJETIVO: CONSTRUCCION
PARQUE COMUNAL

PREPARACION RECURSOS E CONSTRUCCI EDUCACION


INSUMOS ON COMUNITARIA

PLAN DOTACION JARDINERIA OBRAS PROMOCION

DRENAJE CAPACITACIO
EQUIPO PLANTAS
N

CONSTRUCCI
MATERIALES
PLANTACION ON
ES
MANO DE
OBRA INSTALACION

ACABADO

PRECEDENCIAS Y CONSECUENCIAS Cuadro 4


PRECEDENTE ACTIVIDAD SIGUIENTE
Dotación
Equipo
Plan Materiales
Mono de obra
planta
plan Equipo Drenaje Hoyos-Eras
Plan Materiales Drenaje Hoyos-Eras
Plan Mano de obra Drenaje Hoyos-Eras
Plan Dotación Instalación
Plan Plantas Plantación
Equipo materiales mano de
Drenaje Construcción
obra
Equipo materiales mono de
Hoyos-Eras Plantación
obra
Drenaje Construcción Instalación
Dotación construcción Instalación Acabado
Plantas Hoyos-Eras Plantación Acabado
Diseños Promoción Capacitación
Promoción Capacitación
Instalación plantación acabado

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 21


Diseño de la Red Grafico 11

PLAN PROMOCIÓN CAPACITACION

DOTA INSTALACION

EQUIPO DRENAJE CONSTRUCCIO


N
M.OBRA HOYOS- ERAS PLANTACION ACABADO

MATERIALES

PLANTAS

Tiempo de las Actividades


Actividades Tiempo (Días)
• Plan 10
• Dotación 15
• Equipo 6
• Materiales 4
• Mano de obra 3
• Plantas 3
• Drenaje 5
• Construcción 20
• Hoyos-eras 8
• Instalación 3
• Plantación 5
• Promoción 8
• Capacitación 24
• acabado 4

Red y Ruta Critica Grafico 12

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 22


Cuadro de control de actividades Grafico 13

Fechas Holgura CRONOGRAMA (DIAS


HABILES)
Acti P U P U
H H P 1 1 1 1 1 2 2 2 2 2 3 3 3 3 3 4 4 4 4 4
vida T F F F F 2 4 6 8
d T L C 0 2 4 6 8 0 2 4 6 8 0 2 4 6 8 0 2 4 6 8
I I T T
Pla 1 1 1
0 0 0 0 I
n 0 0 0
V
Dot
1 1 2 2 4 1 1 I
ació
n 5 0 6 5 1 6 6 I
I
Equ 1 1 1 1
6 0 0 I
ipo 0 0 6 6
Mat
1 1 1 1 I
eria 4 2 2
les 0 2 4 6 I
Ma
no I
1 1 1 1
de 3 3 3 I
obr 0 3 3 6
I
a
Pla
1 3 1 3 2 1 I
nta 3
s
0 6 3 9 6 1 X
Dre
1 1 2 2
naj 5 0 0 I
e
6 6 1 1
Con
stru 2 2 2 4 4
0 0 I
cció 0 1 1 1 1
n
Hoy
os- 1 3 2 3 1 V
8 0
era 6 1 4 9 5 I
s
Inst
4 4 4 4
alac 3 0 0 I
ión
1 1 4 4
Pla
V
nta 2 3 2 4 1 1
5 I
ció 4 9 9 4 5 5
n I
Pro
mo 1 1 1 2 I
ció
8 6 0
0 6 8 4 V
n
Cap
acit 2 1 2 4 4
6 6 V
ació 4 8 4 2 8
n
Aca
4 4 4 4
bad 4 0 0 I
o
4 4 8 8
PC= prioridad de control Actividades Holgura Total Y Libre
Actividades Críticas Holgura Total

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 23


Diagrama GANTT
Con estructura analítica del proyecto, ruta crítica e interdependencia de
actividades)
PROYECTO: CONSTRUCCION DE PARQUE COMUNAL
Co14

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 24


2. EVALUACIÓN EX - POST
Gráfico 15

EVALUACION
ESTRATÉGICA GLOBAL

EVALUACION DE
RESULTADOS

CONTROL DE
PROCESOS
EVALUACION EX - POST

CONTROL DE
PROYECTOS

2.1. FINALIDAD

Denominamos Evaluación Ex-post a la que se efectúa sobre el provecto después de


terminada su instalación v tras haber avanzado un tiempo razonable en su fase de
operación, con el fin de analizar sus características de funcionamiento v verificar su
impacto, tanto sobre el problema que debe resolver, como sobre su entorno.

La evaluación ex-post persigue fundamentalmente tres objetivos:

 Derivar acciones correctivas para mejorar los procesos vigentes


 Verificar el grado de cumplimiento de los objetivos y determinar los impactos
reales del proyecto.
 Generar memoria para aprender de la experiencia hacia futuros proyectos

2.2. ALCANCE

La evaluación ex-post tiene dos dimensiones:

• La del proyecto mismo, y


• La del programa del cual éste forma parte.

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 25


La primera se efectúa dentro del ámbito de la institución, y la segunda es,
generalmente, de carácter interinstitucional y con proyección política, en la medida
en que al validar el alcance del programa se obtienen elementos para reformulación
de estrategias, diseño de nuevas políticas, planes y programas. También se
determinan responsabilidades sobre la gerencia general de los programas.

Si bien la evaluación ex-post tiene una trayectoria relativamente reciente, es el


segundo ámbito (evaluación de programas) el que más se ha cubierto,
principalmente a raíz de propósitos deliberados de los organismos de la banca
multilateral para verificar la validez de los programas que vienen apoyando y que la
han establecido como condición sine-qua-non para financiar fases posteriores o
nuevos programas afines.

La evaluación ex-post puntual, en el nivel de proyecto aislado, es más bien escasa.


No ha sido objeto de interés por su aplicación, dado que las instituciones públicas no
han desarrollado suficientemente la cultura gerencial de la evaluación de resultados
y no toman la iniciativa para implementarla, a no ser por exigencias de la banca
multilateral o por autoridades planificadoras interesadas recientemente en verificar
los resultados de gestión. Es más: si los esfuerzos de control escasamente se
apli-can durante la ejecución "lo presente" menos se siente la necesidad y menos se
tiene la capacidad para "gastarlos sobre el pasado".

2.3. ENFOQUE Y METODOLOGÍA

La evaluación ex-post consiste en confrontar la situación "con proyecto" con la


situación "sin proyecto", una vez éste se ha ejecutado (instalado) y, preferiblemente,
después de que ha transcurrido un tiempo prudencial de operación, con el fin de
verificar si con la entrega de los productos se están generando los efectos previstos.

Para ello la metodología de evaluación debe comparar la situación ex-post con la


situación ex - ante, es decir, confrontar lo que el proyecto efectivamente ha resultado
ser con lo que se dijo en su formulación que debería ser.

La contribución de un proyecto en términos de resultados (económicos, sociales,


ambientales, etc.) está dada por la diferencia entre la nueva situación con el
proyecto en operación y la situación original, sin proyecto. Una buena medición de
los efectos asociados al proyecto se obtiene del contraste entre dos fotografías,
antes y después, por lo que el proceso de evaluación ex-post se Inicia, realmente,
durante la fase de formulación, para garantizar que se tome adecuada y
oportunamente la fotografía sin proyecto. En realidad, para facilitar un buen proceso
de evaluación ex-post, la gerencia de proyecto, en cada fase, debe proponerse
efectuar el registro sistemático de los avances, de los logros, de los problemas y de
la forma como se van enfrentando sobre la marcha.

En sus propósitos de a) verificar si el proyecto ha valido la pena como esfuerzo de


inversión para resolver un problema y b) derivar propuestas de mejoramiento hacia

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 26


futuros proyectos, la evaluación ex-post debe recorrer el ciclo del proyecto e indagar
por la forma como se han realizado las tres fases: formulación, ejecución y operación
(corte horizontal de la evaluación, según fases).

Cuando la evaluación comprende un paquete de proyectos dentro de la institución, o


un programa interinstitucional, deberá efectuarse el análisis ex-post vs ex-ante, tanto
para cada proyecto, como para el conjunto (corte vertical de la evaluación, según
alcance del programa). Generalmente, por razones prácticas, cuando se evalúa un
programa configurado por un número significativo de proyectos, se efectúa la
evaluación sobre una muestra, con el fin de derivar conclusiones en el nivel
individual de los proyectos seleccionados, así como en el nivel agregado del
programa.

2.4. OBJETOS DE ANÁLISIS

Cada proyecto o programa puede exigir el diseño de su propia metodología y de sus


propios ins-trumentos de evaluación ex-post, pues ésta siempre estará condicionada
por la respuesta a la pregunta: ¿evaluación desde el punto de vista de quién? Y
mientras más abierto o complejo sea el espectro de sujetos relacionados con el
proyecto o programa (beneficiarios, protagonistas, afectados, víctimas), más
particular y cuidadoso deberá ser el método de evaluación.

Sin embargo de lo anterior, de nuestra experiencia en intervenciones en evaluación


ex-post de programas y proyectos podemos deducir que para algunos campos es
posible y aún conveniente apoyarse en metodologías y en herramientas probadas
cuya aplicación puede inclusive facilitar el diálogo entre experiencias afines, como es
el caso de proyectos de desarrollo local. En este sentido queremos compartir con el
lector una metodología que hemos utilizado en consultorías de evaluación ex-post
en proyectos de infraestructura municipal.

Un buen instrumento para abordar la evaluación ex-post es el Marco Lógico. Este no


sólo pro-vee elementos esenciales para la evaluación, sino que sirve de referencia
para orientar la identificación de información adicional y el diseño de instrumentos
complementarios para el análisis.

En un resumen conceptual, podemos decir que el ML proporciona las respuestas a


cuatro grandes preguntas que se plantean en los cuatro niveles de objetivos, como
se indica en el gráfico siguiente:

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 27


Marco Lógico: Instrumento básico para la evaluación ex-post Gráfico 16

NIVELES DE OBJETIVOS DEL MARCO


4 LÓGICO
ATRIBUTOS A
PREGUNTAS
Concepto Verificación Supuesto EVALUAR
BÁSICAS Indicador

¿Cuál es la
¿Impacto?
contribución al
¿Contribución?
desarrollo del
¿Sostenibilidad?
sector?
¿Cuál fue el
grado de ¿Cobertura? ¿Déficit?
solución del ¿Calidad de atención?
problema?

¿Qué se ¿Cantidad? ¿Calidad?


entregó? ¿Costo? ¿Cronología?

¿Cómo se ¿Tiempo? ¿Costo?


hizo? ¿Calidad?

El casillero de
Objetivo indicadores muestra la
discrepancia entre lo
programado y lo logrado

Una vez se dispone de los análisis objetivos y de sus niveles de logro mediante el
Marco Lógico, es necesario abundar en información con mayor especificidad, para lo
cual se requerirá aplicar una gama de instrumentos complementarios.

La metodología diseñada comprende el análisis del ciclo del proyecto mediante la


verificación de los siguientes 20 aspectos, que hemos encontrado de utilidad común
en los casos investigados

1. El problema o necesidad identificada


2. El proyecto como solución al problema (pertinencia)
3. Objetivos del proyecto (% de cumplimiento de objetivos)
4. Cobertura (Índice de Cobertura ex-post/ex-ante)
5. Déficit (Índice = déficit sin proyecto/déficit con proyecto)
6. Dimensionamiento (adecuado, sobre o subdimensionamiento?)
7. Localización (análisis ex-ante; adecuada y cumplida)
8. Aspectos técnicos (análisis ex-ante; cumplimiento de especificaciones)
9. Aspectos ambientales (análisis ex-ante; balance ambiental ex-post)
10. Aspectos institucionales (capacidad para la ejecución y para la operación)

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 28


11. Costos de inversión (Índice de Costos = IC)
12. Tarifas o precios (Fijación, viabilidad, actualización y cumplimiento)
13. Esfuerzo de financiación (de la entidad ejecutora, adicional al crédito)
14. Desembolsos (Grado de cumplimiento según cronograma y análisis de
factores)
15. Ejecución (Índice de Cumplimiento Temporal = ICT)
16. Evaluación económica (Análisis ACB y/o ACE)
17. Evaluación financiera (Indicadores de rentabilidad)
18. Condiciones particulares exigidas (en los casos de exigencias por otros
aportantes)
19. Sostenibilidad (análisis integral sobre condiciones de continuidad y expansión)
20. Impacto del proyecto (Verificación de Eficacia en función del problema y del
entorno).

La participación comunitaria se puede incluir como tema de análisis


individualmente, pero en proyectos de desarrollo local sugerimos considerarla mejor
como una categoría de análisis trans-versal, pues incide prácticamente en todos los
otros.

2.5. PROCEDIMIENTOS

Para la evaluación ex-post se puede acudir a diversos procedimientos, de los cuales


los más comunes son:

✓ Investigación documental, especialmente sobre los estudios ex-ante, los


informes de avance, el Informe de Término de Proyecto, los registros y
estados financieros y la información sobre productos y resultados.
✓ Recopilación de información estadística sobre el proyecto y su entorno.
✓ Verificación y comprobación de hipótesis por observación directa.
✓ Recolección de información por visitas a terreno y entrevistas con los
diferentes actores sociales relacionados con el proyecto y su ambiente.
✓ Procesamiento, estimación y análisis de indicadores de evaluación ex-post vs
ex-ante.
2.6. INSTRUMENTOS

Para apoyar los procedimientos se debe hacer uso de instrumentos apropiados. En


evaluación ex-post de proyectos de infraestructura municipal, hemos adaptado y
desarrollado varios instrumentos que han demostrado ser bastante expeditos para
los procesos de recolección y de análisis de información.

Entre ellos, se encuentran los siguientes:

✓ Ficha de contraste Ex-post vs Ex-ante


✓ Guía de entrevista
✓ Guía de observación en terreno
✓ Matriz para verificación cualitativa de impactos

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 29


✓ Tablas para evaluación económica
✓ Tablas para evaluación financiera
✓ Gráfico de indicadores de ejecución
✓ Hoja analítica del proyecto

Ficha de contraste ex-post vs ex-ante

Consta de tres columnas:

✓ La de la izquierda, para acopiar la información ex-ante del proyecto.


✓ La del centro, para recoger los resultados ex-post y verificar el nivel de
cumplimiento de lo estipulado ex-ante, y
✓ La tercera, para explicar las discrepancias y sacar conclusiones sobre la
situación analizada. La ficha tiene por objetivo hacer una evaluación ex post a
lo largo del ciclo de vida del proyecto.

Guía de entrevista

Es necesario recoger información de los diferentes actores locales relacionados o


afectados por el proyecto para sondear sus apreciaciones sobre el tipo de beneficios
y de costos que el mismo les ha generado. Este tipo de entrevistas requiere de
diálogo informal y desprevenido para obtener respuestas lo menos sesgadas
posible. La gula de entrevista apoya la captación de respuestas a seis aspectos:

• Prioridad: permite establecer para un agente específico la prioridad del


proyecto respecto a otros.
• Participación: establece la manera como participó o no participó el agente en
el proyecto.
• Beneficio: determina si el proyecto brinda beneficios al agente respectivo.
• Perjuicio: determina si el proyecto afecta negativamente al agente respectivo.
• Balance: sopesa los dos elementos anteriores y determina cuál de ellos
predomina con el proyecto
• Satisfacción: establece la opinión como ciudadano sobre el proyecto.

Guía de observación en terreno

La gula se estructura de acuerdo con la naturaleza del proyecto, con los aspectos
previsibles del impacto y con las características físicas que interesa verificar (estado
y calidad de la infraestructura, tecnología instalada, dimensiones, estándares,
prácticas de uso de las instalaciones, mantenimiento, actitudes de los usuarios).
Esta gula es muy importante para asegurarse de que el responsable por la visita
verifique aspectos esenciales de la evaluación y para garantizar uniformidad en los
elementos analizados en los diferentes proyectos que componen el programa.

Matriz para verificación cualitativa de impactos Esta matriz tiene dos propósitos:

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 30


✓ Reforzar el análisis cualitativo de los Indicadores de Eficiencia Económica
(Indicador ex-post/indicador ex-ante) y enriquecer las conclusiones sobre el
balance de beneficios generados en los actores locales afectados por el
proyecto.
✓ Facilitar el análisis económico en términos cualitativos en los casos en que se
dificulte la recolección de información cuantitativa sobre la situación ex-post.

Tablas para evaluación económica

Estas tablas arrojan los índices de Eficiencia Económica, descontados los flujos
económicos a precios de mercado y constantes, por el cociente entre el indicador ex-
post y el indicador ex-ante. En el caso se utilizó preferiblemente la relación
Beneficio/Costo, en su defecto el VPN y por último la TIR. En los casos de análisis
de Costo-Eficiencia, se sugiere utilizar como indicador el número de beneficiarios por
unidad monetaria, o Número de Unidades Atendidas (o producidas) por $.

Los resultados cuantitativos de los índices de Eficiencia Económica se confrontan


con los resul-tados cualitativos consolidados en la Matriz de Verificación Cualitativa
de la Evaluación Económica Ex-post.

Tablas para evaluación financiera

Las tablas para la evaluación financiera deben permitir realizar tres tipos de análisis
secuenciales:

✓ Costeo de la operación: En qué medida los ingresos son suficientes para


cubrir los costos de operación y mantenimiento.
✓ Impacto en las finanzas municipales: En qué medida el flujo de operación,
incluido el servicio de la deuda, no compromete las arcas municipales, es
decir, arroja un Valor Presente Neto (VPN) positivo.
✓ Resultado financiero del proyecto: El resultado del flujo financiero neto
incluidos todos los ingresos y todos los costos.

Para la configuración del índice de Eficiencia Financiera se toma el Valor Presente


Neto del resultado financiero del proyecto. El coeficiente es el resultado de dividir el
indicador ex-post sobre el ex-ante.

Tabla de indicadores de evaluación ex-post y gráfico de indicadores de


ejecución

Para cada proyecto se calculan los seis Indicadores de la Evaluación Ex-Post que
sugiere la metodología del Banco Mundial. Al frente de cada indicador se incluye una
frase explicativa de su resultado.

En la parte inferior de la tabla se representa el punto del cuadrante en el que quedó


ubicada la combinación del par ICT vs IC, o sea el Índice de Cumplimiento Temporal
y el índice de Costos, con la interpretación del resultado.

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 31


Esta tabla se consolida para cada uno de los cinco sectores analizados, así como
para la muestra en su conjunto.

Hoja analítica del proyecto

Toda la información confluye a un importante instrumento al que hemos denominado


"Hoja Analítica del Proyecto", en la que se desagrega cada proyecto en los veinte
aspectos fundamentales que se evalúan tanto para la situación ex-ante como para la
ex-post. Con las mezclas de estos 20 ítems se configuraron valoraciones agregadas
para cada una de las fases del ciclo del proyecto: Formulación, Ejecución y
Operación, así como para el ciclo completo.

Para la valoración se establece una escala de 1 a 9 y se aplica el método Delphi


entre los miembros del equipo, mediante el cual cada miembro asigna valores a los
ítems investigados, los cuales a su vez sirven para contrastar la valoración otorgada
por el investigador principal del proyecto respectivo. La valoración definitiva, así
validada, es la que se atribuye a cada proyecto. La escala de 1 a 9 permite
segmentarse a su turno en tres tramos, donde el superior (7 a 9) es satisfactorio, el
inter-medio (4 a 6) significa un desempeño regular o mediocre y el inferior (1 a 3)
insatisfactorio.

A nivel de proyecto se analizan los principales factores que explican el resultado de


la valoración. Por la agregación de los valores de los proyectos y la estimación de
sus respectivos promedios se han consolidado las hojas analíticas de los respectivos
sectores y de la muestra nacional.

En el rincón inferior derecho de la Hoja Analítica se presenta el gráfico que ilustra los
resultados relativos de las fases y del ciclo del proyecto.

Evaluación de Resultado de una Muestra del PDT Gráfico 17

FINDETER Evaluación Ex - post de


Proyectos PDT
RESULTADOS DE LA MUESTRA NACIONAL PROYECTO
15
INDICADORES DE EVALUACION EX - POST

INDICE INDICADOR EXANTE EXPOST VALOR OBSERVACION -


INDICE ANÁLISIS
INDICE DE ICO 93,969.3 89,426.8 0.97 COBERTURA PREVISTA
COBERTURA ATENDIDA
INDICE DE DÉFICIT ID 230,343.3 241,188.0 0.97 NO HAY DÉFICIT
SIGNIFICATIVO
INDICE DE ICT 148.3 381.6 3.24 DEMORAS POR
CUMPLIMIENTO PROBLEMAS
TEMPORAL
INDICE DE COSTOS IC 6,973.5 7,132.3 1.18 INVERSIONES UN POCO
POR ENCIMA DE LO
PREVISTO
INDICE DE EFICIENCIA IEE 45.7 70.4 0.96 LOS BENEFICIOS

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 32


ECONÓMICA ECONÓMICOS SE ESTAN
GENERANDO
INDICE DE EFICIENCIA IEF 2,508.9 -51 1.7 -0.24 HAY SERIOS
FINANCIERA PROBLEMAS DE
SOSTENIBILIDAD
FINANCIERA
Nota: el valor de los Índices de la muestra nacional es el promedio simple de los índices de los 15 proyectos
INDICADOR DE CUMPLIMIENTO TEMPORAL (ICT) vs INDICADOR DE EJECUCIÓN DE COSTOS (IC)

IC<0,7 0,7<I<1 1<IC1,3 IC>1,3


ICT>1,3 ICT>1,3
ICT>1,0 ICT>1,0
ICT<1,0 ICT<1,0
ICT<0,7 ICT<0,7
IC<0,7 0,7<I<1 1<IC1,3 IC>1,3

CONCLUCION
NINGUN PROYECTO SE EJECUTÉ EN MENOR TIEMPO DEL PRÉ VISTO
LA MITAD DE LOS PROYECTOS GASTO MÍS DE LO PROGRAMADO POÍR AJÜSTES DE PRECIOS Y MAYOR
CANTIDAD DE OBRA. LA OTRA MITAD TUVO UN INDICE DE COSTOS MENOR, POR LA ELIMINACIÓN 0
DISMINUCIÓN DE COMPONENTES DE INVERSIÓN. MUY POCOS POR AHORRO O EFICIENCIA

2.7. EL TABLERO DE CONTROL GERENCIAL PARA LA


EVALUACIÓN EX-POST

El tablero “grueso para la


evaluación, Ex- post" lo aporta el Marco
Lógico con la información analizada sobre
objetivos fundamentales y niveles de logro:
El Tablero "afinado para la Evaluación. Ex-
post" lo aporta la Hoja Analítica del
Proyecto, como se ilustra en la página
siguiente.

El ML = Tablero Básico para la Evaluación


Ex-post Gráfico 18

Utilidad de los resultados

Los resultados de la evaluación ex-post, de acuerdo con los fines que ésta
persigue, tienen aplicación en tres planos: para verificación de efectos, para
retroalimentación correctiva y para generación de memoria referencia) hacia el
futuro, como se indica en el siguiente cuadro

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 33


Acciones Derivables de la Evaluación Ex-post en Proyectos Puntuales Cuadro 6

Memoria
Fase evaluada Impacto Retroalimentación (*)
Formulación X
Ejecución X X
Operación X X X

(*) Aunque la retroalimentación se efectúa durante la fase de operación, se pueden


introducir modificaciones sugeridas por la evaluación ex-post en los componentes de
diseño (formulación) y en las instalaciones (ejecución).

Acciones derivables de la evaluación ex-post en programas Cuadro 7

Fase evaluada Impacto Redefinición de políticas y de instrumentos


X X
X X X
X X X

2.8. PROBLEMAS PRÁCTICOS EN LA EVALUACIÓN EX-POST

Una de los principales dificultades para la evaluación ex-post consiste en la


ausencia de información base, ya que casi nunca se dispone de la "fotografía" de la
situación sin proyecto. Esto se debe a que aún falta consolidar capacidad para la
formulación de los proyectos. Fundamentalmente, la preocupación en el ciclo del
proyecto se ha centrado en predeterminar objetivos de actividades y de productos,
no de impactos, de resultados esperados. No se desarrolla visión sobre la
trascendencia del proyecto (impactos deseados y posibles) y sólo se establecen
indicadores ex-ante para los productos de instalación y de operación.

Como los proyectos, en estas condiciones, vienen naciendo sin brújula,


entonces no se sabe de antemano contra qué se va a evaluar y no se predeterminan
reglas de juego para la validación de finalidades (comprobación de efectos a
posteriori), razón por la cual no se acopia la información pertinente desde el
comienzo del ciclo. De esta forma, cuando se entra a la evaluación ex-post -si es
que se entra no se cuenta con la información de referencia completa y los analistas
se ven obligados a las más diversas alquimias para restaurar dicha información.

Otro aspecto que hemos venido validando en la consultarla de evaluación ex-


post, es que los formuladores y los analistas por lo general asumen posiciones de
afecto sobre los proyectos que estructuran y terminan terciando hacia la
configuración de indicadores ex ante que reflejan sobreestimaciones en las
bondades de los proyectos. Esto se observa con alta frecuencia en los proyectos de
infraestructura municipal, especialmente en los indicadores ex-ante de rentabilidad
financiera, en la capacidad de retomo de los créditos con los ingresos tarifarios de
los propios proyectos. Por otro lado, se viene constatando un manejo frágil en las

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 34


soluciones institucionales, donde los componentes de desarrollo institucional para
garantizar la operación no se vislumbran adecuadamente o, cuando se incorporan al
proyecto, se terminan aplicando como recursos adicionales a disposición del
proyecto y no como soporte esencial para asegurar su ejecución en el corto plazo y
su operación y sostenibilidad en el mediano y largo plazos.

En suma, la realidad viene demostrando la necesidad de enriquecer los


métodos y los instrumentos para la formulación y la evaluación ex-ante a la luz de lo
ex-post.

Hacia La metaevaluación La evaluación ex-post de programas (compuestos


generalmente por un conjunto de proyectos) se ubica en el umbral entre la
mesoevaluación y la metaevaluación y constituye, por tanto, un instrumento valioso
para la evaluación estratégica desde el punto de vista de los diseñadores de
políticas y de los responsables por la coordinación y evaluación de los planes y
programas de desarrollo. Esto nos traslada a la órbita de la Evaluación Estratégica
Global, la que cierra el Tablero de Control Gerencial.

3. EVALUACIÓN ESTRATÉGICA
GLOBAL - METAEVALUACIÓN
EVALUACIÓN
ESTRATÉGICA GLOBAL

EVALUACIÓN DE
RESULTADOS

CONTROL DE
PROCESOS
EVALUACIÓN
EX - POST
CONTROL DE
PROYECTOS

3.1. LOS OBJETIVOS INSTITUCIONALES SE ENFOCAN BAJO


DOS PERSPECTIVAS
• Una más autónoma, que obedece a los ejercicios actualizados de misión-
visión. La institución se dirige hacia propósitos más estables y permanentes,

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 35


relacionados con servicios que por su naturaleza debe prestar o, mejor,
garantizar su prestación.
• La otra perspectiva es derivada del Plan de Desarrollo, frente a la cual la
institución debe incorporar políticas, desarrollar estrategias, participar en
programas o asumir proyectos cuyos resultados deben contribuir al logro de
los objetivos del Plan.

Esta perspectiva no sólo lleva a las Instituciones públicas o que cumplen


función pública a incorporar los objetivos del Plan a sus objetivos institucionales, sino
que plantea la necesidad de efectuar evaluaciones sistemáticas y esporádicas para
verificar los logros del Plan y las contribuciones que a dichos logros aportan los
resultados institucionales.

Los nuevos mandatos constitucionales y los esfuerzos de modernización del


Estado están llevando a los diferentes países y gobiernos a establecer mecanismos
de control de gestión orientada a resultados, pero parece que los logros en los
sistemas que se han pretendido establecer son todavía poco halagadores.

El punto de encuentro entre los objetivos institucionales y los pedidos de! plan
de desarrollo debe entenderse y manejarse dentro de su propia realidad político
institucional, preservando la identidad y la autonomía de la que dispongan los
organismos del Estado y los niveles gubernamentales involucrados.

Hay dos extremos que deben ser evitados: ·

• El primero, donde cada institución actúa en función de "sus propios objetivos",


sin incorporar los del Plan, como que cada entidad fuera una rueda suelta.
• El segundo, donde se trata de mirar los objetivos institucionales
exclusivamente bajo los mandatos del Plan, sin reconocer autonomías, ni
culturas institucionales propias, ni la validez de determinados procesos o
servicios que se prestan de manera sistemática.

El primero resulta, entre otros factores, de la limitada institucionalización del


Plan Nacional de Desarrollo y de tina doble agenda institucional. "Muchas
instituciones no logran apropiarse adecuada-mente de la Estrategia de Desarrollo
del país. Esta situación provoca no sólo el desconocimiento de los retos del
desarrollo nacional, sino que conduce a un divorcio entre las prioridades nacionales
y las institucionales. Lo anterior explica la formulación de planes institucionales
aislados, elaborados sin contemplar el entorno dentro del cual deben ser
ejecutados." Predomina, además, "una cultura institu-cional caracterizada por bajos
niveles de coordinación y comunicación, concentrada en la realización de tareas y
actividades y no en los procesos, los resultados y la eficiencia. En muchos casos,
existe un desconocimiento casi generalizado, incluso en los mandos medios, del
rumbo y las prioridades institucionales, hecho que se convierte en un lastre para la
ejecución de los programas y proyectos prioritarios del Gobierno."

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 36


Por el otro lado, la experiencia de varios países de la región nos muestra que
los intentos para establecer sistemas de información, de control de gestión y de
evaluación de resultados en las instituciones públicas, cuando se focalizan sólo
desde la perspectiva de la entidad planificadora central, o están fracasando o llevan
a resultados muy precarios. La conciliación de intereses no significa subordinar todo
al Plan.

Significa compatibilizar los objetivos institucionales con los del Plan, a la vez
que se deja a las institu-ciones sus propios espacios para que simultáneamente
realicen su razón social, en el contexto de una cultura institucional. Una realidad
inevitable es que, gústenos o no, gústeles o no a los técnicos de los organismos de
la planificación central, las instituciones públicas, aún sin pertenecer a otros niveles
autónomos de gobierno (como los territoriales y locales), tienen su propia cultura y
los equipos gerenciales poseen sus visiones. Los espacios para la realización
profesional de las cúpulas directivas y de los equipos de trabajo deben ser el fruto de
la conciliación entre los objetivos del Plan y los objetivos de misión-visión, unidos a
la participación creativa en la definición de los factores de éxito, en los cuales la
gerencia institucional empeña su compromiso.

Entre los dos extremos, entonces, debe darse un proceso de concertación


que haga viables los propósitos intergubernamentales y que facilite la adopción de
mecanismos de información y control idóneos.

De todas formas, en las relaciones: a) Plan Nacional de Desarrollo - Plan


Institucional y b) Nación - Territorio podemos ubicar dos tipos de evaluaciones:

• La metaevaluación, que es la evaluación localizada en el nivel global; en


este nivel se efectúa la evaluación estratégica del Plan, se verifican los
cumplimientos de los agentes institucionales, sectoriales y territoriales y se
consolida la información para la evaluación macro.
• La mesoevaluación, que es la que se realiza en los niveles institucionales y
territoriales, desde donde se generan contribuciones al plan global, a la vez
que se persiguen objetivos "propios

3.2. LA METAEVALUACIÓN

En un plano superior, el organismo evaluador (generalmente el organismo


central de planificación y/o la Contrataría) debe estructurar la evaluación del Plan y
de las estrategias de desarrollo. Requiere para ello configurar las sumatorias de las
contribuciones de las entidades y, en general, de los aportes de los mesoespacios a
la planificación global. Debe, entonces:

• Consolidar y verificar evaluaciones institucionales contributivas al Plan.


• Verificar los resultados totales o globales mediante las sumatorias de los
mesoespacios institucionales, territoriales, sectoriales).

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 37


• Evaluar los planes y programas mediante la medición directa de sus logros y
de sus impactos.
• Hacer o contratar la evaluación ex-post de los planes y programas.
• Efectuar el monitoreo de planes y programas.
• Consolidar y asegurar el mantenimiento de sistemas integrados de
información para control de gestión del plan y resúmenes de gerencia de
proyectos.

"La gestión pública adquiere integralidad y continuidad en la medida en que la


planeación, la ejecución de acciones y la evaluación de las mismas se orienten y
retroalimenten constantemente sobre la base del mismo propósito: el cumplimiento
de los Objetivos del Plan Nacional de Desarrollo."

3.3. LA MESOEVALUACIÓN

Mientras la metaevaluación se preocupa por la globalidad, la mesoevaluación


se mueve en el espacio institucional o en el territorial, en dos sentidos de
confluencia: de arriba-abajo y de abajo- arriba. Allí se concilia, se concreta, se
acogen los objetivos y directrices superiores pero se mantiene y, mejor, se consolida
la realización de los objetivos propios del mesoespacio (comunidad, territorio,
región), incluidos los microespacios (usuarios, ciudadanos, procesos, proyectos) y la
identidad de los entes que son protagonistas en ese mesoespacio.

Desde el punto de vista de la institución se debe mirar el grado de contribución a los


objetivos del Plan: Esto, en varios planos:

• Estado de avance de los programas y/o proyectos del Plan


• Cumplimiento de programas y proyectos
• Productos y resultados de procesos ligados a las estrategias de desarrollo
• Resultados institucionales contributivos al Plan o a las estrategias de
desarrollo

3.4. EL ENCUENTRO DE LA MESOEVALUACIÓN CON LA


METAEVALUACIÓN

En la cúpula institucional se encuentran los objetivos de misión-visión


perseguidos por la alta gerencia y los objetivos directores del Plan Nacional de
Desarrollo. En este punto de encuentro se verifica el grado de contribución de los
resultados institucionales a los objetivos del plan. En el nivel global, nacional, los
resultados del quehacer institucional son evaluados estratégicamente por la unidad
responsable de la planificación nacional. En el ámbito territorial, se verifica la
contribución de los resultados institucionales al plan territorial (regional,
departamental, 18 municipal).

La integralidad requerida en la organización del Estado "debe lograrse con


una clara delimitación de los espacios autónomos de acción de las entidades y con

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 38


sus compromisos para el logro de objetivos comunes que articulan cúmulos de
entidades." Esto implica establecer acuerdos Interinstitucionales con base en las
responsabilidades de cada entidad en cada uno de los programas o componentes
del Plan en que participa.

Estos acuerdos van tomando fuerza como mecanismos de articulación entre


lo meso y lo macro, con diferencias en su modalidad de aplicación. Mientras en
algunos países se establecen como compromisos formales entre los directivos
institucionales y el Presidente de la República, en otros se apoyan en la acción
concertada entre los organismos vinculados del sector. Cualquiera que sea la
modalidad, más o menos formal, se requiere, como mínimo, de la concurrencia de
cuatro elementos:

1. Coordinación interinstitucional
2. Claridad y precisión en los objetivos comprometidos
3. Responsabilidades delimitadas para cada organismo, y
4. Evaluación sistemática de los resultados obtenidos en cada nivel de los
acuerdos.

3.5. LA MATRIZ DE DESEMPEÑO INSTITUCIONAL - MDI

Esta matriz es el instrumento principal para efectuar el seguimiento y evaluar


el cumplimiento de los objetivos (compromisos) institucionales y su contribución a los
programas o a los planes de desarrollo que los enmarcan.

En esencia, la MDI tiene dos cuerpos en su estructura vertical (columnas):

1. Cuerpo izquierdo, constituido por cuatro columnas:


• Objetivos (o acciones estratégicas)
• Indicadores (criterios de evaluación)
• Ponderaciones (peso de los criterios)
• Valor actual del indicador (o criterio).

2. Cuerpo derecho, configurado por las metas o escalas de evaluación.


Este cuerpo tiene diferentes versiones, en función de los años-meta que se
establezcan y de las escalas de valoración que se adopten.

A título ilustrativo presentamos el siguiente formato de MDI:


Modelo 1 de MDI Cuadro 8

Conceptos a/ Escala de evaluación


Valor 4
3 2 1
Peso del Actual 5 Muy
Objetivo Indicador Bueno Regular Malo
Indicador del Excelente Bueno
Indicador

‘/En el modelo SINE, el Objetivo se denomina “Acción Estratégica y el indicador " criterio"

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 39


Evaluación de la gestión institucional

Ilustremos la aplicación de la Matriz de Desempeño Institucional con un ejemplo del


modelo SINE, de Costa Rica.

En primer lugar, se elabora la matriz con los objetivos del compromiso, sus
indicadores, las ponderaciones (sumatorias a 1.00), el valor actual y los parámetros
de desempeño.

Ejemplo del Uso del MDI Cuadro 9

Conceptos Escala de evaluación


Valor 5 4
3 2 1
Peto del actual del Excelent Muy
Objetivo Indicadora Bueno Regular Malo
Indicador Indicador e bueno

Inmunizacio % de niños 0.50 84.0 90 97.0 86.0 85.0 84.0


nes Inmunizado
s Promedio

mensual de
niños
Nutrición y cubiertos 0.30 9,500 12.000 11,00 10,50 10,000 9,500
desarrollo 0 0
del niño # de
sistema de 3,000 2,000
Saneamient excretas 0.20 N.D. 6,000 5,000 4,000
o básico Instalados
rural

En la medida en que se complete un período de evaluación el año, por


ejemplo se compra los valores de los resultados obtenidos con el valor inicial
(anterior "valor actual") y con los parámetros de la escala de evaluación.

Evaluación de los objetivos

Cada objetivo se evalúa con base en el puntaje simple obtenido:

• Si en el primer programase logró inmunizar un 87%, se obtiene un puntaje de


4. Evaluación Institucional

Al finalizar el año, en el ejemplo que aporta el documento del SINE, los logros
del Ministerio de salud son:

Indicador de Objetivo y Meta Lograda Cuadro 10

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 40


Una vez se posee la calificación de todos los objetivos, se calcula el puntaje
compuesto, aplicando las ponderaciones de la tabla:

Tabla de Ponderaciones Cuadro 11

Objetivo Indicador Peso Resultado Puntaje simple Peso


Inmunizaciones % de niños 0.50 87.0 4.0 2.0
Inmunizados

Nutrición y Promedio 0.30 10,750 4.5 1.35


desarrollo del mensual de
niño niños
cubiertos

Saneamiento # de sistema 0.20 6,000 5.0


básico rural de excretas 1.0
Instalados

TOTAL Integrado 1.00 - - 4.3

Otro modelo de Matriz de Desempeño Institucional es utilizado por el sistema


"SINERGIA" de Colombia.

Modelo 2 de MDI Cuadro 12

Metas para el año 1


Conceptos
Objetivo
Objetivo
de Valor
de Indicador % Mínimo Satisfactorio Sobresaliente
Desarrollo Actual
entidad

Este modelo, como veremos a continuación, hace explícita y facilita la


articulación entre los objetivos específicos de entidad (segunda columna) con los
objetivos del Plan de Desarrollo.

Evaluación de planes y programas y metaevaluación

Los objetivos no sólo se pueden ponderar para obtener una apreciación del
total de la gestión de la institución. También se pueden ponderar para integrar la
calificación de un programa dentro de la institución compuesto por varios objetivos.

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 41


Esto puede llevar a un Tablero de Evaluación más desagregado, en el que los
objetivos originales pueden estar referidos a programas y los sub-objetivos referidos
a los proyectos que los componen.

Podemos decir que la información procesada hasta aquí responde al punto de


evaluación de frontera entre la mesoevaluación y la metaevaluación. Pero desde el
punto de vista de la autoridad planificadora superior (o de la que ejerce la función de
contralora) es necesario atravesar la frontera y entrar a la metaevaluación, para
indagar sobre dos aspectos: ·

• El grado de contribución de los objetivos de las instituciones a los planes y


programas de desarrollo, y
• La eficacia y la eficiencia de los planes y programas globales de desarrollo

Contribución de los objetivos de las instituciones a los planes y programas de


desarrollo Para este fin, la autoridad planificadora o evaluadora puede apoyarse en
diversos instrumentos, uno de los cuales es la Matriz de Contribuciones, la cual se
basa en supuestos de aporte de los objetivos (programas y proyectos) de cada
institución a cada uno de los planes y programas globales. Las ponderaciones de
contribución se establecen en el momento del diseño de la planificación plurianual y
se actualizan en los Planes Operativos Anuales.

Para este efecto el organismo de planificación superior puede apoyarse en un


instrumento como la Matriz de Contribuciones de Objetivos Institucionales. Cada
programa importante se desagrega en los objetivos a cargo de cada agencia pública
con responsabilidades de intervención:

Matriz de contribuciones de objetivos institucionales al plan de desarrollo

Objetivo Global (Plan o Programa) Cuadro 13

Objetivo Institución Resultado


Indicador Ponderación
específico responsable
Total 1.00

En aras de la eficacia del control, este ejercicio tiene especial significado en


los planes y programas prioritarios de gobierno. Al final de cada período de
evaluación (año), se verifica la eficacia real de las gestiones institucionales por
objetivos prioritarios del Plan de Desarrollo, se analizan y se corrigen los supuestos
iniciales de contribución.

Evaluación de eficiencia en la asignación de los recursos

La verificación sistemática de las contribuciones al plan de desarrollo arroja


luces importantes para verificar la eficacia institucional, para redefinir componentes y
ajustar los proyectos, programas y planes. Este ejercicio debe pasar por la

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 42


confrontación de la matriz de contribuciones efectivas (actualizadas) con la matriz de
recursos asignados. Los desbalances observados lanzan señales para ajustar la
distribución de los recursos y efectuar la reprogramación presupuestal pertinente.

Evaluación de eficacia de los planes y programas globales

El ciclo de la metaevaluación se cierra con la retroalimentación a los


componentes, a los agentes institucionales y al sistema de recursos del Plan y se
completa con la propia verificación de eficacia (impacto) de los planes y programas
globales. Aquí la autoridad planificadora (o evaluadora) aplica los instrumentos y
modelos de evaluación que considere apropiados.

Un instrumento adecuado para este propósito es el Marco Lógico, aplicado no ya a


los proyectos específicos de las instituciones, sino a cada Programa o Plan Global.
Los principios y procedimientos son los mismos ya indicados en su aplicación a los
proyectos. Las diferencias radican en el cambio de escala:

Marco Lógico Aplicado a la Metaevaluación Gráfico 21

Concepto Indicador Verificación Supuesto

Fin:
Impacto en la estrategia global de desarrollo

Propósito:
Resultados del plan o programa

Componente.
El agregado que entrega cada institución

Objetivo:
El desagregado de cada entidad responsable

El control y evaluación de la autoridad planificadora superior comprende los tres


primeros niveles, mientras que el nivel inferior es informativo y su control está a
cargo, de la agencia pública responsable, cuyos objetivos integrados se consolidan
en el tercer nivel. Este encuentro de niveles permite la conexión entre la meso y la
metaevaluación.

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 43


Ámbito de Evaluación Grafico 22

Concepto Metaevaluación Mesoevaluación

Conexión
entre
Fin:
Impacto en la estrategia global de
mesoevalu
desarrollo
ación
metaevalu
Propósito:
ación Resultados del plan o programa

Componente.
El agregado que entrega cada institución

Objetivo:
El desagregado de cada entidad responsable

De esta forma, el Tablero de Control Gerencial en la mesoevaluación se apoya en


cuatro instrumentos integradores: La Matriz de Resultados, La Matriz de Control de
Procesos, el Marco Lógico y la Evaluación Ex-post. La metaevaluación se consolida
en el Marco Lógico que resume el Plan Nacional de Desarrollo. Y las dos se
conectan con la Matriz de Desempeño Institucional, con el mismo Marco Lógico y
con la evaluación Ex-post de Programas que trascienden el mesoespacio.

3.6. ¿QUÉ SIGUE?

El enfoque principal, se ha centrado en la necesidad de una visión gerencial y en un


menú de métodos y de herramientas de los que puede hacer uso la autoridad
gubernamental para verificar que se mantiene dentro del rumbo perseguido y para
facilitar la articulación entre los ámbitos de la gerencia pública.

Pero la aplicación de los métodos y de los instrumentos debe pasar necesariamente


por un proceso de cambio de actitudes y de generación de cultura que permita que
cada nivel se apropie del control de gestión y de la evaluación de resultados. Que lo
haga suyo, lo internalice y lo incorpore a su agenda de trabajo, a la cotidianidad
gerencial.

Las autoridades superiores con responsabilidades de planificación, de control y de


evaluación no van a conseguir resultados oportunos y eficaces solamente
estableciendo sistemas de información a pedido", desde arriba, mientras estas
iniciativas no se apoyen en acciones y en instrumentos que estimulen positivamente
a su uso e induzcan su apropiación por los protagonistas gerenciales. La praxis
limitada es decir, nuevos sistemas a pedido sin diseminación cultural está
demostrando fallas o comportamientos incompletos, como:

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 44


• Los cuadros que se llenan para la metaevaluación no son el resultado de un
control gestión institucional sistemático sino que, en la mayoría de los casos,
son llenados por una oficina generalmente la de Planificación que los
consigue o los elabora al margen de un sistema de información de la entidad.
• Lo anterior es consecuencia de la inexistencia de sistemas institucionales de
información gerencial, a su turno derivado de las inexistencias de sistemas de
control de gestión con base en resultados asociados a objetivos estratégicos.
• Los datos llegan tardíos, incompletos, inconsistentes.
• Alto desgaste persiguiendo la información para que fluya del mesoespacio al
metaespacio.
• El uso de la información en la metaevaluación escasamente nutre procesos
de reformula-ción presupuestal, sin apoyarse en nociones claras sobre
contribución a la eficacia global.
• La información se queda arriba, sin retorno para retroalimentación en las
instituciones.
• Cuando hay retornos, llegan tarde para los requerimientos de
retroalimentación del ciclo gerencial.
• En suma, no hay conjugación de lenguaje.

Este escenario seguirá repitiéndose con escasas variaciones mientras no se invierta


en internalización y en siembra de cultura para asimilar el control de gestión basado
en resultados, para todos los niveles micro y meso espaciales.

Para facilitar los procesos de cambio latitudinal, necesarios para establecer sistemas
eficaces de control de gestión y de evaluación de resultados -insistimos, en todos los
niveles queremos llamar la atención sobre tres estrategias que, a nuestro juicio,
deben ser impulsadas con mayor énfasis y dedicación por parte de las autoridades
institucionales y de quienes están interesados en promover estos sistemas:
Incentivos, transparencia y articulación.

3.7. INCENTIVOS

La gerencia pública tiene que modificar su praxis burocrática tradicional y darle


cabida con ma-yor audacia a los mecanismos de estímulos para facilitar con sentido
pragmático los logros asociables a compromisos individuales, grupales,
institucionales, por proyectos, por programas, orientados a mejora del desempeño, a
eficiencia en el uso de los recursos comprometidos y a la eficacia en los resultados.

Los incentivos deben mirar hacia dos campos:

✓ Hacia los protagonistas de los logros: funcionarios, equipos de trabajo,


contratistas, grupos de proyectos, dependencias, instituciones, comunidades,
ciudadanos y usuarios, con el fin de impulsar metas de productividad y de
obtención de efectos en los procesos y hacia el entorno. Hay muchas formas
de premiar a quienes logran resultados. Esto es definitivamente necesario

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 45


para mantener el entusiasmo entre quienes ya lo poseen y para contagiar a
quienes aún no lo tienen.
✓ Por otro lado, debe estimularse la creación, adopción, desarrollo y puesta en
operación de sistemas de información gerencial en las instituciones públicas.
Entre otros tipos de apoyo, deben ponerse en práctica programas e incentivos
para promover el intercambio de experiencias sobre avances e innovaciones
con resultados comprobados en la materia. Las experiencias exitosas deben
ser premiadas y difundidas, con el fin de diseminar la cultura del control de
gestión y de la evaluación de resultados en la gerencia pública.

3.8. TRANSPARENCIA Y PARTICIPACIÓN

Concomitantemente con buenas políticas de estímulos, que vayan en la vía del


propósito perseguido, es necesario diseñar, propiciar y poner en práctica estrategias
que aseguren la transparencia en los comportamientos y en el manejo de los
recursos públicos. De hecho, el control de gestión no es responsabilidad apenas del
protagonista gerencial, sino que en él deben participar todos los que orbitan en torno
al quehacer institucional.

Toda entidad pública maneja recursos que son de propiedad de los ciudadanos y
toma decisiones que de alguna manera afectan sus intereses. Esto impone la
necesidad de establecer mecanismos de control de gestión abiertos, a los que
tengan acceso y en los que participen directamente los ciudadanos y otros
protagonistas colaterales. Es un requisito necesario para facilitar el ejercido de la
supervigilancia, de la "veeduría" sobre las decisiones y sobre las actuaciones de la
autoridad gubernamental o de la que cumpla funciones de naturaleza pública, con el
fin de garantizar pulcritud y transparencia. Estrategia ésta en la que hay mucho
camino todavía por recorrer.

Por otro lado, si llamamos "involucrados" a quienes de alguna forma tienen que ver
con los procesos, con los productos o con los impactos de la acción pública,
veremos que hay involucrados beneficiarios de la gestión pero que también hay
involucrados víctimas. De ahí, que los instrumentos de control de gestión serán
incompletos mientras no se apoyen en la participación de los involucrados, como
garantía para expresar sus expectativas sobre los resultados institucionales y para
verificar que sus intereses no sean lesionados. Además, para facilitar apoyos
culturales, sociopolíticos y aún de recursos, que hagan viables los proyectos, los
procesos y los programas con los que se ha comprometido la gerencia pública

3.9. ARTICULACIÓN

Las autoridades planificadoras deben dejar de lado su persistente tendencia a


uniformarlo todo y a desgastarse queriendo imponer diseños y comportamientos
exclusivamente de arriba abajo. El nuevo mundo del tercer milenio al que ya
llegamos, según lo dijimos en nuestra primera frase de la introducción, es un mundo
globalizado y descentralizado, que exige comunicación de arriba abajo y viceversa:

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 46


La comunicación entre la autoridad planificadora y la gerencia institucional tiene que
ser bidireccional.

En el fondo, la probabilidad de éxito depende en alto grado de la coherencia


existente entre los objetivos estratégicos institucionales y los objetivos que le marca
a la institución el Plan Nacional de Desarrollo. De ahí la necesidad de que
planificadores y gerentes hablen un mismo lenguaje, los últimos mirando más allá de
sus espacios institucionales, hacia fuera y hacia arriba, y los primeros dando señales
claras y respetando los espacios de identidad de los responsables por hacer las
cosas y porque esas cosas se hagan eficientemente y con claros beneficios hacia
los ciudadanos que son, a la vez, clientes y dueños de todo lo público.

BIBLIOGRAFÍA

Abad Arango, Darlo. “Control de gestión". Santafé de Bogotá, Interconed Editores.

Asociación Japonesa de relaciones Humana, “El libro de las ideas. Para producir
mejor. Buscando la excelencia mediante la Integración Total de Personal (ITP)”
.Barcelona, ediciones gestión S.A.

Banco Interamericano de Desarrollo, “Evaluación: Una herramienta de gestión para


mejorar el desem­pleo de los proyectos”, Washington, Oficina de Evaluación (EVO) -
BID.

Catapult Inc., “Microsoft Project Para Windows 95 Paso a Paso”. Me Graw Hill,
Departamento Administrativo Nacional de Estadística - (DAÑE) (Proyecto dirigido por
Héctor Sanín Ángel.), "Sistema de Control de gestión para la Producción estadística
Regional", Gogotá, GERENCIAL LTDA.

Departamento Nacional de Planeación - DNP., "Control y Evaluación de la Gestión


Pública". Bogotá.

Departamento Nacional de Planeación - DNP, “SINERGIA - Gestión Pública


Orientada a Resultados”. Bogotá. Publicaciones varias.

Estrada Hurtado, Gustavo, “La Riqueza de la Información: Generación de capital


Intelectual Mediante la Tecnología de la Información”. Bogotá.

Financiera de Desarrollo Territorial - (FINDETER). (Proyecto dirigido por Gustavo


Saldarriaga y Héctor Sanfn Ángel), “Evaluación Ex - post de una Muestra de 15
Proyectos de Infraestructura Muni-cipal del Programa de Desarrollo Territorial - PDT
Financiados por FINDETER y el Banco Mundial”, Bogotá, Grupo de Consultorías
Integrales - GERENCIALLLTDA., Huammer, Michael & Champy, James,
“Reingeniería. Olvide lo que usted sabe sobre cómo debe funcionar una empresa.
¡Casi todo está errado! “. Bogotá, Editorial Norma.

Hay, Edward J., “Justo a tiempo”, Bogotá, Editorial Norma.

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 47


McConkey, Dale D. "Administración por Resultados”, Bogotá, Editorial Norma.

ILPES - Dirección de Proyectos y Programación de Inversiones, LC/IP/.130,


Santiago de Chile, “Eva­luación Ex - Post de Proyectos: “Gula para su Desarrollo e
Institucionalización”, Publicación de las Naciones Unidas.

ILPES - Dirección de Proyectos y Programación de Inversiones, LC/IP/L.111,


Santiago de Chile, “Seguimiento a la Gestión Institucional y Evaluación de
Resultados Sociales de los Planes de Inversión Municipal - Manual de Indicadores”,
Publicación de Naciones Unidas.

ILPES - Dirección de Proyectos y Programación de Inversiones. LC/IP/L.114,


Santiago de Chile, “Guía Metodológica General para la Preparación y Evaluación de
Proyectos de Inversión Social”, Publicación de Naciones Unidas.

ILPES - Dirección de Proyectos y Programación de Inversiones. LC/IP/L. 119,


Santiago de Chile, “Control ciudadano y Control Comunitario de Gestión de
Resultados”, Publicación de Naciones Unidas.

ILPES - Dirección de Proyectos y Programación de Inversiones. LC/IP/L. 102,


Santiago de Chile, “La Gerencia Pública en el Sector Social: Qué, Cómo y Para
quién”, Publicación de Naciones Unidas.

ILPES - Dirección de Proyectos y Programación de Inversiones. LC/IP/L.84,


Santiago de Chile, "Propuesta Metodológica para la Evaluación Ex - Post y el
Informe de Término de los Proyectos de Inversión”, Publicación de Naciones Unidas.

Ministerio de Educación Nacional. Dirección de Planeación - (Grupo de Planes y


Programas, “Seguimiento y Evaluación de Planes y Proyectos Educativos de la
Entidades Territoriales". (Versión Preliminar). Bogotá.

Ministerio de Planificación y Política Económica, Área de evaluación y Seguimiento,


(Serie MIDE- PLAN/SINE No 1), “Sistema Nacional de Evaluación". San José.

Ministerio de Planificación y Política Económica, Área de Evaluación y Seguimiento,


(Serie MIMIDE- PLAN/SINE No 2), “Sistema Nacional de Evaluación - Guía para la
Elaboración y Evaluación de Compromisos de Resultados”. San José.

Osborne, David y Gaegler, Ted., “La Reinvención del Gobierno: La influencia del
espíritu empresarial en el sector público”, Barcelona, Paidós.

Sania Ángel, Héctor, Unión Internacional de Municipios y Poderes Locales - Centro


Latinoamericano de Capacitación y Desarrollo Local - (IULA/CELCADEL) “Manual de
Administración de Proyectos de Desarrollo Municipal. Volumen I - Identificación y
Formulación”. Quito.

Sanín Ángel, Héctor., Unión Internacional de Municipios y Poderes Locales - Centro


Latinoamericano de Capacitación y Desarrollo Local (IULA/CELCADEL) “Manual de

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 48


Administración de Proyectos de Desarrollo Municipal. Volumen III - Ejecución y
Gerencia”, Quito.

Sanín Ángel, Héctor. “Manual de Proyectos Municipales”. En edición.

Superintendencia Nacional de Salud. (Proyecto dirigido por Héctor Sanín Ángel),


"Sistema de Información Gerencial para el Control de Gestión y Evaluación de
Resultados”, Bogotá.

Tobelen, Alain, “Banco Mundial, “Sistema de Análisis y Desarrollo de la Capacidad


Institucional - SADCI”.

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 49


ANEXO

Examen del módulo:

MODELO DE PROYECTO DE INVERSIÓN PÚBLICA

1. ¿Qué se entiende por proyecto y cuáles son las fases que comprende?
¿Hacia dónde debe enfocar la gerencia de proyectos?
2. Defina y describa el término marco lógico (ML). Mencione la estructura y
significado de términos para cada casillero de la matriz.
3. ¿Cuál es la importancia para la gerencia el control del proyecto a través del
marco lógico? ¿A qué grupos controla?
4. Explique las técnicas de control de la gerencia del proyecto. ¿Por qué es
importante el marco lógico para el tablero de control del proyecto?
5. Señala los tipos de control que verifica el tablero de control sobre las
actividades.
6. ¿De qué manera aporta el tablero de control del proyecto a las actividades y a
los indicadores de verificación de tiempo y de costos?
7. ¿Cómo se manejan los aspectos que se verifican en el control de calidad en
la fase de ejecución de un proyecto?
8. Desarrolle los lineamientos básicos que son aplicables a las dos fases de los
indicadores de avance (Tiempo - Costo) y a sus acciones de control y
reprogramación.
9. ¿Qué importancia tiene para los gerentes el uso de métodos de ruta crítica
para un proyecto?
10. ¿Cuáles son los objetivos y alcances que persigue una evaluación ex-post?
11. ¿Cuándo y por qué se efectúa una evaluación ex ante y ex-post de un
proyecto determinado?
12. Señale la estructura de los pasos que comprende la metodología diseñada
para el análisis del ciclo del proyecto
13. Explique el uso y las ventajas de los siguientes instrumentos utilizados en
proyectos: - Ficha de contraste ex-post vs. ex-ante - Guía de entrevista -
Tablas para evaluación económica - Hoja analítica del proyecto
14. ¿Qué dificultades presenta la evaluación ex-post? ¿Cómo debe mejorarse
esta situación?
15. Exponga las bases que deben darse en un proceso de concertación que
hagan posibles o viables los propósitos intergubernamentales bajo dos
perspectivas de resultados institucionales ¿Cuáles son esos dos extremos de
concertación?
16. Defina la metaevaluación y la mesoevaluación ¿Cómo contribuyen a los
planes de desarrollo y planificación global?
17. ¿Qué es la matriz de desempeño institucional - MDI y cómo se estructura?
18. Explique los sistemas eficaces de control de gestión y de evaluación de
resultados que se le deben dar a 3 importantes estrategias: Incentivos,
transparencia y articulación.

CENTRO DE ESTUDIOS PROFESIONALES MURRIET Página 50

También podría gustarte