La institucionalización de una cultura
de la evaluación en la administración pública
mexicana: avances y desafíos pendientes
Myriam Cardozo Brum
Universidad Autónoma Metropolitana-Xochimilco, México /
mcardozo@correo.xoc.uam.mx
Abstract: Facing the limited development of assessing culture in Mexican Public Administration
during the last century, and the few works published in order to analyze said situation, the present
article analyzes the recent evolution of the processes of external evaluation of the social
development programs so as to value their contribution to institutionalization in the
aforementioned culture. This works concludes that, to date, there has been important
advancement in the evaluation’s normative framework; nonetheless, in the rest of the reviewed
aspects only lesser words are heard, and the background problems detected early in the process
prevail.
Key words: evaluation, meta-evolution, social development, public administration, Mexico.
Resumen: Ante el limitado desarrollo de la cultura evaluativa en la administración pública
mexicana durante el siglo pasado, y los pocos trabajos publicados para analizar dicha situación, el
presente artículo examina la evolución reciente de los procesos de evaluación externa de los
programas de desarrollo social, para valorar su contribución a la institucionalización de la
mencionada cultura. El trabajo concluye que, a la fecha, ha habido importantes avances en el
marco normativo de las evaluaciones; sin embargo, en el resto de los aspectos revisados sólo se
perciben mejoras menores, subsistiendo los problemas de fondo detectados al inicio del proceso.
Palabras clave: evaluación, metaevaluación, desarrollo social, administración pública, México.
ISSN 1405-1435, UAEMex, núm. 49, enero-abril 2009, pp. 175-198
Convergencia, Revista de Ciencias Sociales, núm. 49, 2009, Universidad Autónoma del Estado de México
Introducción
Ante el limitado desarrollo de la cultura evaluativa en la administración
pública mexicana durante el siglo pasado, y los pocos trabajos publicados
para analizar dicha situación, el presente artículo examina la evolución
reciente de los procesos de evaluación externa de los programas de
desarrollo social, para valorar su contribución a la institucionalización de
la mencionada cultura.
La metodología empleada para la exploración del caso se basó en el
análisis documental y la realización de once entrevistas con base en una
muestra intencionada dirigida a informantes-clave: autoridades de la
Secretaría de Desarrollo Social (Sedesol) y del Consejo Nacional de
Evaluación de la Política de Desarrollo Social (Coneval), así como ex
funcionarios de las instancias operativas de programas, funcionarios de
otras secretarías de Estado, evaluadores externos y diputados.
El artículo concluye que se ha avanzado en el proceso de
institucionalización de una cultura de la evaluación, pero que aún
subsisten importantes problemas por resolver, y explora sus perspectivas
inmediatas.1
Breve marco referencial
La evaluación consiste en una investigación, de tendencia
interdisciplinaria, cuyo objetivo es conocer, explicar y valorar, mediante la
aplicación de un método sistemático, el nivel de logros alcanzado
(resultados e impactos) por las políticas y programas públicos, así como
aportar elementos al proceso de toma de decisiones para mejorar los
efectos de la actividad evaluada (Cardozo, 2006).
Contar con una evaluación integral permite a los gobiernos dirigir y
ajustar estratégicamente sus políticas y programas hacia el logro de sus
objetivos y metas, a partir de la comprensión de sus resultados o outputs
(productos o servicios) e impactos o outcomes (efectos provocados por los
productos o servicios en el problema que se trata de resolver). Para ello,
resulta necesario conocer las características de los recursos empleados
(cantidad, calidad, oportunidad, etcétera) y de los procesos que han
1
El presente artículo forma parte de un trabajo más amplio que se encuentra
actualmente en prensa (consultar en la bibliografía).
176
Myriam Cardozo Brum. La institucionalización de una cultura de la evaluación
en la administración pública mexicana: avances y desafíos pendientes
permitido su transformación en resultados (productividad, eficiencia,
etcétera), así como sus principales condicionantes contextuales
(económicas, sociales y políticas).
A partir de los ochenta, la mayoría de los países ha intentado aplicar la
evaluación, en particular en América Latina, la región más desigual del
mundo en donde persisten problemas de pobreza, desempleo, bajos
salarios, salud, educación, vivienda, etcétera.
Por su parte, las políticas sociales constituyen un tipo particular de
políticas públicas, cuyo objetivo final es el logro del bienestar social
mediante estrategias y programas de redistribución de la riqueza y del
ingreso, para mejorar de manera continua las condiciones de vida de la
población (Cardozo, 2000). Al finalizar la Segunda Guerra Mundial, éstas
fueron impulsadas en el marco de los Estados de bienestar europeos y, en
menor medida, por los latinoamericanos, y tendieron a ampliar los
derechos sociales y procurar condiciones aceptables de vida para el
conjunto de la sociedad. México desarrolló múltiples programas sociales
en este periodo.
Sin embargo, en los años setenta y ochenta, el modelo de Estado de
bienestar fue cuestionado y entró en crisis. En respuesta a esta situación se
propusieron nuevas combinaciones de lo público y lo privado en la
provisión de servicios sociales, en gran parte inspiradas en las ideas
defendidas por el New Public Management (NPM): reducción del tamaño
del Estado, desmantelamiento del intervencionismo estatal, aplicación de
políticas de descentralización y de privatización de empresas públicas, y
empleo del mecanismo de mercado como nueva centralidad.
Al finalizar la década de 1980, el anterior énfasis en políticas
universales había sido sustituido por programas focalizados en la atención
de la pobreza extrema, cuya medición en México mostraba magnitudes
alarmantes (Hernández, 1991). En este contexto, en los últimos 15 años,
se han aplicado múltiples programas con esta orientación, entre los que
destacan el Programa Nacional de Solidaridad de 1988 a 1994 (Pronasol),
el Programa de Salud, Alimentación y Educación de 1997 a 2002
(Progresa) y el Programa de Desarrollo Humano Oportunidades de 2002
a la fecha.
En la actualidad, ante la persistencia de los problemas de la pobreza,
resulta necesario evaluar las políticas y programas sociales, y valorar
nuevas formas de gestión pública y social.
177
Convergencia, Revista de Ciencias Sociales, núm. 49, 2009, Universidad Autónoma del Estado de México
La cultura evaluativa en la administración pública mexicana
La evaluación y metaevaluación se encuentran aún en proceso de
desarrollo: cuentan con mayores avances en países como Estados Unidos
o el Reino Unido, tienen algunas experiencias importantes en Canadá,
Francia y España, y están poco desarrolladas en América Latina en
general.
En México, las preocupaciones en torno a la evaluación datan de 1917
y se intensifican a finales de los sesenta. Los intentos de reformas,
especialmente dirigidos a los procesos de planeación de los que la
evaluación formó parte, comienzan en la administración de López
Portillo, y su origen podría ubicarse en los trabajos realizados, desde 1965,
por la Comisión de Administración Pública (CAP), a la que pertenecieron
tanto él como varios colaboradores suyos.
Sin embargo, la lógica sexenal hizo que cada administración llegara con
su nuevo personal público y reorientara los programas gubernamentales
para ponerles su sello propio, provocando el desinterés por evaluar lo
hecho por la anterior, situación que prevaleció hasta iniciado el siglo XXI.
De esta forma, lo realizado en materia de evaluación fue poco, parcial y de
carácter punitivo (en lugar de priorizar la generación de aprendizajes
constructivos), desconociéndose realmente los niveles de eficiencia y de
impacto de los programas gubernamentales en los problemas que
pretendían resolver.
A partir de 1997, con la creación del Progresa, el proceso de evaluación
de programas gubernamentales comenzó a instrumentarse de manera
sistemática. El mismo se generalizó obligatoriamente para todos los
programas gubernamentales sujetos a Reglas de Operación, con base en la
decisión incluida en el Presupuesto de Egresos de la Federación (PEF)
aprobado por la Cámara de Diputados en el año 2000; en particular, los
dirigidos a la reducción de la pobreza que se encuentran a cargo de la
Sedesol.
A pesar del esfuerzo realizado en los últimos años para que los
informes finales de evaluación de programas resulten accesibles por
Internet, la ciudadanía cuenta con poca información publicada sobre los
procesos de evaluación emprendidos, especialmente los métodos y
técnicas aplicados, la relación costos/calidad de los resultados
alcanzados, y el nivel de utilización de dichos resultados en los procesos
decisorios. Estos aspectos pueden ser investigados mediante el desarrollo
de una metaevaluación, un tipo particular de evaluación, cuyo objetivo es
178
Myriam Cardozo Brum. La institucionalización de una cultura de la evaluación
en la administración pública mexicana: avances y desafíos pendientes
enjuiciar la calidad y el mérito de lo que hacen los evaluadores
profesionales, persiguiendo el perfeccionamiento de sus trabajos y
promoviendo una mejor comprensión de los mismos (Cardozo, 2006).
Para ello toma como objeto de análisis al proceso de evaluación aplicado a
los programas sociales: sus insumos, procedimientos, métodos,
resultados e impactos.
En México, ante la limitada difusión inicial de las evaluaciones y la
ausencia de metaevaluaciones, se realizó un primer trabajo (Cardozo,
2006) para diagnosticar el estado de la evaluación de las políticas y los
programas de desarrollo social con base en la información disponible
sobre la gestión fiscal de 2002 (metaevaluación transversal). En el
presente artículo se analiza la evolución de los procesos anteriores en el
periodo 2001-2008, especialmente los cambios introducidos con la
expedición de la Ley General de Desarrollo Social y su reglamento, y la
creación del Coneval. Recientemente, han sido publicados otros dos
nuevos trabajos de este tipo (Vargas, 2007; Schwentesius et al., 2007), pero
ambos se refieren a las evaluaciones de los programas de desarrollo rural.
Evolución de las características del sistema de evaluación
2001-2008
En 2001-2004 las características del sistema de evaluación fueron
bastante estables y estuvieron guiadas por el “Acuerdo por el que se
expiden los requisitos mínimos que las dependencias y entidades de la
Administración Pública Federal deberán considerar para seleccionar a las
instituciones académicas y de investigación u organismos especializados,
de carácter nacional o internacional, interesados en realizar la evaluación
de resultados de los programas gubernamentales sujetos a Reglas de
Operación en el ejercicio fiscal 2002”, firmado por la Secretaría de
Hacienda y Crédito Público (SHCP) y la entonces Secretaría de la
Contraloría y de Desarrollo Administrativo (Secodam), y publicado en el
Diario Oficial de la Federación el 30 de abril de 2002 (Segunda Sección:
4-7).
En el anterior se especificaba que la evaluación debía incluir como
mínimo: el porcentaje de cumplimiento de los objetivos generales y
particulares del programa, especialmente el grado de satisfacción de la
población objetivo y la cobertura alcanzada, el cumplimiento de las reglas
de operación, los beneficios económicos y sociales que resultaran de la
aplicación de recursos; el costo-beneficio de los recursos asignados al
programa, el cumplimiento de sus metas físicas y financieras, la
179
Convergencia, Revista de Ciencias Sociales, núm. 49, 2009, Universidad Autónoma del Estado de México
presentación del escenario prospectivo, la opinión sobre la permanencia o
conclusión del programa, y conclusiones y recomendaciones.
En 2005 se solicitó lo que Sedesol denominó metaanálisis de las
evaluaciones y que consistió en un análisis comparativo de las
evaluaciones efectuadas hasta ese año. En 2006 se volvió a la realización
de evaluaciones globales anuales, incluyendo: diseño, cobertura y
focalización, operación, resultados y percepción.
En 2007 algunos programas hicieron evaluaciones de diseño con
información de gabinete, respondiendo 34 preguntas binarias referentes a
las características del programa, su contribución a los objetivos
estratégicos, su matriz de indicadores, las Reglas de Operación (RO), así
como las coincidencias, complementariedades o duplicidades con otros
programas. Además, se iniciaron evaluaciones de consistencia y
resultados, que comprendieron 100 preguntas binarias,2 y finalizaron en
2008.3 Éstas implicaron un diagnóstico sobre la capacidad institucional,
organizacional y de gestión de los programas, y también se basaron
exclusivamente en información de gabinete. Por otro lado, el Coneval
solicitó directamente evaluaciones de cinco programas: Abasto Social de
Leche, Apoyo Alimentario, Abasto Rural, Hábitat y Oportunidades. En
2008, sólo se llevaron a cabo las solicitadas por los propios programas.
A continuación se revisan los principales cambios acaecidos en el
periodo 2001-2008 y la percepción de los diferentes actores vinculados
con la evaluación.
Cambios en la normatividad
Un parteaguas en este sentido lo constituye la Ley General de Desarrollo
Social (LGDS), publicada el 20 de enero de 2004 que, en sus artículos 72 y
81, previó la creación del Coneval como organismo público
descentralizado, encargado de revisar periódicamente el cumplimiento de
objetivos de programas y acciones, por sí mismo o a través de uno o varios
organismos, independientes del ejecutor del programa. La citada ley
2
En realidad, para los evaluadores muchas de las preguntas dicotómicas podían recibir
una diversidad de respuestas, y ahí surgieron discrepancias de criterio en cuanto a qué
es lo que debería hacerse en estos casos.
3
Este proceso duró aproximadamente nueve meses, bastante más que los
predecesores.
180
Myriam Cardozo Brum. La institucionalización de una cultura de la evaluación
en la administración pública mexicana: avances y desafíos pendientes
agrega que se buscará medir cobertura, calidad e impacto, y se emplearán
indicadores de resultados, gestión y servicios. Los resultados de las
evaluaciones deberían ser publicados en el Diario Oficial de la Federación
y se entregarían a las Comisiones de Desarrollo Social de las Cámaras de
Diputados y Senadores del Congreso de la Unión y a la Sedesol (art. 79).
Con base en dichos resultados, el Coneval podría emitir sugerencias y
recomendaciones al Ejecutivo federal y hacerlas del conocimiento
público (art. 80).
Si bien su reglamento debió haberse expedido en un plazo no mayor de
90 días naturales (art. segundo transitorio) y el Coneval haberse
conformado en un plazo de 190 días naturales de la entrada en vigor de la
LDGS (art. tercero transitorio), estos eventos se produjeron a inicios de
2006. En el caso del reglamento, su expedición provocó serias
discrepancias motivadas por las modificaciones que introdujo a la LGDS,
lo que estuvo a punto de transformarse en una controversia
constitucional.4
En marzo de 2007, la SHCP presentó a la Cámara de Diputados, en
observancia de lo previsto en la Ley Federal de Presupuesto y
Responsabilidad Hacendaria, su Propuesta de Sistema de Evaluación del
Desempeño (SED). La Comisión de Presupuesto y Cuenta Pública
(CPyCP) reconoció su contribución al diseño de nuevos mecanismos para
la asignación de presupuesto, pero estuvo en desacuerdo porque no se
incluían los mecanismos de participación de la Cámara de Diputados —a
través de sus Comisiones Ordinarias coordinadas por la CPyCP—, se
confería al Ejecutivo federal un papel de “juez y parte”, daba facultades
exclusivas a la SHCP y al Coneval en detrimento de las correspondientes a
la SFP y se corría el riesgo de priorizar los objetivos de control del gasto
sobre los del desempeño.
Por otra parte, la Comisión de Presupuesto consideró importante
rescatar la experiencia de la Auditoría Superior de la Federación (ASF) en
la realización de auditorías de desempeño desde 2001, improcedente la
propuesta de transformar al Coneval en un Consejo Nacional de
Evaluación de las Políticas Públicas, y refrendó las facultades evaluatorias
de sus Comisiones Ordinarias (CCEDRSSA, 2008).
4
Boltvinik, Julio et al., del 26 de agosto de 2005 al 19 de mayo de 2006, columna
“Economía moral”, del periódico La Jornada.
181
Convergencia, Revista de Ciencias Sociales, núm. 49, 2009, Universidad Autónoma del Estado de México
En resumen, el Comité del Centro de Estudios para el Desarrollo
Rural Sustentable y la Soberanía Alimentaria (CCEDRSSA) considera que el
SED, concebido como parte del modelo de NPM que la SHCP promueve
aplicar, implica despolitizar la formulación de políticas y del presupuesto,
incorporando mecanismos jurídicos (a diferencia del sistema propuesto
durante la presidencia de Ernesto Zedillo) y técnicos para condicionar
dichos procesos a los resultados obtenidos en las evaluaciones y controles
correspondientes. Pero, en la práctica, considera que el Ejecutivo
implementó el SED al generar nuevos indicadores, criterios de evaluación,
metodologías para el rediseño de programas públicos y mecanismos de
seguimiento a las recomendaciones.
Finalmente, el Decreto de Presupuesto de Egresos de la Federación
2008 estableció que se efectuaría un diagnóstico y consulta a los agentes
involucrados para adecuar al marco constitucional la legislación que
regula las funciones de fiscalización y evaluación del gasto público de sus
Comisiones Ordinarias y sus órganos técnicos, previendo mecanismos
que propicien la interrelación en estas materias con el poder ejecutivo, los
gobiernos de las entidades federativas y los congresos locales (arts.
vigésimo y vigésimo segundo).
El Coneval, en tanto organismo público descentralizado encargado de
revisar periódicamente el cumplimiento de objetivos de los programas y
de las acciones de la política de Desarrollo Social, publicó el 30 de marzo
de 2007 en el Diario Oficial de la Federación, conjuntamente con la SHCP
y la Secretaría de la Función Pública (SFP), los “Lineamientos generales
para la evaluación de programas federales de la Administración Pública
Federal”, en sustitución del acuerdo de 2002. Su objetivo es regular: la
evaluación de los programas federales, la elaboración de la matriz de
indicadores y de los sistemas de monitoreo, y la definición de los objetivos
estratégicos de las dependencias y entidades de la administración pública
federal.
En lo que se refiere concretamente a las evaluaciones, los lineamientos
la definen como “[…] el análisis sistemático y objetivo de los programas
federales y que tiene como finalidad determinar la pertinencia y el logro de
sus objetivos y metas, así como su eficiencia, eficacia, calidad, resultados,
impactos y sostenibilidad” (cap. I, art. tercero, numeral IV). Esta
definición deja fuera la parte interpretativa y valorativa propia de la
evaluación, y en ella parece repetirse el criterio de eficacia, que no es otra
182
Myriam Cardozo Brum. La institucionalización de una cultura de la evaluación
en la administración pública mexicana: avances y desafíos pendientes
cosa más que el logro de objetivos y metas, mientras que el gran ausente es
el relativo a la equidad.
Las evaluaciones son clasificadas en dos tipos: estratégicas y de
programas federales (cap. I, art. décimo sexto). Las primeras se aplican a
las estrategias, políticas e instituciones relacionadas con un programa o
conjunto de programas; mientras que dentro de las segundas se
identifican:
– Evaluación de consistencia y resultados: analiza el diseño, desempeño
global y resultados basados en el seguimiento de indicadores, mediante
trabajo de gabinete.
– Evaluación de indicadores: analiza la pertinencia y el alcance de los
indicadores para la medición de resultados, incluyendo trabajo de
campo.
– Evaluación de procesos: revisa la eficacia y eficiencia de los procesos
operativos y su contribución al mejoramiento de la gestión.
– Evaluación de impacto: mide cambios en los indicadores de resultados
atribuibles a la gestión del programa, con base en metodologías
revisadas por la Sedesol, la SFP y el Coneval.
– Evaluación específica: todas las no comprendidas en los tipos previos,
que pueden implicar tanto trabajo de gabinete como de campo.
Se mantiene como posibilidad la criticada exigencia previa de que las
evaluaciones externas sean pagadas con cargo al presupuesto de la
dependencia o entidad responsable del programa, cuestión que casi todos
los entrevistados están de acuerdo en que es una limitante de la libertad del
investigador. Se agrega la opción de que lo haga el Coneval, en el ámbito
de su competencia y cuando él así lo determine.
También se establece la obligación de publicar un Programa Anual de
Evaluaciones en el que se den a conocer los programas por evaluarse y el
tipo de evaluación por efectuarse (cap. I, art. décimo séptimo), de dar
seguimiento a las recomendaciones llevadas a cabo por los evaluadores
con base en el convenio de compromisos de mejoramiento de la gestión
para resultados (cap. VII, art. vigésimo quinto) y de publicar los informes
de las evaluaciones en las páginas electrónicas de las dependencias y
entidades responsables de los programas y en el portal del Sistema de
Evaluación del Desempeño (cap. VII, art. vigésimo sexto y vigésimo
séptimo).
183
Convergencia, Revista de Ciencias Sociales, núm. 49, 2009, Universidad Autónoma del Estado de México
Una innovación importante en términos de transparencia es la
información complementaria (antes muy difícil de obtener) que también
debe publicarse con datos generales como: nombre del coordinador de la
evaluación externa y los miembros principales de su equipo, unidad
administrativa que da seguimiento a la evaluación, forma de contratación,
tipo de evaluación contratada, bases de datos, instrumentos de
recolección de información, nota metodológica, resumen ejecutivo y
costo total de la evaluación, incluyendo su fuente de financiamiento (cap.
VII, art. vigésimo octavo).
Finalmente, el cap. III establece los requisitos mínimos de elegibilidad
de los evaluadores externos y los procedimientos de contratación que
deben mantenerse apegados a la Ley de Adquisiciones, Arrendamientos y
Servicios del Sector Público.
Ante la pregunta formulada a evaluadores y ex funcionarios de los
programas de desarrollo social entrevistados sobre el realismo, apego a la
LGDS y utilidad de los procesos de evaluación parcial previstos en los
lineamientos, todos concuerdan en la conveniencia técnica de realizar
distintos tipo de evaluaciones parciales y la mayoría no percibe
contradicción legal alguna, al considerar que la LGDS no exige la
integralidad de la evaluación externa.5
Conde (2007) expresa su optimismo ante los cambios de normatividad
presentados, no sin reconocer varios elementos preocupantes:
presidencia del titular de Sedesol en todos los órganos creados por la
LGDS, riesgo de que las normas no se cumplan, tintes políticos en la
elección de los miembros académicos del Comité Ejecutivo del Coneval,
entre otros. En particular, considera que los nuevos lineamientos evitan
solicitudes erróneas o no factibles (p. ej. medición de impacto en periodos
muy reducidos, análisis costo-beneficio o desgloses detallados de
cobertura). Sin embargo, menciona que el trabajo de evaluación se ha
centrado apresuradamente en la matriz de indicadores, sin dar tiempo
suficiente a los programas para aprender su diseño y utilización, o bien,
desperdiciando sus avances por retrocesos decididos por la SHCP.
5
Se recuerda que la LGDS exige evaluaciones anuales (art. 78) y que “[…] de manera
invariable deberán incluir los indicadores de resultados, gestión y servicios para medir
su cobertura, calidad e impacto” (art. 78). Sin embargo, el reglamento
correspondiente indica que las evaluaciones de impacto podrían ser multianuales.
184
Myriam Cardozo Brum. La institucionalización de una cultura de la evaluación
en la administración pública mexicana: avances y desafíos pendientes
En torno a la creación misma del Coneval, los entrevistados reconocen
como sus mayores aportaciones:
– La existencia de una instancia externa a los programas que impulse,
norme, coordine, contrate y valore la evaluación de los programas
sociales, porque la reconoce como una estrategia de la política social,
como una herramienta para definir la eficacia de los programas y
apoyar las decisiones sobre su permanencia o sobre ajustes necesarios
para mejorar los resultados y/o impactos.
– El Programa Anual de Evaluación como un paso adelante en términos
de una estrategia, a más largo plazo, para la evaluación integral de la
política social.
– La uniformidad lograda en los contenidos de las evaluaciones y los
términos de referencia (TR).
– La aplicación de la metodología del marco lógico y la capacitación en
ella de operadores y evaluadores.
Entre las limitaciones señalan:
– Tiempo insuficiente para las tareas encomendadas e integración “al
vapor” de su personal.
– Riesgo de burocratización, en el sentido de que la evaluación se norme,
se programe, se contrate y realice con estándares técnicos aceptables,
pero que no se utilice para diseñar una política social dirigida a mejorar
las condiciones de vida de la población ni a operarla eficazmente.
– Riesgo de falta de información suficiente para evaluar.
– Peligro de que no se tomen en cuenta las opiniones de los evaluadores
para mejorar los instrumentos que se están aplicando.
Mecanismos de selección, contratación y pagos
La contratación de los evaluadores se efectúa en el marco de la Ley de
Adquisiciones, Arrendamientos y Servicios del Sector público en su
relación con el sector privado. Se trata de una ley pensada para la
contratación de bienes, no de servicios, y menos de evaluación. Aunque
185
Convergencia, Revista de Ciencias Sociales, núm. 49, 2009, Universidad Autónoma del Estado de México
ésta ha sufrido algunos cambios,6 los entrevistados afirman que
prácticamente aquéllos no han mejorado la situación que nos interesa. Sin
embargo, una evaluadora refiere dos modificaciones relevantes que
podrían facilitar los procesos de selección de evaluadores, al mismo
tiempo que podrían provocar contrataciones discrecionales, no
fundamentadas en razones técnicas:
– La fracción III del artículo 36 que permite considerar para la
adjudicación no sólo el precio más bajo sino la calidad de la propuesta.7
– La fracción X del artículo 41 que permite contratar adquisiciones,
arrendamientos y servicios, sin sujetarse al procedimiento de licitación
pública, a través de los procedimientos de invitación a cuando menos
tres personas o de adjudicación directa cuando se trate de servicios de
consultorías, asesorías, estudios, investigaciones o capacitación,
debiendo aplicar el procedimiento de invitación a cuando menos tres
personas, entre las que se incluirán instituciones de educación superior
y centros de investigación. Si la materia de los servicios se refiriese a
información reservada, en los términos establecidos en la Ley Federal
de Transparencia y Acceso a la Información Pública Gubernamental,
podrá autorizarse la contratación mediante adjudicación directa.
Desde que inició trabajos el Coneval, éste afirma haber empleado el
mecanismo del concurso para elegir a los evaluadores, pero reconoce que
esta afirmación no es válida para las contrataciones directas hechas por los
responsables de programas, que podrían haber incrementado los
procesos de asignación directa cuando ya han tenido buenas experiencias
previas con algún evaluador y prefieren mantenerlo. Evaluadores, ex
funcionarios de programas y funcionarios de la SFP señalan que la
6
Nos referimos a las reformas y/o adiciones del 13 de junio de 2003, 7 de julio de 2005,
21 de agosto de 2006, 20 de febrero de 2007, 5 de septiembre de 2007 y 1 de octubre
de 2007.
7
Tratándose de servicios, podrá utilizarse el mecanismo de puntos y porcentajes para
evaluar las propuestas, en el que el rubro relativo al precio tendrá un valor porcentual
del cincuenta por ciento, indicando en las bases la ponderación que corresponderá a
cada uno de los demás rubros que serán considerados en la evaluación, de acuerdo
con los lineamientos que para tal efecto emita la Secretaría de la Función Pública.
Asimismo, cuando sea necesario, en el caso de servicios se solicitará el desglose de
precios unitarios, precisando de qué manera será utilizado éste.
186
Myriam Cardozo Brum. La institucionalización de una cultura de la evaluación
en la administración pública mexicana: avances y desafíos pendientes
tendencia se ha mantenido en el sentido de utilizar el mecanismo de
invitación restringida con invitación a cuando menos tres instituciones.
Uno de los entrevistados agrega que en este último caso no se ha cumplido
rigurosamente el procedimiento indicado en la ley, en relación con
sesiones de dudas, levantamiento de actas, sesión de apertura de
propuestas, etc. También que, aún en los casos en que el monto del
contrato exigiría una licitación pública, ésta no se ha realizado.
Con base en las entrevistas aplicadas, se puede afirmar que los
informes se apegan mejor a los TR, porque éstos se han vuelto más
realistas y adecuados a los programas sociales, lo cual facilita la aprobación
de los pagos correspondientes.
El hecho de que, antes de la existencia del Coneval, la selección,
contratación y pago fueran siempre procesos realizados por el propio
programa, es considerado por los entrevistados (evaluadores, ex
funcionarios de programas y funcionarios de la SFP) como una limitación
a la autonomía del evaluador8 o, al menos, un alto riesgo de que así sea. Sin
embargo, se reconoce que esto ha mejorado debido a la diferenciación al
interior del programa de una unidad convocante y otra contratante;
aunque también lo ideal es que lo haga otra institución (p. ej. Coneval).
Recursos para evaluar
Hasta fechas recientes, el monto de recursos financieros para evaluar se
establecía en función del presupuesto disponible por los propios
programas, con el límite máximo de 7% del presupuesto total que
establece el PEF para gastos de operación.
Las autoridades del Coneval opinan que actualmente hay más recursos
financieros para hacer evaluaciones porque a los que tradicionalmente
dedican los propios programas se han unido los dedicados por el Consejo,
y también porque hay nuevos recursos en proceso, los cuales aportaría la
SHCP en el marco del SED. Los evaluadores concuerdan con esta idea y
agregan que existen menos diferencias entre programas, especialmente en
el caso de los que dependen de la Sedesol, que en 2007 estableció el mismo
techo financiero para todos. Las diferencias pueden ser mucho más
8
Un evaluador refiere casos concretos en que otro evaluador habría sido presionado a
cambiar los resultados para que se le autorice el pago final. Otro plantea la existencia
de empresas evaluadoras que se subordinan a lo que el programa les impone.
187
Convergencia, Revista de Ciencias Sociales, núm. 49, 2009, Universidad Autónoma del Estado de México
marcadas entre las otras instituciones. De todas formas, habría una mejor
estimación de costos, especialmente en función de que sea o no necesario
realizar trabajos de campo. Sin embargo, una de las evaluadoras insistió
mucho en que los recursos siguen siendo insuficientes cuando solicitan
trabajo de campo con una muestra nacional muy dispersa, lo cual obliga a
sustituir poblaciones por otras más agrupadas para ahorrar recursos.
Agrega que, aunque no es científico, todos los evaluadores lo hacen para
que el presupuesto alcance, y muy especialmente en el caso de la Sedesol
que negocia los presupuestos más que otras secretarías.
Debido a que no existe un fondo común para todas las evaluaciones
por llevar a cabo, su distribución no es racional, en función de la
complejidad del trabajo. El funcionario de SFP considera que hay
programas que cuentan con exceso de recursos mientras que en otros son
insuficientes; por eso piensa que se deberían clasificar para decidir qué
tipo de evaluación conviene y es posible en cada caso (p. ej. de impacto o
simplemente de seguimiento de indicadores).
Con base en la información del Coneval, en 2007, las cinco
evaluaciones de diseño, efectuadas sólo con trabajo de gabinete, costaron
en promedio $262,057.41; por su parte, las 16 de consistencia y resultados
realizadas en 2008, también de gabinete, insumieron en promedio
$554,060.60. Si comparamos estos datos con el costo promedio de las 31
evaluaciones en 2002 de $1,695,000.00 (Cardozo, 2006), resulta obvio
que, en total, se están dedicando menos recursos a la evaluación que en el
pasado ($8,864,969.55 en 2008 frente a $20,294,004.70 en 2002) debido a
la ausencia actual de trabajo de campo.
A nivel de los recursos humanos también hay acuerdo en que éstos han
venido perfeccionándose en la práctica,9 no por la realización de estudios
formales, que son prácticamente inexistentes en el país. Algunos equipos
se han consolidado a partir de su experiencia previa en la aplicación de
encuestas y muestreos, otros, en forma autodidacta o tomando cursos
como los ofrecidos por el BID.10 También se menciona que la mayoría de
los evaluadores se han especializado en evaluaciones de procesos, gestión
9
El funcionario entrevistado en SFP insistió en indicar que la mejoría es muy pequeña.
10
Sin embargo, hay situaciones en que se desconoce la validez del diseño metodológico
y otras en que éste se muestra muy débil: por ejemplo, en 2006 de 15 evaluaciones
188
Myriam Cardozo Brum. La institucionalización de una cultura de la evaluación
en la administración pública mexicana: avances y desafíos pendientes
y percepción; pero son muy pocos los que lo han hecho en medición de
impactos. En particular, el Coneval junto con la Comisión Económica
para América Latina (CEPAL) y, por otro lado, la SHCP, han estado
capacitando intensamente en torno al diseño del Marco Lógico.
En el caso particular de los entrevistados, cuatro tenían grado de
doctor (de los cuales tres eran evaluadores), tres eran maestros, un
especialista, un ingeniero y dos diputados. En general, predominaban los
estudios en economía, y en el caso de los funcionarios de la SFP, las
formaciones en estadística, econometría e investigación de operaciones.
Sólo dos habían participado en diplomados y cursos específicos
relacionados con la evaluación de programas. Todos contaban con
muchos años de experiencia.
En relación con los insumos de información se menciona que aunque
su disposición y sistematización ha ido mejorando en los últimos años, su
confiabilidad, suficiencia y oportunidad varían sustancialmente de un
programa a otro. También hay problemas con la introducción de cambios
en los campos de las bases de datos o en la apertura programática que
dificultan o imposibilitan la comparación entre diferentes ejercicios
fiscales. Las necesarias depuraciones disminuyen el tiempo disponible
para realizar las evaluaciones, por eso se considera que aún se requiere
mejorar mucho más.
Difusión y utilización de los resultados de las evaluaciones
A pesar de la obligación establecida en el numeral vigésimo sexto de los
Lineamientos, en el sentido de ofrecer el acceso por Internet a todas las
evaluaciones a más tardar en el mes de septiembre, a la fecha son muchas
las dependencias y entidades que no las publican. La Sedesol tiene en su
página las evaluaciones efectuadas hasta 2006 y el Coneval cuenta con un
concentrado de las anteriores y las de 2007-2008, si bien una de las
entrevistadas afirma que no están completas y que no cumplió con el
plazo establecido por su propia normatividad para publicarlas en Internet.
De acuerdo con la LGDS, los informes también deberían publicarse en el
Diario Oficial de la Federación, pero esto encontró mucha resistencia por
parte de los operadores de programas por razones de costo y no se ha
cumplido. Finalmente, se señala que no se han implementado canales para
realizadas sólo seis especificaron el tamaño de sus muestras y una de las encuestas se
aplicó telefónicamente.
189
Convergencia, Revista de Ciencias Sociales, núm. 49, 2009, Universidad Autónoma del Estado de México
dar a conocer los resultados de las evaluaciones a los beneficiarios y
usuarios de los programas.
En relación con su utilización por los mismos programas, una
evaluadora afirma que existen informes (no de Coneval) que ni siquiera
son leídos por las unidades responsables de la operación del programa o la
contratante de la evaluación, dependencias que no distribuyen las
evaluaciones entre las instancia responsables en las entidades federativas,
ni efectúan propuestas para tomar en cuenta sus recomendaciones. En
sentido opuesto, el funcionario de Sedesol entrevistado asegura que
dichos informes han sido utilizados y que próximamente se publicará un
libro en que se recupera esta experiencia, especialmente en los programas
de combate a la desnutrición: Abasto Social de Leche, Abasto Rural,
Apoyo Alimentario y Oportunidades.
Sólo la Sedesol contaba con un Sistema de Seguimiento a Evaluaciones
Externas (Sisee) y vigilancia estrecha de los compromisos asumidos y sus
tiempos. Sin embargo, el mecanismo anterior sólo parece haber sido
efectivo al inicio de su aplicación, ya que nos informan que poco a poco
los funcionarios fueron disminuyendo la magnitud de sus compromisos
en los convenios correspondientes o se limitaron a hacerlos meramente
formales (p. ej. envío de un oficio solicitando algo acordado) ante el temor
de que la SFP o la ASF pudieran acusarlos de incumplimiento.
Otra entrevistada considera que lo más frecuente es que los programas
implementen las recomendaciones y den seguimiento al proceso; sin
embargo, su tratamiento es muy burocrático, lento y formal, y se reporta
en términos de “porcentaje de cumplimiento”, sin valorar si la
implementación de la recomendación efectivamente contribuyó a
mejorar el asunto para el que fue realizada.
A nivel de la SFP, la opinión es que existe un avance en el uso de
recomendaciones pero aún muy insuficiente, por lo que a través de los
Programas de Mejoramiento de la Gestión que se intentan introducir se
incluiría un nuevo mecanismo de seguimiento de recomendaciones. La
idea seguiría siendo la que instrumentaba la Sedesol: que los operadores
expresen cómo las tendrán en cuenta y en qué plazo, o bien, que
argumenten las razones que no hacen factible su aplicación y propongan
una solución diferente. También podrían fundamentar su rechazo no sólo
a la solución propuesta, sino al problema mismo identificado. Se piensa
que de todas las evaluaciones actuales (fueron 116 de consistencia y
resultados), Coneval, SHCP y SFP elegirían unas 10 o 15 para iniciar el
190
Myriam Cardozo Brum. La institucionalización de una cultura de la evaluación
en la administración pública mexicana: avances y desafíos pendientes
proceso y probar su funcionamiento. Algunos entrevistados esperan, y el
Coneval informa que se hará, la difusión de los convenios de
recomendaciones y sus resultados después de su implementación.
Finalmente, no se perciben avances en la utilización que de las
evaluaciones hacen los diputados. Al ser entrevistados, algunos
demuestran no saber ni siquiera que existen evaluaciones externas y
confundirlas con las auditorías realizadas por la ASF. También hay
discrepancias, como ya se mencionó, entre el Ejecutivo y el legislativo en
torno a la instancia responsable del SED. En la práctica, éste ya está
operando en el Ejecutivo, pero todavía no ha sido aprobado por la
Cámara.
Principales problemas
Al preguntarle a los entrevistados sobre los dos principales problemas
actuales en la realización de las evaluaciones, expresaron lo siguiente:
– Las evaluaciones son vistas como un requisito administrativo más, en
relación con la asignación presupuestal, una actividad que se debe
cumplir pero que no es considerada una herramienta de trabajo
fundamental para mejorar el diseño y la gestión y así lograr los
resultados para los cuales se estableció el programa. La evaluación no
está integrada en el proceso de vida de los programas. Esto se agudiza
debido a la separación organizacional entre las áreas de evaluación y
planeación, que genera más fricciones que colaboraciones. Es
necesario trabajar a distintos niveles administrativos y políticos para
conseguir que se entienda el sentido, la necesidad y la utilidad de la
evaluación, con el fin de dirigir la política social hacia una manera más
efectiva de mejorar las condiciones de vida de las personas. Ante
similar identificación del problema, uno de los funcionarios
entrevistados en SFP propone sistematizar los resultados de las
evaluaciones, de modo que constituyan una variable del SED y no una
información aislada.
– La inconveniencia de evaluar anualmente los programas sin dejarlos
madurar.
– La carencia de diagnósticos que sirvan de punto de partida para el
diseño del programa y la definición de sus alcances.
191
Convergencia, Revista de Ciencias Sociales, núm. 49, 2009, Universidad Autónoma del Estado de México
– La cantidad de recursos disponibles para evaluar y la necesidad de
clasificarlos para solicitar evaluaciones diferenciadas en función de los
tipos que se determinen.
– La falta de claridad de las unidades contratantes acerca de lo que puede
hacerse en el tiempo que proponen y con los presupuestos que asignan
(sobre todo las que no estaban en el Programa Anual de Evaluación).
Los TR muchas veces demuestran que no saben lo que quieren ni cómo
pedirlo.
– La falta de acceso, oportunidad y calidad de la información: las bases de
datos siguen teniendo muchos errores y los informes presentan
agregaciones que no permiten la evaluación de los aspectos
relevantes.11 Además, hasta 2006 la información no se tenía tiempo (el
15 de enero aún no llegaba el cierre de los estados) y la evaluación tenía
que acabar en marzo. En 2007-2008 lo cambiaron y se dispondrá de
mayor tiempo. Por otro lado, los registros eran incompletos y no
sistematizados.
– Riesgo de que las evaluaciones se vuelvan una simulación en la medida
en que la instancia evaluada tenga capacidad de veto sobre el informe
final.
Adicionalmente, otro serio problema tiene que ver con los
conocimientos evaluativos en el medio. En el apartado de recursos,
mencionamos los problemas de formación y capacitación de los
evaluadores, pero éstos son aún más críticos entre funcionarios ligados a
la evaluación en los organismos que operan los programas y entre los
diputados que deben tomar en cuenta las evaluaciones para asignar
presupuestos. Al respecto, los entrevistados opinan que la mayoría de los
anteriores son personas sin formación especializada, que, en el caso de la
administración pública, ocupan puestos ligados con evaluación a
diferentes niveles jerárquicos, que han mejorado un poco sus
conocimientos mediante cursos virtuales, lecturas autodidactas y, en
algunas secretarías, talleres sobre marco lógico. En cuanto a los
diputados, consideran que se requiere un verdadero proceso de
11
Por ejemplo, los municipios de menor Índice de Desarrollo Humano
frecuentemente aparecen sumados en un solo grupo o por entidad federativa, y se
desconoce siquiera en cuáles están interviniendo, las acciones realizadas o el
presupuesto ejercido.
192
Myriam Cardozo Brum. La institucionalización de una cultura de la evaluación
en la administración pública mexicana: avances y desafíos pendientes
concientización que se agrava por su continua renovación, a pesar de que
se habría impartido un diplomado en el tema.
En particular, como señala una de las entrevistadas, la medición de
impacto es un problema porque hay pocos especialistas y su medición es
compleja. El Coneval planea retomarlas el próximo año dentro de su Plan
Anual de Evaluaciones; las haría con recursos propios, incluiría unos
cinco programas, y se aplicaría el enfoque contrafactual, que a la fecha casi
no se ha ejecutado con éxito. Los responsables de programas están cada
vez más interesados en este tipo de trabajos; sin embargo, muchas veces
no están conscientes de sus implicaciones: contar con un grupo de
control, una línea basal y, mucho menos aún, de los problemas éticos que
implica. Por esta razón, algunos especialistas opinan que sólo se debe
realizar este tipo de evaluaciones a un número reducido de programas que
gozan de mayor presupuesto, aplicar diferentes métodos, y estar
conscientes de que en todos los casos lo que se logra, por razones
metodológicas, sólo son aproximaciones al impacto del programa.
Institucionalización de una cultura de la evaluación
Los entrevistados identifican cambios mínimos en el tema de este título,
localizados en las dependencias y entidades de la administración
pública,12 en menor grado en el poder legislativo y casi nulo entre la
ciudadanía que desconoce su existencia, contenido, utilidad, etcétera.
No hay una adecuada coordinación entre el ejecutivo y el legislativo
que facilite el desarrollo de la cultura evaluativa, cada uno de los poderes
persigue su propio interés al tratar de contar con su sistema de evaluación.
Uno de los evaluadores, a diferencia del resto de los entrevistados,
manifiesta haber encontrado motivación por estos trabajos en algunos
presidentes de comisiones de la Cámara de Diputados.
Las instituciones académicas se interesan y llevan a cabo
investigaciones, pero el ciudadano común no cuenta ni siquiera con la
información mínima para participar.
12
Uno de los evaluadores argumenta que no hay una cultura de la evaluación, donde las
instituciones presionan para que se cambien los resultados y la evaluación se toma
como un requisito molesto.
193
Convergencia, Revista de Ciencias Sociales, núm. 49, 2009, Universidad Autónoma del Estado de México
La única participación de los beneficiarios y otros actores sociales en
las evaluaciones consiste en responder encuestas, cuando se hacen; los
entrevistados están de acuerdo en que debería haber una participación
social más efectiva y no perciben avances. Las contralorías sociales
funcionan “en el papel”, los evaluadores recogen testimonios que
muestran que los beneficiarios firman actas sin saber de qué se trata.
Conclusiones y perspectivas
A la fecha ha habido fuertes modificaciones positivas en el marco
normativo de las evaluaciones, como consecuencia del trabajo efectuado
por el Coneval. Sin embargo, en el resto de los aspectos revisados sólo se
perciben mejoras menores, subsistiendo los problemas de fondo
detectados al inicio del proceso:
– Limitaciones importantes de los recursos institucionales
(presupuestales y de información) para el desarrollo de trabajos de
calidad. Actualmente, se dispone de más recursos financieros y han
disminuido las diferencias injustificadas entre evaluaciones, pero
siguen siendo insuficientes para realizar trabajos de campo con
muestras nacionales dispersas. También ha mejorado la disposición y
sistematización de la información, pero su confiabilidad, suficiencia y
oportunidad siguen siendo muy variables.
– Mercado de evaluación aún en formación, contando con una oferta,
también restringida, de profesionalización en el tema. Las capacidades
especializadas se han ido perfeccionado en la práctica, ya que la oferta
formativa casi no ha crecido. Subsisten problemas especialmente en
materia de evaluación de impacto.
– Imprecisiones y ausencias por parte de la demanda (acuerdo, bases y
términos de referencia). Se ha producido una sensible mejoría en el
marco normativo de las evaluaciones solicitadas a partir de la creación
del Coneval, si bien aún existen problemas por corregir (contrataciones
sin licitación pública, realizadas y pagadas directamente por el
programa evaluado).
– Aplicación de instrumentos a muestras de representatividad
desconocida o dudosa, con pocas excepciones. La situación continúa
similar.
– Cobertura parcial de los aspectos solicitados y otros de reconocida
relevancia para llegar a conclusiones bien fundamentadas. La mayor
precisión de los aspectos solicitados (inclusión del diseño, eliminación
194
Myriam Cardozo Brum. La institucionalización de una cultura de la evaluación
en la administración pública mexicana: avances y desafíos pendientes
de escenarios prospectivos, por ej.) ha mejorado su cobertura en los
informes, aunque no siempre se incluye el contenido esperado,
especialmente si se solicita la evaluación de impacto.
– Emisión de pocos juicios explícitos de valoración fundamentada del
programa analizado. Este problema continua vigente, aún hay
evaluadores que no los emiten ni siquiera parciales.
– Muy limitada difusión de los resultados de evaluación y uso casi nulo.
Se han ampliado de manera importante los mecanismos de difusión vía
Internet, no así otros canales más accesibles para la información a la
ciudadanía en general y en especial a los beneficiarios. También ha
mejorado la utilización de los resultados para retroalimentar la gestión
de los programas; sin embargo, ésta todavía es insuficiente, por eso se
están diseñando nuevos mecanismos.
– Lenta institucionalización de la cultura de la evaluación. Los avances
percibidos son muy limitados y restringidos a la administración
pública, persiste la realización de evaluaciones más como requisito
administrativo para la obtención de presupuesto (riesgo de
simulación), que como una actividad de aprendizaje y mejoramiento de
la gestión.
La constitución del Coneval significa un gran paso adelante en la mejor
organización del sistema de evaluaciones externas y la calidad de los
trabajos; sin embargo, sigue siendo necesario contar con un fondo
independiente de recursos para contratar evaluadores al margen del
programa evaluado, hacerlo siempre mediante licitación pública, avanzar
en la realización de evaluaciones participativas centradas en el aprendizaje
de funcionarios y ciudadanos, mejorar los esquemas de muestreo, emitir
valoraciones fundamentadas sobre la gestión del programa, efectuar
evaluaciones de impacto plurianuales y de conjuntos de programas,
profesionalizar el campo, aplicar metaevaluaciones, y llevar a cabo un
mayor esfuerzo por institucionalizar la cultura de la evaluación.
Además de la tendencia y perspectivas identificadas por la evaluación
de programas federales, comienza a hacerse evidente el empeño de
algunas entidades federativas por avanzar en la materia. En particular,
resultan de muy especial interés los acontecimientos recientes vividos en
el marco del gobierno del Distrito Federal (GDF):
– Reglamentación de la Ley de Desarrollo Social (aprobada en el año
2000), en noviembre de 2006.
195
Convergencia, Revista de Ciencias Sociales, núm. 49, 2009, Universidad Autónoma del Estado de México
– Creación de un Consejo de Evaluación del Desarrollo Social como
organismo público descentralizado, con personalidad jurídica y
patrimonio propio, así como autonomía técnica, de gestión y
presupuestaria, en septiembre de 2007.
– Última reforma a su Ley de Desarrollo Social, en febrero de 2007.
– Expedición de su Ley de Transparencia y Acceso a la Información
Pública el 28 de marzo de 2008.
– Conformación de un Comité de Evaluación y Recomendaciones
integrado por seis consejeros ciudadanos de extracción académica, en
mayo de 2008.
Éste y otros avances a nivel subnacional sugieren que comenzarán a
utilizarse en México nuevos enfoques, métodos y tipos de evaluación, que
contribuyan al enriquecimiento de las aportaciones que esta última es
capaz de realizar para mejorar la función pública, razón por la cual será
relevante intensificar los trabajos de metaevaluación correspondientes.
Bibliografía
Cardozo, Myriam (2006), La evaluación de políticas y programas públicos. El caso
de los programas de desarrollo social en México, México: Cámara de
Diputados, Porrúa, Colección Conocer para Decidir.
Cardozo, Myriam (en prensa), Evaluación y metaevaluación en los programas
mexicanos de desarrollo social, México: División de Ciencias Sociales y
Humanidades de la Universidad Autónoma Metropolitana,
Xochimilco.
Conde, Carola (2007), “Evaluación de programas sujetos a reglas de
operación. ¿Un ejemplo de rendición de cuentas horizontal?”, en
Colección Documentos de Investigación, México: El Colegio Mexiquense.
Consejo Nacional de Evaluación de la Política de Desarrollo Social
(Coneval), Secretaría de Hacienda y Crédito Público (SHCP), Secretaría
de la Función Pública (SFP) (2007), Lineamientos generales para la
evaluación de los Programas Federales de la Administración Pública Federal,
marzo.
Hernández Laos, E. (1991), Crecimiento económico y pobreza en México. Una
agenda para investigación, México: Universidad Autónoma
Metropolitana.
Schwentesius, Rita et al. (2007), “Metaevaluación de tres evaluaciones
oficiales de la Sagarpa del programa de pagos directos (Procampo) a la
196
Myriam Cardozo Brum. La institucionalización de una cultura de la evaluación
en la administración pública mexicana: avances y desafíos pendientes
agricultura mexicana”, en Revista Estudios Sociales, julio-diciembre,
año/vol. 15, núm. 030, Sonora, México: Universidad de Sonora.
Vargas, Germán (2007), Metaevaluación de los programas de la Secretaría de
Agricultura (Sagarpa), dirigida a productos agrícola básicos. Resultados generales,
México: CEDRSSA.
Documentos
CCEDRSSA (2 de abril de 2008), “El papel del Congreso en la evaluación de
las políticas públicas rurales”, documento presentado en la mesa
redonda del mismo nombre, México: Cámara de Diputados.
Decreto de Creación del Consejo de Evaluación del Desarrollo Social del
DF. Disponible en: <http://cgservicios.df.gob.mx>(13 de junio de
2008).
Ley de Adquisiciones, Arrendamientos y Servicios del Sector Público, en
Diario Oficial de la Federación, 4 de enero de 2000.
Ley de Desarrollo So cial para el DF . Disponible en:
<http://www.sds.df.gob.mx/sector/ legislacion.htm> (13 de junio
de 2008).
Ley de Transparencia y Acceso a la Información Pública del DF.
Disponible en: <http://www.om.df.gob.mx/transparencia> (13 de
junio de 2008).
Ley Gen eral de Desarrollo So cial. Disponible en:
<http://www.diputados.gob.mx> (21 de agosto de 2008).
Reglamento de la Ley General de Desarrollo Social. Disponible en:
<http://www.diputados.gob.mx> (21 de agosto de 2008).
Myriam Cardozo Brum. Realizó estudios de licenciatura en
Contaduría Pública en la Universidad de la República (Uruguay) y es
licenciada en Administración por la Universidad Nacional Autónoma de
México (UNAM). Cuenta con una maestría en Administración Pública del
Centro de Investigación y Docencia Económicas A.C. (CIDE) y es
Doctora en Ciencias Políticas y Sociales con orientación en
Administración Pública por la Facultad de Ciencias Políticas de la UNAM.
Es miembro del Sistema Nacional de Investigadores. Actualmente se
desempeña en la Universidad Autónoma Metropolitana (UAM-X). Ha
publicado numerosos trabajos en México, Estados Unidos, Argentina,
197
Convergencia, Revista de Ciencias Sociales, núm. 49, 2009, Universidad Autónoma del Estado de México
Venezuela y Reino Unido, entre los que destaca La evaluación de políticas y
programas públicos. El caso de los programas de desarrollo social en México,
Colección Conocer para Decidir, México (2006). Líneas de investigación:
evaluación de políticas y programas públicos.
Envío a dictamen: 17 de octubre de 2008.
Aprobación: 30 de enero de 2009.
198