Tesis 2
Tesis 2
Tesis 2
ESCUELA DE POSGRADO
AUTOR
ASESOR:
Febrero, 2018
RESUMEN
Para el caso de primaria los resultados señalan que hay un efecto ex ante positivo que se
consolida a partir del tercer año de implementación del incentivo, y que se concentra en la
zona urbana y en los colegios polidocentes completos. Por otro lado, no habría efectos del
incentivo de manera ex post, como producto de haber ganado el premio. Para el caso de
secundaria, se empiezan a ver resultados positivos aunque pequeños en el segundo año de
implementación, y también se concentran en la zona urbana.
2
Contenido
RESUMEN ................................................................................................................................ 2
1. Introducción ..................................................................................................................... 4
2. Marco Teórico................................................................................................................... 7
2.1 Teoría del principal-agente y contratos óptimos........................................................... 7
2.2 Evidencia empírica sobre los mecanismos internos para el logro de resultados a
través de incentivos ....................................................................................................... 13
3. El Bono de Incentivo al Desempeño Escolar, “Bono Escuela”.................................. 19
4. Estrategia de identificación y evaluación ..................................................................... 21
4.1 Metodología para la evaluación del efecto competencia en los niveles de primaria y
secundaria ...................................................................................................................... 24
4.1.1 Identificación de grupo de tratamiento y zonas de desempeño ...................... 24
4.1.2 Identificación del grupo de control y estimación del modelo de
emparejamiento ........................................................................................................... 27
4.1.3 Estimación por triple diferencia para el caso del nivel primaria ...................... 29
4.2 Metodología para la evaluación del efecto reciprocidad en el nivel de primaria ...... 31
4.3 Efectos diferenciados (característica de la escuela, ámbito y periodo de
maduración) ................................................................................................................... 33
5. Resultados...................................................................................................................... 34
5.1 Resultados en el nivel de primaria ................................................................................. 34
5.1.1 Efecto competencia ................................................................................................. 35
5.1.2 Efecto reciprocidad .................................................................................................. 37
5.2 Resultados en el nivel de secundaria ........................................................................... 38
5.2.1 Efecto competencia ................................................................................................. 38
6. Conclusiones, limitaciones e implicancias de política ................................................ 40
7. Bibliografía y referencias ............................................................................................... 44
8. Anexos .............................................................................................................................. 49
3
1. Introducción
2. Marco Teórico
8
múltiples partes interesadas, que representan principales externos que, a través de su
influencia en el plano político, participan en la relación principal-agente del sector. Así,
el primer principal serían las familias, padres (y contribuyentes a nivel nacional y local)
que esperan que el servicio público les brinde una educación de calidad, con la cual sus
hijos puedan alcanzar las competencias esperadas para su edad. No obstante, en esta
cadena jerárquica aparecen otros protagonistas, que alternan su condición de agentes y
principales dentro de la administración pública. Por ejemplo, en el Perú, el Ministerio de
Educación, como representante del Poder Ejecutivo sobre el sector, responde a las
expectativas de las familias y a una visión de país, de igual manera que el Gobierno
Regional a un nivel más local. Por su parte, las Direcciones Regionales de Educación
(DRE) y Unidades de Gestión Educativa Local (UGEL) rinden cuentas tanto a los
gobiernos regionales -de los cuales dependen directamente en términos administrativos y
presupuestales-, como al Ministerio de Educación, el cual ejerce una rectoría a nivel
nacional en lo que compete al sector.
Complementariamente, las DRE y las UGEL de cada región administran la selección,
la administración y las remuneraciones del personal directivo y docente de una institución
educativa. Finalmente, el director de la IE, en última instancia, representa la máxima
autoridad a nivel de la escuela, razón por la cual, aunque no intervenga en la definición
de su salario, ejerce también una rectoría sobre el docente. En el Esquema 1 se presenta
un esquema de lo descrito previamente:
Esquema 1: Esquema de relación principal-agente en el sector Educación: caso
peruano
PRINCIPAL AGENTE
Votantes (padres de Ministerio de
familia u otros) Educación
Gobiernos
Ministerio de Educación Regionales
Dixit (op. cit.) señala algunos stakeholders adicionales, como los empleadores
potenciales de los graduados de la educación básica y superior, las escuelas privadas,
los grupos que favorecen o se muestran en contra de algún contenido particular del
currículo, los profesores y su sindicato, y la sociedad en su conjunto. Cada uno de estos
agentes, muestran preferencias y ponen énfasis en diversos objetivos, que en ocasiones
compiten entre sí por una priorización.
Una tercera característica del sector educativo sería la de contar con múltiples periodos.
Con esta definición, Dixit se refiere a la construcción de la carrera profesional del docente,
9
que es larga, pues es en el transcurso del tiempo que sus habilidades se consolidan y son
reveladas. En consecuencia, Dixit sostiene que para los docentes el desarrollo de su
carrera puede ser más importante que los incentivos basados en su desempeño de corto
plazo, incluso si este puede medirse con un alto grado de precisión.
En cuarto lugar, una característica importante del sector educativo es la falta de
competencia. Aun cuando se reconoce que los colegios privados –y, en particular, los
colegios parroquiales- tienen un grado de competencia con los colegios públicos, en
general se evidencia que para una proporción importante de la población, la escuela
pública representa un monopolio en la provisión del servicio educativo, que se sustenta
principalmente en contextos donde la demanda educativa es pequeña o muy débil, sea por
escasos recursos económicos o poco capital político. Finalmente, y altamente relevante, se
señala como característica del sector educativo la motivación de los agentes y su
dificultad para observarla o medirla. Al respecto, como señala Dixit, la docencia es
considerada como una profesión que está motivada por la satisfacción de facilitar el
aprendizaje a los jóvenes, así como por un interés genuino en el desarrollo infantil. No
obstante, también es de esperar que los docentes, al igual que otras ocupaciones,
tengan una motivación por el nivel de ingreso, lo cual ha sido estudiando por algunas
investigaciones que evalúan la respuesta de los profesores ante variaciones en el salario
(Zymelman y DeStefano, 1993; Eide et. al. 2004; Chevalier y Dolton, 2005; Glewwe y
Kremer, 2006). En ese sentido, este concepto está alineado a lo sostenido por Le Grand
(op. cit.) y mencionado anteriormente, acerca de no asumir un tipo de motivación en los
docentes (“oportunista” o “altruista”), pues este puede variar en el tiempo o de acuerdo a
las circunstancias. Asimismo, también se reconoce que la labor docente está caracterizada
por el riesgo moral. Ello debido a la dificultad de observar y medir el aspecto motivacional
del docente, así como en la dificultad para revelar su nivel de esfuerzo a partir de los
productos medibles.
Tipo de contratos tradicionalmente considerados en el sector Educación
Todos estos factores descritos influyen en la eficacia del diseño contractual para lograr los
objetivos esperados en el sector; sin embargo, la evidencia muestra que la forma en que
tradicionalmente se han diseñado los contratos del sector educativo dista de tener en
cuenta tales criterios. En la Tabla 1 se definen los criterios que potencialmente pueden
ser considerados en una estructura salarial basada en incentivos. De acuerdo a lo
señalado por Mizala y Romaguera (2004), estos indicadores pueden ser clasificados, en
primera instancia, bajo un criterio de insumo, proceso o producto. El primer grupo tiene
indicadores que señalan las condiciones iniciales del docente o de la escuela, que
pueden ir cambiando en el tiempo, como el nivel de experiencia o las horas trabajadas.
El criterio de procesos agrupa a los indicadores que se enfocan en las acciones del
docente o de la escuela como colectivo, mientras que el grupo de productos se refiere a
los indicadores que reflejan los resultados finales que se evalúan en el sector. A su vez,
cada uno de estos indicadores puede plantearse a nivel individual o a nivel colectivo en la
escuela. En la Tabla 1 se resume la posibilidad de plantear los indicadores en uno u otro
nivel. Por ejemplo, criterios como el de las calificaciones y experiencia se caracterizan por
evaluarse a nivel individual. Por su parte, el trabajo en alguna área geográfica socialmente
desventajosa es una característica de la escuela, por lo que su inclusión como criterio
dentro la estructura salarial afectaría a toda la plana docente de la escuela. Los
indicadores de proceso o producto se caracterizan porque pueden ser planteados tanto
a nivel individual como colectivo.
10
Como señalan Mizala y Romaguera (2004), el tipo de contrato que ha predominado en
el sector educativo en América Latina es el salario fijo, y se ha basado principalmente en
criterios de insumo, en función a variables individuales como las calificaciones
personales, el nivel de experiencia o el nivel de responsabilidad. Este tipo de criterio
suele estar basado en la individualidad de cada docente, a diferencia de otros
esquemas donde se combina esta estructura fija con un factor variable, en función de
indicadores de procesos o productos obtenidos en el aula del docente (plano individual) o
como promedio en la escuela (plano colectivo).
Tabla 1: Criterios para la diferenciación de salarios de docentes
Criterios de insumo
Calificaciones Sí
Experiencia Sí
Horas trabajadas Sí
Grado que se le imparte al estudiante Sí
Trabajo en áreas socialmente
desventajosas Sí
Criterios de proceso
emprender actividades de desarrollo
profesional Sí Sí
compreterse con actividades
extracurriculares Sí Sí
trabajo con padres de familia Sí Sí
Criterios de producto
tasa de deserción Sí Sí
tasa de conclusión Sí Sí
logro estudiantil Sí Sí
reportes de satisfacción del estudiante o
los padres Sí Sí
evaluación a cargo de inspectores o
directores Sí Sí
Mizala y Romaguera (2004).
Varios estudios han planteado diversas hipótesis sobre cómo el mecanismo de incentivos
funciona en diferentes ámbitos, público y privado. En esta subsección se mencionan los
principales mecanismos que operarían detrás de un esquema de incentivos:
Efecto de la competencia por alcanzar el bono: “efecto com pet enci a”
Se considera un efecto ex ante, pues comienza a operar una vez se anuncia las
condiciones para el otorgamiento del incentivo. Bajo la premisa de que el incentivo opera
a modo de un “torneo” por alcanzar el incentivo monetario, este factor competitivo
contribuiría a tener agentes más motivados y dispuestos a ofrecer su mayor esfuerzo por
alcanzar la meta. En ese sentido, todas las evaluaciones de impacto de este tipo de
incentivo monetario analizarían implícita o explícitamente este efecto.
Sobre los incentivos monetarios en el sector educativo a nivel regional, existe el Sistema
Nacional de Evaluación por Desempeño (SNED) que funciona en Chile desde el año
1996. Esta evaluación se aplica cada dos años a los colegios municipales y
subvencionados. Se agrupan escuelas bajo un criterio de comparabilidad y se mide el
logro estudiantil por cada subgrupo. Para medir el logro estudiantil se construye un
índice de indicadores ponderados relacionados a los resultados en la prueba
estandarizada y aplicada a nivel nacional, así como otros indicadores de menor peso,
como la tasa de aprobación y retención de matrícula. Una vez asignado el bono (aprox
6% del salario anual), el 90% se reparte entre los profesores en función al número de
horas trabajado, y el 10% restante se distribuye de acuerdo al criterio del director de la IE.
Los estudios de impacto para este incentivo se han centrado en evaluar el efecto de
recibir el incentivo sobre los resultados en el rendimiento. Por ejemplo, Mizala y
Romaguera (2004) encuentran un impacto positivo al analizar las primeras tres rondas
13
del SNED, identificando que el periodo de maduración sería a partir de la tercera ronda
(sexto año de implementación). Por su parte, Contreras et al. (2005) y Gallego (2008)
utilizan datos de la primera aplicación del SNED e identifican un impacto positivo aunque
poco robusto, en el primer caso, y positivo pero menor, en el segundo caso. Asimismo,
Rau y Contreras (2012), plantean explícitamente este mecanismo por el cual operaría el
incentivo monetario a docentes en el caso de Chile. Al enfatizar la existencia de este
efecto, Rau y Contreras proponen la necesidad de aislar a aquellos agentes que denominan
“seguros ganadores y seguros perdedores”; es decir, a aquellos individuos que, en el
caso de los “seguros perdedores” podrían percibirse muy lejos de la probabilidad de
alcanzar la meta, o, en el caso de los “seguros ganadores”, estarían muy confiados en
que con el mismo o un mínimo esfuerzo mayor (incluso menor) mantendrán su
posicionamiento en el ranking. Al acotar el análisis bajo este criterio, encuentran un efecto
positivo del bono (0.3 desviaciones estándar).
Casavilca (2014), por su parte, realiza un estudio longitudinal utilizando información
desde 1996 para evaluar si el cambio en el umbral de desempeño para clasificar al bono
en el 2006 –pasó de premiar al 25% de docentes, a premiar al 35%- tuvo un efecto
en el rendimiento estudiantil. Encontró que esta medida favoreció el logro estudiantil, y
afectó en un 75% la efectividad en las áreas evaluadas de Comprensión Lectora y
Matemática. Asimismo, encuentra indicios de que la teoría alrededor de los “seguros
ganadores y perdedores” de Rau y Contreras (op. cit.) es consistente en su análisis,
pues se observó que el grupo de escuelas que estaban ligeramente por el encima del
umbral inicial (25%) tuvieron menor efectividad sobre el rendimiento en relación al resto de
colegios, sugiriendo así que existiría un efecto de “seguros ganadores”.
De igual manera, en Estados Unidos también se han implementado diversos programas
de salario basado en el desempeño docente. Por ejemplo, en Carolina del Norte, desde el
año 1996 se aplica para todos los colegios públicos un esquema de pago asociado al
desempeño. Se otorga un bono a los profesores si el puntaje de la escuela alcanza un
umbral definido, o el porcentaje de mejora es significativo. Cada docente recibe $ 1,500
adicional como máximo. Además, este sistema es parte del sistema de rendición de
cuentas del Estado. Vigdor (2008) mostró un impacto importante en los resultados de la
prueba estatal para todas las áreas, sobre todo en el área de Matemática.
Asimismo, Hudson (2010) evalúa un esquema de salario por desempeño en 17 estados.
En este estudio se observó un incremento en el desempeño en matemática, en 0.15
desviaciones estándar más con respecto al grupo de control. En Comprensión Lectora
se evidenció un impacto positivo aunque menor. Por su parte, Winters et al. (2008)
analizó un programa en Arkansas implementado desde el 2004 al 2007, en el cual los
profesores fueron premiados individualmente sobre la base del rendimiento de sus
estudiantes. El bono se otorgó en función al nivel de mejora y el número de estudiantes
a cargo del profesor. El estudio evidenció una alta significancia estadística en el impacto
del programa, en Matemática (0.16 d.e.); Lectura (0.15 d.e.) y Lenguaje (0.22 d.e.). Se
observó además que la mejora fue mayor en el caso de los profesores menos efectivos
inicialmente. De igual forma, Springer et. al (2010) evalúa el programa implementado en
Nashville entre el 2006 y el 2009, donde los profesores de quinto a octavo grado
participaron voluntariamente en un experimento de bono por desempeño. En el estudio se
observó un efecto positivo en el área de Matemática para quinto grado, en el segundo y
tercer año del programa, pero esta mejora no perduró en el siguiente año. En los demás
grados participantes no se observó algún efecto.
14
Por su parte, Angelucci et al. (2015), aunque enfocan su análisis de incentivos
monetarios en el sector de consumo de comida saludable y fomento de la lectura,
también hacen referencia a un efecto competencia dentro de un incentivo monetario,
planteado como un efecto de señalización. Al respecto, los autores señalan que la
señalización, en algunos casos, puede dar información sobre la dificultad de la tarea o la
calidad del bien incentivado, o en otros casos, puede hacer sentir al individuo bajo una
situación de control. Como ejemplo del efecto ambiguo de la señalización, plantean
que, al fomentar la lectura, los efectos de señalización pueden operar a través de dos
opciones: i) observando el comportamiento de los pares (“quizá mis pares leen
porque es divertido”), u ii) observando los incentivos detrás de la nueva conducta de los
pares (“a mis pares los motivan para leer porque leer es difícil”). A partir de los resultados
de su investigación, Angelucci et al. (op. cit.) concluyen que cuando los incentivos de
los pares son evidenciados (todos los participantes saben a qué se debe el mayor
esfuerzo del agente incentivado), los efectos del incentivo son positivos, y que, de
acuerdo a su observación, estos se deben a un sentimiento de anticonformismo y de
envidia hacia los incentivos ganados por los pares que fueron expuestos al incentivo
monetario; es decir, lo que podría asociarse también a un efecto competencia.
Efecto de plantear el incentivo de manera individual o colectiva
Como se señaló anteriormente, los incentivos monetarios pueden plantearse de tal
manera que cada agente es premiado por su esfuerzo individual, o de manera que la
obtención del bono esté sujeta a los resultados de un grupo de agentes; por ejemplo,
todos los docentes de una escuela. Babcock et al. (2011), señalan que en círculos como la
empresa privada, el militar, salud o programas de bienestar, es común ver incentivos
basados en el premio colectivo. En su investigación, se aplica el incentivo colectivo en
dos experimentos: pago por estudiar (asistir a la biblioteca) y pago por hacer ejercicio
(asistir al gimnasio). Los hallazgos de Babcock et al. sostienen que los efectos sociales de
un incentivo monetario son relevantes y pueden inducir a un mayor esfuerzo por costos
menores que un incentivo individual directo. Por ejemplo, se evidenció que los resultados
de asistencia a la biblioteca fueron mejores en los casos donde hubo un incentivo
colectivo, y además, donde los individuos eran conscientes de su grupo, sugiriendo que al
fomentar el sentido de equipo se obtiene un impacto mayor.
Por su parte, en relación el sector educativo, Goodman y Turner (2010) hicieron una
evaluación de impacto sobre un programa de Nueva York en 181 escuelas públicas con
alto nivel de pobreza, escogidas aleatoriamente, sobre un esquema de incentivo
grupal de bonos asociados al rendimiento, en dos periodos académicos (2007 y 2008).
Los productos medidos fueron el esfuerzo docente (ausentismo en aula), rendimiento
estudiantil en Matemática y Lectura, y actividades en clase (encuestas a estudiantes y
docentes sobre el clima en aula). Se trabajó una metodología para controlar el efecto de
posible free-riding (la posibilidad de que algunos o todos los docentes confiaran en el
esfuerzo del otro para obtener el bono), y luego de ello se concluyó que no hay
evidencia clara de que el programa tuviera impacto en el rendimiento estudiantil. Sin
embargo, sí se observó una reducción significativa en el nivel de ausentismo docente,
sobre todo en aquellas escuelas menos afectadas por un factor de free-riding.
Por otro lado, Glewwe, Ilias, y Kremer (2010) realizaron un estudio de un programa piloto
implementado en dos distritos de Kenia, en 1998 y 1999. Esta intervención consistía en
otorgar premios a los docentes de una escuela que en promedio obtuviera mejores
15
resultados o mayores avances en ciertas áreas evaluadas. Al ganar, se dividía el bono
equitativamente entre los profesores de la escuela que trabajaron con grados del 4° al
8° de primaria. El programa incrementó la participación en el examen. No incrementó
puntajes en el primer año, pero en el segundo año los resultados del grupo de tratamiento
crecieron en 0.14 desviaciones estándar con respecto al grupo de control. No obstante, el
efecto no se mantuvo luego de finalizar el programa.
En otro estudio, Lavy (2004) evalúa un piloto implementado en el año 2000, en 49
escuelas de preparatoria. El incentivo era individual y evaluaba el porcentaje de
estudiantes que aprobaban el examen de salida de preparatoria, así como el puntaje
promedio obtenido por los alumnos en las áreas de Inglés, Hebreo y Matemáticas. El
estudio mostró que hubo un impacto positivo significativo en las áreas evaluadas, lo cual
se debió a los cambios realizados en los métodos pedagógicos, a un incremento de horas
después de clase y a una mejora en la capacidad de respuesta a las necesidades de los
estudiantes. Asimismo, la investigación realizó un análisis de costo eficiencia de otros
tres programas piloto con el mismo objetivo de lograr un incremento en el rendimiento
estudiantil: un programa de pago asociado al desempeño pero diseñado como un incentivo
colectivo; un programa que dirigía el bono al estudiante; y un programa dirigido a dar
refuerzo escolar a los alumnos con menor rendimiento. De acuerdo a los hallazgos de
Lavy, el programa original mostró resultados más costo-efectivos que las intervenciones
alternativas.
Por su parte, Muralidharan y Sundararaman (2010) evaluaron un programa piloto en la
India que inició en el año 2005, donde 100 escuelas recibieron un bono basado en su
rendimiento estudiantil bajo el esquema de un incentivo individual, y otras 100 escuelas lo
recibieron basado en un esquema de incentivo colectivo. Bajo ambos esquemas se premió
a las escuelas que excedieran el promedio de logro estudiantil en más del 5%. Después de
2 años, el estudio evidenció que, si bien en el primer año ambos esquemas mostraron un
impacto positivo en el rendimiento, durante el segundo año el esquema de incentivo
individual superó los resultados bajo el bono colectivo. Así, los estudiantes de las IIEE
con un incentivo monetario individual mejoraron su rendimiento en 0.28 desviaciones
estándar (d.e.) más en Matemática y 0.17 d.e. más en Lenguaje, con respecto al grupo de
control. Los estudiantes de estas IIEE también respondían mejor las preguntas de
diferentes niveles de dificultad, y mostraron mejores resultados en cursos no evaluados,
sugiriendo así la presencia de spillovers.
Efecto de plantear incentivos monetarios (como premio o penalidad) o no monetarios
La necesidad de evaluar los efectos de una intervención que plantea incentivos
monetarios o no monetarios está muy vinculado a la naturaleza de la motivación del
agente, de acuerdo a lo que se planteó en la subsección anterior. Así, según sostiene Le
Grand, un incentivo monetario podría ser contraproducente en los casos donde el
agente es del tipo altruista, al distorsionar la intención inicial y premiar a aquellos que
“solo” estarían motivados por fines económicos. Sin embargo, Le Grand también
sostiene que la naturaleza motivacional de los agentes no debe asumirse en función del
sector en el que se desenvuelva el agente. Por ejemplo, aunque se pensaría que los
agentes de sectores con fines sociales podrían ser automáticamente considerados del
tipo altruista, dicha generalización es precipitada, pues la motivación de los agentes
es cambiante en el tiempo y responde a circunstancias particulares.
16
Un caso que podría mencionarse como un ejemplo de intervención fallida de aplicar
incentivos monetarios en el sector Educación es el plan de reformas de escala de pagos en
Portugal, impulsada en el 2007. Esta reforma implicó un cambio en la estructura salarial de
los docentes de instituciones educativas públicas, que pasó de ser fija a tener un
componente asociado al desempeño. El desempeño implicaba no solo el progreso en el
rendimiento estudiantil, sino variables adicionales como la retroalimentación de los padres
sobre el profesor, el nivel de asistencia a clases por parte del profesor, asistencia a
capacitaciones, involucramiento en investigación y cumplimiento de obligaciones
administrativas y pedagógicas. El ascenso a escalas más altas estaba sujeto no solo al
cumplimiento de estos criterios sino a la disponibilidad de vacantes, definida por el
Ministerio de Educación. De acuerdo a Martins (2009), se utilizó a las escuelas privadas
y a las escuelas de dos provincias (que implementaron la reforma de manera más
“suavizada”) como grupo de control, y no se mostró evidencias de un impacto sobre el
rendimiento estudiantil; por el contrario, el efecto fue negativo y hubo un incremento en
la carga administrativa de la escuela, además de una insatisfacción laboral por parte
de los docentes.
De igual manera, existen estudios con resultados mixtos. En Inglaterra, a partir del año
2000 se efectivizó una reforma educativa que consistió en cambiar el esquema de
salario fijo a uno que implicaba un incremento en el monto fijo más un componente
variable en función al desempeño (demostrar haber logrado una mejora en el rendimiento
de sus estudiantes). En Lenguaje y Ciencia se evidenció una mejora importante, pero no
mostró resultados en el área de Matemática, de acuerdo a la evaluación realizada por
Atkinson et. al. (2004).
Por otro lado, DellaVigna y Pope (2016) analizan el efecto de aplicar incentivos
monetarios y no monetarios con el objetivo de obtener un mayor esfuerzo laboral. En
primer lugar, los autores encuentran que los incentivos monetarios tienen un efecto
fuerte y monotónico en la motivación (si es mayor el incentivo, hay un mayor esfuerzo,
de manera proporcional). Sin embargo, este no sería el caso de los incentivos no
monetarios, pues aunque sí se observó un efecto positivo en el esfuerzo a cambio de
donaciones para más necesitados, dicho esfuerzo no se incrementó al proponer
donaciones más altas dirigidas a terceros. Asimismo, evidenciaron que los incentivos no
monetarios tienen un efecto moderado sobre los trabajadores, y que, al compararlo con los
efectos de un incentivo monetario, este último tiene un mayor efecto, incluso con un pago
mínimo.
Asimismo, Lavy analiza los esquemas de pago asociados al desempeño en Israel. En
Lavy (1999) se analiza el periodo de dos años de un piloto iniciado en 1995 en 62 escuelas
de educación secundaria. Las instituciones educativas se ordenaban en función de la
mejora en el desempeño, ajustado por el contexto particular de los estudiantes, y se
premiaba al tercio superior. El 75% del bono se destinaba como incentivo monetario
directo a los profesores, y el monto restante iba a las instalaciones de la escuela. Los
criterios de desempeño fueron la tasa de deserción estudiantil, el tiempo de estudio de
los estudiantes, y la tasa de aprobación en el examen de apertura. El estudio mostró
clara evidencia de resultados positivos en los indicadores medidos. Adicionalmente, se
compararon los efectos con un programa similar que en lugar de otorgar un bono al
maestro, destinaba el 100% del incentivo a mayores recursos educativos para la escuela.
Lavy encontró que, si bien el último programa también resultó efectivo, fue más costo
efectivo el incentivo monetario destinado al profesor, dando indicios con ello que los
17
docentes podrían tener una motivación económica que supera los principios altruistas
(esforzarse por más recursos para la escuela).
Por su parte, otras investigaciones realizan estudios bajo un diseño experimental con el
objetivo de concluir si un incentivo monetario es más efectivo cuando es planteado de
manera positiva (a manera de premio tras conseguir un objetivo) o de manera negativa
(como un castigo o pago de penalidad en caso de no lograr la meta). Cawley y Price
(2009) analizaron los mecanismos detrás de un incentivo monetario para la reducción
de peso. En este caso, se probó un mecanismo de premiación con metas
trimestrales y de penalización en caso de incumplimiento del objetivo transcurrido un
año. Sus resultados muestran que hubo mejor respuesta en el grupo que tuvo la
combinación de los dos incentivos: la penalización de perder su bono anual y el sorteo por
el bono trimestral.
Efecto de condicionar el incentivo según criterios a nivel de procesos o de productos
Por otro lado, es importante resaltar que la decisión de qué criterio utilizar (basado en
características del agente, de los procesos o los productos alcanzados) es sumamente
importante. Los estudios señalados previamente se caracterizan en general por
condicionar el incentivo a nivel de producto (por ejemplo, el rendimiento estudiantil), y
en muchos casos se ha demostrado su efectividad. No obstante, en el estudio
mencionado de Babcock et al. (2011), por ejemplo, los incentivos van hacia un criterio
de proceso (asistir a la biblioteca, asistir al gimnasio) en lugar de un producto, pues se
postula que incentivar un proceso puede llegar a ser más efectivo que incentivar el
resultado final, dado que en el último caso los individuos incentivados pueden tener poco
claro cuáles son los canales de la función de producción para lograr el objetivo final.
Los hallazgos del estudio de Goodman y Turner (2010) mencionado previamente
también irían en línea con este planteamiento, pues aunque en el estudio no se
evidenció un efecto del incentivo monetario sobre el rendimiento estudiantil, sí se
observó una reducción significativa en el nivel de ausentismo docente, un indicador
que podría considerarse a nivel de proceso en lugar de resultado.
De igual manera, Fryer (2010) plantea una evaluación experimental sobre la base de
doscientos cincuenta escuelas urbanas, para analizar el efecto de incentivos monetarios
dirigidos al estudiante sobre el rendimiento escolar. En su estudio, se encontró que los
estudiantes lograron mejoras cuando el premio se definía en función a criterios de
procesos, como leer una lista proporcionada de libros acordes a su edad, asistir a la
escuela, cumplir normas de conducta, cumplir las tareas, aprobar exámenes
intermedios, etc. Por el contrario, en los casos en los que el incentivo se condicionó
a criterios de productos, este no obtuvo ningún efecto sobre el rendimiento estudiantil.
Efecto de haber recibido el bono: “ef ecto r eci proci dad”
El segundo efecto operaría de una manera ex post y solo entre aquellos que obtuvieron
el bono. Este efecto es explorado inicialmente por Akerlof (1982, 1984, en Rau y
Contreras, op. cit.), y desarrollado por Rau y Contreras en su evaluación del incentivo
monetario a docentes en el caso chileno. A lo que se refiere es al sentimiento de
retribución que surgiría en un agente de perfil principalmente “altruista”, como producto
de haber recibido un premio. Rau y Contreras no encontraron significancia estadística
de este mecanismo. Por su parte, en la investigación de DellaVigna y Pope (2016)
los autores también analizaron la posibilidad de encontrar un efecto reciprocidad; es
18
decir, un esfuerzo mayor como retribución u agradecimiento por obtener el premio. Al
respecto, lo que hallaron fue que hubo un efecto positivo, aunque reducido.
1
Se considera personal jerárquico a docentes que se desempeñan como asesor de área, jefe de taller, de laboratorio, de
campo o de áreas funcionales equivalentes.
2
Criterios definidos para el 2016 mediante DS 203-2015-EF “Decreto Supremo que modifica el Decreto Supremo N°
287-2014-EF y modificatoria que aprueba el monto del Bono de Incentivo al Desempeño Escolar, así como los criterios,
requisitos y condiciones para su otorgamiento, y dicta otras disposiciones”. Se describe la información con respecto a la
normativa del año 2016, aunque se identifican ligeras variaciones en la construcción del índice para años anteriores.
19
escolar.
Con respecto a la elegibilidad, los criterios para aplicar al bono tienen una lógica de
incentivar la participación de las IIEE en la Evaluación Censal de Estudiantes, sin dejar
de considerar a aquellas IIEE que por factores externos no rinden la evaluación3. En ese
sentido, se han definido tres grupos para el nivel de primaria y dos grupos para el nivel
secundaria. En el caso de primaria, en primer lugar se define el Grupo A, conformado
por las escuelas que fueron programadas para aplicar la Evaluación Censal de
Estudiantes (ECE) en segundo grado de primaria, bajo la modalidad de Educación
Básica Regular. Todas las escuelas pertenecientes a este grupo son evaluadas en Bono
Escuela a partir un IDE conformado por los indicadores de superación (45%),
efectividad (20%), gestión de estudiantes (30%) y registro (5%), descritos en el párrafo
precedente.
Asimismo, se define el Grupo B, como el conjunto de escuelas que implementan la
Educación Intercultural Bilingüe (EIB) y que, por tanto, fueron programadas para rendir la
ECE en cuarto grado de primaria, bajo la modalidad de castellano como segunda lengua.
Los indicadores y las ponderaciones utilizadas para las escuelas de este grupo son las
mismas que las del Grupo A. El tercer caso es el Grupo C, conformado por todas las
instituciones educativas que no fueron programadas para rendir la ECE en los dos años
previos al otorgamiento del bono. Por esta razón, no pueden ser evaluadas en los
indicadores de superación y efectividad; sin embargo, este grupo es medido a través de
sus resultados en los indicadores de gestión de estudiantes (50%), registro (10%) y gestión
administrativa (40%).
Para el caso del nivel Secundaria, las escuelas han sido definidas en dos grandes grupos.
El primero de ellos, denominado Grupo D, está conformado por las escuelas que fueron
programadas para rendir la ECE de segundo grado. En este caso, las escuelas son
evaluadas en los indicadores relacionados a la superación (35%), efectividad (15%),
gestión de estudiantes (25%), registro (5%) y acciones pedagógicas (20%). Finalmente,
se define el Grupo E, como el conjunto de aquellas escuelas que no fueron
programadas para rendir la ECE. Por ello, no son evaluadas en los indicadores de
superación, efectividad y prácticas pedagógicas4; sin embargo, el IDE se construye a
partir de los indicadores de gestión de estudiantes (50%), registro (10%) y gestión
administrativa (40%).
Complementariamente, para el otorgamiento del bono se definen estratos que tienen por
finalidad definir subgrupos más homogéneos entre sí, y de esta manera poder
establecer un ranking de escuelas en función del IDE alcanzado dentro de un
subgrupo de mayor comparabilidad. Por ejemplo, para el caso del Grupo A, las
escuelas son agrupadas, en primer lugar, bajo una lógica territorial, por la Unidad de
3
Al respecto es importante mencionar que, de acuerdo al “Reporte Técnico de la Evaluación Censal de Estudiantes
(ECE 2015)” del Ministerio de Educación (2015:14), se excluye a los estudiantes que asisten a una IE con menos de cinco
estudiantes matriculados en el grado evaluado. En primaria, esta exclusión representa alrededor del 5 % de los estudiantes
a nivel nacional, y aproximadamente el 37 % de escuelas a nivel nacional. En cambio, en secundaria, la exclusión
representa el 0,4 % de los estudiantes a nivel nacional, y el 7% de escuelas a nivel nacional.
4
Cabe precisar que el indicador de acciones pedagógicas se construye a partir de un cuestionario incluido en la ECE de
segundo grado de secundaria, en el cual los estudiantes describen la frecuencia con la que observan determinadas prácticas en
sus docentes, así como una percepción del clima escolar. Dado que los estudiantes del Grupo E no rinden la ECE, tampoco
completan el cuestionario.
20
Gestión Educativa Local (UGEL) a la que pertenecen5 y, en segundo lugar, en función de
su característica (polidocente completo o multigrado/unidocente). De igual manera, en el
Grupo B también se clasifican a las escuelas bajo una lógica territorial y de característica
de la IE, con la diferencia de que dicha lógica territorial se define solo a nivel de
Dirección Regional de Educación6 (DRE) y ya no a nivel de UGEL. Para el caso de las
escuelas del Grupo C, las escuelas son sub-agrupadas únicamente bajo una lógica
territorial, a nivel de UGEL.
Por su parte, para el caso del Grupo D, del nivel Secundaria, el primer criterio que se ha
considerado para agrupar a las escuelas es en función de si estas fueron parte del nuevo
modelo de secundaria que está siendo impulsado por el gobierno central, o son parte del
modelo regular7. En el caso en que la escuela sea parte del nuevo modelo, las
escuelas son sub-agrupadas adicionalmente en función de la DRE a la que pertenecen;
mientras que, si son parte del modelo regular, las escuelas son sub-agrupadas en
función de la UGEL a la que pertenecen, y también en función de si pertenecen al
área urbana o rural. Por último, las escuelas del Grupo E son definidas únicamente en
función de la DRE a la que están adscritas.
Habiendo definido los estratos de escuelas comparables entre sí y la forma en que se
construirá el indicador de desempeño escolar, se establece un ranking a partir del cual se
premia a las escuelas que se encuentran en el percentil 35 superior de su estrato, en
el caso de primaria, o que se encuentran en el percentil 20 superior, en el caso de
secundaria. Es importante precisar que tanto para primaria como para secundaria, se
hace una distinción en términos del monto asignado para el caso de las escuelas que
se encuentren en el percentil 25 o percentil 10, respectivamente. Adicionalmente, es
importante considerar que Bono Escuela es un incentivo del tipo colectivo; es decir, que
premia el esfuerzo grupal de los docentes y director de una escuela, y no solo al docente
del grado evaluado. El monto asignado oscila entre los S/ 1,000 y los S/ 3,000, dependiendo
del nivel de responsabilidad directa sobre los resultados y el grupo elegible8.
5
Las UGEL son unidades descentralizadas de administración, incluida la administración financiera en la mayoría de los casos.
En general se puede afirmar que las UGEL se definen a nivel provincial, salvo para el caso de Lima Metropolitana donde, al
concentrar una cantidad importante de escuelas, las UGEL se definen también bajo una lógica territorial, pero agrupando cierto
número de distritos aledaños.
6
Las DRE también representan una unidad descentralizada de administración, salvo que su jurisdicción no se define a nivel
provincial como las UGEL, sino a un nivel superior (nivel regional). Las UGEL tienen una dependencia con respecto a la DRE
en el plano normativo, aunque no en el plano administrativo.
7
El nuevo modelo de educación secundaria, denominado Jornada Escolar Completa, es una nueva definición de educación
secundaria que inició en el 2015 con 1,000 escuelas a nivel nacional y que, a diferencia del modelo regular, incluye mayores
horas pedagógicas, más horas destinadas al idioma inglés, mayor número de profesionales de enseñanza, etc.
8
Aunque el incentivo es del tipo colectivo, para el caso de primaria se establece una diferencia en la asignación
correspondiente al docente directamente responsable del grado evaluado, así como para el director de la IE. Por su parte,
los docentes responsables del grado previo al evaluado también reciben un monto diferenciado, aunque ligeramente menor.
Finalmente, los docentes de los demás grados, así como los docente del nivel sin grado asignado, también reciben un
incentivo, aunque ligeramente menor. Se muestra el detalle de la asignación por grado y según grupo elegible, en la Tabla 4,
en la sección Anexos.
21
incentivo colectivo en lugar de individual; y monetario positivo (premio) en lugar de
negativo (penalidad) o no monetario. Por otro lado, aunque Bono Escuela plantea
diversos indicadores sobre los cuales se condiciona el incentivo (revisar capítulo 3 del
presente documento), puede considerarse que es un incentivo basado en indicadores a
nivel de producto, en tanto el mayor peso para el otorgamiento del bono responde a los
resultados en el rendimiento estudiantil y la retención escolar.
De los indicadores mencionados, la evaluación de impacto que se planteará en esta
investigación se acota únicamente a los efectos sobre el rendimiento estudiantil. Ello
debido a que este indicador (dividido en los objetivos de superación y efectividad)
concentra hasta el 65% del peso en el índice elaborado para el otorgamiento del bono en
el caso de primaria, y hasta el 50% para el caso del nivel secundario. Además, en términos
metodológicos, es el indicador con mejor información longitudinal (la Evaluación Censal
de Estudiantes se aplica desde el 2007 en el caso de primaria, y a partir del 2015 para
el caso de secundaria), lo cual será importante para el aislamiento de una probable
tendencia previa al tratamiento. Por otro lado, se precisa que en esta evaluación se
analizarán solo los grupos A (segundo grado de primaria) y D (segundo grado de
secundaria). Se excluye a los grupos C y E, al no contar con resultados de la ECE por
razones externas a ellos, y tampoco se incluye al grupo B, por la dificultad de definir un
grupo de control9.
9
A nivel nacional, todas las escuelas de Educación Intercultural Bilingüe (EIB), que constituyen el grupo B, son parte del grupo
tratamiento de la intervención, no habiendo escuelas privadas para este tipo de oferta educativa. La comparación con otro
tipo de escuela pública no sería adecuado, por tener una propuesta pedagógica diferente (bajo la EIB, los estudiantes
tienen clases en su propia lengua y en castellano). Al 2016, a nivel nacional solo hubo dos escuelas privadas que
ofrecieron el mismo tipo de servicio.
22
participación se propone de manera universal (para todas las escuelas públicas), se
plantea esta opción como la mejor alternativa para evaluar su impacto, siguiendo el
planteamiento de estudios previos, como Martins (2009), Rau y Contreras (2012), y
Casavilca (2014). Para reducir este sesgo, se planteará un modelo de emparejamiento
que tiene el objetivo de mejorar el balance entre ambos grupos. Posteriormente, se aplicará
una estimación bajo el modelo de diferencias en diferencias, con la finalidad de reducir el
sesgo por la tendencia previa al tratamiento.
Complementariamente, es importante mencionar que las diferencias en la información
disponible para el caso del nivel primario y secundaria han sido aprovechadas de tal
manera que se puedan reducir los sesgos de la metodología aplicada. Así, por ejemplo,
de la información disponible para el nivel primario no ha sido posible contar con variables
complementarias sobre el estudiante que permitan trabajar la información a este nivel.
Por tanto, el nivel de análisis utilizado para este caso ha sido la escuela. Sin embargo,
siendo que la Evaluación Censal de Estudiantes (ECE) se aplica para este nivel desde el
2007, se ha utilizado información desde este periodo para aplicar una estimación
paramétrica por triple diferencia, que permita reducir el sesgo encontrado por el no
cumplimiento de tendencias paralelas en el periodo previo a la intervención. Siendo que
para este nivel Bono Escuela se implementó desde finales del año 2014, se considera
que el efecto de la intervención sobre dicho año es nulo, razón por la cual será
considerado el año de línea de base. Por tanto, se cuenta con dos periodos consecutivos
del incentivo (2015-2016), que permitirá evaluar si existe un efecto diferenciado debido a
un periodo de maduración de la intervención.
Por su parte, para el caso del nivel secundaria, debe tenerse en cuenta que la primera
evaluación censal se aplicó en el año 2015, razón por la cual Bono Escuela se anunció
dicho año y empezó a ejecutarse a partir del 2016 para este nivel. Considerando el
antecedente de Bono Escuela para el caso de primaria (desde el 2014) sería difícil
afirmar que existe una línea de base para este nivel, considerando las expectativas de
los docentes de ser evaluados para la obtención de un bono. Asimismo, dado que no
se cuenta con información sobre el rendimiento estudiantil en periodos previos al
anuncio del tratamiento (año 2015), no es posible reducir la tendencia previa. En cambio, a
diferencia del caso de primaria, existe información valiosa recogida a nivel de
estudiante, que permite tener mejores covariables para un modelo de emparejamiento que
logre un mejor balance en factores exógenos a la evaluación. Por ello, para este nivel, la
estimación se trabajará a nivel de estudiante, y se utilizará el modelo de emparejamiento
como la mejor alternativa disponible para medir el impacto de la intervención,
reconociendo las limitaciones de esta metodología para eliminar el sesgo de factores
no observables. Complementariamente, para el segundo año de aplicación de la ECE
en este nivel (periodo 2016), se estima además un modelo de diferencias en diferencias,
con el objetivo de reducir las tendencias del año previo y obtener un resultado más
limpio del sesgo mencionado inicialmente.
Finalmente, para la medición del efecto reciprocidad, conceptualmente se esperaría que
el otorgamiento del bono tenga un efecto en los resultados del año posterior al
otorgamiento del incentivo. Por ello -habiendo precisado que el otorgamiento del primer
bono se ejecutó en el año 2014 para el caso de primaria, y en el año 2016 para el caso de
secundaria-, se analizará la evidencia del efecto de los bonos 2014 y 2015 sobre el
rendimiento estudiantil en los años 2015 y 2016, respectivamente, para el caso de
primaria, mientras que para el caso de secundaria no será posible la evaluación del efecto
23
reciprocidad. Para ello se empleará la metodología de regresión discontinua bajo el diseño
difuso, bajo una estimación no paramétrica, donde se comparará a las escuelas
premiadas con respecto a aquellas que estuvieron muy cerca de alcanzar el bono, en
función de su proximidad al punto de corte del índice de desempeño escolar (IDE). Sobre
este punto cabe precisar que, a fin de reducir algún problema de identificación en las
escuelas ganadoras y no ganadoras del bono, se ha acotado el análisis a aquellas
escuelas públicas que mantuvieron al menos el 80% de su plana docente. Ello con el
objetivo de no adjudicar como efecto del bono el cambio en el rendimiento en escuelas
que, habiendo ganado en un periodo –y, por tanto, habiéndose premiado a sus docentes-
no puedan considerarse “las mismas” el año siguiente, debido a la rotación de los
docentes que participaron directamente en el éxito de la escuela. Se identificó que,
entre las escuelas públicas, aproximadamente el 40% de escuelas tienen una rotación
mayor al 20% de sus docentes.
Las bases de datos empleadas para la presente estimación fueron principalmente: la
Evaluación Censal de Estudiantes (que recoge información sobre el rendimiento
estudiantil y variables del contexto del estudiante para el caso de secundaria), el Censo
Escolar (que recoge información de las características del docente del nivel educativo y
la infraestructura escolar), Bono Escuela (que recoge el puntaje obtenido por cada
escuela en el IDE sobre el cual se otorga el incentivo, y grupo al que pertenece), así
como información complementaria que permite identificar las escuelas públicas que se
encuentran sujetas a intervenciones pedagógicas, a manera de control.
10
Como se observa en la Tabla 5, los colegios públicos representan aproximadamente el 73% del total de colegios de segundo
grado de primaria que rinden la prueba (es decir, sin considerar los colegios con menos de cinco estudiantes, que no entran en
el marco de la ECE). Para el caso de EIB, los colegios públicos representan el 99.9%; y para el caso de secundaria, el 66%.
24
secundaria, el panel data se construye con los periodos 2015 y 2016.
Es importante mencionar que, aunque el panel no se encuentra balanceado, se ha
optado por mantener todas las observaciones disponibles. Se ha analizado los posibles
sesgos que se podrían presentar y, si bien en las primeras evaluaciones no se alcanzó
la cobertura suficiente para ser declarada información censal a nivel de estudiante (en
el 2008 se evaluó al 90% de instituciones educativas y al 71% de estudiantes
programados11), a partir del 2009 se alcanzó cobertura censal tanto a nivel de institución
educativa como de estudiante, al 90% y 81%, respectivamente. Además, en los años
siguientes la cobertura fue en aumento, llegando a evaluar el 95.6% de estudiantes y
99.7% de colegios programados a nivel nacional en el año 2016.
Al analizar la cobertura por estratos, se puede observar cierto sesgo hacia la zona rural y
los colegios unidocentes/multigrado. Aunque este sesgo no es significativo a nivel
nacional, sí se observa en algunas regiones (UMC 2015, 2016). Por ello, se concluye i)
que la evolución de la mejora en el rendimiento estudiantil puede estar subestimada en
alguna medida para los primeros años, siendo que en los años iniciales de la prueba hubo
un sesgo hacia regiones donde predominaba un mayor nivel de pobreza12, y ii) que la
subestimación de los resultados y las mejoras interanuales se ha reducido
progresivamente al ampliarse anualmente la cobertura de la prueba, para todos los
estratos. Por su parte, para el caso de secundaria, habiendo alcanzado una cobertura
estudiantil superior al 90% en los dos periodos evaluados, solo cabría considerar ligeros
sesgos en la zona rural de algunas regiones (aunque no representativos a nivel nacional).
Sobre la información de Bono Escuela, para las escuelas de segundo de primaria se
acumulan tres rondas ininterrumpidas desde su creación en el 2014. Puede observarse
que, en promedio, el 49% de escuelas nunca ha recibido el bono, un 40% lo recibió una
vez, un 11% lo recibió dos veces y solo un 1% recibió el bono en las tres rondas.
Finalmente, para el caso de segundo grado de secundaria, solo existe una ronda de
Bono Escuela publicada, habiendo ganado un 17% del total de colegios públicos del
nivel secundario (8,321 IIEE como total en el 2015).
Tabla 2: Nro. de bonos recibidos por escuelas públicas de primaria durante el periodo
2014-2016
Promedio de
Nro de
Frecuencia veces que
bonos % del total
de IIEE participó en el
recibidos
bono
0 9,349 49% 2.1
1 7,666 40% 2.7
2 2,106 11% 2.9
3 141 1% 3.0
Total 19,262 100% 2.4
Fuente: Bono Escuela 2014-2015. Elaboración propia.
11
De acuerdo a los estándares de la Unidad de la Medición de la Calidad (UMC), se puede afirmar cobertura censal cuando se
ha cubierto a, por lo menos, el 90% de instituciones educativas o más del 80% de estudiantes, con respecto a lo programado.
12
Siendo Cajamarca, Apurímac, Puno y Ayacucho las regiones que se retrasaron en alcanzar cobertura regional considerada
censal.
25
Identificación de las escuelas en estricta zona de competencia
El alto porcentaje de instituciones educativas que se concentra en la categoría de
nunca haber recibido un bono nos da indicios de la existencia de un grupo de colegios
que posiblemente se encuentre lejos de mejorar sus resultados en el corto plazo, y en
ese sentido tendría muy poca motivación para cambiar su nivel de esfuerzo. Por otro
lado, habría un grupo de instituciones educativas que, teniendo resultados muy altos,
tiene seguridad de su posición ventajosa sobre el promedio y por ello el umbral para
acceder al bono (percentil 35) le es indiferente. Este es el concepto detrás de lo que
Rau y Contreras (2012) definen como “seguros perdedores” y “seguros ganadores”.
Aun cuando el número de rondas acumuladas es menor al caso chileno, se puede
observar una tendencia similar a los hallazgos de Rau y Contreras (ibid.:14) y
Casavilca (2014), que también evidencian una concentración mayor de “seguros
perdedores”, pero un porcentaje muy pequeño de “seguros ganadores”. Dado lo
anterior, en este estudio se define como grupo de interés a aquellas escuelas que se
encuentran en una posición expectante del bono. Para su identificación, se utilizará la
metodología empleada por Casavilca (ibid.:17), en la cual se clasifican las escuelas en 5
zonas diferentes, en función del puntaje alcanzado en el índice que determina la
asignación del bono, de acuerdo al siguiente esquema:
Esquema 2: Grupos de desempeño y zona de competencia
(menor índice BDE) (mayor índice BDE)
seguros perdedores zona de competencia seguros ganadores
zona 4 zona 3 zona 2 zona 1 zona 0
Así, en primer lugar, para cada estrato de los grupos definidos por Bono Escuela13, se
estandariza el puntaje del índice BDE con respecto al valor mínimo del percentil 25.
Habiendo clasificado de esta manera a todos los colegios -en función de su distancia con
dicho valor en términos de desviaciones estándar- se procede a calcular la distancia
promedio del valor mínimo del percentil 25 con respecto al valor mínimo del percentil 35,
que viene a ser la delimitación de la zona 2. Cabe precisar que este promedio se calculó
para cada año, y se observó que en promedio fue de 0.3 desviaciones estándar para el
caso de primaria y de 0.5 desviaciones estándar para el caso de secundaria14. Una
vez calculada esta diferencia promedio, se aplica dicho valor a la delimitación de la zona 1,
zona 3 y, por defecto, las zonas 0 y 4.
Así, formalizando la metodología señalada, en cada año y para cada grado evaluado se
define el índice BDE estandarizado (x*) como:
13
Cabe precisar que en el 2016, el número de estratos para el caso del grupo A fue de 368; y para el grupo D, de 274. El
detalle por año se puede encontrar en la Tabla 6.
14
En el caso de la investigación de Casavilca (2014), este promedio también fue de 0.3 desviaciones estándar.
26
xij x min 25
x
* j
…(1)
j
ij
*
Donde xij es el valor estandarizado del colegio i en el estrato j, x es el valor inicial del índice BDE,
x min es el valor mínimo del percentil 25 del estrato j, y j es la desviación estándar del índice BDE
25
j
en el estrato j. Por su parte, se define la variable y como el promedio del valor estandarizado mínimo
en el percentil 35 (donde n es el número de estratos) 15, en valor absoluto:
n
x
j 1
*,min 35
j
y …(2)
n
Con estas definiciones, se clasifican las escuelas en las siguientes zonas, teniendo en
cuenta que la población considerada “en zona de competencia” será aquella que se
encuentra en la zona expectante al bono; es decir, entre las zonas 1 y 3:
*
Zona 0 Si y <= xij
*
Zona 1 Si 0 =< xij < y
*
Zona 2 Si - y =< xij <0
*
Zona 3 Si - 2 y =< xij <- y
*
Zona 4 Si xij <- 2 y
Para evaluar el impacto de este programa sobre el rendimiento de los estudiantes, una
de las primeras dificultades es la definición de un grupo de control adecuado. Al ser una
intervención cuyo objetivo es fomentar la competencia en todas las escuelas públicas,
el grupo de control necesariamente deberá identificarse entre los colegios privados.
Sin embargo, antes de poder considerar este tipo de escuelas como grupo de control,
es importante reconocer intuitivamente que existen factores observables y no
observables que pueden afectar la comparabilidad de los grupos. La información de la
Tabla 7 (ver Anexo) nos presenta indicios importantes de una situación de partida diferente
entre el grupo de control y de tratamiento. En consecuencia, es de esperar que existan
además factores no observables que diferencien ambos tipos de gestión, en cuanto a
contexto particular de los estudiantes y variables asociadas al funcionamiento de la IE.
En ese sentido, se reconoce la limitación que puede tener la presenta investigación
originada por este sesgo. Sin embargo, siendo que es un incentivo aplicado de
manera universal (para todas las escuelas públicas), se plantea esta opción como la
15
Para el periodo 2007-2013, considerando que no existía el BDE, la definición de las zonas de competencia se construyó a
partir de un índice “ficticio”, basado únicamente en la ECE (se ponderaron con nuevos pesos los indicadores de superación y
efectividad). Además, se tomó un promedio de y para todo el periodo, de 0.33 desviaciones estándar. El detalle por año se
puede encontrar en la Tabla 6.
27
mejor alternativa para evaluar su impacto, siguiendo el planteamiento de estudios
previos, como Martins (2009), Rau y Contreras (2012), y Casavilca (2014).
Para reducir esta probabilidad de sesgo, se aprovechará la información disponible para
cada uno de los niveles evaluados, primaria y secundaria, que difiere en cada caso. Por
ejemplo, para el caso de primaria, aunque no se cuenta con información complementaria a
nivel de estudiante que permita plantear un nivel de emparejamiento a este nivel, sí
existe información de periodos previos al tratamiento, desde el año 2007. Por ello, en
este caso, el modelo de emparejamiento se definirá con variables promedio a nivel de
escuela, como una manera de reducir el desbalance en las condiciones iniciales de las
variables observables. Sin embargo, como se detallará más adelante, la disponibilidad de
información previa al tratamiento permitirá utilizar complementariamente un modelo de
triple diferencia, con el objetivo de reducir el sesgo de factores no observables.
Para ello, se implementa un primer filtro de variables para una coincidencia exacta,
utilizando las variables de año, área de procedencia (urbano/rural), característica de la
IE (polidocente completo/multigrado o unidocente) y zona de competencia en la que se
encuentra la IE, esta última variable de acuerdo a lo descrito en la subsección 4.1.1. Con
ello se busca asegurar un primer nivel de comparabilidad y soporte común, según la
pertenencia de la IE. A partir de ahí, se aplica la metodología de emparejamiento por
vecindario más cercano, de uno a uno con posibilidad de reemplazo, por regresión
logística. Según lo propuesto por Abadie e Imbens (2006; en Rau y Contreras,
2012), el emparejamiento con reemplazo produciría un match de mejor calidad, al
incrementar el set de opciones para encontrar la mejor pareja para los individuos
tratados. Las covariables que se utilizarán para la estimación del propensity score son:
el tamaño de la escuela (aproximado con el número de alumnos), proporción de hombres
en la IE, zona de competencia a la que pertenece la IE y tamaño de la jurisdicción a la
que pertenece la IE (número de IE por provincia). El detalle de la distribución del
puntaje de propensión para los tratados y no tratados se detalla en el Gráfico 1 de la
sección de Anexos.
Para el caso del nivel de secundaria las limitaciones de análisis son mayores, por la
dificultad de no contar con información previa al tratamiento. Por ello, la evaluación del
efecto competencia no podrá plantearse de la misma manera que para el caso de
primaria. No obstante, se aprovechará la información más extensa con la que se cuenta
para el nivel de secundaria a nivel de estudiante, con el objetivo de aumentar la precisión
de la comparabilidad de los grupos de tratamiento y de control y así usar el modelo de
emparejamiento como método de evaluación del efecto competencia.
Para ello, se utilizará la información de la encuesta realizada a los estudiantes de segundo
grado de secundaria. A diferencia del nivel primaria, para este caso se cuenta con
información adicional sobre el contexto socioeconómico del estudiante, interés de sus
padres por su vida académica, aspiraciones y percepciones personales sobre la escuela,
y calificación sobre la frecuencia de algunas acciones pedagógicas de sus profesores. Se
espera que con esta información se pueda reducir el efecto producido por factores no
observables que pudieran sesgar los resultados. Siendo que hay una encuesta para
cada periodo disponible de la ECE, se analizará tanto el año 2015 como 2016.
Para ello, al igual que para el nivel primario, se aplicará un primer filtro de variables de
coincidencia exacta, basado en las siguientes variables: área de procedencia, zona de
28
competencia, variable dicotómica de la lengua materna del estudiante, nivel educativo de
la madre del estudiante, acceso al alumbrado eléctrico en el hogar, acceso a Internet
dentro del hogar, acceso a la red pública de desagüe dentro del hogar, condición de
repitente del estudiante y percepción sobre las acciones pedagógicas de sus docentes.
Finalmente, para la identificación del efecto competencia en el nivel secundario se
estimará un propensity score, bajo el modelo de vecindario más cercano de uno a uno,
con posibilidad de reemplazo, mediante una regresión logística. Las variables utilizadas en
este modelamiento son: condición de repitente del estudiante, percepción sobre la
atención de los padres por su vida personal y académica, percepción sobre el clima
escolar, percepción sobre las prácticas pedagógicas del docente, número de
instituciones educativas en la UGEL a la que está adscrita la escuela, y zona de
competencia de la IE.
4.1.3 Estimación por triple diferencia para el caso del nivel primaria
16
En la Tabla 7 se podrá revisar la caracterización promedio de las escuelas, diferenciando por tipo de gestión (público o
privada).
17
Para una breve explicación de la intuición detrás del modelo de DD, y ver el análisis incondicional previo a la estimación
del efecto, revisar la Tabla 24 en la sección Anexos.
29
públicas como privadas han fluctuado considerablemente, aunque no en el mismo sentido
para cada año. Ello aplica tanto a la figura que considera todos los colegios (posterior al
emparejamiento), como a la figura que acota la muestra a la zona estricta de
competencia (zona 1, 2 y 3, según lo descrito en la sección 4.1). Adicionalmente, para
verificar el análisis gráfico, se estimó un modelo de diferencias en diferencias en un
escenario placebo; es decir, sin considerar los años de intervención y considerando el año
2014 como el año de línea de base. Los resultados de esta estimación confirman
una tendencia fluctuante en el tiempo en la etapa previa al programa. Estos resultados se
detallan en la Tabla 8, donde el estimador de la variable “txI” confirma la tendencia no-
paralela.
Por tanto, dados los resultados obtenidos en la estimación placebo, es un reto adicional
para la evaluación de este programa tener en cuenta esta fuente adicional de variación.
En tal sentido, el modelo de triple diferencia explota la disponibilidad de información pre
línea de base (en este caso, antes del 2014) para aislar el efecto previo al programa.
Bajo esta estimación se busca reducir el sesgo al introducir controles que identifiquen la
diferencia entre la tendencia previa a la línea de base y la tendencia de la línea de base.
Por ello, en esta investigación se usará una metodología de triple diferencia similar a la
utilizada por Mesinas (2010), que implica la diferencia entre el grupo de tratamiento y un
grupo de control en tres periodos diferentes (pre línea de base, línea de base y después
de la implementación).
30
Comprensión Lectora como en Matemática. Por su parte, la variable Intervencioni ,t es una
dicotómica que toma el valor de 1 en caso el colegio haya recibido el tratamiento (escuela
estatal) o el valor de 0 en caso el caso pertenezca al grupo de control (escuela privada).
Asimismo, Post 2014 i ,t es una variable dicotómica que toma el valor de 1 si el periodo es
igual o posterior al 2014 (año línea de base) o valor de 0 en caso el periodo observado sea
previo al 2014 (pre línea de base). Adicionalmente, Post 2015i ,t es una variable dicotómica
que toma el valor de 1 si el periodo observado es igual o posterior al año 2015 (ex post al
programa) o valor de 0 para periodos previos al año 2015 (línea de base). Por otro lado, las
variables Post 2014 * Intervencion y Post 2015i ,t * Intervencioni ,t son variables dicotómicas
interactivas de la condición de tratamiento y el periodo observado. La matriz X i ,t se refiere a
las covariables que recogen las características promedio de la escuela, estudiantes y
docentes, que servirán de control. Finalmente, el término i,t es el término de error que
adopta la siguiente estructura i ,t i i ,t para reflejar los efectos fijos por escuela en la
ecuación (4). El efecto neto del programa producto de la triple diferencia se reflejaría en el
coeficiente 5 , explicado intuitivamente mediante la ecuación (3) y en la Tabla 3.
31
Así pues, existe una diferencia en el grupo de tratamiento para la medición de este efecto,
pues solo se acota al grupo de escuelas ganadoras del incentivo. Por su parte, el grupo
de control serían las escuelas públicas que se encontraron muy cerca de obtener el bono.
Tal como se explicó, debido a la limitación en el número de periodos disponibles de la
intervención para el caso de secundaria, este efecto solo se medirá en el caso del nivel
primario.
Por otro lado, es importante tener en cuenta que la rotación de docentes entre escuelas, de
ser alta, puede representar un problema de identificación. Por ejemplo, en caso de que una
escuela resultara ganadora y, por tanto, se premiara a su plana docente, sería difícil
evaluar un efecto reciprocidad del bono en el año siguiente sobre el rendimiento
promedio de dicha escuela si para entonces los docentes ganadores migraron a otra IE.
Por tal motivo, el análisis se centrará en aquellas escuelas públicas (ganadoras y no
ganadoras) que hayan mantenido igual por lo menos el 80% de su plana docente durante
el año siguiente al otorgamiento del bono. Se identificó que en promedio este grupo de
escuelas representa el 60% del total de escuelas públicas.
Se plantea que este efecto puede ser medido a través de una regresión discontinua. La idea
principal detrás de un diseño de regresión discontinua es que la asignación del tratamiento
está determinada, ya sea completa o parcialmente, por el valor de una variable particular,
en función del lado donde se encuentre el individuo tratado en la función de
distribución, estableciendo como punto de referencia el valor determinado de dicha
variable. De esta manera, este valor límite generaría una discontinuidad en la
probabilidad de recibir el tratamiento, en función de esta variable particular. En
consecuencia, como señala Van Der Klaauw (2008, citado en Mesinas, 2010), la
discontinuidad de la distribución condicional del resultado evaluado, como una función
de esta variable de delimitación, es interpretada como una efecto causal del tratamiento.
Para el caso de la intervención evaluada, la condición de tratamiento se define en este
caso como el grupo de escuelas que ganó el bono, y está en función del índice de
cumplimiento de los indicadores evaluados y descritos en la sección 3, referidos a la
efectividad y superación en el rendimiento estudiantil, retención de estudiantes y registro
de información, entre otros. Sobre la base de estos indicadores estandarizados y
ponderados en un solo índice, se establece un ordenamiento de los puntajes por estrato
y se define el top de escuelas que se declararán ganadoras. En consecuencia, el
puntaje mínimo definido en cada estrato para hacerse acreedor al bono es el límite que
determina el grupo de tratamiento y de control.
Para efectos de esta evaluación, dicho puntaje ha sido estandarizado con respecto al valor
mínimo del percentil 35 de cada estrato, de tal manera que el punto de corte se
centraliza en cero para todos los estratos, facilitando así su comparabilidad. Teniendo
como referencia este valor, se procedió a analizar los datos de Bono Escuela para el
caso de primaria, y se encontró que, aunque este es el indicador determinístico, existen
algunos casos de escuelas que no cumplen con este criterio. El detalle por año se
puede observar en la Tabla 9 de la sección de Anexos. Por ejemplo, en lo que respecta al
año 2016, se observa 40 escuelas que, habiendo obtenido un puntaje positivo (mayor a
cero), no fueron consideradas en la lista de escuelas ganadoras. Dichos colegios
representaron el 1% del total de escuelas con un puntaje superior al punto de corte. Por
su parte, también en el 2016 hubo 44 escuelas que, habiendo obtenido un puntaje
negativo (menor al valor límite del percentil 35, centralizado en cero), sí fueron incluidas
32
dentro del bono. Estas escuelas representaron el 0.58% del total de escuelas por debajo
del umbral.
En consecuencia, se considerará un caso de estimación no paramétrica de regresión
discontinua bajo un diseño difuso, donde la asignación de tratamiento no está 100%
determinada por el punto de corte del índice, y en consecuencia, la probabilidad de ser
tratado no varía de cero a uno en el punto de corte. En su defecto, bajo este diseño solo
se requiere una discontinuidad de la probabilidad de asignación en el puntaje límite de la
variable establecida como delimitante (Imbens y Wooldrige, 2008:60). En el caso de Bono
Escuela, la probabilidad de ser tratado entre el grupo con un puntaje menor a cero, es de
0.58%, mientras que en el grupo con puntaje mayor a cero, esta probabilidad pasa a ser
99%, sobre la base de los resultados 2016.
33
Yi ,t X i ,t 1 Intervencioni ,t 2 Post 2014 i ,t 3 Post 2015 i ,t
4 Post 2016 i ,t 5 Post 2014 i ,t * Intervencioni ,t 6 Post 2015 i ,t * Intervencioni ,t …(5)
7 Post 2016 i ,t * Intervencioni ,t i ,t
De esta manera, a la ecuación (5) se añaden las variables tendenciales y las variables
interactivas de la condición de tratamiento y el periodo observado, para los periodos 2015 y
2016. Los estimadores 6 y 7 representan el efecto marginal de cada año de la
intervención, neto de la tendencia previa a la línea de base y la tendencia anual de cada año
de la intervención.
Un modelo similar se planteará para el caso de secundaria, a nivel de estudiante, con los dos
únicos años con información de rendimiento disponible para el nivel, que son a su vez
los años de la intervención. Como se mencionó anteriormente, a diferencia del caso de
primaria, para Secundaria no se cuenta con información de la línea y pre-línea de base,
por lo cual debe considerarse una limitación importante en el impacto de la intervención
sobre el primer año de evaluación. Sin embargo, haciendo una distinción en el efecto
marginal de la intervención por año evaluado, se plantea evaluar si hay un efecto de
maduración de la intervención en el segundo año del incentivo.
5. Resultados
En esta sección se presentan los resultados producto de las preguntas planteadas sobre
los canales a través de los cuales un incentivo monetario como Bono Escuela tendría
efecto sobre el rendimiento estudiantil, a partir de la metodología detallada en la sección
anterior. Así, para el caso de primaria, se presentan los resultados de la triple
diferencia para la evaluación del efecto competencia, y los resultados de la estimación
por regresión discontinua para la evaluación del efecto reciprocidad. Por su parte, para
el caso de secundaria se presentan los resultados obtenidos a partir del modelo de
emparejamiento, para la medición del efecto competencia. Asimismo, para ambos niveles
se analizan los resultados de la consideración de una posible heterogeneidad,
relacionada al periodo de maduración de la intervención, el área de procedencia y
característica de la IE.
18
Cabe mencionar que la definición de IE polidocente completo, multigrado o unidocente solo se utiliza para el nivel primaria,
pues para el nivel Secundario todas las escuelas son polidocentes completas. En ese sentido, esta posible heterogeneidad
solo se analizará para el primer caso
34
5.1.1 Efecto competencia
Los resultados de la Tabla 11, por otro lado, incluyen el análisis sobre el periodo de
maduración de la intervención como factor que debe considerarse al momento de
establecer su impacto sobre el rendimiento. Es importante precisar que el indicador
del R-cuadrado muestra que este caso representa una mejor especificación. Los
resultados consolidan la evidencia de un impacto mayor y con alta significancia del efecto
competencia sobre el rendimiento estudiantil, para el caso del área de Matemáticas. Se
observa además una diferencia en el efecto marginal sobre los resultados para cada uno
de los años de la intervención, siendo que el año 2015 presenta un impacto menor en
magnitud (0.11 desviaciones estándar), aunque en todos los periodos el área de
Matemática se ve influenciada positivamente y de manera significativa por el efecto del
bono. En el 2016, el efecto del bono fue de 0.21 desviaciones estándar, de acuerdo al
modelo de efectos fijos con ponderación.
Asimismo, bajo este escenario resulta particularmente interesante el impacto de la
competencia por el bono sobre el rendimiento en el área de Comprensión Lectora. Los
resultados muestran una ambigüedad durante el primer año de la intervención, con un
36
efecto positivo aunque no significativo. Sin embargo, a partir del año 2016, el efecto
del bono sobre el rendimiento se consolida en términos de significancia estadística,
con un impacto de 0.09 desviaciones estándar bajo el modelo de efectos fijos con
ponderación.
Por otro lado, uno de los objetivos del presente estudio es analizar si el efecto del bono es
afectado al acotar el análisis a un grupo particular del tratamiento, aquel que se encuentra
estrictamente en la zona de competencia. Por esta razón, en la Tabla 12 se muestran los
resultados de la estimación por triple diferencia, excluyendo a los seguros ganadores
(grupo 0) y seguros perdedores (grupo 4). Por implicar una mejor especificación, la
comparación se realiza en relación al modelo que analiza los periodos de maduración.
Como puede observarse, las estimaciones realizadas evidencian que el impacto del
efecto competencia se agudiza al acotar el análisis a la zona estrictamente en competencia.
Sobre el efecto en el área de Matemática, en el 2016, el impacto fue de 0.27
desviaciones estándar, y de 0.16 desviaciones estándar para el caso de Comprensión
Lectora. No obstante, en este grupo de análisis también es importante observar que en el
año 2015 el impacto del bono muestra un efecto negativo para ambas áreas de
evaluación, siendo que a partir del segundo año de intervención se revierte esta
situación.
De lo mencionado anteriormente, se concluye que hay evidencia importante para
considerar que el periodo de maduración del bono se consolidó a partir de su segundo año
de implementación. El año 2015 presenta resultados ambiguos e incluso en varios
escenarios significativamente negativos. Sin embargo, los resultados durante el año
2016 son sistemáticamente positivos y significativos en todos los casos analizados, para
ambas áreas evaluadas, con una acentuación del efecto positivo al acotar el análisis a la
zona de estricta competencia.
Por último, también se analizó la heterogeneidad de los resultados al desagregar la
información por área de procedencia y característica de la IE. Nuevamente, estos análisis
se realizaron sobre la base del modelo de triple diferencia con periodos de maduración,
para la zona en estricta competencia. Con respecto al área de procedencia, los resultados
indican que el efecto competencia del bono no es estadísticamente significativo en el área
rural, en ninguna de las áreas evaluadas (Tabla 13). En ese sentido, la relevancia del
bono se concentra en el área urbana, donde también se corrobora la consolidación del
periodo de maduración del bono en el año 2016. En este periodo, el impacto del bono
sobre el rendimiento estudiantil en el área de Matemática fue de 0.29 desviaciones
estándar, mientras que en el área de Comprensión Lectora, fue de 0.17 desviaciones
estándar (Tabla 14). Por su lado, en lo que se refiere a la característica de la IE, los
resultados evidencian que el impacto del incentivo se concentra en las escuelas
polidocentes completas, con una maduración a partir del segundo periodo. Así, en el año
2016 se puede observar un efecto sobre el rendimiento estudiantil de 0.28 desviaciones
estándar para el caso de Matemática, mientras que para el caso de Comprensión
Lectora, el impacto es de 0.17 desviaciones estándar (Tabla 16). Sin embargo, para el
caso de las escuelas unidocentes o multigrado, los efectos no resultan significativos en
ninguna de las áreas evaluadas o periodo de intervención (Tabla 15).
37
Acerca de este segundo efecto, el objetivo es analizar si los profesores ganadores del
bono en el periodo t-1 obtienen mejores resultados en el periodo t. Para ello, el grupo de
control considerado son aquellos colegios públicos que se encontraron muy cerca del
punto de corte en el índice de desempeño escolar estimado para alcanzar el bono; sin
embargo, al no superar dicho límite, no ganaron. En ese sentido, se considera que
estos colegios son muy similares en términos de desempeño con el grupo de
tratamiento (escuelas ganadoras), y por tanto, la diferencia en los resultados obtenidos
en el periodo siguiente al otorgamiento del bono puede entenderse como el efecto ex post
al bono.
Para ello se utilizó un modelo de regresión discontinua, sobre la base de una regresión no
paramétrica. El diseño utilizado fue el de regresión discontinua de diseño difuso, al haber
evidencia de que, aunque sí existe un cambio en la probabilidad de tratamiento alrededor
del punto de corte, esta probabilidad no pasa de cero a uno. En otras palabras, existen
algunos casos de escuelas que, habiendo tenido un puntaje mejor al umbral, se hicieron
acreedores del Bono, y de igual manera a la inversa. De la información disponible se
observa que esta probabilidad de tratamiento pasa de 0.58% a 99% en el umbral. En el
Gráfico 3 se puede visualizar este cambio en la probabilidad alrededor del punto de
corte, centralizado en cero, para cada año.
Teniendo en cuenta que Bono Escuela tiene tres periodos de otorgamiento del bono, es
posible analizar el efecto reciprocidad en dos periodos, 2015 y 2016, tanto para el área
de Comprensión Lectora como de Matemática. Asimismo, es sabido que bajo el método de
regresión discontinua, los resultados son altamente sensibles al ancho de banda que se
defina alrededor del punto de corte. Por tal razón, se presentan los resultados sobre el
ancho de banda óptimo estimado, así como de los resultados al considerar el 50% y el
200% de esta banda. De igual manera, con el fin de una mejor identificación, los resultados
se acotaron al total de colegios públicos que mantuvieron igual al menos el 80% de su
plana docente, que representan aproximadamente el 60% de escuelas públicas.
Así, tanto para el año 2015 como para el año 2016, y para ambas áreas de evaluación, la
evidencia sugiere que el efecto reciprocidad sería positivo, relativamente pequeño y con
muy poca significancia estadística (ver Tabla 17). Ello se observa tanto para el cálculo
bajo el ancho de banda óptimo, como para un grupo más reducido alrededor del punto de
corte (50% del ancho de banda original). Por su parte, al analizar los resultados bajo un
ancho de banda más extenso (200% del ancho de banda original), los resultados
aumentan en magnitud y significancia estadística. Sin embargo, al representar un
grupo de escuelas más extenso, dicho resultado debe observarse con mayor cuidado,
pues puede incluir un grupo de escuelas de menor comparabilidad. En consecuencia,
en términos generales se puede afirmar que la evidencia no respalda la hipótesis de un
efecto reciprocidad.
De manera similar al nivel primaria, “Bono Escuela” también aplica a todas las escuelas
38
públicas para el caso de secundaria. Por consiguiente, el grupo de control también
debe ser hallado entre las escuelas privadas. Sin embargo, a diferencia de primaria, en
el caso de secundaria los logros de aprendizaje empezaron a evaluarse al cierre del
año 2015. En ese sentido, surge una dificultad particular de no contar con una línea de
base que permita estimar los efectos fijos de los factores no observables, recoger la
tendencia previa y de esa manera reducir el riesgo de sesgo de los estimadores. No
obstante, una característica adicional del proceso de evaluación en el nivel secundaria fue
la posibilidad de incluir un cuestionario dirigido al estudiante. En este cuestionario se
incluyeron variables relevantes relacionadas al entorno particular del estudiante, así
como del entorno escolar. Se considera que esta información puede reducir parcialmente
el sesgo producido por los efectos fijos de los factores no observables que diferencian al
grupo de tratamiento del grupo de control. Además, contar con información relevante a
nivel de estudiante permitirá plantear el emparejamiento a este nivel, lo cual podría
contribuir a una mejor comparabilidad.
Dadas las limitaciones señaladas, se estima un propensity score, a partir de las siguientes
variables: condición de repitente del estudiante, percepción sobre la atención de los
padres por su vida personal y académica, percepción sobre el clima escolar, percepción
sobre las prácticas pedagógicas del docente, número de instituciones educativas en la
UGEL a la que está adscrita la escuela, y zona de competencia de la IE. El método
utilizado fue de vecindario más cercano, de uno a uno, con posibilidad de reemplazo. El
Gráfico 4 permite visualizar la distribución de la medida de propensión entre el grupo de
tratamiento y el tratado. Asimismo, en las Tablas 18 y 19 de la sección de Anexos se
brindan mayores detalles de la estimación del ATT bajo la estimación por propensity score.
Los resultados para el año 2015 (Tabla 18) no parecen evidenciar un efecto competencia
favorable en este nivel. Por el contrario, el grupo de tratamiento sufre un efecto adverso,
tanto en el área de Comprensión Lectora como en Matemática. Esta situación no es
diferente al acotar la población a la zona de colegios en estricta competencia, ni tampoco
al desagregarla según área de procedencia. Para el caso del año 2016, los resultados no
son diferentes, evidenciando un efecto negativo de la intervención cuando se analiza el
total de escuelas, así como cuando se acota el análisis a la zona en estricta competencia
y según área de procedencia. Desde el punto de vista metodológico, los resultados
adversos pueden deberse a las limitaciones de la información y un posible sesgo de los
factores no observables. Otra explicación podría estar asociada al periodo de
maduración de la intervención, la cual, si se comporta de manera similar al caso de
primaria, podría no evidenciar resultados positivos sino hasta un tercer año.
Complementariamente, con la finalidad de analizar la heterogeneidad según el periodo
de maduración y reducir las limitaciones que se enfrentan para este nivel al no contar con
una línea de base que permita corregir el riesgo de factores no observables, se plantea un
modelo de diferencia en diferencia, que permitirá retirar en alguna medida el factor
tendencial de los resultados en el segundo año, y así evaluar el efecto marginal de la
intervención para este año, con respecto al año 2015. Al aplicar esta metodología los
resultados muestran evidencia de que en el año 2016 se empieza a ver un impacto
positivo y significativo de la intervención, aunque pequeño. Tanto en Comprensión
Lectora como en Matemática, la intervención tendría un impacto positivo de 0.03
desviaciones estándar en el segundo año de la intervención (Tabla 20). Al acotar el análisis
a la zona en estricta competencia, los resultados son similares para el caso de
Comprensión Lectora (0.011 desviaciones estándar, no significativo), dando indicios de
39
que no se da la presencia de heterogeneidad para esta área. Sin embargo, para el caso
de Matemática, el impacto es ligeramente mayor, de 0.044 desviaciones estándar (Tabla
21). Finalmente, al desagregar el análisis según área de procedencia, nuevamente los
resultados se inclinan a no mostrar ningún impacto de la intervención en la zona rural –
igual que en el caso de primaria- y, sin embargo, concentrar los efectos de la
intervención en la zona urbana. Estos últimos resultados pueden revisarse con mayor
detalle en la Tabla 22 y 23 de la sección Anexos.
44
7. Bibliografía y referencias
Abadie, A.; Imbens, G. (2006): “Large Sample Properties of Matching Estimators for
Average Treatment Effects”. Econometrica, 74(1), 235–267.
Akerlof, G. (1982). “Labor Contracts as Partial Gift Exchange”. The Quarterly Journal of
Economics.
Akerlof, G. (1984). “Gift Exchange and Efficiency-Wage Theory: Four Views”. American
Economic Review N° 74(2), pp. 79–83.
Alcázar, L.; Valdivia, N. (2009). “Escuelas de Fe y Alegría en el Perú: Análisis del Modelo
de Gestión Institucional y Pedagógica y Lecciones para la Educación Pública”. Lima:
Banco Mundial.
Angelucci, M; Prina, S.; Heather, R.; y Samek, A. (2015). “When incentives backfire:
spillover effects in food choice”. NBER, documento de investigación N° 21481.
Atkinson, A.; Burgess, S.; Croxson,B.; Gregg,P.; Propper,C.; Slater,H.; Wilson,D. (2004).
“Evaluating the Impact of Performance-related Pay for Teachers in England”. Labour Econ
N°16(3), pp. 251–261.
Babcock, P.; Bedard, K.; Charness, G.; Hartman, J.; y Royer, H. (2011) “Letting down
the team? Evidence of social effects of team incentives”. NBER, documento de
investigación N° 16687.
Benhabib, J.; Spiegel, M. (1994). “The role of human capital in economic development
evidence from aggregate cross-country data”. Journal of Monetary Economics, 34, N°2,
pp. 143-173.
Blackwell, M.; Iacus, S.; King, G.; y Porro, G. (2010). “Coarsened exact matching in Stata”.
Casavilca, P. (2014). “Sobre sistemas de incentivos al desempeño docente: ¿más
ganadores induce mayor efectividad? El caso del SNED en Chile”. Tesis para el
grado de Magíster en Economía. Instituto de Economía. Pontifica Universidad Católica
de Chile.
Cawley, J.; Price, J. (2009). “Outcomes in a program that offers financial rewards for
weight loss”. NBER, documento de investigación N° 14987.
Charness, G.; Kuhn, P. (2011). “Lab Labor: What Can Labor Economists Learn from
the Lab?”. Handbook of Labor Economics, Volume 4. Ed. Orley Ashenfelter y David Card.
North Holland, primera edición.
Chaudhury, N.; Parajuli, D. (2006) “Conditional Cash Transfers and Female Schooling: The
Impact of the Female School Stipend Program on Public School Enrollments in Punjab,
Pakistan.” Documento de investigación N° 4102, Banco Mundial. Washington, DC.
Chevalier, A.; Dolton, P. (2005). “The labour market for teachers”. Disponible en: S.
Machin y A. Vignoles (Editores). “What’s the Good of Education?”. Princeton University
Press.
Contreras, D.; Larrañaga, O.; Flores, L.; Lobato, F; y Macias, V. (2005): Políticas
educacionales en Chile: vouchers, concentración, incentivos y rendimiento. En: Uso e
44
impacto de la información educativa en América Latina. Chile: PREAL, pp. 61-110.
DellaVigna, S.; Pope, D. (2016). “What motivates effort? Evidence and expert
forecasts”. NBER, documento de investigación N° 22193.Dixit, A. (2002). “Incentives and
organizations in the public sector: an interpretative review”. Journal of Human Resources,
37, pp. 696–728.
Douma, S.; Schreuder, H. (2002). “Economic Approaches to Organizations”. Pearson
Education. Londres.
Epple, D.; Figlio, D.; y Romano, R. (2000). “Competition between private and public
schools: testing stratification and pricing predictions”. NBER, documento de investigación
N° 7956.
Eide, E.; Goldhaber, D.; Brewer, D. (2004). “The teacher labour market and teacher quality”.
Oxford Review of Economic Policy, 20, pp. 230–243.
Ferraz, C.; Finan, F. (2009). “Motivating Politicians: The Impacts Of Monetary Incentives
On Quality And Performance”. NBER, documento de investigación N° 14906.
Fryer, R. (2010) “Financial Incentives and Student Achievement: Evidence From
Randomized Trials”. NBER. Documento de investigación N° 15898.
Gallego, F. (2008). “Efectos del SNED en resultados del proceso educativo.” Manuscrito.
Pontificia Universidad Católica de Chile.
47
Tversky, A.; Kahneman, D. (1991). “Loss Aversion in Riskless Choice: A Reference-
Dependent Model”. The Quarterly Journal of Economics, 106(4): 1039-1061.
Unidad de Medición de la Calidad Educativa – UMC (2013). “PISA 2012: Primeros
resultados. Informe Nacional del Perú”. Primera edición. Lima.
Unidad de Medición de la Calidad Educativa – UMC (2015). “Reporte Técnico de la
Evaluación Censal de Estudiantes (ECE 2015)”. Ministerio de Educación. Lima.
Van der Klaauw, W. (2008). “Regression Discontinuity Analysis: A Survey of Recent
Developments in Economics,” Labour, 22(2): 219-245.
Vegas, E. (2006). “Incentivos docentes y sus efectos en el aprendizaje del alumnado
en Latinoamérica”. Basado en el libro “Incentives to Improve Teaching: Lessons from
Latin America”. Banco Mundial, 2005.
Vigdor, J.L. (2008). “Teacher Salary Bonuses in North Carolina”. Disponible en Springer,
M. (Ed.), “Performance Incentives: Their Growing Impact on American K-12 Education”.
Brookings Institution.
Winters, M.; Greene,J.P.; Ritter,G.; Marsh,R. (2008). “The Effect of Performance-Pay in
Little Rock, Arkansas on Student Achievement”. National Center on Performance
Incentives. Peabody College of Vanderbilt University. Working Paper 2008-02.
Zymelman,M.; DeStefano, J. (1993). “Primary school teacher salaries in Sub-Saharan
Africa” Disponible en: J. B. Oliveira y J. P. Farrell (Editores) “Teachers in Developing
Countries”. Washington, DC: The World Bank.
48
8. Anexos
Tabla 4: Monto asignado a los ganadores de Bono Escuela, por grupo elegible y
percentil
49
Tabla 5: Distribución de escuelas que rindieron la ECE, por año evaluado
50
Tabla 6: Estratos considerados para los grupo A y D
(para los años previos a Bono Escuela , se incluye información de la simulación de la metodología planteada en
esta intervención)
51
Gráfico 1: Distribución del propensity score antes y después del modelo de
emparejamiento, para el caso de primaria
15
10
kdensity _pscore
5
0
0 .2 .4 .6 .8 1
propensity score ANTES de emparejamiento
tratado control
15
10
kdensity _pscore
5
0
0 .2 .4 .6 .8 1
propensity score DESPUES de emparejamiento
tratado control
52
Tabla 7: Características promedio de los colegios públicos y privados de segundo
grado de primaria, en la etapa previa y posterior a la intervención
(análisis sobre la zona de competencia)
Periodo 2008-2013 Periodo 2014-2016
Privado Público Privado Público
Medida ECE, en desviaciones estándar
Comprensión Lectora 8.27 7.23 9.39 8.72
(0.76) (1.02) (0.96) (1.25)
Matemática 6.95 6.48 6.24 6.32
(0.85) (1.13) (0.90) (1.19)
Características del entorno
Área (1=urbano) 0.96 0.34 0.98 0.44
(0.20) (0.47) (0.13) (0.50)
Característica de la IE (1: polidocente completo) 0.81 0.38 0.82 0.46
(0.40) (0.49) (0.39) (0.50)
Nro secciones de segundo de primaria 1.22 1.39 1.26 1.48
(0.59) (0.96) (0.63) (1.05)
Nro de alumnos de segundo de primaria 20.31 22.16 21.56 25.04
(20.61) (30.74) (20.78) (33.61)
Proporción de hombres en segundo de primaria 0.53 0.51 0.53 0.51
(0.18) (0.19) (0.17) (0.18)
Variación anual de puntaje en CL 0.01 0.03 0.01 0.04
(0.09) (0.17) (0.08) (0.13)
Variación anual de puntaje en Matemática 0.01 0.03 0.02 0.06
(0.11) (0.21) (0.12) (0.20)
% población pobre en el distrito 23.37 53.94 22.26 49.97
(15.83) (23.58) (16.03) (24.54)
Total de docentes en el nivel educativo 6.40 5.65 6.74 6.49
(4.55) (7.30) (5.12) (7.70)
Proporción de docentes hombres en el nivel educativo 0.24 0.44 0.24 0.42
(0.22) (0.33) (0.21) (0.31)
Total de docentes con estudios superiores concluidos 5.35 5.40 5.76 6.34
(4.51) (7.10) (5.08) (7.62)
Proporción de docentes con estudios superiores concluidos 0.81 0.94 0.83 0.96
(0.29) (0.19) (0.29) (0.15)
Nro de computadoras con acceso a Internet para uso pedagógico 12.07 5.36 13.38 7.93
(22.41) (15.41) (19.27) (17.81)
Proporción de estudiantes de segundo de primaria que han cursado Educación
Inicial 0.92 0.72 0.95 0.91
(0.21) (0.38) (0.21) (0.25)
Total de estudiantes de segundo de primaria 21.83 25.67 22.23 26.75
(21.54) (34.13) (21.20) (35.57)
Proporción de estudiantes de segundo de primaria en edad normativa 0.98 0.87 0.99 0.93
(0.08) (0.16) (0.06) (0.12)
Distrito JUNTOS (1=sí pertenece) 0.18 0.50 0.07 0.60
(0.38) (0.50) (0.26) (0.49)
Distrito VRAEM (1=sí pertenece) 0.01 0.03 0.00 0.04
(0.07) (0.18) (0.07) (0.19)
Centro poblado donde predomina una lengua distinta al castellano (1= sí
pertenece) 0.00 0.15 0.00 0.12
(0.07) (0.36) (0.04) (0.32)
N° observaciones 20,097 40,488 36,666 93,321
N° IIEE 7,867 16,364 8,085 19,704
53
Gráfico 2: Análisis de tendencia en el rendimiento promedio de la IE, para el caso de
segundo grado de primaria, en las áreas de Comprensión Lectora y Matemática
580
600
560
Medida promedio en Mate
Medida promedio en CL
550
540
520
500
500
480
450
2008 2010 2012 2014 2016 2008 2010 2012 2014 2016
(first) anho (first) anho
600
580
600
560
550
540
500
520
500
450
2008 2010 2012 2014 2016 2008 2010 2012 2014 2016
(first) anho (first) anho
54
Tabla 8: Estimación placebo en doble diferencia para el análisis de tendencia previa,
para las áreas de Comprensión Lectora y Matemáticas en el grado de segundo de
primaria
Modelo EF Modelo EF Modelo EF Modelo EF
Modelo EF con con con con
Modelo EF simple - covariables - covariables - covariables y covariables y
simple - CL Mate CL Mate peso - CL peso - Mate
b/t/se b/t/se b/t/se b/t/se b/t/se b/t/se
Post 2014 (t) 0.455*** -1.184*** 0.855*** -1.968*** 0.940*** -1.789***
-(41.35) (-82.64) -(66.67) (-117.18) -(79.38) (-102.70)
[0.01] [0.01] [0.01] [0.02] [0.01] [0.02]
Tratamiento -0.004 -0.294*** -0.018 -0.068 0.029 0.002
(1=publico=tratado) (-0.05) (-3.08) (-0.19) (-0.57) -(0.34) -(0.01)
[0.08] [0.10] [0.09] [0.12] [0.09] [0.12]
Post 2014 x tratado 0.273*** 0.371*** 0.304*** 0.393*** 0.266*** 0.391***
-(20.79) -(22.42) -(22.54) -(22.94) -(20.83) -(22.02)
[0.01] [0.02] [0.01] [0.02] [0.01] [0.02]
Area 0.009 -0.003 0 0.005
(1=urbano) -(0.63) (-0.16) -(0.03) -(0.31)
[0.01] [0.02] [0.01] [0.02]
Caracteristica 0.019 0.02 -0.006 -0.024
de la IE -(1.39) -(1.18) (-0.43) (-1.34)
(1: polidocente completo) [0.01] [0.02] [0.01] [0.02]
Nro de 0 -0.000* 0 0
alumnos de (-0.26) (-1.71) (-1.15) (-1.59)
2do de primaria [0.00] [0.00] [0.00] [0.00]
% de -0.001*** 0 -0.001*** 0
hombres en (-5.84) (-0.12) (-8.34) (-0.47)
2do de primaria [0.00] [0.00] [0.00] [0.00]
% 0 0.001** 0 0
población -(1.13) -(2.36) (-0.04) -(1.22)
pobre en el distrito [0.00] [0.00] [0.00] [0.00]
Total de 0.006*** 0.005*** 0.003*** 0.001
docentes -(5.39) -(3.6) -(3.11) -(0.84)
en el nivel educativo [0.00] [0.00] [0.00] [0.00]
% de -0.001*** -0.001*** -0.001*** -0.001***
docentes (-5.51) (-4.69) (-6.27) (-5.03)
hombres en el nivel educativo [0.00] [0.00] [0.00] [0.00]
% de 0 0 0 0
docentes -(1.49) -(1.37) -(0.77) -(0.55)
con estudios superiores concluidos [0.00] [0.00] [0.00] [0.00]
Nro de 0 0.001*** 0 0.000**
computadoras -(1.22) -(2.87) -(0.49) -(2.24)
con acceso a Internet para uso pedagógico [0.00] [0.00] [0.00] [0.00]
% de 0 0 0 -0.000**
estudiantes (-0.06) (-0.76) (-1.06) (-2.28)
de 2do de primaria con Educ. Inicial [0.00] [0.00] [0.00] [0.00]
Proporción 0 0 0 -0.001**
de -(0.09) (-1.36) -(0.1) (-2.36)
estudiantes de 2do de primaria en edad normativa [0.00] [0.00] [0.00] [0.00]
Distrito -0.074*** 0.001 -0.061*** 0.003
JUNTOS (-6.88) -(0.11) (-5.59) -(0.22)
(1=sí pertenece) [0.01] [0.01] [0.01] [0.01]
Distrito 0.023 -0.095 -0.037 -0.123**
VRAEM -(0.45) (-1.58) (-0.77) (-1.97)
(1=sí pertenece) [0.05] [0.06] [0.05] [0.06]
CCPP donde -0.146 -0.051 -0.264** -0.068
predomina (-1.11) (-0.30) (-2.07) (-0.37)
una lengua distinta al castellano (1= sí pertenece) [0.13] [0.17] [0.13] [0.18]
Rezago de -0.001*** 0.000*** -0.001*** 0
un periodo (-15.29) -(2.8) (-15.12) (-0.92)
de puntaje ECE – CL [0.00] [0.00] [0.00] [0.00]
Rezago de 0.000*** -0.001*** 0.001*** -0.000***
un periodo -(6.88) (-12.12) -(9.51) (-5.07)
de puntaje ECE – Matematica [0.00] [0.00] [0.00] [0.00]
Constante 7.241*** 6.709*** 7.457*** 7.639*** 7.736*** 7.815***
55
Modelo EF Modelo EF Modelo EF Modelo EF
Modelo EF con con con con
Modelo EF simple - covariables - covariables - covariables y covariables y
simple - CL Mate CL Mate peso - CL peso - Mate
b/t/se b/t/se b/t/se b/t/se b/t/se b/t/se
-(105.95) -(80.37) -(78.15) -(63.4) -(89.2) -(66.39)
[0.07] [0.08] [0.10] [0.12] [0.09] [0.12]
Tendencia No No Sí Sí Sí Sí
Efecto fijo IE Sí Sí Sí Sí Sí Sí
R-cuadrado ajustado 0.093 0.096 0.307 0.314 0.446 0.411
Nro. observaciones 128,423 128,423 107,381 107,381 2,744,921 2,744,921
t-score en parentesis; error estandar robusto en llaves
* p<0.10, ** p<0.05, *** p<0.010
56
Tabla 9: Probabilidad de otorgamiento del bono para las escuelas públicas por debajo
y encima del umbral.
(Escuelas que NO superaron el puntaje mínimo de su estrato para el otorgamiento del bono)
2014 2015 2016
N° escuelas % N° escuelas % N° escuelas %
No recibieron el bono 8,424 100 7,674 99.75 7,601 99.42
Recibieron el bono 0 0 19 0.25 44 0.58
(Escuelas que superaron el puntaje mínimo de su estrato para el otorgamiento del bono)
2014 2015 2016
N° escuelas % N° escuelas % N° escuelas %
No recibieron el bono 69 1.53 40 1.02 40 1.04
Recibieron el bono 4451 98.47 3864 98.98 3,814 98.96
57
Tabla 10: Estimación por triple diferencia, para todas las escuelas evaluadas en
segundo grado de primaria
58
Modelo EF Modelo EF Modelo EF Modelo EF
Modelo EF con con con con
Modelo EF simple - covariables - covariables - covariables y covariables y
simple - CL Mate CL Mate peso - CL peso - Mate
b/t/se b/t/se b/t/se b/t/se b/t/se b/t/se
Distrito 0.408*** -0.214*** 0.421*** -0.218***
JUNTOS -(64.76) (-29.08) -(70.77) (-30.61)
(1=sí pertenece) [0.01] [0.01] [0.01] [0.01]
Distrito 0.171*** 0.130** 0.144*** 0.183***
VRAEM -(3.67) -(2.17) -(3.28) -(3.12)
(1=sí pertenece) [0.05] [0.06] [0.04] [0.06]
CCPP donde -0.15 -0.166* -0.079 -0.114
predomina (-1.59) (-1.68) (-0.89) (-1.04)
una lengua distinta al castellano (1= sí pertenece) [0.09] [0.10] [0.09] [0.11]
Rezago de 0 -0.001*** 0.002*** 0.000***
un periodo -(1.54) (-7.05) -(20.95) -(3.94)
de puntaje ECE – CL [0.00] [0.00] [0.00] [0.00]
Rezago de 0.001*** 0 0.000*** -0.001***
un periodo -(10.34) (-0.32) -(4.56) (-7.99)
de puntaje ECE – Matematica [0.00] [0.00] [0.00] [0.00]
Constante 7.182*** 6.682*** 6.458*** 7.288*** 5.736*** 7.348***
-(130.35) -(102.01) -(80.33) -(76.27) -(68.23) -(77.46)
[0.06] [0.07] [0.08] [0.10] [0.08] [0.09]
Efecto Fijo IE Sí Sí Sí Sí Sí Sí
R-cuadrado ajustado 0.441 0.093 0.490 0.118 0.630 0.170
Nro. observaciones 158,898 158,898 134,669 134,669 3,527,303 3,527,303
t-score en parentesis; error estandar robusto en llaves
* p<0.10, ** p<0.05, *** p<0.010
59
Tabla 11: Estimación por triple diferencia, para todas las escuelas evaluadas en
segundo grado de primaria, desagregado por año de intervención
60
Tabla 12: Estimación por triple diferencia, para las escuelas en zona de competencia
evaluadas en segundo grado de primaria, desagregado por año de intervención
61
Tabla 13: Estimación por triple diferencia, para las escuelas en zona de competencia y
en área rural evaluadas en segundo grado de primaria, desagregado por año de
intervención
62
Tabla 14: Estimación por triple diferencia, para las escuelas en zona de competencia y
en área urbana evaluadas en segundo grado de primaria, desagregado por año de
intervención
63
Tabla 15: Estimación por triple diferencia, para las escuelas en zona de competencia y
de tipo multigrado o unidocente, evaluadas en segundo grado de primaria,
desagregado por año de intervención
Modelo EF con Modelo EF con Modelo EF con
Modelo EF Modelo EF Modelo EF con covariables - covariables y covariables y
simple - CL simple - Mate covariables - CL Mate peso - CL peso - Mate
b/t/se b/t/se b/t/se b/t/se b/t/se b/t/se
Periodo 0.389*** -1.306*** 0.314*** -1.249*** 0.337*** -1.241***
tratado -(6.15) (-15.06) -(4.59) (-16.06) -(4.5) (-14.58)
(1=2014 en adelante) [0.06] [0.09] [0.07] [0.08] [0.07] [0.09]
Periodo 0.201 0.641*** 0.367*** 0.758*** 0.332*** 0.722***
tratado -(1.58) -(4.38) -(3.76) -(5.43) -(3.02) -(5.48)
(1=2015 en adelante) [0.13] [0.15] [0.10] [0.14] [0.11] [0.13]
Periodo 1.295*** 0.028 1.021*** -0.245 1.030*** -0.229
tratado -(8.16) -(0.16) -(8.39) (-1.48) -(7.99) (-1.53)
(1=2016 en adelante) [0.16] [0.18] [0.12] [0.17] [0.13] [0.15]
Tratamiento -0.406** -0.692*** -0.731** -0.676** -0.457 -0.461
(1=publico=tratado) (-2.40) (-2.96) (-2.19) (-2.09) (-1.39) (-1.29)
[0.17] [0.23] [0.33] [0.32] [0.33] [0.36]
post2014 x 0.372*** 0.531*** 0.177** 0.325*** 0.154** 0.339***
tratado -(5.64) -(5.96) -(2.52) -(4.05) -(2.01) -(3.88)
[0.07] [0.09] [0.07] [0.08] [0.08] [0.09]
post2015 x 0.058 0.107 -0.193* -0.091 -0.147 -0.055
tratado -(0.44) -(0.72) (-1.93) (-0.64) (-1.31) (-0.41)
[0.13] [0.15] [0.10] [0.14] [0.11] [0.13]
post2016 x -0.094 0.162 0.06 0.306* 0.03 0.295*
tratado (-0.59) -(0.9) -(0.49) -(1.84) -(0.23) -(1.95)
[0.16] [0.18] [0.12] [0.17] [0.13] [0.15]
Constante 7.468*** 7.102*** 4.424*** 4.116*** 4.138*** 4.089***
-(46.17) -(31.77) -(13.29) -(12.47) -(12.67) -(11.41)
[0.16] [0.22] [0.33] [0.33] [0.33] [0.36]
Efecto fijo IE Sí Sí Sí Sí Sí Sí
R-cuadrado ajustado 0.543 0.093 0.714 0.318 0.727 0.324
Nro. observaciones 27,817 27,817 22,817 22,817 213,882 213,882
t-score en parentesis; error estandar robusto en llaves
se omiten variables de control
* p<0.10, ** p<0.05, *** p<0.010
64
Tabla 16: Estimación por triple diferencia, para las escuelas en zona de competencia y
de tipo polidocente completo, evaluadas en segundo grado de primaria, desagregado
por año de intervención
Modelo EF
Modelo EF Modelo EF Modelo EF con
Modelo EF con con con covariables
Modelo EF simple - covariables - covariables - covariables y peso -
simple - CL Mate CL Mate y peso - CL Mate
b/t/se b/t/se b/t/se b/t/se b/t/se b/t/se
Periodo 0.442*** -1.160*** 0.430*** -1.207*** 0.437*** -1.226***
tratado -(33.4) (-64.45) -(34.33) (-75.16) -(35.42) (-67.45)
(1=2014 en adelante) [0.01] [0.02] [0.01] [0.02] [0.01] [0.02]
Periodo 0.393*** 0.830*** 0.316*** 0.762*** 0.316*** 0.763***
tratado -(22.69) -(38.37) -(19.22) -(38.32) -(19.66) -(35.46)
(1=2015 en adelante) [0.02] [0.02] [0.02] [0.02] [0.02] [0.02]
Periodo 1.106*** 0.024 0.971*** -0.112*** 0.967*** -0.123***
tratado -(54.7) -(1) -(54.6) (-5.37) -(55.2) (-5.31)
(1=2016 en adelante) [0.02] [0.02] [0.02] [0.02] [0.02] [0.02]
Tratamiento 0.043 0.032 0.172*** 0.022 0.159*** -0.001
(1=publico=tratado) -(0.52) -(0.28) -(2.89) -(0.25) -(2.77) (-0.01)
[0.08] [0.12] [0.06] [0.09] [0.06] [0.10]
post2014 x 0.358*** 0.457*** 0.137*** 0.329*** 0.120*** 0.352***
tratado -(19.46) -(19.4) -(7.61) -(15.17) -(6.64) -(14.66)
[0.02] [0.02] [0.02] [0.02] [0.02] [0.02]
post2015 x 0.001 0.062** -0.114*** -0.032 -0.096*** -0.037
tratado -(0.04) -(2.17) (-5.00) (-1.21) (-4.22) (-1.29)
[0.02] [0.03] [0.02] [0.03] [0.02] [0.03]
post2016 x 0.225*** 0.296*** 0.148*** 0.248*** 0.168*** 0.277***
tratado -(8.95) -(9.86) -(6.7) -(9.63) -(7.63) -(10.02)
[0.03] [0.03] [0.02] [0.03] [0.02] [0.03]
Constante 7.924*** 6.974*** 3.990*** 3.904*** 3.783*** 4.252***
-(136.42) -(83.11) -(37.99) -(27.11) -(32.96) -(24)
[0.06] [0.08] [0.11] [0.14] [0.11] [0.18]
Efecto fijo IE Sí Sí Sí Sí Sí Sí
R-cuadrado ajustado 0.786 0.264 0.860 0.379 0.890 0.369
Nro. observaciones 25,350 25,350 24,945 24,945 1,212,571 1,212,571
t-score en parentesis; error estandar robusto en llaves
se omiten variables de control
* p<0.10, ** p<0.05, *** p<0.010
65
Gráfico 3: Distribución de la probabilidad de tratamiento alrededor del punto de corte
para el otorgamiento del bono
1
.8
.6
.4
.2
0
-1 -.5 0 .5
-1 -.5 0 .5
66
Tabla 17: Resultados de la estimación por regresión discontinua, diseño difuso, con
respecto a las áreas evaluadas de Comprensión Lectora y Matemáticas
Efecto del otorgamiento de Bono Escuela 2014 sobre los resultados en la ECE 2015
Para Comprensión Lectora
Estimador Coeficiente Error estándar Z-test P>|z|
lwald 0.068 0.075 0.900 0.366
lwald50 0.019 0.100 0.190 0.848
lwald200 0.106 0.058 1.830 0.067
Para Matemática
Estimador Coeficiente Error estándar Z-test P>|z|
lwald 0.063 0.082 0.770 0.440
lwald50 0.012 0.110 0.110 0.916
lwald200 0.107 0.063 1.700 0.089
Efecto del otorgamiento de Bono Escuela 2015 sobre los resultados en la ECE 2016
Para Comprensión Lectora
Estimador Coeficiente Error estándar Z-test P>|z|
lwald 0.012 0.070 -0.01 0.99
lwald50 -0.056 0.092 -0.28 0.783
lwald200 0.094 0.053 1.48 0.138
Para Matemática
Estimador Coeficiente Error estándar Z-test P>|z|
lwald 0.046 0.072 0.63 0.528
lwald50 0.035 0.094 0.38 0.706
lwald200 0.103 0.057 1.8 0.071
Año 2015
8
6
6
kdensity _pscore
kdensity _pscore
4
4
2
2
0
0
.2 .4 .6 .8 1 .2 .4 .6 .8 1
propensity scores ANTES de emparejamiento propensity scores DESPUES de emparejamiento
Año 2016
5
5
4
4
kdensity _pscore
kdensity _pscore
3
3
2
2
1
1
0
0 .2 .4 .6 .8 1 0 .2 .4 .6 .8 1
propensity scores ANTES de emparejamiento propensity scores DESPUES de emparejamiento
Tabla 18: Resultado ATT de la estimación por propensity score para la evaluación del
68
efecto competencia en las áreas de Comprensión Lectora y Matemática, para el caso
de secundaria (2015)
69
Tabla 19: Resultado ATT de la estimación por propensity score para la evaluación del
efecto competencia en las áreas de Comprensión Lectora y Matemática, para el caso
de secundaria (2016)
70
Tabla 20: Estimación por diferencia en diferencia, para todas las escuelas evaluadas
en segundo grado de secundaria
Modelo EF con
Modelo EF Modelo EF Modelo EF con covariables -
simple - CL simple - Mate covariables - CL Mate
b/t/se b/t/se b/t/se b/t/se
Periodo 0.436*** -0.455*** -0.594*** -1.594***
tratado -(66.95) (-56.81) (-13.33) (-30.12)
(1=2016 en adelante) [0.01] [0.01] [0.04] [0.05]
Tratamiento -0.089* -0.130** -0.062 -0.095*
(1=publico=tratado) (-1.93) (-2.16) (-1.43) (-1.68)
[0.05] [0.06] [0.04] [0.06]
post2016 x 0.068*** 0.070*** 0.019** 0.034***
tratado -(9.41) -(7.68) -(2.42) -(3.55)
[0.01] [0.01] [0.01] [0.01]
Área 0.006 0.012
(1=urbano) -(0.16) -(0.24)
[0.04] [0.05]
Sexo del estudiante -0.009*** 0.179***
(1=hombre) (-3.78) -(74.6)
[0.00] [0.00]
Internado 0.106** 0.05
(1=sí recibe) -(2.08) -(0.8)
[0.05] [0.06]
Tutorial -0.05 -0.286***
(1=sí recibe) (-0.63) (-3.18)
[0.08] [0.09]
Nivel educativo de la madre 0.031*** 0.026***
(1= Sin Educación; 10= Estudios de
posgrado) -(55.64) -(43.66)
[0.00] [0.00]
Acceso a red pública de desagüe en
hogar 0.164*** 0.126***
(1=sí accede) -(45.6) -(35.45)
[0.00] [0.00]
Tenencia de libros en el hogar 0.088*** 0.092***
(1: No hay libros; 7: 100 o más libros) -(106.1) -(101.08)
[0.00] [0.00]
Tenencia de horno microondas en
hogar -0.085*** -0.100***
(1=sí tiene) (-33.77) (-38.11)
[0.00] [0.00]
Tenencia de refrigeradora en hogar 0.016*** 0.013***
(1=sí tiene) -(5.59) -(4.31)
[0.00] [0.00]
Tenencia de lavadora en hogar -0.033*** -0.043***
(1=sí tiene) (-11.06) (-14.77)
[0.00] [0.00]
Conexión a Internet en hogar 0.021*** 0.004
(1=sí tiene) -(8.19) -(1.36)
[0.00] [0.00]
Percepción del aula sobre prácticas
pedagógicas 0.001 0.001
-(0.86) -(1.22)
[0.00] [0.00]
Percepción del aula sobre clima
escolar 0.013*** 0.014***
-(25.94) -(24.25)
[0.00] [0.00]
Total de docentes 0 0.001***
en el nivel educativo (-1.19) -(2.74)
[0.00] [0.00]
% de docentes 0 0
hombres en el nivel educativo (-0.05) -(0.67)
[0.00] [0.00]
Constante 7.640*** 7.485*** 6.843*** 6.556***
71
Modelo EF con
Modelo EF Modelo EF Modelo EF con covariables -
simple - CL simple - Mate covariables - CL Mate
b/t/se b/t/se b/t/se b/t/se
-(192.3) -(145.05) -(129.49) -(94.11)
[0.04] [0.05] [0.05] [0.07]
R-cuadrado ajustado 0.083 0.051 0.125 0.092
Efecto Fijo IE Sí Sí Sí Sí
Nro. observaciones 778,985 778,985 723,687 723,687
t-score en paréntesis; error estándar robusto en llaves
* p<0.10, ** p<0.05, *** p<0.010
72
Tabla 21: Estimación por diferencia en diferencia, para todas las escuelas en zona de
competencia, evaluadas en segundo grado de secundaria
Modelo EF Modelo EF
Modelo EF con con
Modelo EF simple - covariables - covariables -
simple - CL Mate CL Mate
b/t/se b/t/se b/t/se b/t/se
Periodo 0.435*** -0.465*** -0.611*** -1.647***
tratado -(46.84) (-38.64) (-8.28) (-18.47)
(1=2016 en adelante) [0.01] [0.01] [0.07] [0.09]
Tratamiento 0.079*** 0.064 0.065 0.073
(1=publico=tratado) -(2.92) -(0.63) -(1.55) -(0.6)
[0.03] [0.10] [0.04] [0.12]
post2016 x 0.073*** 0.090*** 0.011 0.044***
tratado -(6.47) -(6.03) -(0.93) -(2.75)
[0.01] [0.01] [0.01] [0.02]
Área 0.054 0.021
(1=urbano) -(0.66) -(0.25)
[0.08] [0.09]
Sexo del estudiante -0.020*** 0.187***
(1=hombre) (-5.64) -(49.98)
[0.00] [0.00]
Internado 0.08 -0.104
(1=sí recibe) -(1.48) (-0.42)
[0.05] [0.25]
Tutorial -1.121*** -1.219***
(1=sí recibe) (-109.71) (-95.46)
[0.01] [0.01]
Constante 7.721*** 7.529*** 6.776*** 6.465***
-(344.22) -(88.45) -(77) -(47.83)
[0.02] [0.09] [0.09] [0.14]
R-cuadrado ajustado 0.053 0.031 0.097 0.078
Efecto Fijo IE Sí Sí Sí Sí
Nro. observaciones 370,576 370,576 346,609 346,609
Se omiten variables adicionales de control.
t-score en paréntesis; error estándar robusto en llaves
* p<0.10, ** p<0.05, *** p<0.010
73
Tabla 22: Estimación por diferencia en diferencia, para todas las escuelas en zona de
competencia de área rural, evaluadas en segundo grado de secundaria
Modelo EF Modelo EF
Modelo EF con con
Modelo EF simple - covariables - covariables -
simple - CL Mate CL Mate
b/t/se b/t/se b/t/se b/t/se
Periodo 0.483*** -0.400*** 0.088 -0.768***
tratado -(8.73) (-6.08) -(0.44) (-3.01)
(1=2016 en adelante) [0.06] [0.07] [0.20] [0.26]
Tratamiento 0.103 0.486*** 0.088 0.533***
(1=publico=tratado) -(0.78) -(3.46) -(0.45) -(3.02)
[0.13] [0.14] [0.19] [0.18]
post2016 x 0.004 -0.022 -0.035 -0.138
tratado -(0.08) (-0.31) (-0.47) (-1.42)
[0.06] [0.07] [0.07] [0.10]
Sexo del estudiante 0.01 0.170***
(1=hombre) -(0.97) -(16.37)
[0.01] [0.01]
Internado -0.037* -0.336***
(1=sí recibe) (-1.75) (-12.30)
[0.02] [0.03]
Tutorial -1.005*** -1.032***
(1=sí recibe) (-28.64) (-23.81)
[0.04] [0.04]
Constante 6.992*** 6.630*** 6.448*** 5.935***
-(55.07) -(49.54) -(30.19) -(27.73)
[0.13] [0.13] [0.21] [0.21]
R-cuadrado ajustado 0.059 0.044 0.099 0.08
Efecto Fijo IE Sí Sí Sí Sí
Nro. observaciones 23,425 23,425 22,031 22,031
Se omiten variables adicionales de control.
t-score en paréntesis; error estándar robusto en llaves
* p<0.10, ** p<0.05, *** p<0.010
74
Tabla 23: Estimación por diferencia en diferencia, para todas las escuelas en zona de
competencia de área urbana, evaluadas en segundo grado de secundaria
Modelo EF Modelo EF
Modelo EF con con
Modelo EF simple - covariables - covariables -
simple - CL Mate CL Mate
b/t/se b/t/se b/t/se b/t/se
Periodo 0.433*** -0.465*** -0.637*** -1.679***
tratado -(46.64) (-38.43) (-8.31) (-18.08)
(1=2016 en adelante) [0.01] [0.01] [0.08] [0.09]
interv 0.078*** -0.012 0.058* -0.018
-(3.97) (-0.14) -(1.89) (-0.18)
[0.02] [0.08] [0.03] [0.10]
post2016 x 0.075*** 0.093*** 0.012 0.046***
tratado -(6.56) -(6.1) -(0.97) -(2.83)
[0.01] [0.02] [0.01] [0.02]
Sexo del estudiante -0.022*** 0.188***
(1=hombre) (-5.99) -(47.72)
[0.00] [0.00]
Internado 0.095 -0.068
(1=sí recibe) -(1.57) (-0.24)
[0.06] [0.29]
Constante 7.771*** 7.625*** 6.861*** 6.579***
-(491.96) -(112.62) -(167.45) -(73.92)
[0.02] [0.07] [0.04] [0.09]
R-cuadrado ajustado 0.053 0.031 0.098 0.078
Efecto Fijo IE Sí Sí Sí Sí
Nro. observaciones 347,151 347,151 324,578 324,578
Se omiten variables adicionales de control.
t-score en paréntesis; error estándar robusto en llaves
* p<0.10, ** p<0.05, *** p<0.010
75
Tabla 24: Análisis incondicional de diferencias en diferencias
76