}

Elaboración y validación de una serie de instrumentos para medir habilidades

de pensamiento crítico-científico en alumnos de educación primaria

León R. Garduño Estrada

Ángel Floriberto Morales Cerón
Ma. Esther Méndez Cadena

Centro de Estudios en Calidad de Vida y Desarrollo Social

Universidad de las Américas, Puebla

Resumen

Este trabajo presenta el proceso de desarrollo y validación de una serie de instrumentos utilizados
para evaluar habilidades de pensamiento crítico-científico en niños de tercero a sexto grado de
primaria, en el marco del Programa Escuelas de Calidad (PEC), actualmente bajo evaluación en el
estado de Puebla. El trabajo expone las etapas seguidas en la elaboración de los instrumentos y
comenta los resultados de la aplicación de los mismos a una muestra de 1,126 niños distribuidos en
12 escuelas en el estado de Puebla. En el análisis de reactivos se empleó el programa Kalt Criterial.
De manera general, la mayor parte de los reactivos fueron dictaminados dentro de la categoría de
“buenos”. De las evaluaciones hechas hasta el momento no se encontró ninguna que incluyera la
evaluación de esta área. Se discuten las implicaciones de los instrumentos para la educación.
Introducción
El Programa Escuelas de Calidad (PEC) surge como una propuesta de la actual administración
educativa federal para tratar de mejorar la calidad educativa de las escuelas en el país y superar
diversos problemas educativos mencionados en el Plan Nacional de Educación 2001-2006. El
propósito del PEC es establecer en la escuela pública de educación básica un nuevo modelo de
autogestión, basado en los principios de libertad en la toma de decisiones, liderazgo compartido,
trabajo en equipo, prácticas docentes flexibles y en consonancia con la diversidad de los
educandos, planeación participativa, evaluación para la mejora continua, participación social
responsable y rendición de cuentas. La finalidad es que la escuela pública de educación básica se
constituya en una escuela de calidad.
Para el logro de ese propósito, el PEC propone los siguientes estándares: a) Gestión,
Práctica Docente y Participación Social (Medidos con Indicadores de Proceso) y b) Eficacia
Externa y Logro Educativo (Medidos con Indicadores de Impacto y Resultados). En general, los
primeros se refieren al papel que debe desempeñar tanto el director como los maestros y los
padres de familia en un trabajo integrado, con intereses afines y metas comunes. Incluyen el
mejoramiento de la infraestructura y equipamiento. Los segundos buscan un incremento en las
habilidades de razonamiento lógico-matemático, habilidades comunicativas y de pensamiento
crítico-científico. También se incluyen objetivos sobre disminución de reprobación y en el índice
de deserción. El PEC reconoce la dificultad de mejorar la calidad de la enseñanza donde los
maestros –además de incrementar su dominio de los contenidos– asuman estilos pedagógicos
centrados en el aprendizaje activo de los niños (SEP, 2002). Para la consecución de la calidad, los
docentes deberán adoptar prácticas diferenciadas de acuerdo a las necesidades particulares de sus
estudiantes; darles confianza en sus capacidades, estimularlos constantemente en sus avances,
esfuerzos y logros. También, se pretende que los maestros enseñen a los estudiantes a pensar por sí
mismos de forma crítica y creativamente.
No obstante el tiempo transcurrido, ninguna de las evaluaciones hechas al programa –tanto
con metodologías cuantitativas como con cualitativas– ha abordado la evaluación de las habilidades
de pensamiento crítico-científico. La razón de esto es que, aparentemente, no se cuenta con los
instrumentos de evaluación sobre tales habilidades. De manera que el propósito de este trabajo es
presentar la estrategia seguida en la elaboración y validación de una serie de exámenes diseñados
para evaluar las habilidades de pensamiento crítico-científico para los grados de tercero a sexto de
primaria en el área de Ciencias Naturales. Este trabajo forma parte de uno más amplio cuyo
propósito es evaluar el PEC en el estado de Puebla en lo que concierne al cumplimiento de los
diferentes estándares de proceso y resultados ya mencionados. En el programa y textos de

2
educación primaria en el área de Ciencias Naturales se enfatiza que los estudiantes deben
desarrollar habilidades científicas, pero no se hace mención de las formas en que se debe evaluar.
En México, la educación es una garantía social de la cual se esperan aportes fundamentales
para la conformación de un Estado más democrático, tolerante y con mayor identidad nacional. Sin
embargo, en diciembre de 2001, la Organización para la Cooperación y el Desarrollo Económicos
(OCDE) dio a conocer los resultados de la evaluación en la que participaron 31 países miembros.
En ella, de acuerdo a los datos del Programa Internacional para la Evaluación de los Alumnos
(PISA), los estudiantes mexicanos obtuvieron calificaciones que los ubicaron en el penúltimo lugar
en Ciencias. No obstante las interpretaciones que se puedan hacer sobre estos resultados (Martínez,
2004), lo cierto es que se requiere de un gran esfuerzo para aumentar los niveles de rendimiento en
los estudiantes; no solamente por los resultados mismos, sino por la importancia del área. Los
instrumentos aquí desarrollados para evaluar el pensamiento crítico-científico, al igual que los de
PISA, buscan conocer si la experiencia escolar ha dado como resultado un entendimiento de los
procesos científicos y una capacidad de aplicar los conceptos de manera que puedan “tomar
decisiones sobre el mundo natural y los cambios que la actividad humana produce en él” (PISA,
2003). Ante estos resultados, el gobierno federal se propone aplicar estrategias que mejoren la
calidad educativa, y, una de ellas –el PEC– pretende influir de forma importante sobre escuelas que
ostensiblemente presentan resultados deficientes, y así actuar en los eslabones débiles de la cadena
escolar.
En una búsqueda de documentos sobre evaluación de habilidades de pensamiento critico-
científico en el ámbito de educación primaria se encontraron algunos trabajos sobre el tema:
Ramírez, 1992; López, 1995; Rodríguez, 2000; Aguilar, 2000; Parra y Lago de Vergara, 2003;
Hervas y Miralles, 2004. En general, estos documentos enfatizan la importancia de fomentar el
pensamiento crítico en alumnos de educación superior o en docentes y mencionan algunos de sus
elementos conceptuales, pero no se hace una propuesta de cómo evaluar tal pensamiento crítico.
Este es un concepto que se puede entender, en un sentido general, como la realización de “todas las
actividades cognitivas inteligentes” o como toda actividad de razonamiento, toma de decisiones o
solución de problemas (Ericsson y Hastie, 1994). De Bono (1997) dice que "la percepción es la base
para el pensamiento; es el modo en que contemplamos el mundo”.
Desde el punto de vista del pensamiento como resolución de problemas, Mayer (1986)
postula tres ideas básicas: El pensamiento es cognitivo pero se infiere de la conducta; ocurre en la
mente del individuo o en su sistema cognitivo y debe ser inferido indirectamente; implica alguna
manipulación de operaciones sobre el conocimiento en el sistema cognitivo; es dirigido y tiene
como resultado la "resolución" de problemas.

3
 La idea que asumimos en esta investigación es que el pensamiento humano implica un
proceso de adquisición de conocimiento, que se modifica y que se aplica mediante razonamiento a
la solución de problemas o en la toma de decisiones, y que nos permite desarrollar habilidades con
mayor eficacia. Para desarrollar ideas mediante el pensamiento científico es necesario utilizar
medios particulares como observar, pensar, experimentar y probar. El pensamiento científico opera
con datos que provienen no sólo de los estímulos que reciben los sentidos, sino también de los
resultados de sus operaciones. Es decir, los datos no tienen por qué ser abarcables por los sistemas
perceptivos (como por ejemplo los agujeros negros o las partículas subatómicas). PISA (2003)
define el pensamiento científico como “la capacidad para identificar preguntas y obtener
conclusiones basadas en pruebas, con el fin de comprender y poder tomar decisiones sobre el
mundo natural y sobre los cambios que la actividad humana produce en él”. En el programa de
estudio (SEP, 1994) para primaria se entiende como pensamiento científico “el estimular la
capacidad de observar y preguntar, así como de plantear explicaciones sencillas de lo que ocurre en
el entorno del niño”.
Los programas de Ciencias Naturales en la enseñanza primaria responden a un enfoque
fundamentalmente formativo. Su propósito central es que los alumnos adquieran conocimientos,
capacidades, actitudes y valores que se manifiesten en una relación responsable con el medio
natural, en la comprensión del funcionamiento y las transformaciones del organismo humano y en
el desarrollo de hábitos adecuados para la preservación de la salud y el bienestar (SEP, 1994). Las
destrezas son formas ordenadas para formular y contestar las preguntas que dan origen a cualquier
actividad científica: ¿Cómo es? ¿Por qué es así? ¿Qué sucedería si...? ¿Cómo comprobar que lo que
se supone o espera es cierto? El ejercicio de las destrezas implica la apreciación de procedimientos
que progresivamente son más sistemáticos y precisos.
El pensamiento crítico se caracteriza por manejar y dominar las ideas a partir de su revisión
y evaluación, para repensar lo que se entiende, se procesa y se comunica (Arango, 2003). Lipman
(1989) plantea que "el pensamiento crítico es un pensamiento capaz y responsable en tanto que
conduce al juicio porque se apoya en criterios, es autocorrector y sensible al contexto".
En este trabajo –con base en los conceptos, propuestas y definiciones de pensamiento crítico
y científico mencionados–, entendemos por pensamiento critico-científico aquel que por medio de
razonamientos coherentes, precisos, creativos y flexibles, basados en evidencias, permite al sujeto
emitir juicios, inferir y explicar fenómenos que son materia de estudio de las Ciencias Naturales.
Tal definición involucra los procesos mentales de un individuo implicados en la emisión de juicios,
inferencias y explicaciones en una situación científica determinada.

4
Metodología
En la elaboración de los reactivos para evaluar el pensamiento crítico-científico se consideraron
cada uno de los ejes temáticos de los libros de texto de Ciencias Naturales de tercero a sexto de
primaria. Dentro de cada libro se incluyeron tres de los cinco bloques, en virtud de que el cuarto
bloque no habría sido cubierto al momento de la aplicación de los exámenes; tanto para el piloteo
como para el estudio final. Se omitió el quinto bloque en cada grado debido a que éste es un repaso
de los cuatro anteriores. Para la elaboración de los reactivos también se incluyeron los libros del
maestro que la Secretaria de Educación Pública distribuye. Los reactivos se elaboraron a partir de
las lecciones donde se identifican los contenidos sobre los bloques, así como las habilidades crítico-
científicas que se pretenden desarrollar en los alumnos de acuerdo al libro del maestro de cada
grado. Los reactivos se elaboraron siguiendo el modelo propuesto por Popham (1978, 1990, 2000) y
Berk (1980).

Elaboración de reactivos. Se elaboraron 48 reactivos de Ciencias Naturales por grado. Los

reactivos se desarrollaron en tres etapas.
Primera etapa
Con la participación de autoridades educativas de la Dirección de Fomento a la Investigación
Educativa y de la Dirección de Educación Primaria, se identificó e invitó a maestros con
experiencia en aula y con alguna antigüedad en el servicio, a que participaran en el trabajo de
elaboración de los reactivos. Se tuvo cuidado de invitar a personas reconocidas por su entusiasmo e
interés en la educación. Se les platicó acerca del proyecto de evaluación del Programa Escuelas de
Calidad en el estado y de la importancia de la evaluación de las habilidades de pensamiento crítico
en los niños. Así, se formaron cuatro grupos de trabajo: uno por cada grado.
Segunda etapa
Las habilidades científicas que se deben desarrollar en la primaria –de acuerdo con el libro del
maestro– se clasificaron considerando su grado de dificultad. Los reactivos fueron clasificados
como básicos, medios y difíciles. Tal clasificación se hizo previa discusión sobre cada habilidad y
así se determinó por consenso de los maestros participantes en los cuatro grupos. La elaboración de
los reactivos se llevó a cabo durante cinco meses en jornadas de trabajo de hasta ocho horas. En las
sesiones se discutían los reactivos previamente generados por cada grupo en cuanto al apego a los
atributos de estímulo y respuesta propuestos, nivel de complejidad e importancia de la habilidad que
la lección contenía. Cada reactivo se aprobaba por consenso. Los atributos de estímulo y respuesta
indicaban las propiedades tanto del estímulo (pregunta), como de las opciones de respuesta. Todos
los reactivos fueron de opción múltiple con cuatro opciones de respuesta. Dichos atributos fueron la

5
base para la elaboración de cada reactivo. En general, los atributos de estímulo comienzan con un
texto introductorio donde se presenta una cierta cantidad de información que puede ser base para la
pregunta o simplemente referencia para la misma. Posteriormente, se presenta el problema y se
plantea la pregunta. Por otro lado, los atributos de respuesta siguieron el formato de respuesta
correcta, y que los distractores que emplean fueran inexactos en virtud de diferentes factores:
contradictorios, información insuficiente, ausentes de verificabilidad empírica. La alternativa de
respuesta correcta debía representar alguna de las habilidades enlistadas en el libro del maestro, y se
tuvo cuidado de que se distribuyeran considerando el grado de dificultad. Se consideró que los
reactivos no incluyeran información que no se encuentra de manera cercana a la vida de los niños.
También se tuvo cuidado en que las palabras y la sintaxis fueran acordes al vocabulario del grado al
que pertenecen los alumnos. Se evitaron los dobles negativos.
Tercera etapa
Una vez elaborados todos los reactivos, se presentaron a otro grupo de maestros de educación
primaria de igual experiencia que los anteriores, con la intención de verificar que cumplían con los
atributos de pregunta y de respuesta. El acuerdo entre los maestros sobre el trabajo fue del 100%.
Piloteo de los instrumentos. Cuando la serie de instrumentos quedó lista, se procedió a su
aplicación a un total de 1,126 niños del tercero al sexto grado inscritos en 12 escuelas del estado de
Puebla seleccionadas de forma aleatoria. Sin embargo, se consideraron los grados de marginación
alto medio y bajo, de acuerdo a la clasificación de INEGI. Así, la muestra incluyó dos escuelas
dentro de cada estrato. Todas las escuelas fueron públicas. La determinación de las propiedades de
los exámenes (confiabilidad, índices de discriminación, etcétera) se realizó con el empleo del
programa Kalt Criterial (sistema de calificación de pruebas referidas a criterio) versión 2 (2006).

Resultados
Los resultados se presentan en seis fases. En la primera se describe el comportamiento de la
población que contestó el instrumento; posteriormente se expone una comparación entre la
clasificación de los reactivos que hace el programa Kalt Criterial con la clasificación que hicieron
los docentes en el momento de elaborar los reactivos. En la tercera fase se hace un análisis de la
confiabilidad de los instrumentos. En la cuarta se emite un dictamen general de los reactivos y de su
selección, los cuales integraron el instrumento final para evaluar las habilidades de pensamiento
crítico-científico en educación primaria. En la quinta etapa se muestra la distribución de los
reactivos dentro de las diferentes lecciones de cada grado. En la sexta parte se efectúa un análisis
sobre el comportamiento de las respuestas en los reactivos.

6
Análisis descriptivo
En esta parte se hace un análisis descriptivo general de las calificaciones obtenidas por los alumnos
en cada uno de los diferentes grados. Los datos se proporcionan en la siguiente tabla.

Tabla 1. Información descriptiva de los exámenes aplicados a los niños de tercero a sexto grado.

En la tabla se observa el tamaño de las muestras a las que se aplicó la serie de instrumentos.
Se aprecia que los tamaños son muy similares. El mayor número de estudiantes se concentra en
sexto grado y el menor en tercero. Los alumnos de sexto son los que alcanzaron la media de
calificación más alta, mientras que la más baja la tienen los de tercer año. Al observar la media y la
mediana de los cuatro grados se observa que las calificaciones aparentemente tienen una
distribución simétrica. La desviación estándar de cada grado es baja, lo que quiere decir que las
calificaciones están cerca de la media, hecho que se comprueba en el coeficiente de variación al ser
también mínimo.

Análisis de reactivos
En la tablas 2, 3, 4 y 5 se presenta un análisis de los reactivos para los exámenes de tercero a sexto
grado. Las tablas indican el número de reactivo, la respuesta correcta, el número de niños que
contestó el examen, el grado de dificultad, una gráfica que indica la dificultad del reactivo, una
gráfica sobre la correlación de punto biserial y, finalmente, un dictamen sobre la calidad de cada
reactivo.

7
Tabla 2

8
Tabla 3

9
Tabla 4

10
 Tabla 5

De los diferentes análisis realizados por el programa Kalt, se encontró que los reactivos
fueron dictaminados como sigue:

Grado Buenos Aceptables Dudosos A revisar Desechables

Tercero 37 0 4 4 3
Cuarto 36 0 3 8 1
Quinto 41 0 2 5 0
Sexto 31 4 6 7 0

11
 Como se puede observar, la gran mayoría de reactivos fueron dictaminados como buenos.
Los coeficientes de confiabilidad de Livingston para exámenes con referencia a criterio son como
sigue: 3º= 0.89; 4º= 0.78; 5º= 0.77; 6º= 0.75.

Selección de reactivos
El desarrollo y la validación de los exámenes de habilidades de pensamiento crítico-
científico forman parte de un trabajo más extenso cuyo propósito es evaluar el PEC en el estado de
Puebla. De manera que, en virtud de los resultados obtenidos en este proceso, se hizo necesario
identificar aquellos que serían finalmente empleados en la evaluación mencionada con una muestra
diferente de escuelas. Para ello se establecieron los siguientes criterios: 1) Que fueran dictaminados
por el programa como buenos; 2) Que se tuviera por lo menos un reactivo que evaluara cada una de
las lecciones de aprendizaje que se marcan en los libros del alumno y bloques que se consideraron
en el diseño del instrumento; 3) Que la puntuación del reactivo se encontrara sólo cinco puntos
arriba o debajo del punto de corte establecido (.60), y 4) Que los reactivos seleccionados evaluaran
20 lecciones de un total de 24 que forman los tres bloques, cumpliendo con el criterio mencionado
con anterioridad.

12
Conclusiones
La búsqueda de la calidad en la educación requiere de instrumentos válidos y confiables que
permitan determinar los logros alcanzados y que sirvan de base para su explicación y contribuyan a
la realización de las acciones pertinentes para su mejoramiento. Los instrumentos desarrollados en
este trabajo proporcionan una base válida y confiable para evaluar el PEC. Las habilidades de
pensamiento crítico-científico resultan importantes debido a las diversas funciones que cumplen,
tanto para emitir juicios válidos sobre los fenómenos de la ciencia como por su contribución al
desarrollo de la misma. Este trabajo contribuye de manera importante no sólo en la evaluación de
las habilidades de pensamiento crítico-científico establecidas por el PEC, sino que también viene a
ser un instrumento que puede ser empleado por las escuelas de educación primaria en general.
La serie de instrumentos desarrollados en este trabajo responde a la necesidad de tener una
base que permita, por una parte, contar con una propuesta conceptual sobre qué es el pensamiento
crítico-científico y, por la otra, tener la posibilidad de evaluar su logro para los grupos de tercero a
sexto grado de educación primaria de una forma más precisa y no sólo evaluar en el nivel del
“conocimiento”, tal como se viene haciendo. El desarrollo de los instrumentos enriqueció la
experiencia de los docentes que intervinieron en su elaboración, de quienes –gracias a la motivación
por el trabajo realizado– se espera que continúen profundizando en el tema de la evaluación de tales
habilidades y en el de los procesos de enseñanza-aprendizaje en el aula. Se espera también que los
maestros participantes contribuyan a imbuir en sus compañeros una cultura de evaluación de
calidad en los procesos de enseñanza-aprendizaje, de los cuales forman parte en sus centros de
trabajo.
Dado el número de reactivos dictaminados como “buenos” por el programa Kalt, y tomando
en cuenta que para la evaluación del PEC en el estado de Puebla se usaron solamente 20 de ellos,
será posible elaborar formas alternativas de los exámenes. Por supuesto, habrá que continuar
determinando sus propiedades psicométricas considerando otras poblaciones, pero se dispondrá de
una buena base para poder hacerlo.
La definición de pensamiento crítico-científico empleada en este trabajo constituye una base
para iniciar una discusión sobre el tema en cuanto a su significado y operacionalización para la
enseñanza en las aulas, así como también para el desarrollo de nuevos o diferentes reactivos. La
definición de pensamiento critico-científico conjunta lo que es el pensamiento crítico –cuando se
refiere a los procesos mentales de un individuo implicados en la emisión de juicios basados en
evidencias– y lo que es pensamiento científico, cuando se realizan inferencias y explicaciones en
una situación científica determinada. La serie de instrumentos generados sólo evalúa tres bloques de
cinco de cada uno de los libros de educación primaria de tercero a sexto grado, por lo que será

13
necesario elaborar los demás reactivos a fin de poder evaluar todo el ciclo escolar en el área de
Ciencias Naturales.
Finalmente, podemos decir que el conjunto de instrumentos elaborados en esta investigación
contribuye en la búsqueda de la calidad mediante la evaluación.

14
Referencias

Aguilar, M. (2000). Creatividad, pensamiento critico y valores: una mirada diferente en la

educación. Magistrales. México.
Arango, M. (2003). “Foros virtuales como estrategia de aprendizaje”. En revista Debates
Latinoamericanos, núm 2, abril. Consultado el 28 de enero del 2006 en
http://www.rlcu.org.ar/revista/numeros/02-02-Abril-2004/documentos/Arango.pdf.
De Bono E. (1997). Aprende a pensar por ti mismo. 1ª Ed. México: Paidós.
Ericsson, K. A., & Hastie, R. (1994). “Contemporary approaches to the study of thinking and
problem solving”. En R.J. Sternberg (Ed.), Thinking and problem solving (pp. 37-79). New
York: Academic Press.
Hervas, R., & Miralles. P. (2004). “Nuevas formas de enseñar a pensar: el pensamiento crítico a
través de la enseñanza de la geografia y la historia”. En Didáctica de las Ciencias Sociales,
Geografía e Historia. (España), núm. 42, octubre, pp. 89-99.
Lipman, M. (1989). “Critical Thinking and the Use of Criteria”. En Inquiry: Critical Thinking
across the disciplines, vol. 1, núm. 3, Montclair College, abril.
López, M. (1995). “Ciencia, eficiencia o conciencia: El desarrollo del pensamiento crítico y
creativo en la educación". En Extensiones, vol 2, núm. 2, pp. 53-56.
Martínez, F. (2004). Panorama educativo 2004. Education at a glance de la OCDE. Presentación
general y lecciones para México. Instituto Nacional de Evaluación Educativa.
Mayer, R. (1986). Pensamiento, resolución de problemas y cognición, 1ª Ed. México: Paidós.
Parra, E. & Lago, D. (2003). “Didáctica para el desarrollo del pensamiento crítico en estudiantes
universitarios”. En Educación médica superior. Cuba, vol 17, núm. 2, mayo-junio, pp. 1-9.
Rodríguez-Mena, M. (2000). “El enfoque critico-reflexivo en la educación”. En Educación. Cuba,
núm. 99, enero-abril, pp. 8-11.
SEP (2001). Programa Nacional de Educación 2001-2006. México.
SEP (2002). Reglas de Operación e Indicadores de Gestión y Evaluación del Programa Escuelas de
Calidad. Diario Oficial de la Federación. México.
PISA (2003). Consultado en octubre 2005 en:
http://www.eduteka.org/pdfdir/PISA2003Frameworks_final.pdf
Ramírez, J. (1992). “El pensamiento crítico, un nuevo paradigma educativo”. En Revista Conafe:
Educación y Cultura. México, núm. 6, abril-junio, pp. 10-17.
OCDE (2001). Schooling for tomorrow: Trends and scenarios. Paris: CERI-OECD
Popham, J. (1978). Criterion referenced measurement. USA: Prentice-Hall.

15
Popham, J. (1990). Modern educational measurement. USA: Allyn and Bacon.
Popham, J. (2000). Modern Educational Measurement: Practical Guidelines for Educational
Leaders. USA: Allyn and Bacon.
Berk, (1980). Criterion referenced measurement: The state of the art. USA: The Johns Hopkins
University Press.

16