Automatizaci On de Procesos

Automatización de procesos
académicos y evaluativos en el área de

tecnologı́a usando modelos de diseño
instruccional
Luis Fernando Vargas Neira
Universidad Nacional de Colombia

Facultad de Ingenierı́a, Ingenierı́a Eléctrica y Electrónica
Bogotá, Colombia
2016
Automatización de procesos
académicos y evaluativos en el área de
tecnologı́a usando modelos de diseño
instruccional
Luis Fernando Vargas Neira
Tesis o trabajo de grado presentada(o) como requisito parcial para optar al tı́tulo de:
Magister en Automatización Industrial
Director(a):
Ph.D Fredy Andres Olarte Dussan
Universidad Nacional de Colombia

Facultad de Ingenierı́a, Ingenierı́a Eléctrica y Electrónica
Bogotá, Colombia
2016
Dedicatoria
A mis eternos compañeros de viaje Fanny,

Marcos, Dani, Samuel y Daniel
Agradecimientos
El autor desea expresar su reconocimiento a:
1. Mi familia, por su apoyo constante y acompañamiento a lo largo de mi proceso de

formación.
2. Al profesor Andrés Olarte, por su acompañamiento constante, valiosas enseñanzas,

compromiso y dedicación en el desarrollo de este trabajo.
3. A la Universidad Nacional de Colombia por brindar los espacios necesarios, para poder
desarrollar mi formación profesional.
4. A los docentes del área de ‘Tecnologı́a e Informática’ y estudiantes del I.E.D Clemencia
Holguı́n de Urdaneta ası́ como el I.E.D Julio Garavito Armero.
ix
Resumen
Esta tesis presenta el diseño e implementación de una herramienta de evaluación automática

basada en software, la cual está enfocada al seguimiento de actividades educativas en el área
de ‘Tecnologı́a e Informática’ para el ciclo V de educación básica secundaria. Algunas de las
problemáticas acerca del proceso evaluativo, presentes en el área tecnológica, son presenta-
dos en dos capı́tulos: en el primero se evidencian las dificultades que los docentes del área
tecnológica tienen al momento de desarrollar el proceso evaluativo basado en competencias, y
otro encaminado a describir las herramientas evaluativas que permiten hacer un seguimiento
del proceso educativo en el estudiante.
Para el desarrollo del proceso de automatización implementado fue necesario seleccionar he-
rramientas evaluativas que brinden, tanto al docente como al estudiante, información que
permita establecer el nivel de competencia que tiene el educando. Se trabajó en el diseño e
implementación de pruebas tipo test y rúbricas o matrices de evaluación automáticas. Para
ello previamente fue necesario obtener las habilidades que se requerı́an evaluar en el estu-
diante. Dichas habilidades fueron obtenidas al analizar los desempeños de dos de los cuatro
componentes propuestos por el Ministerio de Educación Nacional (MEN), los cuales fueron:
‘Apropiación y Uso de la Tecnologı́a’ y ‘Solución de Problemas’. De los desempeños pro-
puestos en cada una de las componentes elegidas se realizó su respectiva corrección, de tal
manera que fuese posible, a partir de ellos, obtener indicadores para medir el nivel. Con los
desempeños corregidos y los indicadores creados se diseñaron las matrices de evaluación y los
test, los cuales fueron validados y mejorados de tal manera que garantizarán una medición
adecuada de los desempeños y a su vez de la competencia.
Posterior al proceso de validación ası́ como la mejora de los instrumentos, se desarrolló el

diseño que permitiese la automatización de las herramientas evaluativas. Para ello se selec-
cionó inicialmente el lenguaje de programación a utilizar, para lo cual se tuvo en cuenta
experiencias que validan que el software de desarrollo usado fuese multi-plataforma, de libre
distribución, que permita la integración con bases de datos y ser interpretado por diversos
servidores web. Luego de este proceso se generaron los diversos algoritmos que permiten
automatizar los diferentes tipos de preguntas usadas en los test diseñados. Ası́ mismo, los
procedimientos que permiten, a partir de sus resultados, la generación de informes que per-
mitan establecer el nivel que tiene el estudiante en cada habilidad, desempeño y competencia.
También se diseñaron los algoritmos que permitan automatizar las rúbricas y la posibilidad
de generar diversos tipos de informes a partir de sus resultados. Adicionalmente, y teniendo
en cuenta el decreto 1290 del MEN, fue necesario crear un sistema de configuración previa
que se ajuste a las necesidades de cada institución. Se tuvieron en cuenta para la configura-
ción, aspectos tales como: número de periodos académicos, auto, co y hetero-evaluación, ası́
x
como la posibilidad de configurar una habilidad, un desempeño o una competencia cuantas

veces lo considere el docente. Por último se crearon perfiles de usuario que permitan, tanto
al educador como al estudiante, ingresar al sistema y observar la actividades actuales, pen-
dientes, ası́ como el tipo de evaluación que se aplica.
Se aplicaron las pruebas automatizadas a dos grupos piloto, fueron evaluados con la herra-
mienta y recibieron información que les permitió, tanto a los estudiantes como educadores,
establecer el nivel de competencia que tienen los educandos en cada componente. También se
desarrolló un juicio de expertos para validar la herramienta de evaluación automática basada
en rúbricas. El instrumento permitió establecer la opinión de educadores alrededor de diver-
sos aspectos, entre ellos: caracterı́sticas del usuario y configuración inicial de la plataforma,
usabilidad de la herramienta creada y utilidad del software desarrollado.
Palabras clave: Automatización, competencias educativas, diseño instruccional, edu-

cación tecnológica, instrumentos de evaluación, proceso evaluativo, proceso de en-
señanza-aprendizaje, pruebas escritas, rúbricas de evaluación, validación .
xi
Abstract
In this thesis the design and implementation of an automatic evaluation tool based on
software is presented, which focus on the tracking of educational activities in the area of
“Technology and informatics” in the fifth cycle of the basic high school education. Some of
the problems in the evaluation process, within the technological area, are presented in two
chapters: at the first chapter the difficulties that professors in the technological area have
when they try to perform an evaluation process based on competences, and other aiming
to describe the evaluation tools that allow to perform a tracking of the student evaluative
process.
In order to develop the implemented automatization process, the selection of evaluative tools
that provide information, to the teacher as well as the student, that establish the competence
level of the student was mandatory. The design and implementation of automatic test type
exams, rubrics and matrices was done. In order to do so, previously was necessary to obtain
the skills to evaluate. Such skills were obtain through the analysis of the competency from
two of the four components proposed by the Ministry of Education (MEN), which were:
‘Appropriation and Use of Technology’ and ‘Solving Problems with Technology’. From the
proposed competency in each one of the chosen components, a correction process was held in
order to obtain level indicators. With the indicators and the corrected competency the test
and evaluation matrices were designed, which were validated and improved to guarantee an
adequate measure of the competency and the competence.
After the validation process and the improvement of the developed instruments, the design
that allows the automatization of the evaluative tools was developed. To do so, the program-
ming language was selected based on experiences that validated language characteristics such
as free distribution, multiplatform, capable of integration with data bases and web server
interpretation. After this process, the algorithms that permit the automatization of the gene-
ration of different test questions were designed. Likewise, the procedures that extract, from
the obtained results, reports that establish the student level in each skill, competency, and
competence. Also, the algorithms that automatize the rubric and the generation of different
report types were also designed and implemented. Furthermore, and taking into account the
decree 1290 from the MEN, a configuration system adjustable to the needs of each institu-
tion was created. Some configuration aspects taken into account were: number of academic
periods, autoevaluation, coevaluation, and heteroevaluation, and the possibility to configure
an individual skill, competency and competence. Ultimately, the user profiles that allow to
each educator and student log in into the system and observe the current and pendent acti-
vities and the evaluation type were created.
The automated test were applied to two pilot groups, which were evaluated with the de-
xii
veloped tools and receive information that allow, to educators and students, determine the
competence level of the students on each component. Also, an expert judgement was per-
formed in order to validate the automatic evaluation tool based on rubrics. The instrument
allowed to establish the opinion of various educators around different aspects, such as: user
characteristics, initial configuration of the platform, usability and utility of the developed
software.
Contenido
Agradecimientos VII
Resumen IX
Lista de figuras XV
Lista de tablas XVI
1. Introducción 1
1.1. Contexto general . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2. Planteamiento del Problema . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3. Solución Propuesta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.4. Contenido de la Tesis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2. Marco de Referencia 7
2.1. Automatización de procesos . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.1.1. Automatización de procesos en la educación . . . . . . . . . . . . . . 8
2.1.2. Automatización del diseño instruccional (D.I) . . . . . . . . . . . . . 9
2.1.3. Automatización del proceso evaluativo . . . . . . . . . . . . . . . . . 12
2.2. Educación tecnológica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.2.1. Educación tecnológica en Colombia . . . . . . . . . . . . . . . . . . . 18
2.3. Resumen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3. Diseño y creación de instrumentos de evaluación 21

3.1. Importancia de la evaluación educativa en el área tecnológica . . . . . . . . . 21
3.1.1. Fases del proceso evaluativo en el área tecnológica . . . . . . . . . . . 21
3.1.2. Evaluación en educación tecnológica en Colombia . . . . . . . . . . . 24
3.2. Requerimientos para automatizar el proceso evaluativo . . . . . . . . . . . . 28
3.3. Definición de desempeños . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.4. Diseño de indicadores de evaluación . . . . . . . . . . . . . . . . . . . . . . . 32
3.5. Diseño y validación de instrumentos evaluativos . . . . . . . . . . . . . . . . 33
3.5.1. Rúbricas de evaluación . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.5.2. Pruebas escritas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.6. Resumen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
xiv Contenido
4. Automatización del proceso evaluativo 49

4.1. Contexto general de la automatización realizada . . . . . . . . . . . . . . . . 49
4.2. Perfiles de usuario necesarios para la herramienta evaluativa . . . . . . . . . 51
4.3. Lenguaje de programación usado . . . . . . . . . . . . . . . . . . . . . . . . 54
4.4. Automatización de evaluación diagnóstico . . . . . . . . . . . . . . . . . . . 55
4.4.1. Requerimientos para automatizar la prueba diagnóstico . . . . . . . . 55
4.4.2. Automatización preguntas abiertas . . . . . . . . . . . . . . . . . . . 58
4.4.3. Automatización preguntas cerradas . . . . . . . . . . . . . . . . . . . 58
4.4.4. Calificación de las pruebas diagnósticas . . . . . . . . . . . . . . . . . 60
4.4.5. Informes de la evaluación diagnóstico . . . . . . . . . . . . . . . . . . 61
4.5. Automatización proceso evaluativo: rúbricas . . . . . . . . . . . . . . . . . . 62
4.5.1. Creación de informes de resultados . . . . . . . . . . . . . . . . . . . 63
4.6. Experiencia de usuario . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
4.7. Resumen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
5. Resultados 68
5.1. Resultados pruebas diagnóstico y sumativa . . . . . . . . . . . . . . . . . . . 68
5.1.1. Metodologı́a de aplicación de las pruebas tanto manuales como au-
tomáticas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
5.1.2. Comparación entre el uso de pruebas manuales y automáticas . . . . 71
5.1.3. Resultados de los estudiantes en las pruebas . . . . . . . . . . . . . . 73
5.2. Resultados juicio de expertos sobre el diseño de la plataforma para rúbricas . 79
5.2.1. Caracterı́sticas del usuario y configuración inicial de evaluación con
rúbricas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
5.2.2. Usabilidad de la plataforma de evaluación con rúbricas . . . . . . . . 81
5.2.3. Utilidad de la plataforma de evaluación con rúbricas . . . . . . . . . 82
5.3. Resumen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
6. Conclusiones y trabajos futuros 85

6.1. Resumen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
6.2. Conclusiones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
6.3. Aportes originales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
6.4. Trabajos futuros . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
A. Anexo: Desempeños modificados de la serie guı́a #30 90
B. Anexo: Diseño de indicadores 91
C. Anexo: Rúbricas propuestas 92
D. Anexo: Rúbricas de auto y co-evaluación 93

Contenido xv
E. Anexo: Pruebas escritas diseñadas 94
F. Anexo: Manual de aplicación pruebas 95
G. Anexo: Experiencia de uso 96
H. Anexo: Juicio de expertos sobre la plataforma de evaluación mediante rúbricas 97
Bibliografı́a 98
Lista de Figuras
2-1. Fases del proceso RPU [101] . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2-2. Gráfica de los tiempos por fase para el RPU [101] . . . . . . . . . . . . . . . 11
2-3. Aspectos fundamentales en el diseño curricular [106] . . . . . . . . . . . . . . 17
2-4. Organización de la serie guı́a #30 . . . . . . . . . . . . . . . . . . . . . . . . 19
3-1. Evaluación por competencias . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

3-2. Aspectos que se tendrán en cuenta para la automatización . . . . . . . . . . 30
3-3. Pasos utilizados para la construcción de las rúbricas . . . . . . . . . . . . . . 36
3-4. Pasos utilizados para la construcción de las pruebas . . . . . . . . . . . . . . 41
4-1. Herramientas del proceso educativo automatizadas . . . . . . . . . . . . . . . 50

4-2. Configuración del curso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4-3. Configuración de actividades . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4-4. Algoritmo usado para automatizar preguntas abiertas . . . . . . . . . . . . . 58
4-5. Algoritmo usado para automatizar preguntas cerradas de única respuestas . 59
4-6. Algoritmo usado para automatizar preguntas cerradas de múltiple respuestas 60
4-7. Ejemplo de uso de los diagramas de red . . . . . . . . . . . . . . . . . . . . . 61
4-8. Ejemplo de informe de indicadores . . . . . . . . . . . . . . . . . . . . . . . 65
5-1. Resultado I.E.D Clemencia Holguı́n de Urdaneta . . . . . . . . . . . . . . . . 74

5-2. Resultado I.E.D Julio Garavito Armero . . . . . . . . . . . . . . . . . . . . . 75
5-3. Resultados I.E.D Clemencia Holguı́n de Urdaneta, prueba ‘Solución de Pro-
blemas con Tecnologı́a’ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
5-4. Resultados I.E.D Julio Garavito Armero, prueba ‘Solución de Problemas con
Tecnologı́a’ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
5-5. Resultados juicio de expertos sobre caracterı́sticas de usuario y configuración
de la plataforma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
5-6. Resultados juicio de expertos sobre usabilidad de la plataforma de evaluación
con rúbricas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
5-7. Resultados juicio de expertos sobre utilidad de la plataforma de evaluación
con rúbricas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
Lista de Tablas
3-1. Dificultades encontradas en Colombia para el proceso evaluativo . . . . . . . 27
3-2. Ejemplo de diseño de indicadores . . . . . . . . . . . . . . . . . . . . . . . . 33
3-3. Ejemplo de rúbrica para el desempeño SP 01 . . . . . . . . . . . . . . . . . . 38
3-4. Ejemplo de rúbrica de auto-evaluación . . . . . . . . . . . . . . . . . . . . . 40
3-5. Ejemplo de rúbrica de Co-evaluación . . . . . . . . . . . . . . . . . . . . . . 40
3-6. Índice de dificultad (Dif.) y discriminación (Disc.) de la prueba . . . . . . . . 46
3-7. Resultados de confiabilidad (Alfa de Cronbach A.C) por pregunta de la prueba
apropiación y uso de la tecnologı́a . . . . . . . . . . . . . . . . . . . . . . . . 46
3-8. Resultados del ı́ndice de dificultad (Dif.) y discriminación (Disc.) de la prueba
de solución de problemas con tecnologı́a . . . . . . . . . . . . . . . . . . . . 47
3-9. Resultados de confiabilidad (Alfa de Cronbach A.C) por pregunta de la prueba
de solución de problemas con tecnologı́a . . . . . . . . . . . . . . . . . . . . 47
4-1. Ejemplo de re-alimentación por desempeño . . . . . . . . . . . . . . . . . . . 62
5-1. Tiempos promedios de evaluación de cada grupo por cada educador, tiempo
en segundos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
5-2. Resultado de evaluación de preguntas con única respuesta, tiempo en segundos 70
5-3. Resultado de evaluación de preguntas con múltiple respuesta, en segundos . 71
5-4. Tabla de Resultados I.E.D Clemencia Holguı́n de Urdaneta . . . . . . . . . . 73
5-5. Tabla de Resultados I.E.D Julio Garavito Armero . . . . . . . . . . . . . . . 75
5-6. Tabla de Resultados I.E.D Clemencia Holguı́n de Urdaneta, prueba de la
componente ‘Solución de Problemas con Tecnologı́a’ . . . . . . . . . . . . . . 76
5-7. Tabla de Resultados I.E.D Julio Garavito Armero, prueba de la componente
‘Solución de Problemas con Tecnologı́a’ . . . . . . . . . . . . . . . . . . . . . 77
1. Introducción
1.1. Contexto general

La ingenierı́a ha aportado en el fortalecimiento de la formación de estudiantes de básica y
media. Desde un enfoque basado en esta área del conocimiento, el proceso educativo ha sido
representado como un sistema dinámico, que involucra múltiples entradas y salidas que se
pueden resumir en la presentación de conocimientos por parte del docente y la generación de
aprendizajes por parte del estudiante. Los resultados en el aprendizaje están influenciados
por diversos elementos como: ambientes de aprendizaje, actividades, interacción con dispo-
sitivos y una evaluación constante del proceso [40]. Bajo la perspectiva de sistema dinámico
se han construido modelos educativos que representan la interacción entre los diferentes ele-
mentos descritos, que además pueden utilizarse con fines de mejoramiento en términos del
desempeño observado en los estudiantes. Un modelo comúnmente utilizado con este propósi-
to es el diseño instruccional.
El diseño instruccional es un conjunto de modelos de proceso que segmenta el aprendizaje y

la enseñanza de forma sistemática y reflexiva [131]. Los modelos que componen el conjunto
siguen diversas fases, aunque tienen en común la planeación, desarrollo, ejecución y evalua-
ción. Estos pasos permiten la creación y construcción de las herramientas requeridas para
poder fomentar conocimientos en los estudiantes [69]. Ası́ mismo, el diseño instruccional,
permite el seguimiento en la creación de cursos, materiales educativos y procesos evaluativos
[16]. Este seguimiento da como resultado un proceso en el cual existe re-alimentación al pro-
ceso educativo, brindando al docente y al estudiante el estado real de los saberes adquiridos.
Como resultado se observa una mejorı́a del curso, en cuánto al material usado, la meto-
dologı́a utilizada y al proceso evaluativo establecido [49]. El proceso evaluativo incorpora
herramientas que le dan al estudiante la posibilidad de desarrollar habilidades que puede
aplicar en diversos contextos.
El proceso evaluativo es una herramienta del diseño instruccional que permite determinar el
impacto de las actividades, ambientes y herramientas desarrolladas alrededor de una serie
de habilidades a medir [30]. La evaluación no solamente se encarga de otorgar una nota al
estudiante, también permite orientar las estrategias seguidas, dar a conocer al estudiante sus
aciertos y aspectos a mejorar. Por ello es la base fundamental del proceso educativo y debe
ser tenido en cuenta como un eje que permite establecer qué conocimientos y qué habilidades
2 1 Introducción
ha alcanzado el estudiante [70].
La evaluación en conjunto con el diseño instruccional, han sido aplicados en diversas áreas
de conocimiento en estudiantes de los últimos grados del nivel de secundaria, tales como:
geografı́a [2] [29] robótica [74], mecatrónica [66], tecnologı́a [103], entre otras. En estas ex-
periencias se han obtenido mejoras en aspectos formativos y motivacionales, gracias a la
incorporación de materiales de software como hardware. Estos trabajos se han caracterizado
por brindar al estudiante los recursos necesarios para permitirle comprender un tema de-
terminado. Acompañados de refuerzos, ejercicios y prácticas de los conceptos aprendidos de
una forma diferente a la clase tradicional. En particular la enseñanza del área de tecnologı́a
e informática también ha sido intervenida por los procesos de diseño instruccional, acom-
pañados de un proceso evaluativo. Ejemplos de este caso se tienen en [7] [15] [32] [74] [41] y
[66], en cada uno de ellos, a partir del diseño instruccional, se diseñaron materiales didácticos
los cuales potencian algunas habilidades, ası́ mismo, son evaluadas haciendo un seguimiento
claro y sistemático del nivel de desempeño alcanzado por el estudiante.
Estos resultados demuestran que la aplicación del diseño instruccional permite identificar
los elementos necesarios para el desarrollo del proceso educativo y evaluativo a nivel de se-
cundaria, orientado a mejorar el desempeño en competencias en tecnologı́a. La educación en
esta área se enfoca en la obtención de competencias como: uso adecuado de la tecnologı́a,
tecnologı́a y sociedad, naturaleza y evolución de la tecnologı́a y solución de problemas con
tecnologı́a. El trabajo colaborativo y el aprendizaje por proyectos han sido utilizados como
un mecanismo en la obtención de las competencias mencionadas anteriormente [31].
Por otra parte en Colombia no se tiene una estructuración curricular en el área de tecnologı́a
e informática, simplemente se tienen una sugerencia de competencias y desempeños para su
creación [34]. Esto conlleva a que cada institución tenga un enfoque diferente frente a esta
área, generando diversos conceptos alrededor de ella y una amplia variedad de formas de tra-
bajo que dependen de factores de la institución tales como: la zona, el énfasis, la formación
del docente y los recursos didácticos disponibles. Esta diversidad trae como consecuencia
el uso y aplicación de muchos tipos de materiales, metodologı́as y formas evaluativas, que
usualmente interpretan el área de tecnologı́a como el simple uso de diversos programas de
computador [24].
El área tecnológica está siendo valorada por pruebas internacionales como la prueba PISA
donde se evalúa la componente de ‘solución de problemas’. Dicha prueba se caracteriza por
dar un contexto y dentro de este, plantear una situación que el estudiante a partir de sus
habilidades debe solucionar [113]. En Colombia aún no está siendo valorada por la prueba
SABER, ya que es un área con bastante diversidad, la cual tampoco tiene indicadores que
permitan fácilmente diseñar instrumentos para su medición. Por tanto es un área que si
1.2 Planteamiento del Problema 3
bien tiene componentes, competencias y desempeños por grupos de niveles propuestos por
el Ministerio de Educación Nacional 1 [34], no es trabajada por los docentes con procesos
evaluativos basadas en competencias.
Se espera que el área tecnológica desarrolle habilidades y competencias en el estudiante. Esto

debido a la necesidad de construir en el educando capacidades que le permitan hacer uso
adecuado de las herramientas de las tecnologı́as de la información y comunicación (TIC) , ası́
como solucionar problemas en diversos contextos a partir de la tecnologı́a, haciendo uso de
su creatividad y pensamiento crı́tico [24]. Por ello es fundamental el proceso evaluativo, ya
que este informa a los diversos actores del proceso educativo acerca de los alcances obtenidos,
las dificultades presentadas y las mejoras a aplicar [31].
El proceso evaluativo dentro del aula brinda al estudiante información acerca del nivel de
logro alcanzado, también identifica las dificultades y fortalezas presentes en su proceso de
aprendizaje [129]. De igual manera la evaluación es indispensable para el docente, establece
el nivel de desempeño de los estudiantes y permite identificar las dificultades que pueden
estar presentando. Con estos insumos el educador puede desarrollar una planeación que per-
mita mejora al estudiante y con ello obtener un nivel de logro en la competencia establecida
[110]. De igual manera presentar una serie de informes donde evidencie el avance de cada
estudiante, ası́ como las metas educativas obtenidas por el grupo de educandos en general.
Todos los elementos mencionados para el desarrollo del proceso evaluativo en el área de
tecnologı́a, son insumos necesarios para el diseño de cualquier herramienta instruccional au-
tomatizada. La planeación, el desarrollo, la ejecución y la evaluación del proceso educativo,
son fundamentales si se quieren desarrollar competencias, pero también implican carga de
trabajo al docente [23]. Adicionalmente se requiere una formación para la creación de las
herramientas basadas en este modelo, la dificultad aumenta debido a que el perfil profesional
de los docentes no responde a estas necesidades [31]. Para implementar el enfoque de diseño
instruccional, es necesario que los docentes del área de tecnologı́a cuenten con un apoyo que
reduzca la carga de trabajo que implica su uso. Esta solución puede surgir de la automati-
zación de algunas actividades del proceso educativo, como lo son: la evaluación formativa, el
seguimiento al desarrollo de proyectos, actividades de clase basadas en guı́as evaluadas por
rúbricas, el diseño de mapas conceptuales, entre otros.
1.2. Planteamiento del Problema

Se ha identificado el diseño instruccional como un modelo de proceso que brinda los meca-
nismos de generación de aprendizajes en el estudiante, a partir de la planeación, desarrollo,
1
MEN
4 1 Introducción
ejecución y evaluación del proceso educativo [66]. Este modelo permite mayor participación
en el aprendizaje por parte del estudiante y un proceso estructurado hacı́a una evaluación
cuantitativa y cualitativa constante por parte del docente. Permite también la estructuración
y creación de ambientes de aprendizaje, a partir de una adecuada planeación de actividades,
materiales y procesos evaluativos, brindando condiciones adecuadas para aprender [62]. Es-
to genera una organización curricular apropiada y un mejor aprovechamiento del material
existente motivando e incentivando al estudiante.
En Colombia no existe una estructuración adecuada frente a la creación de herramientas

para la generación de competencias en el área de tecnologı́a. De igual manera también faltan
instrumentos para el seguimiento del proceso educativo y evaluativo basados en el desarrollo
de competencias. Ası́ mismo no se tienen herramientas que se ajusten a los lineamientos
de evaluación dados por el Ministerio de Educación Nacional [79]. En dicho documento se
presenta la reglamentación para el proceso de evaluación de aprendizajes en el estudiante. Se
mencionan aspectos tales como: crear los propósitos de evaluación, diseño e implementación
del sistema institucional de evaluación, ası́ mismo sugiere trabajar el proceso educativo te-
niendo en cuenta la auto-evaluación, co-evaluación y hetero-evaluación. Este último aspecto
no es tenido en cuenta por los docentes del área tecnológica, quienes no poseen herramientas
que permitan el seguimiento sobre las habilidades, desempeños y competencias desarrolladas
por el estudiantes [24]. Por tanto el proceso educativo no brinda al educando claridad acerca
de los logros obtenidos, tampoco de las debilidades que tiene, ni ofrece mecanismo para la
mejora de su proceso formativo [28].
Por tanto se hace necesario el diseño de instrumentos evaluativos donde se tenga la posibili-
dad de brindar información al estudiante acerca del avance de sus procesos, de los aspectos a
mejorar y de las fortalezas que presenta. En esta misma lı́nea se espera que pueda tener una
evaluación integral, donde el estudiante se auto-evalúe y pueda evaluar a otros [58]. Asimis-
mo la herramienta a diseñar y crear debe tener la posibilidad de establecer los conocimientos
previos que tiene el estudiante, lo mismo que permita identificar al final del proceso el ni-
vel de cada competencia. Con esta información el docente podrá tener claridad del proceso
educativo, donde prime el desarrollo de habilidades, la aplicación de estas en contexto y la
solución de problemas dando uso a los conceptos aprendidos.
No obstante el aplicar una evaluación basada en competencias, implica mayor carga de tra-
bajo al docente que en muchos casos no cuenta con herramientas que le permitan hacer un
seguimiento adecuado al proceso educativo. Por tanto es necesario que los docentes del área
de tecnologı́a, cuenten con un apoyo que pueda llegar a reducir la carga laboral y que a
su vez les permita hacer un seguimiento adecuado del proceso evaluativo bajo el enfoque
de aprendizaje basado en competencias. De igual forma se tiene la dificultad del número
de estudiantes que debe atender, lo que hace que el proceso evaluativo sea dispendioso y
1.3 Solución Propuesta 5
complejo. Esto también hace que en muchas oportunidades por cansancio o desgaste, la eva-
luación dada no sea objetiva, generando inconformidad y causando poca motivación en el
estudiante [24].
Un posible solución surge desde la automatización del proceso evaluativo mediante la cons-
trucción de un sistema software que permita hacer un seguimiento a cada una de las acti-
vidades evaluativas y con ello obtener seguimiento del proceso educativo. Las actividades
evaluativas deben ser planeadas, estructuradas, ejecutadas y evaluadas de tal manera, que
brinden información al docente sobre el avance del proceso en el estudiante y a este último le
den información sobre los avances en su proceso de aprendizaje. De tal manera que se evalúe
constantemente la labor educativa a través del desempeño del estudiante y su impacto al
trabajar con la herramienta. El sistema debe re-alimentar las actividades desarrolladas por
el estudiante, informándole acerca de sus posibles falencias y la manera en que puede corre-
girlas. De igual manera debe informar al docente de los progresos obtenidos por el estudiante
y sus dificultades, con el fin de mantener el proceso en constante mejora.
En particular como objeto de estudio de este proyecto se hará su implementación en la

institución educativa distrital I.E.D Julio Garavito Armero. Esto debido a que el autor del
presente proyecto labora en esta institución y tiene acceso a la información requerida para
su implementación y desarrollo.
1.3. Solución Propuesta

La evaluación como proceso presenta tres clases fundamentales, las cuales permiten hacer
seguimiento al proceso educativo de forma constante y sistemática [129]. Estas etapas son
diagnóstico, formativo o de proceso y sumativa, con el objetivo de poder automatizarlas,
se desarrolló una herramienta alrededor de cada una de ellas. Para la implementación del
sistema se llevaron a cabo los siguientes pasos:
1. Revisión bibliográfica de temáticas relacionadas con educación en tecnologı́a basada

en competencias, modelos de diseño instruccional usados para esta área del conoci-
miento, también acerca de las fases que rigen el proceso educativo y evaluativo, los
instrumentos comunes de evaluación, ası́ como sus fases de validación. De igual mane-
ra se hizo revisión sobre modelos de automatización usados en educación, ambientes
de aprendizaje y validación de estas herramientas.
2. Análisis y construcción de los indicadores y habilidades de desempeño para el área de

tecnologı́a en los niveles de décimo y undécimo. Asimismo diseñar, construir y validar
rúbricas de evaluación y pruebas escritas de tipo diagnóstico y sumativo.
6 1 Introducción
3. Diseño y construcción del sistema software basado en modelos instruccionales para

evaluar competencias, el cual permita planear, medir habilidades, desempeños y com-
petencias en el estudiante.
4. Identificar los parámetros más relevantes en la aplicación del sistema como su facilidad
de uso y el impacto sobre la formación de competencias en el estudiante.
1.4. Contenido de la Tesis

Este documento describe las diversas fases y etapas para el desarrollo de un sistema au-
tomático que permitá basado en un modelo de diseño instruccional, hacer el seguimiento del
proceso educativo. A lo largo de los capı́tulos de este documento, se presentan los elementos
considerados para el desarrollo del sistema, se describe la implementación del mismo y se
muestran los resultados obtenidos en su aplicación. En el segundo capı́tulo se realiza una
breve descripción acerca del modelo de automatización usado, las principales funciones que
lo componen, ası́ como el tipo de informe que emite. También en este capı́tulo se hará una
breve descripción sobre la normatividad en el área de tecnologı́a en Colombia, los mode-
los comúnmente usados en diseño instruccional para esta área, las implicaciones de evaluar
basados en competencias, los momentos evaluativos y el diseño de algunos instrumentos de
evaluación. En el tercer capı́tulo, se profundiza en los aspectos más relevantes del problema
de la evaluación en tecnologı́a, asimismo se hace una descripción del diseño de la solución
planteada, los instrumentos de medición y su proceso de validación. En el cuarto capı́tulo
se describe la automatización de cada una de las fases del proceso evaluativo, los algorit-
mos usados en cada una de ellas y las partes que lo componen. En el quinto capı́tulo, se
describe la forma como fue validada la plataforma, ası́ como los resultados obtenidos en las
pruebas desarrolladas en otras instituciones. Finalmente, en el último capı́tulo se resaltan
los resultados más importantes obtenidos tras el desarrollo de este trabajo de investigación
y se señalan los elementos que podrı́an considerarse como trabajo futuro.
2. Marco de Referencia
En este capı́tulo se presentará un resumen de los principales conceptos alrededor del modelo
de automatización usado para el proceso evaluativo. En primer lugar se hará una breve des-
cripción de lo que significa la automatización de procesos y su incidencia en diversos campos.
Se hará énfasis en la aplicación de la automatización de procesos en educación como son los
ambientes de aprendizaje, el diseño instruccional y la evaluación educativa. Resaltando sus
principales caracterı́sticas y las variables que son comúnmente usadas para su automatiza-
ción. También en este capı́tulo se hará una descripción acerca de la educación tecnológica sus
principales enfoques y como ellos permiten generar currı́culos para la enseñanza. También
se presentará la normatividad usada para la enseñanza de la tecnologı́a en Colombia.
2.1. Automatización de procesos

La automatización de procesos permite la ejecución de varios tipos de tareas de forma autóno-
ma y controlada [10]. Para poder automatizar un proceso es necesario tener en cuenta una
serie de actividades ingenieriles que involucran aspectos tales como: el modelamiento del sis-
tema, identificación, estimación, simulación, planeación, toma de decisiones y optimización.
Dependiendo del proceso que se quiere automatizar y la información obtenida de este, serán
las herramientas de control a utilizar, el procesamiento de las señales, las etapas de filtrado,
los tipos de circuitos electrónicos, el protocolo de comunicación, el software, el algoritmo, sus
sensores y sus actuadores [97]. Estos elementos en conjunto permiten que el sistema auto-
matizado desarrolle la actividad para la cual fue creado. El crecimiento de la automatización
en sı́ misma, ha permitido que este campo del conocimiento tenga aplicación en diversas
áreas, entre ellas la manufactura, las comunicaciones, la industria aeroespacial, los procesos
industriales, las finanzas y la educación [90].
La automatización en la educación ha sido aplicada en diversos campos, dentro de ellos se

destaca la generación de aprendizajes, a partir del diseño de diversos tipos de materiales
didácticos, los que permiten al estudiante interactuar con diversos conceptos, aplicar sus
saberes en la solución de problemas sencillos, hacer cálculos simples, simular fenómenos, ası́
mismo estos sistemas permiten evaluar y analizar el avance que ha tenido el estudiante y dar
información acerca del proceso educativo [11] [20] [22] [38] [26] y [135]. También se ha aplica-
do la automatización como eje central de la sesión de clase donde se enseñan sus principales
conceptos y modelos, en este campo se tienen presentes experiencias como [66] [7] [32] y [41].
8 2 Marco de Referencia
Asimismo la automatización está presente en las aulas como apoyo al desarrollo del proceso
educativo a partir del seguimiento de una serie de modelos que permiten su estructuración y
aplicación [59]. Estos modelos tienen como base una serie de entradas, las cuales son procesa-
das hasta convertirse en un conjunto de salidas deseadas. Con la información obtenida tanto
docentes como estudiantes pueden obtener información que permita identificar y establecer
los resultados del proceso educativo.
2.1.1. Automatización de procesos en la educación

La educación encuentra en la automatización de procesos respuestas a diversas dificultades
y problemas que se presentan en el desarrollo de la sesiones de clase. Entre ellos la perdida
de motivación del estudiante por aprender, la poca eficacia de los métodos de enseñanza
aplicados, el tener materiales y evaluaciones que no estaban acorde con los procesos llevados
en el aula. Todo esto redunda en que el proceso de aprendizaje en el estudiante no obtenı́a
los resultados esperados. Una de las conclusiones iniciales que daban explicación a estos
resultados fue que el proceso educativo era no lineal, por tanto no serı́a fácil rastrear las
variables y los procesos que lo afectan. De allı́ nace la necesidad de aplicar la dinámica de
sistemas a la educación con modelos que permitan identificar los procesos presentes en el
aula, los agentes que intervienen en él y los recursos que se tienen para aplicarlos [40] y [95].
La aplicación de la dinámica de sistemas en el aula dio una perspectiva de la forma como
debe crearse el currı́culo, el diseño de cursos, de materiales y de procesos evaluativos.
El ingreso del computador al aula de clases contribuyó a cambiar también la forma como
se construı́an los ambientes de enseñanza y de aprendizaje [51]. Estos ambientes que ini-
cialmente eran considerados como espacios fı́sicos, evolucionaron a convertirse en espacios
virtuales donde se tiene la posibilidad de interactuar con un objeto de aprendizaje. Estas
herramientas buscan presentar conocimientos reales y llevarlos al contexto educativo, ası́ el
estudiante mediante la interactividad tiene la posibilidad de comprender muchos de los he-
chos que se presentan fuera del aula. Para ello se hace necesario que el sistema creado tenga
una serie de condiciones para permitir que la experiencia sea lo más cercana a la realidad
[104]. La construcción de estos objetos para el aprendizaje implican el desarrollo de software
bien para uso off-line o on-line, siendo esta última la más usada hoy.
Los sistemas de software implementados on-line no solo permiten generar conocimiento en

los estudiantes, permiten hacer un seguimiento de su proceso educativo e interactuar entre
los agentes del proceso enseñanza-aprendizaje [55]. La forma de interacción en un sistema
basado en software, permitirá a los usuarios tener mayor cercanı́a a las diversas opciones
disponibles en el sistema. Por tanto el desarrollo de un ambiente de aprendizaje virtual re-
quiere tener en cuenta una serie de requerimientos, lo mismo que tener una serie de etapas
para su diseño. Los requerimientos dependerán de la plataforma donde se implementará, las
2.1 Automatización de procesos 9
actividades que tendrá, el tipo de aprendizaje que desea lograr, la forma de navegación, la
organización del material y la evaluación del aprendizaje [48].
Chiapetts, Desautels y Telier afirman que el uso de sistemas automáticos basados en softwa-
re, permiten el desarrollo de las estructuras cognitivas relacionadas con la motivación [74].
Para ello se deben diseñar materiales significativos, de manera que estos logren el desarrollo
intelectual del estudiante. Esta caracterı́stica se logra gracias a la manipulación y explora-
ción de diversos objetos, lo que produce impacto en el estudiante. Por esto la creación de un
software educativo involucra una serie de procesos para su análisis, desarrollo y ejecución.
Lo que hace necesario un modelo que permita configurar el software de tal forma que pue-
da cumplir con los objetivos de aprendizaje esperados. De igual forma es necesario que la
herramienta software tenga una fase donde se pueda garantizar la medición, supervisión, y
evaluación de forma constante del proceso educativo [38]. Esto no solo permite evaluar los
alcances del estudiante en las metas educativas, sino que apreciar los alcances del ambiente
creado [37]. Es por ello que se diseñan bajo modelos de diseño instruccional, donde se modela
el ambiente a partir de una serie de fases fundamentales. En la siguiente sección se hará una
descripción acerca del diseño instruccional y sobre la forma como ha sido su automatización.
2.1.2. Automatización del diseño instruccional (D.I)

El D.I es un modelo de proceso, en el cual a partir de una necesidad educativa y unas metas
de aprendizaje, se crean herramientas educativas y evaluativas suficientes para suplir dicha
necesidad. Los modelos de D.I permiten obtener información de un sistema intervenido, me-
diante la aplicación de una serie de fases [66] y [12]. Este modelo consiste en cuatro fases
fundamentales: planeación, desarrollo, ejecución y evaluación. Cada una de estas fases brinda
información acerca del proceso educativo, de esta manera es posible corregir falencias antes
de finalizar la intervención. Aplicar estos modelos en el proceso educativo asegura seguimien-
to del ambiente de aprendizaje, la creación de cursos o de materiales [16], brinda mejoras
en los resultados obtenidos en el proceso [59]. Esto gracias a que es un proceso sistemático
y reflexivo donde se traduce el aprendizaje y la instrucción, en un plan para la creación de
materiales, actividades, uso de recursos y un proceso evaluativo, para cuantificar el proceso
de aprendizaje [128].
Procesos evaluativos basados en competencias son diseñados y desarrollados mediante mo-

delos de diseño instruccional, debido a la posibilidad de obtener resultados cualitativos y
cuantitativos, hacer seguimiento constante al estudiante y poder re-alimentar el proceso
educativo [104] [136] [50] y [131]. Suzuki explica la manera de diseñar herramientas educati-
vas, las cuales inician con el análisis de los objetivos de aprendizaje, listar los indicadores a
evaluar, seleccionar las herramientas evaluativas adecuadas a utilizar y diseñar los instrumen-
tos [131]. La fase de análisis de objetivos de aprendizaje permite determinar las habilidades
que el educando deberá conocer y aplicar al final del proceso educativo. A partir de es-
tas habilidades se establecen los indicadores que permitirán la medición de cada habilidad.
Esos indicadores deben ser cuantificables, permitiendo al docente establecer con precisión el
resultado que espera por parte del estudiante. Con los indicadores establecidos es posible de-
terminar las actividades a desarrollar y la herramienta evaluativa adecuada para medirlo [16].
Existen diversos modelos de diseño instruccional clasificados a partir de la estrategia pe-

dagógica que se va a utilizar. Algunos de estos modelos están basados en teorı́a de sistemas,
otros en la teorı́a cognitiva y otros en teorı́as constructivistas [12]. Pero todos ellos contienen
unas fases transversales entre ellas se tienen: análisis, diseño, desarrollo, implementación y
evaluación. En la primera fase se busca identificar en el estudiante sus conocimientos previos,
ası́ como la forma como aprenden más fácil. Es común en esta etapa la aplicación de test
de estilos de aprendizaje como los dados por Felder y Silverman [72], ası́ mismo es común
utilizar herramientas diagnósticas para determinar conceptos previos [120]. En la etapa de
diseño se hace la planeación acerca de las competencias y desempeños a trabajar, determi-
nando las habilidades a desarrollar, ası́ como los indicadores que permitirán medirlos. En la
fase de desarrollo se diseñan los instrumentos de evaluación en conjunto con las actividades
que estos quieren medir, de tal manera que se ajusten a los indicadores de medición a deter-
minar [5]. La fase de ejecución se lleva a cabo al aplicar en el aula cada una de las acciones
formativas planteadas, en ella se cuenta con la participación del estudiante. En la fase de
evaluación se aplican cada una de las herramientas diseñadas tanto de tipo formativo como
evaluativo, se analiza el impacto que cada una de ellas en el estudiante, ası́ como su posible
mejora para próximas aplicaciones [12].
Una de las ventajas que tienen los modelos de diseño instruccional es permitir avance en el
estudiante a pesar de la diferencia en los ritmos de aprendizaje. Esto gracias a que este tipo
de modelos generan impacto en el estudiante en cuánto a potenciar sus habilidades, dando
uso a diversas tecnologı́as TIC como apoyo educativo [59]. A pesar que los estudiantes no
aprenden al mismo ritmo, las herramientas creadas a través del modelo permiten generar
competencias y habilidades, debido a que se aplican en un contexto [50]. Su creación tiene
como base fundamental el seguimiento de los pasos del modelo de diseño utilizado. Estos
apoyos educativos, en muchos casos, son de tipo software y brindan respuesta rápida a los
procesos educativos, con ello el estudiante tiene la posibilidad de corregir errores concep-
tuales en el instante [87]. Un caso de este tipo de material es el presentado por [125], esta
herramienta presenta los conceptos fundamentales, simulación de algunos modelos y una
evaluación.
Métodos software usados para automatizar el diseño instruccional
El diseño instruccional ha sido automatizado mediante software, gracias al uso de la meto-

dologı́a Rational Unified Process (RPU), la cual asegura la producción desde sus primeras
fases de desarrollo un producto de calidad [80]. Esta metodologı́a es un estándar para el di-
seño, análisis, implementación y documentación de sistemas orientados a objetos. Este tipo
de estándar presenta un enfoque de desarrollo iterativo e incremental, proporciona iteracio-
nes tempranas que se enfocan en validar y producir la arquitectura de software y un ciclo
de desarrollo inicial que toma la forma de un prototipo ejecutable. Este prototipo va evolu-
cionando hasta convertirse en una versión final del proceso instruccional a automatizar [101].
La figura 2-1 presenta los pasos utilizados para aplicar el modelo, en ella se observa la
secuencia de las fases usadas. También se aprecia que en medio de cada fase se tiene un punto
de revisión, en donde se analiza a la luz de los requerimientos establecidos para cada fase, la
calidad del avance obtenido. De esta manera si el avance no logra los mı́nimos esperados es
posible re-diseñarlo o desecharlo. Estos puntos de revisión en el caso del software educativo,
están basados en unos cuestionarios elaborados, los cuales son revisados luego de la aplicación
o revisión de esta fase [80].
Comienzo Elaboración Construcción Transición
Objetivos del Arquitectura del Capacidades de Producto

ciclo de vida ciclo de vida operacional final
inicial
Figura 2-1.: Fases del proceso RPU [101]
La figura 2-2 evidencia los tiempos que se usan en cada una de las fases. Es posible observar
que las etapas iniciales tienen tiempos menores al ser comparados con la fase de construcción.
Esto es propio del estándar y su objetivo es garantizar que la fase de construcción solo inicie
cuando los controles de las fases previas se cumplan.
1 ra. Fase 2 da. Fase 3 ra. Fase 4 ta. Fase
Figura 2-2.: Gráfica de los tiempos por fase para el RPU [101]
Existen otras metodologı́as para el desarrollo de soluciones software basados en una tenden-
cia conocida como ingenierı́a instruccional [102]. Dentro de ella se tiene la metodologı́a MISA
(Método de Ingenierı́a para Sistemas de Aprendizaje), este método es de tipo integral donde
es posible expresar modelos de enseñanza para estructurar materiales educativos, identifica-
ción de unidades, ası́ como la estimación de costos de producción [80]. El modelo contiene
seis fases: definir el problema de enseñanza, proponer soluciones preliminares, arquitectura
del I.D, diseño y entrega de materiales instruccionales, construcción y validación de mate-
riales, finalizando con el plan de entrega del sistema de aprendizaje. Para cada una de las
fases se tienen una serie de entregables los cuales permiten hacer revisión constante de los
avances del software implementado. Este tipo de modelos cuentan con la posibilidad de 35
tareas principales, ası́ como 150 tareas secundarias, dentro de las que se destacan: buscar,
almacenar y recuperar repositorios de objetos de aprendizaje, ası́ mismo interactuar con un
recurso web, gestionar sus propios repositorios de objetos, compartilos e intercambiarlos por
otros [96].
Un aspecto fundamental para el desarrollo de los sistemas presentados es la posibilidad de

hacer una evaluación de los avances obtenidos por el estudiante. De igual forma se espera
que la evaluación educativa como proceso, también permita al docente identificar el nivel de
desempeño obtenido, a partir de analizar las habilidades que evidencia el estudiante [124]. Es
por ello que en la siguiente sección se presentará la automatización del proceso evaluativo.
Esta sección iniciará con algunas definiciones pedagógicas para luego a partir de ellas poder
generar sistemas que la automaticen.
2.1.3. Automatización del proceso evaluativo

El proceso educativo implica una serie de actividades que conducen al estudiante a adquirir
conocimientos y habilidades. El desarrollo de este proceso indica que existirán unos momentos
educativos los cuales deben ser planeados, desarrollados y evaluados en un determinado
momento. Esto implica que se tendrá un resultado del proceso, donde es de vital importancia
conocer los alcances conceptuales, las habilidades adquiridas y la aplicación de estos por
parte del estudiante. Por ello la evaluación no debe ser vista como la obtención de una
calificación, sino como un proceso que permite conocer el impacto del desarrollo educativo en
el estudiante [29]. Autores como Panagiotis plantean la evaluación, cómo la base fundamental
del aprendizaje, la cual genera motivación en el estudiante y le proporciona criterios acerca
de su proceso educativo [125].
Aspectos relevantes para automatizar la evaluación

Las herramientas educativas han sido automatizadas gracias a la necesidad de tener informa-
ción detallada sobre el desempeño del estudiante. Esta información permite a cada uno de
los agentes educativos establecer las mejoras que se deben hacer del proceso, conocer el nivel
de logro alcanzado [77] y tener un resultado que determine si el estudiante es competente o
no en una situación definida. Para ello se han diseñado diversas herramientas automáticas
que permiten hacer seguimiento de las metas o competencias que se quieren desarrollar. Es-
tos sistemas basan su desarrollo en una serie de requerimientos, los cuales dependerán del
tipo de actividad evaluativa propuesta. De esta manera todos los agentes involucrados en el
proceso educativo tendrán información en el momento que se requiera.
Existen diversas experiencias en las cuales se han automatizado los procesos evaluativos,
uno que es comúnmente usado son las pruebas escritas. Algunos de estos sistemas han si-
do desarrollados en espacios web, donde se espera que el estudiante acceda a ellos y pueda
responder un cuestionario, el cual brinda re-alimentación del nivel logrado. Estos sistemas
en algunos casos van acompañados de algún material previo el cual es evaluado mediante
un test. Experiencias como la de [26] [70] [135] y [60] evidencian sistemas donde se tienen
pruebas escritas para validar los aprendizajes obtenidos por los estudiantes.
Automatización de pruebas escritas
En el caso de automatizar pruebas escritas se tienen en cuenta para su diseño y construcción

aspectos tales como: el número de preguntas, la puntuación que se otorga a cada una, el
orden en que deben aparecer, el tipo de pregunta, el tiempo para su ejecución, las imágenes,
vı́deos o audios requeridos, entre otros [26]. Con estos requerimientos se generan algoritmos
que permiten la calificación de cada pregunta, en este aspecto es posible tener dos casos
comunes de preguntas cerradas, con única y con múltiple respuesta. En el primer caso se da
una puntuación a la respuesta correcta, la cual se almacena en una variable. En el segundo
caso se puede puntuar por cada posible respuesta o sobre el total de la pregunta. Al final
del test el sistema suma de forma ponderada los resultados de cada item y entrega el valor
obtenido [117], [118] y [38].
Las preguntas abiertas no son una herramienta muy común para automatizar, esto debido
a la complejidad del manejo del lenguaje, por tanto son muy pocas las experiencias que las
aplican [118]. El sistema llamado ‘MyTest’ [125] evidencia una herramienta evaluativa que
utiliza preguntas abiertas, las cuales son evaluadas por el docente. La herramienta evalúa
conceptos en matemáticas con preguntas cerradas y abiertas. El algoritmo de evaluación en
el caso de las preguntas abiertas es similar al descrito previamente. En el caso de las pregun-
tas abiertas en la experiencia el sistema toma la respuesta a mano por parte del estudiante y
la re-alimentación es dada por el docente. Este mismo caso se presenta en la herramienta de
evaluación de moodle R y otras plataformas, se tiene la herramienta para ubicar respuestas
abiertas, pero estas deben ser evaluadas por el docente [84].
Automatizar las preguntas abiertas implica algoritmos que puedan identificar palabras cla-
ves expandidas dentro de un texto [43]. El algoritmo a partir de un conjunto de términos y
sus definiciones toma pares de definiciones de un mismo término provenientes de diferentes
fuentes y a partir de estos pares se establecen parejas de palabras que pueden sustituirse
unas por otras y cuyo cambio en el significado de las definiciones resulta irrelevante. Este
tipo de parejas de palabras forman lo que se ha denominado como par-semántico.
La búsqueda de pares-semánticos se realiza sobre todas las definiciones del diccionario ter-
minológico. Una vez establecidos todos los pares de palabras, se sustituye la primera palabra
por la segunda en todos aquellos pares de definiciones en donde aparecen ambos términos en
su texto. Terminada la sustitución, el proceso de búsqueda de pares se repite. El algoritmo
termina hasta que ya no se identifican nuevos pares. Al final de cada ciclo, los pares de pa-
labras se combinan para formar conjuntos más grandes de palabras, todas ellas relacionadas
semánticamente. De esta manera se establece si el escrito desarrollado por el estudiante se
acerca a la respuesta correcta o no. Un aspecto fundamental al momento de evaluar con pre-
guntas abiertas es que deben ser bien construidas. Si bien no deben llevar al estudiante a la
respuesta, es necesario que permita varias opciones de respuesta y den claridad al educando
sobre lo que se quiere preguntar [57].
Automatización de rúbricas
La rúbrica permite evaluar las habilidades mostradas por el estudiante frente a un determi-
nado contexto, evidenciando que el proceso tiene criterios claros de evaluación y a su vez
calidad en el diseño de actividades [76]. Estas herramientas han sido automatizadas en pla-
taformas virtuales como Moodle. En ellas se tienen una serie de criterios, niveles descriptivos
y la asignación de una calificación numérica, todas estas tareas dadas por el docente [86].
Este sistema tiene un método de calificación el cual se basa en un porcentaje, su cálculo es:
PN
(gi − mini )
Gs = PN i=1 (2-1)
i=1 (maxi − mini )
Donde gi ∈ N es el número de puntos dado al i-esı́mo criterio, mini ∈ N es el número

mı́nimo posible de puntos para el i-esı́mo criterio, maxi ∈ N es el máximo número posible
de puntos para el i-ésimo criterio, y N ∈ N
Con este método, moodle hace el cálculo y entrega al estudiante la re-alimentación de su

proceso como una calificación. Un método similar utiliza [132], en donde por cada criterio se
establece un porcentaje. Por cada nivel de ese criterio se da un valor, en donde el máximo
será el porcentaje dado al criterio. Esto permite que el docente tenga la posibilidad de elegir
cual atributo le parece más importante al evaluar según su proceso de enseñanza. Adicional-
mente brinda al estudiante la posibilidad de hacer una asociación del valor obtenido en la
calificación con el nivel en el que se ubica [83].
2.2 Educación tecnológica 15
2.2. Educación tecnológica

La educación tecnológica es reconocida internacionalmente por dar al ciudadano la prepa-
ración necesaria para participar de forma activa en la sociedad de hoy. Esta área del cono-
cimiento tiene la posibilidad de trabajar en un contexto determinado, brindando diversas
posibles soluciones a problemas dentro de ese contexto. Esto gracias a que sus conocimien-
tos y habilidades no son como en las demás áreas del conocimiento, en las cuales tienden a
ser introspectivas. Sino que la tecnologı́a usa conocimiento de diversas áreas y las aprove-
cha para generar diversas explicaciones, lo mismo que soluciones a problemas cotidianos [61].
Existen diversas formas en las cuales se ha vinculado la tecnologı́a con la educación Gagné
[44] se preguntaba acerca de la forma cómo un producto tecnológico podı́a por sı́ mismo
generar aprendizaje. De lograr aprendizaje ¿cuál es el vı́nculo y la relación que existe entre
ambas? A partir de ello ¿cómo puede la tecnologı́a ser contextualizada en el marco educativo?
Estas preguntas han generado diversas investigaciones las cuales buscan analizar la tecno-
logı́a y su relación con el aprendizaje desde diversas observaciones, dentro de ellas se tiene:
evolución de la sociedad, la educación y su influencia en la selección de teorı́as del aprendi-
zaje y tecnologı́as, las teorı́as de aprendizaje y la tecnologı́a situadas de alguna manera en
un campo conceptual, lo mismo que las teorı́as del aprendizaje y la enseñanza conectadas
junto con el procesamiento de la información y la adquisición de conocimiento [73]. Estas
investigaciones permitieron ver la tecnologı́a y su relación con la educación desde diversos
enfoques a partir de la relación enseñanza-aprendizaje.
Uno de los enfoques en los cuales se enmarca la enseñanza-aprendizaje de la tecnologı́a es la

tecnologı́a como artefacto. Esta perspectiva busca analizar un objeto desde diversos aspectos.
Desde su forma fı́sica, su diseño, su estructura, sus modos de funcionamiento y los sistemas
que lo componen [137] y [8]. Estas descripciones están limitadas al tipo de artefacto, su
nivel de sofisticación y a la complejidad de los sistemas que este contenga. El análisis de los
artefactos permite al estudiante comprender principios de diseño, lo mismo que dar un uso
adecuado, establecer sus formas de funcionamiento y los mandos que puede tener. El análisis
permite entre otros aspectos poder generar modelos conceptuales sobre el artefacto que será
analizado, lo que genera una compresión de los diferentes sistemas que lo componen [92] y
[114]. De igual forma el análisis de los artefactos prima también el comprender aspectos de
ı́ndole económico, en los cuales se espera que se pueda comprender el costo de producción
y la forma como se comercializa. Lo que brinda un panorama sobre los artefactos no solo
desde el punto de vista de relación de saberes, sino la posibilidad de ver que su producción
y comercialización es un proceso [138].
La tecnologı́a como conocimiento es otro de los enfoques en los que se enmarca la relación
de la tecnologı́a con la educación. En esta perspectiva la tecnologı́a es vista como objeto de
estudio, donde es analizada como aspecto filosófico. De tal manera que sus conceptos son
aplicables al desarrollo de nuevas tecnologı́as. Si se considerará el comprender un artefacto
desde él es posible generar diversos conocimientos, dentro de ellos: los fı́sicos, la naturale-
za funcional y los principios que lo rigen. Este enfoque tiende a hacer más descriptivo en
términos de conocimientos aplicados, teniendo en cuenta un alto grado de cientificidad en las
descripciones de cualquier sistema presente en una tecnologı́a [137]. Este enfoque brinda al
estudiante la posibilidad de comprender el objeto por los conceptos transversales de diversas
áreas del conocimiento presentes en un sistema tecnológico. De tal manera que a partir de
ellas el educando, pueda dar explicaciones con un nivel de argumentación acorde al concepto
cientı́fico presente en el artefacto [138].
El tercer enfoque la tecnologı́a educativa es enmarcada en el desarrollo de actividades. En

este enfoque se busca el desarrollo de pensamiento tecnológico a partir de los procesos pre-
sentes en el desarrollo tecnológico. Se tiene tres tipos de procesos fundamentales: diseño, el
hacer y utilizar y la apreciación de procesos. Arceo y Diaz Barriga explican, los dos primeros
procesos son más especı́ficos del pensamiento técnico e ingenieril, mientras el tercero debe
ser aprendido por todos los ciudadanos [137]. Este tercer enfoque espera que el ciudadano
tenga conocimiento acerca de los recursos energéticos, del mecanizado y automatización. No
como conceptos complejos sino como explicaciones del proceso propio de diseño, ensamble y
construcción de algún artefacto [138].
El último enfoque vincula la tecnologı́a con conceptos éticos y de valores, donde prima la
reflexión alrededor del uso de la tecnologı́a en diversos entornos. Asimismo se hace un análisis
de los sistemas tecnológicos y su impacto en el ser humano, la sociedad y el ambiente [137].
A partir de esos impactos surgen cuatro vı́as sobre los cuales se trabaja este enfoque, la
primera de ellas es la relación que el ser humano tiene frente a una determinada tecnologı́a
hasta incluso ser esencial para la vida [92]. La tecnologı́a como aspecto que hace lectura de
la realidad, a partir de la cual observa necesidades y da una adecuada interpretación de ellas.
La tercer vı́a analiza como la tecnologı́a altera la realidad de una sociedad. Ejemplos de este
aspecto son los video juegos, la ciencia ficción y la incursión del computador en el hogar.
La última vı́a de este enfoque examina la forma como la tecnologı́a y sus avances generan
influencia en el ser humano.
2.2 Educación tecnológica 17
Actores presentes en el proceso educativo
Sociedad Escuela Individuo
Insumos para el proceso educativo
Objetivos: basados
en promover el desarrollo de
competencias
Métodos de enseñanza Enseñanza la tecnología

basados en competencias
Contenidos propios del

enfoque tecnológico a
seguir
Figura 2-3.: Aspectos fundamentales en el diseño curricular [106]
A partir de estos enfoques se han generado diversos currı́culos que permiten la enseñanza de
la tecnologı́a. Estos currı́culos proponen la enseñanza de la tecnologı́a basados en competen-
cias, por tanto buscan que el estudiante evidencie a partir de habilidades saberes tecnológicos,
también conocidos como las competencias del siglo XXI. La figura 2-3 evidencia la forma
como [106] propone que se debe analizar el desarrollo curricular para estas competencias.
En la figura es posible observar que es de suma importancia para esos desarrollos curricu-
lares tener unas metas claras acerca de lo que se quiere enseñar en tecnologı́a. Asimismo
determinar el método de enseñanza, las actividades a desarrollar ası́ como los ambientes de
aprendizaje que contribuyan a desarrollar habilidades tecnológicas en el estudiante. De igual
forma se deben plantear los conceptos o contenidos que se espera abordar durante el tiempo
que se aplique el currı́culo. De otro lado se tienen los actores que estarán acompañando el
proceso educativo [6]. La sociedad a partir de analizar como la tecnologı́a se integra a ella, las
necesidades que la tecnologı́a ha suplido y puede llegar a suplir. También se tendrá a la es-
cuela como eje fundamental del desarrollo curricular, generando una planeación que permita
desarrollar habilidades en el estudiante, teniendo en cuenta conocimientos, procesos educa-
tivos, la evaluación y factores éticos que involucran la interacción con otros. Por último en la
figura vemos al individuo que representa al estudiante, quien debe apropiar las habilidades
tecnológicas, solucionar problemas a partir de sus conocimientos y habilidades, desarrollar
conceptos tecnológicos que involucren el entorno, adoptar una postura crı́tica frente al uso
de la tecnologı́a y aplicar valores como la ética al trabajar con otros [134].
2.2.1. Educación tecnológica en Colombia

En Colombia el área de tecnologı́a e informática se ha concebido con la idea fundamental de
generar ciudadanos que estén en capacidad de satisfacer necesidades, transformar el entorno
y la naturaleza, a partir de un uso adecuado de los recursos que se tienen a disposición [34].
También se espera el desarrollo de actitudes cientı́ficas y tecnológicas con la idea fundamental
de enfrentar y comprender las transformaciones que desde ellas se producen, lo que contri-
buye a proporcionar conocimientos y destrezas que aportan a la solución de problemas, ası́
como la localización de contextos especı́ficos que la vida cotidiana exige [24]. Para ello se han
generado una serie de polı́ticas públicas desde el Ministerio de Educación Nacional (MEN) y
las secretarias de educación, en las cuales se pretende motivar a los niños y niñas, los jóvenes
y docentes a interactuar con las tecnologı́as a partir de relaciones que se establecen entre
seres humanos al solucionar problemas.
El MEN en el año 2008 publica el documento Serie Guı́a # 30: ser competente en tecnologı́a:
una necesidad para el desarrollo [34]. En este documento inicia con un marco conceptual
dentro del cual se establece una serie de definiciones básicas alrededor del significado de la
tecnologı́a. Después, presenta las diversas relaciones que tiene la tecnologı́a con la evolución
del hombre, por ejemplo con la ciencia, la técnica, la ética, el desarrollo y evolución de la
sociedad, entre otros aspectos. Finalmente, describe un conjunto de lineamientos que per-
miten organizar los procesos educativos y evaluativos en el aula mediante una organización
jerárquica de componentes, competencias y desempeños para cada uno de los grupos de gra-
dos de educación básica y media.
La figura 2-4 presenta la organización del documento, se pueden observar en el nivel superior
los componentes que conforman la base fundamental del documento: Naturaleza y evolución
de la tecnologı́a, Apropiación y uso de la tecnologı́a, Solución de problemas con tecnologı́a y
Tecnologı́a y sociedad. En el segundo nivel, para cada uno de los componentes se asocia una
competencia que se espera sea desarrollada dentro del proceso formativo de los estudiantes
en cada grupo de niveles educativos, para cada una de las competencias. En un tercer nivel,
se ubica el conjunto de desempeños asociados a cada competencia con el fin de medir el nivel
de alcance de la competencia por parte de los estudiantes.
2.3 Resumen 19
Primero y Cuarto y Sexto y Octavo y Décimo y

tercero quinto séptimo noveno once
Apropiación y Naturaleza y
Solución de
Tecnología evolución de
uso de problemas con
y sociedad la
tecnología tecnología
tecnología
Competencia Competencia Competencia Competencia
Desempeño 1 Desempeño 1 Desempeño 1 Desempeño 1

..... ..... ..... .....
Figura 2-4.: Organización de la serie guı́a #30
La Secretaria de Educación Distrital (SED Bogotá) ha generado una serie de documentos

que buscan el desarrollo de currı́culos alrededor del área tecnológica, lo mismo que el diseño
de ambientes de aprendizaje y materiales didácticos [52] y [56]. Estos documentos esperan
que los currı́culos diseñados por las instituciones educativas, permitan un fortalecimiento
de la cultura cientı́fica, donde los contenidos fundamentales se integren con su puesta en
práctica a partir de ejercicios sencillos. También evidencian la necesidad de diseñar espacios
educativos donde la interacción con los conceptos lleven al estudiante a comprender diversas
teorı́as. Con esto se espera que el estudiante logre un nivel de apropiación adecuado y pueda
llevar algunos conceptos teóricos a la práctica. Un ejemplo de este tipo de diseño fue desa-
rrollado por [32], quien evidencia que una organización curricular adecuada, acompañado
de un ambiente de aprendizaje bien construido permite el fortalecer los aprendizajes y la
comprensión de conocimientos cientı́ficos.
2.3. Resumen
En este capı́tulo se presentaron los conceptos básicos necesarios para el desarrollo del pre-
sente trabajo: en primer lugar se mostró la descripción del proceso de automatización y su
aplicación en el diseño de ambientes de aprendizaje, diseño instruccional y el proceso evalua-
tivo en educación. Luego se presentó la educación en tecnologı́a y los diversos enfoques los
cuales son la base fundamental de las competencias del siglo XXI. Se describió el panorama
normativo de la educación en tecnologı́a en Colombia, tanto desde el MEN como desde la
SED Bogotá. En el siguiente capı́tulo se hará una descripción acerca del problema de la
evaluación en el contexto educativo, teniendo en cuenta los instrumentos necesarios y su
validación, ası́ como los esquemas automáticos que se pueden implementar.
3. Diseño y creación de instrumentos de
evaluación
En este capı́tulo se tendrá una ampliación del problema de la evaluación educativa basada
en competencias. En Colombia esta evaluación en el área de tecnologı́a es poco común, esto
debido a diversos factores que se tienen en las aulas. Algunos de esos factores serán descritos
en las secciones que conforman el capı́tulo. También a partir de los problemas descritos se
seleccionarán los requerimientos a automatizar, dando una explicación de qué son y qué
caracterı́sticas tienen. Además se explicará la forma cómo se crearon los instrumentos para
los diversos momentos de la evaluación. Se contará el proceso de diseño, creación y validación
tanto de las rúbricas como de las pruebas escritas.
3.1. Importancia de la evaluación educativa en el área

tecnológica
La evaluación por competencias para el área tecnológica es fundamental, debido a que per-
mite identificar y establecer las habilidades que el estudiante alcanza en las competencias
propuestas por el educador dentro del proceso educativo [119]. Esa evaluación como proceso
permite al docente hacer un seguimiento constante al avance logrado por el educando en
los desempeños propuestos en cada competencia. También el proceso evaluativo le brinda la
posibilidad de hacer estimación de la naturaleza, calidad, habilidad y mejoras que presenta
el estudiante dentro del proceso educativo [121]. El proceso evaluativo comúnmente presenta
tres momentos fundamentales: diagnóstico, de proceso y sumativo. El docente debe desa-
rrollar por cada curso, una serie de actividades que conduzcan a evidenciar los resultados
obtenidos por los estudiantes [110]. El desarrollo de las actividades evaluativas hace necesario
que el docente planeé cada momento evaluativo a partir del mismo instante en que inicia el
proceso educativo.
3.1.1. Fases del proceso evaluativo en el área tecnológica

El proceso educativo inicia comúnmente con una actividad evaluativa de tipo diagnóstico, en
la cual el docente busca establecer el nivel que tienen cada uno de los grupos en los desem-
peños que se planearon trabajar en el periodo académico. Esta evaluación debe estar basada
22 3 Diseño y creación de instrumentos de evaluación
en la forma como el estudiante soluciona problemas particulares y especı́ficos, en un entorno

dado [28]. Por tanto la evaluación diagnóstica debe presentar instrucciones adecuadas que
permitan establecer las habilidades que el estudiante utilizarı́a frente a un caso determinado.
Comúnmente se utilizan para este tipo de evaluación pruebas escritas con diversos tipos
de preguntas, donde el docente establece el nivel de habilidad de cada estudiante en cada
una de las habilidades [9]. La unión de algunas destrezas, permiten al docente establecer el
nivel obtenido en el desempeño y de igual manera al analizar varios desempeños es posible
determinar el nivel de competencia.
Luego de establecer el nivel de competencia de cada estudiante, el siguiente paso es de-

terminar las actividades educativas que desarrollará en cada periodo académico por cada
nivel educativo [110]. El docente a partir de los desempeños a desarrollar y sus respectivas
habilidades, hace la planeación de cada actividad que permita evidenciar destrezas en el
estudiante. Es necesario aclarar que estas destrezas deben ser medibles, especı́ficas, claras y
dar información de lo que se espera que haga el estudiante durante un periodo académico
[88]. Esas habilidades que se evaluarán en el estudiante están ligadas a unos aprendizajes
que se espera el educando evidencie, por tanto el docente puede, a partir de instrumentos
de evaluación, identificar esas destrezas mediante diarios de clase, portafolios, libretas de
clase, entre otras [29]. La re-alimentación al estudiante sobre su proceso educativo es un
aspecto fundamental en este momento evaluativo, ya que esto permite establecer los posibles
aspectos a mejorar [119].
El último espacio evaluativo es el sumativo donde el docente revisa el proceso de enseñanza-

aprendizaje planteado y sus resultados [29]. En este tipo de evaluación se espera observar
si existió o no mejora en los desempeños evaluados inicialmente en los estudiantes, lo mis-
mo que información al docente sobre la estrategia usada [64]. Existen diversas herramientas
comúnmente usadas para aplicar este tipo de momento evaluativo entre ellas el portafolio,
mapas conceptuales o mentales y las evaluaciones escritas tipo test. Está última es muy usado
y aplica una evaluación similar o la misma que se planteó al comienzo del proceso educativo.
Esto con la finalidad de establecer si existió o no mejora en los desempeños trabajados luego
del proceso enseñaza-aprendizaje [119]. De esta manera el docente puede revisar su proceso
de enseñanza y el estudiante establecer si obtuvo o no destrezas en una determinada com-
petencia.
Un aspecto adicional con mucha relevancia en procesos evaluativos por competencias es la

auto-evalución y co-evaluación por parte de los estudiantes. Estos aspectos son fundamenta-
les dentro del proceso evaluativo, en el caso de la auto-evaluación esta permite al estudiante
desarrollar capacidades y habilidades para evaluar su propio proceso de aprendizaje. La
co-evaluación contribuye a la generación de la auto-regulación del aprendizaje, reforzando
la reflexión sobre fortalezas, debilidades y deficiencias [28]. Es fundamental el involucrar al
3.1 Importancia de la evaluación educativa en el área tecnológica 23
estudiante dentro del proceso evaluativo, el educando es el centro del proceso y la opinión
sobre su desempeño y el del otro permite evidenciar los alcances que considera ha obtenido
en el proceso. También es quién evidencia los desempeños, muestra las actitudes y utiliza
las habilidades en diversas situaciones dadas, por tanto su visión es importante dentro del
proceso evaluativo [54].
El proceso evaluativo basado en competencias descrito por [9] [28] [64] [88] [119] y [134] puede
ser modelado como un sistema de entrada salida como el mostrado en la figura 3-1. Este
sistema permite observar unas entradas, las cuales pueden ser modificadas por el proceso
evaluativo y entregan a la salidas del proceso unos resultados que afectan tanto al estudiante
como a la planeación desarrollada por el docente. Es posible observar que se tienen tres
entradas conformadas por aspectos fundamentales: las competencias que se quieren medir,
los estudiantes como eje fundamental del proceso de aprendizaje y el docente como quien
diseña los aspectos del proceso de enseñanza.
Proceso de evaluación
Salidas del sistema
Momentos evaluativos Formas de evaluación
Entradas del sistema Nivel de competencia
Evaluación diagnóstica Auto-evaluación
del estudiante
Competencias
Objetivos de aprendizaje
Evaluación de proceso Co-evaluación Nivel de competencia
Perfil del de cada grupo
estudiantes y docentes Evaluación Sumativa Hetero-evaluación
Nivel de impacto de
las estrategias usadas
Usan diversos instrumentos
de medición
Figura 3-1.: Evaluación por competencias
Las competencias también denominadas objetivos de aprendizaje, se describen mediante las

dimensiones o desempeños y se evalúa a través de habilidades que el estudiante debe eviden-
ciar al aplicarlas a una situación particular dentro de un contexto [50] y [134]. El docente
en este modelo de evaluación es el encargado de construir y aplicar las actividades de cada
momento evaluativo, también es el responsable de generar los espacios para las formas de
evaluación, adicionalmente es quien analiza los resultados obtenidos a la salida del proceso
[28]. El estudiante es quien se ve afectado por cada uno de los aspectos relacionados en el
proceso de evaluación, además recibe como re-alimentación los resultados procesados por el
docente a la salida del sistema. Estos mismos resultados le brindan al docente identificar
cuál (es) de las actividades evaluativas permitieron evidenciar aprendizaje en el estudiante,
las fortalezas de las estrategias usadas y las mejoras que debe aplicar al proceso educativo
[77]. Adicionalmente el educador con los resultados generados por el proceso de evaluación
puede determinar el nivel de competencia de cada estudiante ası́ como de cada grupo.
La evaluación de competencias permite integración de conocimientos, análisis de destrezas,

solución de problemas en contexto y desarrollar potenciales en el estudiante para el uso
adecuado de herramientas de las TIC [134]. Por tanto la planeación del proceso de evaluación
es un paso fundamental en la formación del estudiante, esta le brinda herramientas para su
mejora en los procesos y se convierte en aspecto formativo dando información constante sobre
su proceso. Es uno de los modelos más usados para el seguimiento del proceso educativo,
también es reconocido por incentivar mejora constante tanto de la labor docente como del
proceso de aprendizaje en el estudiante. Además es un modelo que garantiza calidad en la
construcción de competencias, brinda formación en cada momento del proceso educativo y
origina que este se centre en el estudiante [122]. Este será el modelo de evaluación que se
utilizará para el desarrollo del proceso de automatización, esto debido a que es el modelo
que se propone desde el MEN en la serie guı́a # 30, lo mismo que en el decreto 1290. Pero
antes de ingresar a hacer algunas definiciones alrededor de la forma como se hará el proceso
de automatización, es necesario revisar como es el proceso evaluativo en Colombia y cuáles
son las variables que utiliza.
3.1.2. Evaluación en educación tecnológica en Colombia

Un modelo evaluativo basado en la medición de competencias es lo que se espera que el docen-
te aplique dentro del aula para hacer seguimiento a sus estudiantes y a su propio desempeño
[122]. En el caso de Colombia esto no siempre se cumple, informes sobre el proceso de eva-
luación del área tecnológica evidencian que solo el 29.4 % utiliza una evaluación basada en
competencia [24]. Estos estudios demuestran que se hace un seguimiento constante, tienen
diversos momentos evaluativos y utiliza diversas situaciones para propiciar reflexión en el
estudiante sobre su nivel de logro obtenido. También reporta este informe que el 13.4 % de
los educadores usan como evaluación sumativa un producto y sobre él valoran el proceso
educativo. Lo que indica que el estudiante no es valorado en su proceso, sino en lograr el
desarrollo de un producto, sin importar el proceso que haya implicado su construcción. Por
tanto la calificación del proceso solo se da por el momento final del proceso educativo, es-
to sugiere que no se tienen instrumentos evaluativos que den información sobre el proceso
formativo del estudiante. Los resultados dados por el informe compartir frente al diseño de
instrumentos evaluativos por parte del docente, se evidencia que cerca del 82.2 % no mencio-
nan ni toman en cuenta en sus experiencias la evaluación. El porcentaje restante privilegia
el uso de producciones orales, escritas y portafolios, respectivamente.
El informe construido sobre el área tecnológica en Colombia, revela que no es clara la forma
de evaluación dentro de los procesos que siguen los docentes. Se muestra un uso constan-
te de la hetero-eveluación por parte de los docentes, pero escasea la auto-evaluación y la
co-evaluación. Por tanto es posible suponer que en el ámbito de la evaluación de procesos

basados en competencias el área de tecnologı́a e informática no es comúnmente usada. La
fundación compartir en su reporte presente una indagación que se hizo a los docentes del
área tecnológica frente a polı́ticas públicas de evaluación y seguimiento, donde estableció un
desconocimiento del tema. Esto permite suponer que este modelo de evaluación no ha sido
incorporado dentro de los procesos del área [24].
En Colombia la evaluación tecnológica está reglamentada para determinar una serie de ha-
bilidades en el estudiante, brindando espacios para la auto-evaluación, la co-evaluación y
la hetero-evaluación [79], esto no siempre sucede en las instituciones educativas en el área
de tecnologı́a. Se evidencia el uso de la hetero-evaluación en el proceso educativo, pero no
se da la posibilidad al estudiante de evaluarse ası́ mismo ni al otro [24]. Esto no permite
al estudiante la posibilidad de reflexionar acerca de su propio trabajo, no posibilita emitir
juicio sobre su desempeño y a su vez el educando no logra comprender en qué se ha mejorado
y en qué se debe seguir evolucionando para alcanzar la meta de aprendizaje [28]. Por ello
es posible establecer que no se trabajan procesos educativos por competencias, ya que no
existe dentro del proceso una re-alimentación al estudiante, donde él conozca sus verdaderos
avances ni la forma de mejorar donde tiene dificultad.
El proceso evaluativo evidenciado por el informe del premio compartir, establece que los do-
centes del área de tecnologı́a evalúan la forma como el estudiante usa el computador. También
presenta el proceso de enseñanza-aprendizaje centrado en el aprendizaje de software, donde
prima el uso del paquete office de Microsoft R . El informe evidencia que los docentes del
área tecnológica evalúan conocimientos pero no su aplicación dentro de un contexto, ni el
empleo de la tecnologı́a para la solución de problemas, ası́ como la forma como el estudiante
utiliza o aprende herramientas de las TIC [24]. Por tanto, se presume la no utilización de la
evaluación por competencias para el área de tecnologı́a e informática en Colombia, si bien
los docentes enuncian postulados pertenecientes a este enfoque, no existen explicaciones de
la forma como lo aplican en sus aulas de clase [24]. De igual forma los educadores justifican
dificultades para aplicar un modelo evaluativo por competencias, debido a diversos factores,
entre ellos, el que más se destaca es la cantidad de estudiantes en el aula [39] y [85].
La cantidad de estudiantes en el aula es un factor que han demostrado diversos estudios,

genera influencia al momento de hacer seguimiento de procesos, ya que la situación puede
hacerse inmanejable para el docente. El educador puede llevar un registro de las habilidades
que están trabajando sus estudiantes, pero le será complejo establecer el nivel logrado por
cada uno, lo mismo que tendrá dificultad al tratar de identificar el nivel obtenido por el total
del grupo. Esto debido a que algunas veces un desempeño puede ser trabajado en más de un
periodo académico, por tanto a medida que se incrementan los periodos académicos hacer
seguimiento se hace más complejo [39] y [85]. El estudiante también se ve afectado por la di-
ficultad de hacer seguimiento del proceso educativo, diversas investigaciones han demostrado
que grupos de educandos numerosos, no solo dificultan la labor docente, también dificultan
la construcción de informes de desempeño, por tanto el educando no tiene información ni
re-alimentación del estado real del nivel de logro obtenido [82] y [91].
En Bogotá la secretaria de educación distrital (SED) en el año 2009 presenta la resolución

1577, en la cual plantea la cantidad de estudiantes por aula. La SED explica en el tı́tulo tres
de dicha resolución que las instituciones educativas de la capital deben tener un mı́nimo de
40 estudiantes por aula [123]. También el MEN en el decreto 1850 del año 2002 plantea un
número de 30 horas semanales de permanencia en las instituciones, de ellas el docente debe
trabajar 22 horas en clase, 1 hora de atención a padres, 2 horas a la semana para reunio-
nes de área y el resto de horas para preparación de clases y el desarrollo de los proyectos
académicos [78]. Esto hace que un docente que esté en una institución con dos horas de
clase asignadas pueda llegar a tener cerca de once cursos y si en cada uno de ellos tiene
40 estudiantes, tendrı́a un total de 444 educandos. Lo que implica que hacer seguimiento
individual del proceso de aprendizaje es una labor donde al docente requerirı́a el sistemati-
zar el proceso. Sistematizar la evaluación le brindará al docente la posibilidad de analizar el
desempeño de cada estudiante, los niveles de logro alcanzados y aquellos donde el educando
tiene dificultad, ası́ como la posibilidad de analizar diversos tipos de situaciones pedagógicas
que le permitirán tomar decisiones en pro de la mejora de los procesos educativos [24].
La tabla 3-1 resume los diversos problemas descritos alrededor del proceso evaluativo en el
área de tecnologı́a en Colombia. La tabla presenta dos aspectos fundamentales y que según
informes sobre el área tecnológica, no permiten evaluación por competencias. También hace
una descripción de las posibles consecuencias de no tener un desarrollo educativo basado en
competencias. Se destaca el poco uso de las fases de evaluación dentro del proceso, también
muestra la falta de re-alimentación del proceso hacı́a el estudiante, además muestra un pro-
ceso de evaluación que se basa en el aprendizaje de conceptos o uso de software teniendo
en cuenta que en la aplicación de conceptos y que el proceso evaluativo en muchos casos
depende de la entrega de un producto por parte del estudiante.
La tabla también muestra la influencia que genera la cantidad de estudiantes en el aula, don-
de predomina la falta de seguimiento a las habilidades desarrolladas por el estudiante, las
dificultades de conocer el rendimiento de cada grupo en cuánto a habilidades, desempeños y
competencias. Adicionalmente hay dificultades para evaluar desempeños que se trabajan en
diversos periodos académicos y falta de re-alimentación del proceso a estudiantes y docentes.
Dificultades del proceso evaluativo en Colombia para el área de tecnologı́a

Aspecto Consecuencia generada
No hay seguimiento adecuado de procesos.
Se trabaja poco la auto y co -evaluación dentro del

proceso evaluativo.
No se da una re-alimentación adecuada al estu-

No se trabaja por competencias diante.
La evaluación se basa en conceptos o uso de soft-

ware más no en su aplicación en contexto.
La evaluación se basa en la entrega de un producto

determinado, no existe proceso constante.
Dificultades para hacer seguimiento a las habilida-

des obtenidas por el estudiante.
Es complejo obtener información sobre el avance

de un grupo frente a alguna habilidad, desempeño
o competencia
Cantidad de estudiantes en el
aula Al evaluar desempeños en varios periodos
académicos se dificulta obtener información de los
niveles de logro
El estudiante no recibe información adecuada de

sus avances ni dificultades
Tabla 3-1.: Dificultades encontradas en Colombia para el proceso evaluativo
Tomando los aspectos mencionados previamente se propone el desarrollo de una herramienta

automatizada por software, la cual permita al docente hacer un seguimiento de los procesos
educativos de los estudiantes. La herramienta que se propone estará basada en evaluación
por competencias para el área de tecnologı́a, por tanto es necesario revisar los objetivos de
aprendizaje que se utilizarán. A partir de ellos y sus desempeños se considera crear indica-
dores que permitan evidenciar las habilidades del estudiante. Se propone generar diversos
tipos de informes donde el docente y el estudiante puedan mediante diversos gráficos, obser-
var el nivel de logro alcanzado. De igual manera se plantea que el sistema debe entregar un
consolidado de cada desempeño trabajado al estudiante y al docente.
Es necesario que la herramienta a desarrollar contenga un instrumento de diagnóstico que

permita al docente identificar el nivel de logro que tienen los estudiantes antes de iniciar
el proceso. Se espera que esta herramienta entregue por cada competencia un gráfico que
permite establecer el nivel de logro obtenido por el grupo de estudiantes por cada desem-
peño. También la herramienta debe brindar al estudiante un informe donde se entregue
re-alimentación acerca de cada uno de las competencias evaluadas. De esta manera tanto el
estudiante como el docente podrán conocer los aspectos donde se deben mejorar y aquellos
donde se tiene un buen desempeño. También se tendrá un instrumento de tipo sumativo
que brinde información acerca de los resultados obtenidos por los estudiantes luego de fina-
lizado el proceso educativo. Este instrumento será básicamente el mismo de diagnóstico y
su función principal será la de permitir a docentes y estudiantes establecer el nivel de cre-
cimiento o disminución obtenido en los desempeños trabajados durante el periodo académico.
En la siguiente sección se explicarán los aspectos importantes para poder automatizar el

proceso evaluativo. Se hará una descripción detallada de cada aspecto, su importancia y los
posibles instrumentos que se requieren construir para posteriormente poder automatizarlos.
3.2. Requerimientos para automatizar el proceso

evaluativo
En la sección anterior se presentaron algunos de los aspectos que en Colombia dificultan el
poder hacer un seguimiento al proceso evaluativo cuando este se basa en competencias. Se
logro establecer que se tienen aspectos tales como la cantidad de estudiantes, falta de segui-
miento y una evaluación que carece de re-alimentación para el estudiante. Adicional a estos
aspectos, existen otros factores que se deben tener en cuenta para poder proponer la herra-
mienta basada en automatización. Dentro de esos aspectos se tienen: el número de periodos
académicos de la institución, el valor porcentual que la institución asume para el caso de la
auto-evaluación, co-evaluación y hetero-eveluación, ası́ como la cantidad de desempeños que
el docente decide trabajar en un periodo académico.
En el caso de los periodos académicos el ministerio de educación nacional (MEN) en el de-

creto 1850 de 2002, en su artı́culo 3 aclara que el rector de cada institución determinará la
cantidad de periodos académicos para el año académico [78]. De igual forma estos depen-
derán del plan de estudios de la institución, lo que resalta la norma es que los planes deben
ser completados en el total de semanas establecidas por la ley. El número de semanas esta-
blecidos por el decreto es de 40 semanas al año. De ellas se tienen 30 de clase y 10 semanas
para la organización, planificación y otras tareas de orden académico que cada institución
establece. En Bogotá la secretaria de educación distrital (SED Bogotá) presentó la resolu-
ción 1990 en la cual habla de dos periodos semestrales dentro de los cuales cada institución
3.2 Requerimientos para automatizar el proceso evaluativo 29
organizará su calendario académico [123]. Esto ha hecho que las instituciones determinen
el número de periodos académicos en un rango de dos a cuatro al año. A partir de esos
posibles periodos académicos se determina que para el caso del sistema a desarrollar, se dará
al docente la opción de seleccionar el número de periodos académicos según los establecidos
por su institución.
El gobierno nacional presenta en el decreto 1290 de 2009 libertad a cada institución para
establecer su sistema institucional de evaluación (SIA). El decreto establece que es necesario
para una evaluación basada en competencias involucrar la auto-evaluación y co-evaluación
como formas de evaluación. Pero también sugiere que cada institución tiene la libertad de
determinar el valor porcentual que considere para cada una de estas formas de evaluación.
A partir del decreto se estableció la ecuación 3-1, la cual permite determinar la evaluación
que obtendrá un estudiante de cualquier institución distrital en un periodo académico. La
ecuación evidencia las formas de evaluación dadas en el decreto: la auto-evaluación (A), la
co-evaluación (C) y la hetero-evaluación (H). Ası́ mismo se determinaron unos valores X, Y
y Z que son valores porcentuales que la institución tiene establecidos para cada uno de las
formas evaluativas.
E =A∗X%+C ∗Y %+H ∗Z% (3-1)
Adicionalmente el decreto 1290 establece una escala nacional sobre la cual se ubican los resul-
tado obtenidos en cada periodo académico por parte de los estudiantes en las competencias
a desarrollar. Dicha escala ubica en su parte más alta el nivel superior, posterior el nivel alto,
luego el básico y para los estudiantes con dificultades en una determinada competencias el
nivel bajo.
Los docentes de secundaria de las diversas áreas del conocimiento en Colombia están regidos
por la ley general de educación o ley 115, establecida por el MEN. En uno de sus artı́culos
el MEN da a los educadores del paı́s libertad para el desarrollo de sus clases dentro del aula.
Esto debido a que dentro de un salón de clase se tienen diversos tipos de aprendizaje en los
estudiantes, ası́ como diversos ritmos de aprendizaje. Las personas no entienden los temas
planteados, ni los utilizan de forma inmediata ni de la misma manera, por ello se plantea
que las personas construyen su conocimiento a su propio ritmo [58] y [109]. El docente es-
tablece a partir de un proceso diagnóstico al iniciar el año escolar, cuales y cuántos son los
desempeños que se deben trabajar en cada periodo académico. Ası́ mismo a partir de su
planeación y del transcurso del curso él determinará si es necesario trabajar un desempeño
en más de una oportunidad. Por tanto el sistema automático a diseñar debe permitir al
docente seleccionar los desempeños que planea en cada periodo académico y darle la opción
de poder seleccionarlos en más de un periodo si ası́ lo ve necesario.
Porcentaje a cada
Número de periodos Selección de los
momento de la
académicos desempeños a trabajar
evaluación
De las competencias
Selección entre dos y Auto-evaluación seleccionadas escoger
cuatro periodos los desempeños a
trabajar
Co-evaluación
Hetero-evaluación
Figura 3-2.: Aspectos que se tendrán en cuenta para la automatización
La figura 3-2 presenta un resumen de los aspectos descritos y que serán tenidos en cuenta
como requerimientos del sistema automático a crear. Es posible observar aquellos aspectos
que se le permitirán al docente modificar, entre ellos el número de periodos académicos que
tiene su institución, también la posibilidad de establecer el nivel porcentual que tendrán
las diversas formas de evaluación y la selección de los diversos desempeños en un periodo
académico. Los aspectos descritos no serán los únicos a tener en cuenta como requerimientos
para automatizar el proceso evaluativo, se tienen otros requisitos que serán necesarios para
poder tener un instrumentos automático de evaluación por competencias.
En las secciones previas se describieron los momentos evaluativos, en los cuales se tiene un
diagnóstico, un proceso y una evaluación sumativa. Estos momentos serán parte del instru-
mento automático de evaluación, para ello es necesario establecer para cada momento el tipo
de herramienta evaluativa que se utilizará. En el caso de la evaluación de tipo diagnóstico
se seleccionó el diseño de una prueba que permita evidenciar los niveles de desempeños que
tienen los estudiantes. Para la fase de proceso se estableció el diseño de unos instrumentos
evaluativos denominados rúbricas, los cuales son matrices de evaluación que permiten a estu-
diantes y docentes identificar el nivel de logro alcanzado frente a una determinada habilidad,
esto gracias a una escala de valoración. Este tipo de instrumento da una re-alimentación
que permite al estudiante aclarar los aspectos que se hicieron bien y aquellos donde se tie-
ne dificultad, al docente le permite identificar aquellos aspectos donde el estudiante puede
mejorar para de esta manera orientar el proceso educativo [65], [14] y [29]. La evaluación
sumativa será aplicada con el mismo instrumento diagnóstico, esto con la idea fundamental
de observar si existió un mejora en los diversos desempeños trabajados en el año académico
y establecer con ello si los estudiantes mejoraron o no su nivel de logro [108].
Para poder diseñar cada una de estas herramientas es necesario establecer previamente los
objetivos de aprendizaje o competencias que se trabajarán, a partir de ellos obtener los
3.3 Definición de desempeños 31
desempeños y los indicadores de logro. En la siguiente sección se explicará el proceso para

la selección de las competencias a trabajar, ası́ como algunas sugerencias establecidas en el
caso de los desempeños.
3.3. Definición de desempeños

Los desempeños son la base fundamental para el diseño de las actividades evaluativas, ya
que permiten integrar conocimientos, procesos cognitivos y establecer habilidades que serán
observadas en el estudiante [134]. En Colombia el MEN desarrolló la serie guı́a # 30, en
la cual se presentan cuatro componentes para el diseño de currı́culos, planes de estudio y
actividades educativas, ası́ como evaluativas para el área de tecnologı́a [34]. El proyecto con
contrato número 0826-2013, financiado con recursos del Patrimonio Autónomo Fondo Na-
cional de Financiamiento para la Ciencia, la Tecnologı́a y la Innovación, Francisco José de
Caldas, aportados por el Ministerio de Educación Nacional y del cual esta investigación es
participe determinó que los componentes a trabajar son: ‘apropiación y uso de tecnologı́a’
y ‘solución de problemas con tecnologı́a’, los cuales se aplicarán en el ciclo V de secundaria
que corresponde a los grados décimo y undécimo.
Al revisar los desempeños propuestos por el MEN para estas dos componentes se encuentra
que algunos de ellos no coinciden con las recomendaciones dadas por [67], [88] y [134]. Dicha
recomendación establece que deben iniciar con un verbo medible, tener claridad y una marco
temporal, una finalidad y una condición de calidad. El verbo debe indicar un nivel cognitivo
representado a través de habilidades, las cuales deben aplicarse dentro de un contexto, ası́
mismo la unión de esas destrezas deben generar una finalidad, las cuales se espera permi-
ten establecer el alcance determinado. A partir de estas indicaciones se se analizaron los 10
desempeños de la componente de ‘apropiación y uso de la tecnologı́a’ y los 11 que pertenecen
a ‘solución de problemas con tecnologı́a’.
La revisión de cada desempeño de las competencias definidas por el MEN y ajustarlos a

las recomendaciones mencionadas anteriormente, se utilizó la Taxonomı́a de Bloom Revisa-
da [68]. En este documento se definen dos dimensiones para cada desempeño: la dimensión
del proceso cognitivo y la dimensión del conocimiento. El verbo del desempeño pertenece
a una de las categorı́as de la dimensión del proceso cognitivo (recordar, entender, aplicar,
analizar, evaluar, crear), mientras que el objeto del conocimiento pertenece a una de las cate-
gorı́as de la dimensión del conocimiento (factual, conceptual, procedimental, metacognitivo).
A partir de la revisión se hicieron las correcciones necesarias a cada uno de los desempeños
de la serie guı́a # 30 se presentaron a los docentes de tecnologı́a de las instituciones per-
tenecientes al proyecto trabajado con el Ministerio de Educación Nacional 1 . Los docentes

enviaron sus respectivas correcciones y sugerencias de nuevos desempeños. La información
recopilada permitió hacer una segunda revisión y con ella se generaron los desempeños a
trabajar. En el anexo A se presentan los resultados obtenidos luego del proceso de revisión.
En este anexo es posible observar los desempeños originales y los obtenidos luego de los
aportes de los educadores.
Al finalizar el proceso de obtención de los desempeños, se observó la necesidad de generar

indicadores de evaluación, esto permitirán al docente observar el avance de cada estudiante
en cada una de las competencias. En la siguiente sección se explica el proceso por el cual se
obtuvieron dichos desempeños.
3.4. Diseño de indicadores de evaluación

Luego de establecer los desempeños para cada uno de los componentes, se observó y con-
cluyó que era necesario generar por cada uno de ellos una serie de indicadores que permitieran
medir el nivel de logro alcanzado por el estudiante. Los indicadores son herramientas que
brindan información cuantitativa y cualitativa sobre el proceso formativo del estudiante en
un determinado desempeño [88]. Los indicadores evidencian de forma clara y coherente los
desempeños educativos, por tanto un desempeño puede tener tantos indicadores como re-
quiera. Estó evidencia que dependiendo del nivel cognitivo y de conocimientos a evaluar, ası́
mismo será necesario un número de indicadores. Esto indicadores deben brindar informa-
ción clara tanto al docente como al estudiante de tal manera que re-alimenten el proceso de
aprendizaje. Ası́ el docente y el estudiante tendrán claro que se espera de una determinada
actividad en un contexto dado y cuál es al acción que se debe desarrollar [9].
Para la construcción de los indicadores se analizó cada desempeño de las componentes me-
diante el uso de los niveles cognitivos planteados por Krathwohl. A partir de esta revisión
se identificó y determinó las cualidades de cada desempeño dentro de un nivel cognitivo en
la taxonomı́a de Bloom revisada [68]. Para ello se toma el verbo principal del desempeño,
se buscó el dominio cognitivo al que pertenece y se determina con claridad, el alcance de
aprendizaje, la cualidad que este desarrolla y la posible evidencia a obtener en el estudiante
[76]. El resto de partes que componen el desempeño brindan información que permite deter-
minar los alcances que el estudiante alcanzará. Con ello se logran establecer los indicadores o
guı́as de calidad [47] y con ellas tener evidencia de los aprendizajes que obtendrá el estudiante.
Un ejemplo de creación de indicadores se presenta en la tabla 3-2, el desempeño seleccionado

se ubica en el nivel de aplicación de la taxonomia revisada de Bloom. En este nivel la taxo-
1
En este estudio trabajaron varios investigadores y docentes de escuelas
3.5 Diseño y validación de instrumentos evaluativos 33
nomia hace referencia a la aplicación de procedimientos en una situación, lo que quiere decir
que usa la información en un contexto determinado [68] y [77]. Este desempeño se puede
representar mediante las habilidades: organizar, usar y presentar. El resto de la información
del desempeño entrega el contexto donde es posible aplicarlo. Con la estrategia descrita fue
posible crear por cada componente indicadores de evaluación. Para el caso de la componente
de ‘apropiación y uso de la tecnologı́a se crearon veinte habilidades observables en el es-
tudiante. En el caso de la componente ‘solución de problemas’ se crearon quince destrezas
medibles.
Desempeño Indicadores
. Usa las funciones que brindan las herramien-
tas de las TIC para la búsqueda de informa-
Utilizo adecuadamente herramientas de
ción.
las TIC para la búsqueda, procesamiento
Organizo la información con la herramienta
y socialización de la información
TIC adecuada.
Presento la herramienta TIC adecuada para
publicar información.
Tabla 3-2.: Ejemplo de diseño de indicadores
En el anexo B se presentan dos tablas, la primera de ellas presenta dos columnas, en la de la

izquierda se presenta el listado de desempeños y en la de la derecha las habilidades obtenidas.
Dichos desempeños son numerados para permitir al docente y estudiantes tener un manejo
apropiado de ellos. En el caso de la componente ‘apropiación y uso de tecnologı́a’ (AU) se
numera como AU BHQ. El valor de B indica el número del desempeño, para ello son toma-
dos en el mismo orden que se dio en el anexo A. H corresponde a la habilidad y Q al número
que esta ocupa dentro del desempeño. Por tanto si se habla del desempeño AU 01H1 se esta
hablando del primer desempeño de la componente de apropiación y su habilidad número 1.
En el caso de los desempeños que corresponden a la componente ‘solución de problemas con
tecnologı́a’ la nomenclatura es similar, en este caso se tiene SP BHQ. Donde los valores para
B y Q cumplen la función descrita para la componente anterior.
A partir de estos desempeños se crean un par de instrumentos de evaluación que permiten

hacer la evaluación diagnóstica y sumativa, lo mismo que una herramienta que permite la
evaluación de proceso. Estos aspectos se describen en detalle en la siguiente sección.
3.5. Diseño y validación de instrumentos evaluativos

Los instrumentos de evaluación permiten al docente obtener información acerca del nivel
de logro obtenido por el estudiante frente a un determinado desempeño. Para la creación
de instrumentos de evaluación autores como [28] [54] y [58], proponen que una herramienta
para la evaluación debe ser diseñada teniendo en cuenta:
Explorar las habilidades que se requiere que el estudiante desarrolle.
Diseñar actividades que se centren en el desarrollo de habilidades.
Proporcionar al estudiante los apoyos necesarios para que logre comprender y realizar
las actividades.
Brindar actividades claras que generen condiciones para establecer el avance del estu-
diante.
Generar espacios donde el estudiante pueda conocer los avances obtenidos y sus falen-
cias.
Esto permite determinar que los instrumentos que se diseñen deben permitir al estudiante
la posibilidad de juzgar su propio trabajo. Además debe brindarle información al docente
sobre las necesidades que requiere el estudiante para poder mejorar su desempeño [5]. Por
tanto, se requieren instrumentos que den información sobre las habilidades que se espera
sean evidenciadas en cada actividad. Es necesario que los instrumentos diseñados conten-
gan una escala de valoración donde el estudiante identifique el nivel en el que se encuentra
en una determinada habilidad. También es necesario que la escala de valoración brinde re-
alimentación acerca de los aspectos que se hicieron dentro de la actividad y aquellos donde
se presentó dificultad [5] [29] [54] y [58].
Un instrumento que cumple con estas condiciones son las denominadas rúbricas o matrices de
evaluación. Estas son una herramienta de tipo pedagógico cuya contribución a la educación
ha sido reconocida por los docentes en diversos lugares del mundo. Estos instrumentos permi-
ten establecer un mecanismo de medición que da cuenta del nivel de apropiación que tiene el
estudiante sobre un desempeño determinado y que, basados en una escala, permite a docen-
tes y estudiantes identificar los avances alcanzados y los logros que aún se deben mejorar [66].
A partir de las rúbricas de evaluación propuestas se diseñaron otros instrumentos, pruebas

escritas, que son la base fundamental de la evaluación diagnóstica y sumativa del presente
proyecto. Una prueba escrita permite establecer mediante una serie de preguntas, las ha-
bilidades que tiene el estudiante, la manera como las usa en un contexto determinado, sus
actitudes frente a situaciones de contexto y la forma como analiza determinadas circunstan-
cias en un problema [21]. Para el diseño de estas pruebas fue necesario hacer una revisión a
los planteamientos dados por la OECD (Organization for Economic Co-operation and De-
velopment) creadores de las pruebas PISA. La idea fundamental de la prueba es generar
aplicación de conocimientos en diversos contextos, brindar al estudiante la posibilidad de
mostrar que es competente en una determinada área, esto mediante el uso de sus saberes
principalmente para solucionar problemas [94].
Los instrumentos diseñados fueron validados con la idea fundamental de obtener información
acerca de la veracidad de los datos obtenidos [42]. La validación es un aspecto importante,
debido a que un instrumento con ı́ndices de validez bajos, probablemente puede reportar
información incorrecta sobre el desempeño del estudiante [112]. Experiencias como las de [9]
[67] y [42] evidencian la necesidad de validar los instrumentos evaluativos, ya que ello contri-
buye a mejorar en el proceso educativo. La validación brinda procesos de enseñanza efectivos
donde se tiene constante mejora y apunta a la calidad [5]. Por tanto tanto las rúbricas como
las pruebas diseñadas fueron validadas en diversos aspectos.
A continuación se hace una descripción de los procedimientos relacionados con el diseño,

creación y validación de las rúbricas. De igual manera, posterior a las matrices de evaluación
se explicarán las pruebas escritas.
3.5.1. Rúbricas de evaluación

En la sección previa se definió la rúbrica como un instrumento que permite dar cuenta del
nivel de apropiación que tiene el estudiante sobre un desempeño determinado basados en
una escala, también permite a docentes y estudiantes identificar los avances alcanzados y los
logros que aún se deben mejorar [66], [100] y [14]. En la actualidad se han reconocido dos
tipos de rúbricas, de acuerdo con la estructura y el enfoque que tenga la actividad escolar a
valorar se determina aquella que sea más adecuada para la evaluación correspondiente [14].
La rúbrica de tipo analı́tico presenta un conjunto de habilidades que se relacionan con un
criterio o dimensión de la competencia. Las matrices evaluativas de tipo holı́stico, combinan
criterios o dimensiones sobre una escala descriptiva única. Por tanto los procesos evaluativos
donde son aplicadas son de tipo sumativo, donde se observa más el proceso desde un punto de
vista más global. De otro lado la rúbrica analı́tica es muy utilizada en procesos evaluativos de
tipo formativo, donde se requiere un seguimiento más riguroso de cada una de las actividades
educativas llevadas a cabo por el estudiante. De igual manera por cada tipo de rúbrica existe
una escala de medición diferente, en el caso de la rúbrica holı́stica se utiliza únicamente un
descriptor y una escala de medición; en el caso de la de tipo analı́tica se tienen en cuenta
una serie de habilidades que se esperan desarrollar, una escala de medición que comúnmente
tiene entre tres y cinco niveles y unos descriptores por cada nivel [65], aspectos que permiten
hacer un análisis tanto cuantitativo como cualitativo del proceso de aprendizaje.
Fases del diseño de rúbricas

Teniendo en cuenta lo descrito previamente, el tipo de rúbrica seleccionada para el presente
trabajo fue de tipo analı́tica, debido a que los desempeños de los componentes: ‘Apropiación
y Uso de la Tecnologı́a’ y ‘Solución de Problemas con Tecnologı́a’, requieren ser explicados

en habilidades de forma detallada con el fin de obtener evidencia del avance del estudiante.
En este sentido, diversas experiencias [18] [14] [81] y [47], establecen una serie de pasos que
permiten la construcción de este tipo de rúbrica:
1 Hacer una revisión detallada de los objetivos o desempeños de aprendizaje, identificar

los criterios de evaluación, es decir, las cualidades o habilidades especı́ficas a observar
en las evidencias desarrolladas por el estudiante.
2 Establecer los niveles para cada habilidad además de determinar una ponderación para
cada criterio. Es común encontrar niveles como bajo, básico, medio y avanzado [46].
3 Generar un primer borrador completo de la rúbrica que involucre las habilidades, los
descriptores y los niveles.
4 Hacer la validación del instrumento con base en tres etapas fundamentales.
Construcción de Rúbricas
Para la construcción de rúbricas de tipo analı́tica es necesario desarrollar cuatro fases des-
critas por [18]: obtener las habilidades a partir de los objetivos o desempeños de enseñanza,
generar el número de niveles de evaluación, construir los descriptores que representan cada
nivel y, finalmente, el proceso de validación. En la figura 3-3 se representa la secuencia de
actividades seguidas para construir y validar las rúbricas propuestas, ası́ como los insumos
requeridos durante cada una de las etapas del proceso.
Figura 3-3.: Pasos utilizados para la construcción de las rúbricas

La primera fase mostrada en la figura fue desarrollada previamente en la sección donde se

explicó el procedimiento para la creación de indicadores. La segunda etapa en el diseño del
instrumento, plantea la construcción de una escala de evaluación que permita establecer de
forma clara y especifica los niveles de aprendizaje que obtuvo el estudiante en su proceso edu-
cativo. A partir de la revisión bibliográfica se concluyó, que un número adecuado de niveles
se encuentra entre tres y cinco, siendo cuatro el más usado [3]. También se observó que otro
criterio a tener en cuenta para seleccionar el número de niveles es el grado de dificultad para
alcanzar la habilidad y su posibilidad de ser medido [4] [47] y [66]. A partir de los aspectos
descritos anteriormente, en el caso de los instrumentos propuestos se determinó usar cuatro
niveles (bajo, básico, medio y avanzado) los mismos que propone el MEN [79] y que permiten
describir los avances obtenidos por el estudiante, ya que cumple con los criterios descritos.
De igual forma, al decidir cuántos niveles se tendrán en cuenta en las rúbricas, se determinó
que se utilizarı́an etiquetas descriptoras en ellos, porque estas brindan al estudiante y al
docente mayor cantidad de información sobre el nivel alcanzado en el proceso educativo.
Para cada uno de los niveles definidos y cada habilidad seleccionada, se define un descriptor
que permite juzgar y presentar al estudiante los logros alcanzados en una determinada ha-
bilidad. Se construyeron descripciones para cada nivel teniendo en cuenta el mejor resultado
esperado para la actividad en el mayor nivel de la escala, casos con un resultado no óptimo
para los niveles intermedios y casos con menor desempeño en la actividad para el nivel más
bajo. Estas descripciones le permiten al estudiante identificar sus fortalezas y debilidades
frente a las habilidades planteadas para cada desempeño. Este aspecto es fundamental para
el estudiante porque brinda la re-alimentación necesaria para corregir sus errores y le da la
opción de no repetirlos durante actividades futuras [47] . En el caso del desempeño: ‘Iden-
tifico las condiciones, especificaciones y restricciones de diseño, utilizadas para la solución
de un problema tecnológico” en la tabla 3-3 se presenta la rúbrica diseñada. Es importante
mencionar que cada uno de los descriptores evidencia, la medición de la habilidad ası́ como el
alcance que se espera obtener en el estudiante. Ası́ mismo cada matriz de evaluación creada
permite al docente tener información acerca del avance del estudiante ya que esto posibilita
la identificación de los aspectos que debe mejorar.
Habilidad o Atribu- Bajo Básico Medio Alto

to
Identifica las con- El estudiante El estudiante El estudiante El estudiante
diciones, especifica- no identifica las identifica ade- identifica ade- identifica ade-
ciones y restriccio- condiciones de cuadamente un cuadamente cuadamente la
nes de diseño utili- diseño. grupo reducido un grupo in- totalidad de las
zadas para solucio- de condiciones termedio de condiciones de
nar problemas tec- de diseño. condiciones de diseño.
nológicos. diseño.
Explica las con- El estudiante El estudiante ex- El estudiante ex- El estudian-
diciones, espe- no explica las plica muy pocas plica un núme- te explica la
cificaciones y condiciones, es- condiciones, es- ro intermedio de totalidad de
restricciones de pecificaciones y pecificaciones y condiciones, es- condiciones, es-
diseño para solu- restricciones de restricciones de pecificaciones y pecificaciones y
cionar problemas diseño mediante diseño mediante restricciones de restricciones de
tecnológicos. textos o gráficos. textos o gráficos. diseño mediante diseño mediante
textos o gráficos. textos o gráficos.
Clasifica las con- El estudiante El estudiante El estudiante El estudian-
diciones, especifica- no clasifica las clasifica muy po- clasifica un te clasifica la
ciones y restriccio- condiciones, es- cas condiciones, número in- totalidad de
nes de diseño para pecificaciones y especificaciones termedio de condiciones, es-
solucionar proble- restricciones de y restricciones condiciones, especificaciones y
mas tecnológicos. diseño mediante de diseño me- pecificaciones y restricciones de
textos o gráficos. diante textos o restricciones de diseño mediante
gráficos. diseño mediante textos o gráficos.
textos o gráficos.
Tabla 3-3.: Ejemplo de rúbrica para el desempeño SP 01
Validación de las rúbricas

La última fase en la construcción de las matrices de evaluación es la validación del instru-
mento por parte de los docentes y estudiantes. Para este proceso de validación se desarrollan
tres pasos clave, teniendo en cuenta que se deben ajustar de acuerdo con la percepción de
cada uno de los agentes involucrados dentro del proceso de evaluación. El primer paso con-
siste en la revisión por parte de los diseñadores y expertos en evaluación educativa, con el fin
de ajustar las metas de aprendizaje, las habilidades, la escala de medición y los descriptores
propuestos para cada una de las habilidades y sus posibles niveles [107]. El segundo paso
consiste en validar los aspectos contenidos en el instrumento, con la ayuda de los docentes
a partir de su implementación en el aula, este busca observar la utilidad de la rúbrica en el
proceso formativo de los estudiantes, la validez de la escala de valoración y la pertinencia de

los descriptores propuestos en cada nivel de las habilidades definidas. El tercer paso consiste
en una revisión preliminar por parte de los estudiantes, donde ellos manifiestan si consideran
que los descriptores construidos les brindan re-alimentación para su proceso de aprendizaje,
explican las metas obtenidas y les brindan la posibilidad de mejora a futuro.
Luego de la revisión del equipo de diseño de las rúbricas, se realizó un encuentro con los
docentes de las diez instituciones innovadoras a finales del 2014 en el colegio I.E.D Las Vi-
llas. En este encuentro se presentaron las rúbricas diseñadas para cada desempeño de los dos
componentes trabajados a los docentes para que las leyeran y analizaran. Posteriormente,
cada docente mediante un documento escrito, dio sus aportes, comentarios y mejoras a los
diferentes aspectos de las rúbricas. Luego de este encuentro se desarrollaron las correccio-
nes pertinentes en lo referente a las habilidades planteadas, los niveles de evaluación y los
descriptores. Para ello se desarrolló una matriz donde se agruparon por cada docente sus
comentarios alrededor de cada habilidad, se revisó la posible existencia de acuerdo entre los
docentes, en caso de existir se modificó la habilidad en el aspecto considerado. Cuando no
existe acuerdo entre los educadores, se revisa la argumentación dada por cada docente y
se pregunta nuevamente acerca de la habilidad, de tal forma que se busca un acuerdo para
poder aplicar las correcciones.
A partir de las mejoras desarrolladas se creó una nueva versión de las rúbricas, se presentaron
a los docentes para su trabajo en el aula con los estudiantes, en este ejercicio se observó que
los docentes tienen claridad teórica alrededor de lo que es una rúbrica, pero no se tiene esa
misma experticia al momento de usarlas en el aula. Por ello, se inició una etapa en donde se
trabajó con los docentes a través de una estrategia de uso de las rúbricas para comprender
cómo poder aplicar los instrumentos en el aula, lo cual permitió establecer que es necesaria
la creación de un instrumento que ofrezca al estudiante la posibilidad de auto-evaluarse y
co-evaluar a sus compañeros.
Diseño de Rúbricas para Auto-evaluación y Co-evaluación

Los procesos educativos actuales fomentan la auto y co-evaluación como medios a través
de los cuales el estudiante es consciente de su propio proceso [79]. Teniendo en cuenta este
aspecto y lo descritos en las sección previa, se diseñó una versión de las rúbricas para auto-
evaluación y co-evaluación. La idea fundamental es brindar una herramienta al estudiante
que le permita revisar su propio proceso y el que desarrolla con sus compañeros al trabajar
en equipo. Asimismo, la herramienta permite al docente obtener información acerca de la
forma en que el estudiante percibe su propio proceso.
El diseño de las rúbricas de auto y co-evaluación se fundamentó en convertir las habilidades

planteadas en una pregunta que el estudiante debe responder. Dicha pregunta invitan al
educando a analizar su proceso educativo y a reflexionar en torno a los resultados que él ha
evidenciado en su proceso. Posteriormente se convierten los descriptores de nivel en posibles
respuestas a las preguntas, de tal manera que el estudiante al marcar los resultados que
considera haber alcanzado, está dando información sobre lo que ha aprendido. Tomando
el desempeño trabajado previamente se presentan en las siguientes tablas 3-4 y 3-5 los
ejemplos de auto y co-evaluación diseñados.
Auto-evaluación
Pregunta Bajo Básico Medio Alto
Cuando bus- No Identifico Identifico ade- Identifico ade- Identifico ade-
co solucionar condiciones, cuadamente un cuadamente cuadamente la
problemas tec- especificaciones grupo reducido un grupo in- totalidad de
nológicos: y restricciones de condiciones, termedio de condiciones,
de diseño. especificaciones condiciones, especificaciones
y restricciones especificaciones y restricciones
de diseño. y restricciones de diseño
de diseño
Tabla 3-4.: Ejemplo de rúbrica de auto-evaluación
Co-evaluación
Pregunta Bajo Básico Medio Alto
Cuando bus- No identifica Identifica ade- Identifica ade- Identifica ade-
ca solucionar condiciones, cuadamente un cuadamente cuadamente la
problemas especificaciones grupo reducido un grupo in- totalidad de
tecnológicos y restricciones de condiciones, termedio de condiciones,
su equipo de de diseño. especificaciones condiciones, especificaciones
trabajo: y restricciones especificaciones y restricciones
de diseño. y restricciones de diseño
de diseño
Tabla 3-5.: Ejemplo de rúbrica de Co-evaluación
En el anexo D se presentan la totalidad de matrices de evaluación de auto y co-evaluación

propuestas para cada uno de los desempeños de las componentes ‘Apropiación y Uso de la
Tecnologı́a’ y ‘Solución de Problemas con Tecnologı́a’. A partir de las rúbricas creadas se
diseñaron dos pruebas diagnóstico las cuales permiten establecer el nivel de logro obtenido
por los estudiante en cada desempeño y en cada competencia. En la siguiente sección se
describe el proceso por el cual se diseñó este instrumento.
3.5.2. Pruebas escritas

La evaluación es un proceso que debe ser planeado y establecido a partir de un conjunto de
metas educativas claras [76]. En este capı́tulo se ha descrito el proceso por el cuál a partir
de la serie guı́a 30 del MEN, se obtuvieron los indicadores de desempeño para cada uno de
los componentes que se seleccionaron para el desarrollo de este proyecto de tesis. De igual
manera se estableció el uso de rúbricas como mecanismos que permiten una evaluación de
competencias, que brinda al estudiante y el docente poder determinar el nivel de logro en
cada desempeño. Ası́ mismo se estableció el desarrollo de pruebas escritas como medio para
poder determinar el nivel que tienen los estudiantes antes de iniciar el proceso educativo
[5]. También se utilizará la misma prueba luego de finalizar el proceso educativo para poder
determinar con ella la posible mejora que los estudiantes obtendrán en el proceso, de igual
manera esta información le permitirá al docente identificar en cuáles actividades se tiene
mejor desempeño y en cuales no [21].
Etapas para la Validación de un Instrumento Educativo

Pasos a seguir Insumos a Obtener
Fase 1 Conceptualización Determinar la finalidad de la

prueba
Etapa1:
Diseño de pruebas
Fase 2 Construcción de reactivos Estructura de las preguntas y

el plan de aplicación
Recolección de información
Fase 3 para análisis
Validación de contenidos
de dificultad, discriminación
y determinar confiabilidad
Etapa 2:
Validación de pruebas
escritas
Normas de aplicación,
Fase 4 Estandarización calificación
e interpretación de
resultados
Figura 3-4.: Pasos utilizados para la construcción de las pruebas
La figura 3-4 presenta el modelo usado por [42] para el diseño de pruebas escritas. La figura
evidencia dos etapas principales, el diseño de pruebas y la validación de éstas. Dentro de
cada etapa se tiene una serie de fases que permiten al ser completadas obtener un insumo.
En el primer caso al terminar las fases de conceptualización y construcción de reactivos
se obtendrán las pruebas diagnósticas. En el segundo caso al finalizar las fases internas se
obtendrá la validación las pruebas. Cada etapa será descrita en las siguientes subsecciones, en
la primera de ellas se explica el diseño de las pruebas, a partir de los tipos de preguntas usados
y su selección y en la segunda se presentan los tipos de validez usados y la confiabilidad,

para cada una de las pruebas diagnósticas construidas.
Diseño de pruebas escritas

Luego de la obtención de los alcances de cada desempeño y las habilidades cognitivas que se
esperan, se inició con la construcción de las pruebas. Para ello se tomaron en cuenta algunos
aspectos de las pruebas PISA, en particular el que establece que una prueba escrita no de-
be sólo determinar conocimientos, habilidades, y aptitudes del estudiante, sino que además
debe evidenciar la aplicación de estas caracterı́sticas en diversos entornos [94], [111] y [98].
De esta manera se tomó cada una de las habilidades y se tradujo en una serie de preguntas
que tienen en común el solucionar problemas dentro de un contexto.
Para la construcción de las preguntas fue necesario establecer los tipos de preguntas po-
sibles, de acuerdo con las habilidades a revisar. Se exploró con preguntas de verdadero y
falso, de apareamiento, de completar, entre otras, pero muchas de ellas no satisfacı́an las
habilidades a medir. Por tanto, se estableció que las preguntas de tipo abierto y cerrado
con respuesta única y múltiple, podrı́an ser adecuadas para este caso. Estos tipos de pre-
gunta permiten determinar el nivel de competencia de un estudiante de forma adecuada [63].
En el caso de las preguntas abiertas, estas le brindan al estudiante la posibilidad de mostrar

sus habilidades y evidencian los niveles más altos que se tienen en la taxonomı́a de Bloom.
Para su construcción se siguió la guı́a dada por Husain, Bais, Hussain y Samadb en [57]. En
ella se plantean cinco criterios para su construcción:
Concepto en un campo determinado: los elementos de la evaluación deben recalcar lo

importante. Dar una serie de objetivos con los cuales el estudiante tenga la posibilidad
de comprender mediante vinculación todo el tema y con él, solucionar problemas.
Una pregunta puede tener varias respuestas: la pregunta debe evidenciar varias formas
de solución. Esto implica usar los conceptos de la posible respuesta de diversas maneras,
lo que genera formas de pensamiento distintas del problema para cada estudiante.
Contribuyendo a la argumentación, al analizar y “criticar” al momento de solucionar
un problema en un contexto.
Necesidad de comunicar el proceso de razonamiento: dar la posibilidad de comunicar

las ideas que tienen en su mente, acerca de un tema determinado. Esto genera en el
estudiante la necesidad de no solo argumentar, sino de enlazar distintos conocimientos.
Las preguntas deben quedar claramente establecidas: el estudiante al momento de leer

la pregunta debe tener claridad en lo que se espera de él y cómo debe ser la respuesta
a la pregunta. Este aspecto es importante ya que permite desarrollar mejora en sus

habilidades comunicativas, de pensamiento analı́tico y crı́tico.
Tener un modelo de calificación: cada pregunta a evaluar debe tener por lo menos
una matriz de valoración de dos puntos Sı́/No. Pero la idea de las preguntas abiertas
es generar la posibilidad de comunicar conocimientos en un contexto determinado.
Por tanto es necesario tener un sistema de respuestas basadas en las posibilidades
que se tienen. Para ello es necesario conocer que una buena pregunta, tiene asociada
una rúbrica, como indicativo del valor de la puntuación que se lleva. Esta puntuación
dependerá del escrito desarrollado, como argumentación por parte del estudiante. La
forma cómo utiliza sus conocimientos y cómo los enlaza, lo que construye la solución
del problema planteado.
En el caso de las preguntas cerradas se tuvo en cuenta la guı́a dada por Case y Swanson
[19], quienes brindan una serie de estrategias para la construcción de preguntas de opción
múltiple. Dentro de las caracterı́sticas que consideran más relevantes se tienen:
El enunciado debe ser claro y no inducir a la posible respuesta.
Los distractores no deben ser confusos, si bien son menos correctos no deben ser to-
talmente incorrectos. Esto podrı́a generar en el estudiante la selección de la respuesta
verdadera por descarte.
No usar preguntas que involucren respuestas memorı́sticas o de simple deducción.
La pregunta debe evaluar la aplicación de conocimientos, la integración, la sı́ntesis y

el juicio acerca de un problema dado.
Considerando estos elementos se construyeron 22 preguntas para la prueba de ‘Apropiación

y Uso de la Tecnologı́a’ y 18 para la prueba de ‘Solución de Problemas con Tecnologı́a’. Las
pruebas construidas se encuentran en el anexo E, a continuación se describen los procedi-
mientos utilizados para hacer la validación de las pruebas diagnósticas creadas.
Validación de pruebas escritas

Un instrumento efectivo de evaluación debe ser validado de tal forma que haga una medición
significativa y adecuada de los rasgos para los cuales fue diseñado [27] [42] y [105]. En este
caso se utilizará la validez de contenidos, la cual permite determinar si las pruebas creadas
cumplen con la función para las cuales se diseñaron. Existen diversas formas de hacer esa
validez de contenido, puede ser mediante juicio de expertos, quienes revisan si cada una de
las preguntas o ı́tems responden efectiva y coherentemente a las competencias a evaluar [25].
También es posible hacerlo con una aplicación en un grupo piloto y con el análisis de los
resultados obtenidos, establecer si el instrumento cumple o no con el objetivo por el cual se
creó [93] y [120].
Para validar el contenido de las pruebas diseñadas se realizó la aplicación en un grupo piloto
de estudiantes de ciclo V, ya que de esta manera es posible hacer un seguimiento riguroso
a partir de los lineamientos tradicionales de la medición y evaluación [93]. Para hacer esta
validación se utilizó el ı́ndice de dificultad para establecer la proporción de estudiantes que
responden correctamente una pregunta de la prueba [36].
Ai
Pi = (3-2)
Ni
Donde:
Pi es el ı́ndice de dificultad de la pregunta.
Ai es el número de aciertos de la pregunta.
Ni es el total de estudiantes participantes
También se utilizó la validez por ı́ndice de discriminación, este indicador es usado para medir
habilidades y competencias. Gracias a que brinda información acerca de las posibilidades
esperadas en el estudiante que tuvo una puntuación alta en todo el test, partiendo de la
suposición que tendrá altas probabilidades de contestar correctamente una pregunta [42]. Lo
que permite identificar si la pregunta discrimina o no entre los estudiantes.
GAAciertos − GBAciertos
Di = (3-3)
Ngrupomayor
Donde:
Di es el ı́ndice de discriminación de la pregunta.
GAAciertos es el número de aciertos en la pregunta, por personas con altos puntajes.
GBAciertos es el número de aciertos en la pregunta, por personas de bajas puntuaciones
Ngrupomayor número total de personas en el grupo más numeroso.
La confiabilidad de una prueba hace referencia a la precisión con que el test mide lo que
debe medir, en una población determinada y en las condiciones normales de aplicación [1],
[5] y [17]. Esta medida permite corroborar que las pruebas al ser aplicadas en poblaciones
similares, producirá resultados consistentes y coherentes con lo que se quiere medir. Para el
caso de las pruebas diseñadas se hizo una medición de confiabilidad por consistencia interna,
ya que esta brinda la información necesaria a partir de una sola aplicación de las pruebas.
Se utilizó el Alfa de Cronbach, debido a que analiza la media ponderada de las correlaciones
entre las preguntas que forman parte de la escala de medición dada [130].
El último aspecto que se tiene en cuenta para la validación de un instrumento evaluativo

es la estandarización. En esta fase se determinan las normas que se considerarán para la
aplicación, ası́ como en la calificación e interpretación de los resultados obtenidos. Con estos
aspectos será posible determinar que la prueba realizada mide las competencias planeadas.
Lo que permitirá tanto al docente como al estudiante identificar las fortalezas y debilidades
que se tienen y ası́ desarrollar un proceso educativo mejor planeado [120].
Aplicación de pruebas y Análisis de resultados piloto

Se aplicaron los instrumentos diagnóstico diseñados con estudiantes de las instituciones I.E.D
Julio Garavito Armero de la localidad de Puente Aranda y el Colegio Distrital Clemencia
Holguı́n de Urdaneta de la Localidad Rafael Uribe Uribe de Bogotá. Para la prueba de
‘Apropiación y Uso de la Tecnologı́a’ se contó con 93 estudiantes y en la prueba de ‘Solución
de Problemas’ con 50 entre ambas. Los participantes pertenecı́an al ciclo V de educación
secundaria, que corresponde a los niveles de décimo y undécimo. Las pruebas se aplicaron en
el mes de febrero del año 2015, para ello se tomaron dos sesiones de clase de dos horas. En
ambas sesiones se aplicó una de las pruebas de forma individual, sin dar a conocer ningún
aspecto que condujera a la selección de alguna respuesta. Posterior al proceso de aplicación
de las pruebas en las instituciones se hizo el análisis de los resultados obtenidos. En cada
una de ellas se analizó validez a partir de los ı́ndices de dificultad y discriminación, ası́ como
la confiabilidad.
Análisis prueba apropiación y uso de la tecnologı́a

La tabla 3-6 presenta los resultados de la prueba de apropiación y uso de la tecnologı́a.
Para el análisis de los datos se tuvo en cuenta la aceptación de ı́tems planteada por Guilford
[53], donde establece que el rango aceptable para el ı́ndice de dificultad es de 0,2 a 0,85. Los
resultados son vistos como una curva de distribución de frecuencias, donde las respuestas
dadas por el estudiante permiten considerar el nivel de dificultad. Una pregunta que obtiene
un 5 % puede ser considerada como fácil, con el 20 % medianamente fácil, con el 50 % con
dificultad media, con el 20 % medianamente difı́cil y si tiene el 5 % difı́cil. En el caso del
ı́ndice de discriminación el mı́nimo de aceptación es del 0,3.
Las preguntas 4 y 21 tienen ı́ndices de dificultad que están fuera del rango aceptable defi-
nido por Guilford. Puede darse esta situación por ser preguntas demasiado complejas o que
podrı́an no ser claras para el estudiante. En el caso del ı́ndice de discriminación las preguntas
4, 10, 17, 18 y 19, presentan ı́ndices de discriminación bajos. Quiere decir que sin importar
si pertenecen al grupo de estudiantes de alto o bajo desempeño (GA o GB en la ecuación 2),
los escolares pueden responderla de forma correcta o incorrecta. Por tanto la pregunta no
discrimina entre los estudiante de alto desempeño y los que tienen bajo nivel. Es por ello que
estas preguntas junto con la 4 y 21 son susceptibles de ser eliminadas, aunque es necesario
previamente analizar si afectan o no la confiabilidad de la prueba.
Item 1 2 3 4 5 6 7 8 9 10 11
Dif. 0,3 0,58 0,61 0,11 0,27 0,32 0,63 0,22 0,57 0,37 0,58
Disc. 0,45, 0,65 0,71 -0,06 0,36 0,46 0,9 0,1 0,97 -0,10 0,9
Item 12 13 14 15 16 17 18 19 20 21 22
Dif. 0,64 0,63 0,78 0,22 0,61 0,27 0,37 0,37 0,89 0,02 0,85
Disci. 0,81 0,84 0,03 0,42 0,71 -0,35 -0,1 -0,32 1 0,97 0,45
Tabla 3-6.: Índice de dificultad (Dif.) y discriminación (Disc.) de la prueba
Para el caso de la confiabilidad se analizó el alfa de Cronbach mediante el programa SPSS.

También se hizo análisis de escala si se elimina el elemento. Este último muestra qué sucede
con la confiabilidad al momento en que se elimina alguna de las preguntas. El análisis de
nivel de confiabilidad ı́ndica una valor de 0,545, valor que se puede interpretar como una
confiabilidad moderada [25]. Esto implica que se tienen preguntas que pueden no contribuir
a que la prueba tenga la claridad necesaria para el estudiante. Por tanto habrı́a que analizar
que sucede si se eliminan algunos ı́tems.
La tabla 3-7 permite establecer que al eliminar algunas preguntas se genera una mejora en
el nivel de confiabilidad de la prueba. Por tanto se propone eliminar las preguntas 4, 10, 17,
18 y 19. Es necesario mencionar que al momento que se eliminan no afecta ningún desem-
peño. Al hacer la prueba nuevamente, la confiabilidad llega al 0,66 aumentando coherencia
y consistencia de la prueba.
Item 1 2 3 4 5 6 7 8 9 10 11
A.C 0,492 0,486 0,502 0,538 0,547 0,546 0,511 0,509 0,509 0,22 0,522
Item 12 13 14 15 16 17 18 19 20 21 22
A.C 0,491 0,514 0,472 0,53 0,517 0,606 0,559 0,553 0,51 0,512 0,521
Tabla 3-7.: Resultados de confiabilidad (Alfa de Cronbach A.C) por pregunta de la prueba
apropiación y uso de la tecnologı́a
De otro lado se concluyó mantener la pregunta 21 en la prueba. Ésta no afecta la confiabilidad

y su ı́ndice de discriminación permite establecer que sı́ diferencia a los estudiantes con buen
desempeño de aquellos que tienen un nivel bajo. Por tanto se modificó la redacción y se
analizó si los conceptos en ella evidenciados evalúan los indicadores esperados. Es necesario
aclarar que se hizo una nueva aplicación del instrumento y con ello se volvió a medir la
fiabilidad, ası́ como los ı́ndices de dificultad y discriminación
Análisis prueba solución de problemas con tecnologı́a

La tabla 3-8 presenta los resultados obtenidos en las 18 preguntas que componen la prueba de
‘Solución de Problemas con Tecnologı́a’. Nuevamente, a partir de los parámetros de Guilford
las preguntas 11 y 12 tienen ı́ndices de dificultad fuera del rango. Es posible establecer que
estos ı́tems son demasiado complejos y deben ser modificados o eliminados de la prueba.
En el caso del ı́ndice de discriminación, las preguntas 11 y 16, presentan valores fuera del
rango. Por tanto estas dos preguntas podrı́an ser eliminadas por no discriminar entre los
estudiantes de buen desempeño y los que tienen bajo nivel. Para decidir si se modificaban o
se retiraban estas preguntas de la prueba se hizo un análisis para determinar la manera en
que estas preguntas afectan la confiabilidad de la prueba.
Item 1 2 3 4 5 6 7 8 9
Dif. 0,26 0,4 0,34 0,23 0,62 0,62 0,34 0,76 0,56
Disc. 0,35 0,41 0,35 0,41 0,53 1 0,41 0,41 0,41
Item 10 11 12 13 14 15 16 17 18
Dif. 0,21 0,16 0,12 0,52 0,48 0,5 0,44 0,52 0,44
Disc. 0,41 0,24 0,29 0,47 0,29 0,47 0,12 0,35 0,3
Tabla 3-8.: Resultados del ı́ndice de dificultad (Dif.) y discriminación (Disc.) de la prueba
de solución de problemas con tecnologı́a
El ı́ndice de confiabilidad de la prueba es de 0,778 el cual es considerado como alto para la

prueba, lo que quiere decir que el instrumento entregará resultados coherentes y consistentes
al momento de ser aplicado [25]. En la tabla 3-9 al analizar el comportamiento de la preguntas
11, 12 y 16 que obtuvieron bajo ı́ndice de dificultad y de discriminación, se observa que no
afectan de manera sustancial la confiabilidad del instrumento. En el caso de la pregunta 11
se determinó eliminarla, dado que no cumple la función de establecer si el estudiante posee
o no la habilidad que evalúa. En el caso de las preguntas 12 y 16 se consideró que podı́an ser
modificadas y con ello mantenerlas en la prueba. Posterior a la modificación de las preguntas,
se hará una nueva aplicación y a partir de volver a validar el instrumento.
Item 1 2 3 4 5 6 7 8 9
A.C 0,782 0,762 0,786 0,779 0,762 0,76 0,798 0,76 0,75
Item 10 11 12 13 14 15 16 17 18
A.C 0,78 0,758 0,775 0,768 0,76 0,744 0,749 0,76 0,72
Tabla 3-9.: Resultados de confiabilidad (Alfa de Cronbach A.C) por pregunta de la prueba
de solución de problemas con tecnologı́a
El proceso de validación de las dos pruebas muestra que tienen ı́ndices de dificultad y discri-
minación suficientes en la mayorı́a de sus preguntas. También al observar la confiabilidad de
cada una de las pruebas, evidencian que son lo suficiente coherentes y consistentes para ser
aplicadas. Por tanto son instrumentos que al ser utilizados es probable que brinden informa-
ción coherente y consistente sobre las competencias que evalúan. Las pruebas diagnósticas
validadas son una herramienta evaluativa que brindan a los docentes, información acerca
de los conceptos previos que tienen los estudiantes sobre los componentes de “apropiación
y uso de la tecnologı́a” y “solución de problemas en tecnologı́a”. Con esta información el
docente podrá hacer una planeación de sus actividades de enseñanza, enfocada en mejorar
aquellos desempeños donde se evidencia dificultad. En el caso del estudiante las pruebas le
permitirán ver su nivel en cada una de las componentes. Esto contribuye a mejorar sus pro-
cesos de aprendizaje, ya que brinda la posibilidad de potenciar aquellos desempeños donde
no demuestra mayor nivel de habilidad. Estos instrumentos y su aplicación adecuada, darán
la información necesaria para poder hacer un proceso de planeación de clases más coherente
con las necesidades del grupo. Lo que puede llegar a generar mejores ı́ndices de desempeño
y mayor motivación por parte del estudiante, frente a los conceptos que se presentan.
3.6. Resumen
En este capı́tulo se hizo una descripción más amplia sobre el problema que tienen los do-
centes con la evaluación por competencias para el área de tecnologı́a. De igual manera se
presentaron a partir de los problemas de esta área los posibles insumos para poder auto-
matizar el proceso evaluativo. A partir de los problemas explicados al inicio del capı́tulo
se seleccionaron los componentes y los desempeños que fueron la base fundamental para el
diseño de los instrumentos de evaluación. Se describió el proceso por el cual se tomaron los
desempeños y se convirtieron en habilidades medibles, las cuales fueron la base fundamental
para el diseño de las rúbricas y de las pruebas escritas. Se mostró el procedimiento usado
para la creación de estos insumos y su proceso de validación. En el próximo capı́tulo se
explicará la forma como cada uno de estos insumos evaluativos fueron transformados en un
instrumento automático de evaluación.
4. Automatización del proceso
evaluativo
En el capı́tulo anterior se hizo una descripción de las herramientas que se proponen para el
desarrollo del proceso evaluativo para el área de tecnologı́a en el ciclo V de formación básica
secundaria. En este capı́tulo se hará una explicación del método utilizado para automatizar
cada una de las herramientas evaluativas diseñadas. El presente capı́tulo inicia presentando
las herramientas educativas que fueron automatizadas, los perfiles de usuario necesarios para
la plataforma creada y el lenguaje de programación seleccionado para su desarrollo. Poste-
riormente se hace una explicación acerca de la forma total que tiene el sistema implementado
y las partes que lo componen. Se hará una descripción de los aspectos tomados en cuenta
al momento de automatizar el proceso. Adicionalmente se hará una explicación de cómo se
desarrolló la automatización para cada una de las fases evaluativas, las herramientas que la
conforman y los posibles tipos de informe que entrega al docente y estudiante.
4.1. Contexto general de la automatización realizada

Luego del diseño, creación, desarrollo y validación de las diferentes herramientas evaluativas
se construyó el instrumento que permite su automatización. El sistema automático construido
se describe mediante un esquema de bloques, el cual se presenta en la figura 4-1. La gráfica
evidencia las herramientas evaluativas automatizadas para dos de los cuatro componentes del
área tecnológica: ‘apropiación y uso de la tecnologı́a’ y ‘solución de problemas con tecnologı́a’.
A partir de las habilidades obtenidas para cada desempeño de cada competencia, descritas
en el capı́tulo anterior, se crearon dos herramientas evaluativas: las rúbricas de evaluación y
las pruebas diagnóstico.
50 4 Automatización del proceso evaluativo
Figura 4-1.: Herramientas del proceso educativo automatizadas
La figura 4-1 evidencia por cada herramienta evaluativa utilizada, las diversas partes inter-
nas que la componen. En el caso de las pruebas diagnósticas, se puede apreciar que ellas
contienen preguntas de tipo abierto, de selección múltiple con única respuesta y de selección
múltiple con múltiples respuestas. Ası́ mismo, en el caso de las rúbricas se tienen los tipos
de evaluación que fueron automatizadas, se tiene la auto, co y hetero-evaluación. El último
aspecto tenido en cuenta dentro del proceso de automatización es la generación de informes
por parte del sistema. Estos informes darán información acerca del nivel de logro obtenido
por el estudiante, tanto en las pruebas como en las rúbricas.
Los informes automatizados permiten observar, mediante diversos tipos de figuras, el nivel
de logro alcanzado por un estudiante o por un grupo en una determinada habilidad, desem-
peño o competencia. El sistema automático implementado, entrega gráficos de barras para
el caso de una habilidad o un desempeño. Este tipo de gráfico da la posibilidad de observar
el nivel alcanzado por el educando o grupo de ellos, sobre el máximo posible de alcanzar.
En el caso del reporte de competencias se usan diagramas de red, este tipo de figura en sus
aristas muestra los desempeños trabajados. El nivel de logro alcanzado lo muestra en una
escala que va del centro a la parte externa del diagrama, entre más al centro se ubique el
educando menor es su nivel de logro.
4.2 Perfiles de usuario necesarios para la herramienta evaluativa 51
El proceso de automatización usado en cada una de estas herramientas evaluativas será

explicado en secciones posteriores del presente capı́tulo. Previamente a las explicaciones, es
necesario describir los perfiles de usuario que tendrá la herramienta evaluativa.
4.2. Perfiles de usuario necesarios para la herramienta

evaluativa
Posterior al desarrollo de los informes, es imprescindible tener por cada actor del proceso
educativo un perfil para poder ingresar a la plataforma automatizada. Esta contiene cada
una de las herramientas educativas descritas en la sección anterior. Adicionalmente, depen-
diendo del usuario, éste tendrá unas caracterı́sticas especificas debido al tipo de información
que cada agente del proceso educativo requiere. Se encontró que es necesario un perfil do-
cente y un perfil de estudiante, los cuales tendrán caracterı́sticas diferentes de acuerdo al rol
que cada uno tiene en el proceso educativo.
En el caso del perfil del docente se requiere hacer una configuración del curso previa, a partir
del cronograma escolar, este depende de cada institución. El primer paso es fijar los periodos
académicos, ası́ mismo el valor que se da a los diversos tipos de evaluación, como lo evidencia
la figura 4-2 . En caso que requiera modificar las fechas de cada actividad lo podrá hacer
cuántas veces sea necesario. También es tarea del docente anexar la lista de estudiantes, en
ella el correo electrónico de cada uno educando, el curso al que pertenecen y el grupo de
trabajo que tendrá. A partir de estos datos el sistema genera automáticamente los usuarios
y claves para cada educando, posteriormente envı́a a cada estudiante un correo electrónico,
donde entrega los datos para el ingreso al sistema.
Figura 4-2.: Configuración del curso
Luego de hacer la configuración del curso, el docente debe seleccionar para cada periodo
académico los desempeños que considera trabajar, ası́ como las fechas tentativas de desarrollo
de cada uno, esto se aprecia en la figura 4-3. Posteriormente determinar para cada destreza el
tipo de evaluación que tendrá, ası́ como el valor porcentual que tendrá. También debe escoger
las fechas tentativas en que trabajará cada destreza, de esta manera podrá determinar los
momentos evaluativos que tendrá el curso. En la siguiente pantalla encontrará la información
sobre la selección hecha, podrá observar la actividad actual, el desempeño y la competencia
al que pertenece. Además le mostrará el tipo de evaluación que tiene la actividad, en el
caso de la hetero-evaluación le indicará la fecha máxima que tiene para desarrollarla. Esta
4.2 Perfiles de usuario necesarios para la herramienta evaluativa 53
misma pantalla le indicará las actividades futuras, el desempeño al que pertenecen y el

tipo de evaluación seleccionada. Por último tiene la posibilidad de seleccionar y observar los
diversos tipos de informes ya descritos.
Figura 4-3.: Configuración de actividades
Al momento de hacer la calificación de una habilidad, el docente ingresa en el espacio de

hetero-evaluación. Este lo lleva a una pantalla donde aparece el listado de estudiantes, el
desempeño al que pertenece la destreza y el indicador a evaluar. La labor del docente en esta
pantalla es simplemente seleccionar para cada estudiante mediante un ‘checkbox’ el nivel
obtenido. Al finalizar la evaluación ‘enviar’ y con ello finaliza el proceso de evaluación.
Luego que el docente configura el curso y anexa la lista de estudiantes, estos reciben un
mensaje de correo electrónico, indicado su nombre de usuario y contraseña. Estos dos datos
les permiten ingresar a la plataforma, donde pueden observar las actividades actuales, el
desempeño al que pertenece y la competencia que lo conforma. También podrá conocer si la
actividad es de auto o co-evaluación, en caso que sea de alguna de las dos, le solicita hacer
la respectiva evaluación. También le indica cuáles son las actividades futuras el desempeño
al que pertenecen y el tipo de evaluación que tendrá. Además muestra el listado de los estu-
diantes que hacen parte del grupo de trabajo, en caso que se tenga un error brinda la opción
de informar del mismo mediante un mensaje al docente. Por último el sistema brinda la po-
sibilidad de solicitar y observar los informes tanto por indicador, desempeño y competencia.
Cuando el estudiante ingresa a la auto-evaluación el sistema lo lleva a una pantalla en la

cual le informa la destreza que se requiere evaluar, el desempeño al que pertenece y la com-
petencia. posteriormente le hace una pregunta, la cual tiene cuatro posibles respuestas, a
partir de la selección del estudiante el sistema califica el nivel de logro obtenido. De forma
similar sucede cuando el estudiante es seleccionado para la co-evaluación, el sistema lo lleva
a una página con las mismas caracterı́sticas de la auto-evaluación, con la diferencia que la
pregunta presentada sobre la destreza involucra la actividad grupal desarrollada.
Es necesario aclarar que la selección del estudiante para la co-evaluación es aleatoria, el

sistema selecciona de cada grupo un estudiante y le envı́a un correo donde le indica que
debe hacer el proceso de evaluación de su equipo de trabajo. El sistema almacena por cada
grupo el estudiante que realizó el proceso, de tal manera que en la siguiente oportunidad
selecciona uno diferente para desarrollar este tipo de evaluación. De esta manera todos los
integrantes del grupo tendrán la posibilidad de evaluar el desempeño del equipo de trabajo
en un momento determinado.
4.3. Lenguaje de programación usado

Experiencias en el desarrollo de software con fines educativos sugieren que el lenguaje PHP
es una alternativa viable para la creación de páginas Web, gracias a las ventajas que es-
te lenguaje ofrece [127] y [139]. El lenguaje se incorpora con documentos HTML de forma
embebida, permite la integración a diversas bases de datos, ası́ como utilizarse en diver-
sos sistemas operativos (Windows, Linux o MAC) y también ser interpretado por una gran
variedad de servidores web. Otra de las ventajas del lenguaje PHP es que su curva de apren-
dizaje, es menos compleja comparada con otros lenguaje como JAVA, JSP o ASP. También
es un lenguaje que cuenta con un gran volumen de documentación online, librerı́as y ayudas
gratuitas en la web. Al ser una herramienta de programación de libre acceso y uso, existen
una serie de programas que permiten desarrollar aplicaciones en este lenguaje los cuales son
de fácil adquisición y uso [45]. La información expuesta permite establecer que este lenguaje
de programación es una buena opción para el desarrollo del proyecto tesis planteado. Gra-
cias a que brinda las herramientas adecuadas para la automatización del proceso evaluativo,
permite la generación de diversos tipos de gráficos de forma sencilla, la comparación entre
diversos tipos de datos, lo mismo que la interacción con bases de datos donde almacenar
información por procesar o ya procesada.
4.4 Automatización de evaluación diagnóstico 55
La herramienta que se propone contará con una base de datos de cada estudiante, grupo
y curso, con ello poder analizar el desempeño obtenido por el educando y generar a partir
de ellos informes. Por ello se requiere el uso de un gestor de bases de datos que permita
crear, almacenar, modificar y extraer información. Los gestores de bases de datos también
proporcionan herramientas para agregar, borrar, modificar y analizar datos [71]. Dentro de
las bases de datos comúnmente usadas se encuentran Oracle R , SQL Server R y MySQL,
siendo esta última una de las más difundidas por ser de código abierto. MySQL ofrece diversas
caracterı́sticas, entre ellas se destacan: velocidad y robustez, multiproceso, puede trabajar
en distintas plataformas y sistemas operativos, también provee un sistema de contraseñas y
privilegios muy seguros y flexibles [75]. Por tanto esta base de datos fue la elegida para el
desarrollo de la herramienta software propuesta.
4.4. Automatización de evaluación diagnóstico

El proceso de automatización de las pruebas diagnóstico creadas, implicó tomar en cuenta
una serie de requerimientos, debido a diversos aspectos que ellas contienen. Estos requisitos
surgen a partir de los tipos de preguntas establecidos, por tanto a partir de ellas se fijan las
condiciones necesarias para el proceso de automatización [135]. En las preguntas cerradas se
usaron dos casos comúnmente utilizados, con única respuesta y con múltiples respuestas. A
partir de cada tipo de pregunta se tendrán dos alternativas diferentes para su automatización.
Para poder hacer automáticas las preguntas abiertas por su naturaleza, es necesario tener en
cuenta diversos aspectos, entre ellos los sinónimos que pueda tener una determinada palabra,
lo mismo que encontrar en el texto escrito una serie de palabras claves que permiten hacer
una evaluación de la respuesta dada [125]. Teniendo en cuenta los aspectos mencionados para
los tipos de pregunta, a continuación se hace una descripción detallada de los requerimientos
que se tuvieron en cuenta para automatizar cada tipo de pregunta.
4.4.1. Requerimientos para automatizar la prueba diagnóstico

Luego del proceso de diseño, construcción, validación y estandarización de las pruebas
diagnóstico, se hace necesario obtener a partir de ellas, los aspectos suficientes que per-
mitirán convertirlas en una prueba automática. El primer aspecto que se tuvo en cuenta fue
separar las pruebas en dos test diferentes, de tal manera que se puedan aplicar en dos sesio-
nes de clase. Esto debido a que cada prueba hace una evaluación de competencias diferentes,
por tanto es necesario que sean valoradas cada una por aparte. Esto permitió establecer que
cada prueba tendrı́a una base de datos diferente donde serı́an almacenadas y procesadas sus
respuestas a partir de la organización dada por desempeño.
El segundo aspecto está relacionado con los tipos de pregunta que se trabajaron en las
pruebas, ya que dependiendo del tipo es necesario un algoritmo de análisis diferente. A con-
tinuación se presentan los requerimientos tenidos en cuenta para cada uno de los tipos de
preguntas usadas en las pruebas. Se iniciará con las preguntas abiertas, en ellas se hará una
descripción de los diversos aspectos tenidos en cuenta para hacerla automática. Posterior-
mente se describirán los requerimientos obtenidos para el caso de las preguntas cerradas con
única y múltiple respuesta.
Preguntas abiertas
Este tipo de pregunta tiene como caracterı́stica principal permitir al estudiante describir,
mediante un texto escrito lo que considera adecuado frente a un determinado interrogante
[57]. Uno de los métodos comúnmente usado es el análisis semántico, cuyo objetivo es iden-
tificar relaciones entre las diversas palabras dentro de un texto. Esto da lugar a estructuras
que reflejan varios niveles de interpretación semántica del texto [89], [99] y [115]. Para ana-
lizar sus resultados, se requiere hacer una organización sintáctica en la cual se establecen
palabras claves, ası́ como la relación que estas tienen con otras dentro de la oración, de esta
manera lograr establecer el sentido de una frase [115].
Para establecer los requerimientos que se deben tener en cuenta al momento de evaluar
preguntas abiertas y poder hacer un análisis semántico, se diseñó una prueba piloto con
estudiantes de grado once de la jornada mañana del colegio Julio Garavito Armero de la
localidad de Puente Aranda de Bogotá. La prueba consistió en tomar un grupo de 59 estu-
diantes del ciclo V, a quienes se les hicieron tres preguntas de diversos tipos, una de ellas
abierta. Tomando como base las respuestas de los estudiantes a la pregunta abierta, se ge-
neró una tabla. De ella, se obtuvo una serie de posibles respuestas, las cuales se compararon
con una solución obtenida a partir de una revisión bibliográfica a la pregunta. La respuesta
propuesta como verdadera, fue comparada con cada una de las soluciones planteadas por
los estudiantes participantes. Al comparar las respuestas, se obtuvieron los posibles sinóni-
mos de cada palabra, el sentido que el estudiante quizo dar a la respuesta y las partes que
conforman el concepto evaluado. A partir de estos elementos se valoró cada una de las res-
puestas mediante un puntaje. Este ejercicio se repitió con tres docentes diferentes del área
de tecnologı́a, quienes evaluaron las respuestas de los estudiantes a partir de la aplicación
del método de evaluación descrito. El resultado condujo a establecer:
Palabras claves dentro de la respuesta, a partir de ellas generar un diccionario con los
sinónimos comúnmente usados por los estudiantes. Dichas palabras claves tendrán un
valor más alto en la escala de calificación, entre mayor sea su relación con la respuesta
esperada.
Palabras que se espera estén en la respuesta, pero que no tendrán la misma incidencia
que las palabras claves. Estas obtendrán un valor menor que las palabras claves.
Se obtuvo una escala evaluativa de cuatro niveles, la cual fue un acuerdo obtenido
por los docentes participantes, a partir del seguimiento de la instrucción dada para la
calificación de cada respuesta.
Es necesario no tener en cuenta ni ortografı́a, ni gramática al momento de evaluar

preguntas abiertas, ya que si bien el estudiante puede tener dificultades en estos cam-
pos, la prueba no los está evaluando. Las preguntas buscan conocer las habilidades del
estudiante en dos componentes para el área de tecnologı́a no del área de español.
Para las preguntas de las pruebas diseñadas de los dos componentes de tecnologı́a de la
media, se obtuvieron los requerimientos para automatizar las preguntas abiertas, estos son:
Determinar si la respuesta dada por el estudiante contiene las palabras claves esperadas.
De ser ası́ asignarles el valor X determinado para este tipo de palabras.
Encontrar el número de palabras necesarias para obtener la respuesta esperada. Al

encontrar las palabras darles un valor Y determinado para ellas.
Sumar los valores de las palabras claves con los de las necesarias y con ello obtener la
calificación: Calif = X + Y
No tener en cuenta ni ortografı́a, ni redacción al momento de calificar la respuesta

obtenida. Por tanto es necesario que el diccionario de palabras claves y necesarias, ası́
como sus sinónimos deben contemplar posibles errores ortográficos de cualquier nivel.
Preguntas cerradas
Una de las preguntas cuya calificación es comúnmente convertida en automática es la pre-
gunta cerrada, gracias a que es posible determinar la o las posibles respuestas que se tendrán
[118]. Para la obtención de requisitos para automatizar este tipo de pregunta solamente es
necesario tener por cada pregunta la respuesta adecuada. En el caso de la calificación de
preguntas con única respuesta, basta con otorgar el puntaje total, en caso de seleccionar la
respuesta adecuada. En las preguntas de respuesta múltiple es necesario que se le conceda
a cada posible respuesta, un valor sobre el total. De esta manera al sumar cada una de las
respuestas parciales será posible hacer una calificación automática.
Los requerimientos para las preguntas cerradas de única y múltiple respuesta son:
Establecer las respuestas adecuadas que tendrá la pregunta.
Indicar la forma de calificación de las preguntas con múltiples respuestas.
Señalar la respuesta correcta en las pregunta de única respuesta y calificarla con el

mayor valor de la escala.
4.4.2. Automatización preguntas abiertas

Para automatizar las preguntas abiertas se tomaron en cuenta los requerimientos dados
previamente, a partir de ellos se creó un algoritmo que permita cumplir los requisitos da-
dos. La figura 4-4 permite observar los diversos pasos seguidos para obtener la calificación
automática de las preguntas abiertas. El sistema hace un barrido inicial a la respuesta, bus-
cando palabras claves o sinónimos de estas, en caso de tenerlas le da una puntuación X,
de no tenerlas otorga una puntuación de 0, luego busca las palabras necesarias. Hace una
revisión de la respuesta en búsqueda de estas palabras necesarias o sus sinónimos, en caso
de tenerlas le da una puntuación Y , de no encontrarlas pasará a calificación. En la última
etapa obtiene la calificación en la cual sumará los valores obtenidos en las etapas previas, en
caso de no obtener ningún valor le asignará un valor de 0 puntos.
Pregunta abierta
número x
No Contiene palabras
claves?
Si
Valor X a la palabra
No
Contiene palabras
fundamentales?
Si
Valor Y a la
palabra
Calificación = X + Y
Figura 4-4.: Algoritmo usado para automatizar preguntas abiertas
4.4.3. Automatización preguntas cerradas

Automatizar este tipo de preguntas implicó seguir los requerimientos descritos previamente,
donde se observó que dependiendo si la pregunta es de única o múltiple respuesta ası́ mismo
debe ser su calificación. En primer lugar se hará una descripción de la forma como se auto-
matizaron las preguntas de única respuesta. En este caso se establece la respuesta correcta a
la pregunta y a ella se le da el máximo de puntuación que tendrá la pregunta [26]. La figura
4-6 presenta el algoritmo creado para la calificación de las preguntas con única respuesta.
Se puede observar que luego de revisar si la respuesta es correcta o no, su única función es
dar el valor máximo a la respuesta en caso que sea correcta. Si la respuesta no coincide con
la esperada se otorga un valor de 0 puntos.
Pregunta con
única
respuesta
No
¿La respuesta Otorgue el
marcada es mínimo valor
correcta? de la escala
Si
Otorgue el
máximo puntaje
Figura 4-5.: Algoritmo usado para automatizar preguntas cerradas de única respuestas
En el caso de las preguntas con múltiple respuesta, fue necesario establecer el número de
aciertos posibles que cada interrogante tiene. A partir de ese número de posibles aciertos, se
establece el número n, sobre el cual se divide el valor máximo de calificación de cada res-
puesta, 3. Tomando el valor obtenido para cada acierto, se establece el número de respuestas
marcadas de forma correcta en la pregunta por el estudiante. Dicho número de respuestas
correctas se multiplican por el valor máximo de calificación y con ello se logra la evaluación
de la pregunta. En caso que el estudiante marque opciones incorrectas al responder, el sis-
tema restará del valor total el número de soluciones equivocadas. La figura 4-6 presenta el
algoritmo explicado para hacer la calificación automática de este tipo de pregunta.
Pregunta
múltiple
respuesta
No Esta es un
Otorgue un
puntaje de 0 a la respuesta
respuesta A correcta?
Si
Otorgue un
puntaje 3/n a la
respuesta A
¿ Esta es un No Otorgue un
respuesta puntaje de 0 a la
correcta? respuesta A
Si
Otorgue un
puntaje 3/n a la
respuesta N
Calif= Suma(A,B, .....,

N)
Figura 4-6.: Algoritmo usado para automatizar preguntas cerradas de múltiple respuestas
4.4.4. Calificación de las pruebas diagnósticas

Luego de la creación del algoritmo que se aplica a cada uno de los tipos de pregunta y permite
establecer el nivel alcanzado por el estudiante en cada tipo, se hace necesario desarrollar un
modelo de calificación que permita cuantificar cada habilidad, desempeño y competencia.
Para ello se organizaron las preguntas de acuerdo a la habilidad o indicador al que pertenecen
[13]. La calificación inicia tomando el número de preguntas que hacen parte de un desempeño.
Luego se suman todas las respuestas obtenidas por el estudiante y se multiplican por 1/n,
donde n es el número de preguntas que hacen parte del desempeño. La ecuación 4-1 presenta
la suma ponderada mediante la cual se califica cada desempeño.
1
Di = (P1 + P2 + .........pn ) (4-1)
n
Es necesario aclarar que el valor obtenido en cada desempeño de cada competencia, estará
entre 0 y 3. Estos valores concuerdan con la escala cualitativa dada por el MEN en el decreto
1290 [79]. En el documento del MEN 2009 se presentan como escala de calificación los nive-
les: bajo, básico, alto y superior. Donde 0 corresponde al nivel ’Bajo’, 1 al nivel ’Básico’, 2
al ’Alto’ y 3 al ’Superior’. De esta manera la calificación obtenida por el estudiante en cada
desempeño, puede ser llevada a la escala definida en la rúbrica. La calificación obtenida por
cada estudiante en cada desempeño es almacenada en una base de datos. A partir de estos
datos es posible determinar el nivel de competencia del estudiante y del grupo al que este
pertenece.
4.4.5. Informes de la evaluación diagnóstico

Los resultados de las pruebas diagnóstico permiten al docente establecer las fortalezas, debi-
lidades y necesidades que el grupo de estudiantes requiere para poder mejorar su desempeño
[133]. Para ello es necesario que tanto docentes como estudiantes, reciban un informe donde
se indique por cada desempeño las habilidades donde se requiere mejorar. Para ello se utilizó
un diagrama de red el cual permite en cada una de sus aristas ubicar, cada uno de los desem-
peños a revisar, ası́ mismo entre más cerca se esté del centro menor es el nivel que tiene el
estudiante en ese desempeño. La figura 4-7 se observa un ejemplo del diagrama usado para
el caso de los desempeños de la competencia de apropiación y uso de la tecnologı́a.
Figura 4-7.: Ejemplo de uso de los diagramas de red
Para cada nivel obtenido, es necesario indicar tanto al docente como al estudiante las posibles
causas que generaron ese resultado, de esta manera el educador podrá crear actividades que
permitan mejorar. Para ello se creó una base de datos donde se presentan las posibles causas
del valor obtenido en el desempeño. Las causas descritas acompañadas del diagrama de red
conforman el informe que se presenta tanto al educador como a los educandos. La tabla 4-1
presenta un ejemplo del tipo de re-alimentación brindada.
Desempeño Nivel Re-alimentación por nivel

Bajo El estudiante tienen dificultades al trabajar en equipo como estra-
tegia para la realización de proyectos tecnológicos. Se recomienda
el trabajar en actividades donde comprenda las diversas funciones
de un rol dentro de un equipo de trabajo, ası́ como cumplirlas para
obtener los resultados esperados.
AU07
Básico El estudiante tienen dificultades en la utilización del trabajo en
equipo como estrategia para la realización de proyectos tecnológi-
cos. Debe reforzar en la comprensión y cumplimiento de las diversas
funciones que tiene un rol dentro de un trabajo en equipo.
Alto El estudiante tiene un buen desempeño en el seguimiento de un
rol dentro de un equipo de trabajo, con el cual pueda realizarse
un proyecto tecnológico. Debe reforzar en la comprensión de las
funciones de un rol dentro de un equipo de trabajo.
Superior El estudiante cumple de forma adecuada un rol dentro de un equipo
de trabajo y con ello se construyen un proyecto tecnológico.
Tabla 4-1.: Ejemplo de re-alimentación por desempeño
4.5. Automatización proceso evaluativo: rúbricas

Para desarrollar la automatización de las rúbricas, es necesario tener claridad acerca de la
forma como el docente prepara y desarrolla su clase en el aula. La primera fase en la pre-
paración de clase, es la selección de los desempeños que presentará a sus estudiantes, con
ellos el educador establece los indicadores que considera que en dicha sesión se trabajarán.
A partir de estos indicadores el educador selecciona los posibles ejes temáticos que permiten
describir las habilidades.
Con los indicadores y ejes temáticos claros, procede a buscar y preparar posibles ejemplos
alrededor del tema, posteriormente a organizar aquellas actividades que evaluarán la temáti-
ca trabajada. La gran dificultad en este proceso, es que no siempre el grupo de estudiantes
están en la misma disposición de trabajo o el tema puede tener mayor dificultad de la espe-
rada, por tanto el ritmo de aprendizaje puede variar [33]. Este aspecto genera la necesidad
de retoma de indicadores en otras sesiones. También por el tipo de actividad es posible que
sea necesario el trabajo con un mismo indicador en varias sesiones de clase. Lo que hace
que de una misma habilidad pueda tener varias calificaciones, incluso en diferentes periodos
académicos.
Otro aspecto que es necesario tener en cuenta para poder automatizar el proceso evaluativo
es lo establecido en el decreto 1290 del MEN, en cuánto a los tipos de evaluación (auto, co
4.5 Automatización proceso evaluativo: rúbricas 63
y hetero-evaluación). La dificultad en este caso se relaciona con la libertad que el decreto

da a las instituciones educativas para aplicar estos tipos de evaluación [79]. Lo que indica
que la institución establece el valor porcentual máximo que se otorgará a cada una de ellas.
Ası́ mismo el docente en el aula puede establecer que actividad evalúa él mediante hetero-
evaluación, cuál los estudiantes trabajando en equipo dando uso a la co-evaluación y cuál
el estudiante de forma individual, auto-evaluación. Este aspecto hace que para un mismo
indicador el docente pueda llegar a evaluarlo mediante los tres tipos de evaluación. Esto
sugiere que una misma actividad puede tener auto, co y hetero-evaluación.
Por tanto el sistema debe tener como requerimientos:
Permitir al docente seleccionar de cada desempeño los indicadores que desee evaluar.
Establecer mediante un cronograma las fechas donde considera que trabajará en un

determinado indicador.
Implantar para un determinado indicador el tipo o los tipos de evaluación que considere.
Tomando en cuenta los requerimientos mencionados se generaron una serie de bases de da-
tos, con el fin de almacenar los diversos datos obtenidos en el proceso evaluativo, para su
posterior tratamiento. En primer lugar es necesario guardar las competencias, con sus respec-
tivos desempeños y sus habilidades. Cada uno de ellos con las nomenclaturas establecidas,
las cuales permitirán identificarlas. Luego fue posible almacenar por fechas los indicadores
que el docente seleccionó. También fue posible almacenar según el tipo de evaluación los
indicadores sin perder el desempeño al que pertenecen.
Por ejemplo si el docente decide que la habilidad será auto-evaluada, el estudiante responderá
la pregunta que corresponda con el indicador, su resultado se almacena en la base de datos.
Ese mismo caso se da si la actividad es co-evaluada, donde un solo estudiante perteneciente al
grupo de trabajo responderá la pregunta, dicha calificación se almacena en la base de datos,
para todos los integrantes del grupo. En el caso que la actividad sea de hetero-evaluación
el docente será el encargado de calificar, a partir de la fila de la rúbrica correspondiente al
indicador. En cada uno de estos casos el valor de la evaluación fue almacenado y procesado,
teniendo en cuenta el nombre del estudiante, el curso y el grupo al que pertenece, el indicador
trabajado y la fecha en que se desarrolló.
4.5.1. Creación de informes de resultados

Calificación e informes por habilidades
Teniendo en cuenta los datos almacenados en cada base de datos, se procede a generar
los informes tanto por grupo como por estudiante, para ello es necesario que se tenga la
calificación de cada habilidad. Dicha calificación se genera al tener en cuenta el número de

veces que un indicador se trabajó durante un periodo académico. Esto implica que si se
utilizó un número n de veces la calificación tendrá en cuenta dicho número. Por ello se optó
por trabajar con sumas ponderadas, ya que este valor permite hacer el cálculo el número
de veces que fuese necesaria, sin mayor inconveniente. Para ello se registra el número de
ocasiones, en que el indicador fue programado por el docente de esta manera se obtiene el
número n. En la ecuación 4-2, es posible observar que dependiendo el número de veces que se
haya trabajado el indicador, en este caso AU 01H1, ese mismo número de veces fue evaluado.
1
AU 01H1 = (X1 + X2 + ..... + Xn ) (4-2)
n
Este mismo de método se usa cuando el docente decide trabajar con diversos tipos de eva-
luación, por ejemplo, el docente decide que el desempeño AU 02 que tiene 4 indicadores será
trabajada con diversos tipos de evaluación. El educador propone por ejemplo, que para los
dos primeros indicadores AU 02H1 y AU 02H2 los evaluará él, la habilidad AU 02H3 el estu-
diante y la destreza AU 02H4 el educando y él, con porcentajes iguales de calificación. Para
el cálculo de la destreza AU 02H4 se hace:
AU 02H4 = 0, 5x(A1 + H1 ) (4-3)
En la ecuación 4-3 el valor de 0, 5 corresponde al valor porcentual dado por el docente a cada
tipo de evaluación, en este caso 50 %. A1 corresponde a la calificación de la auto-evaluación
y H1 es el valor de la puntuación dada por el docente como hetero-evaluación. Con esto se
logra obtener el nivel que obtuvo cada estudiante en este indicador, adicionalmente se espera
que el docente haya evaluado las dos destrezas que correspondı́an a hetero-evaluación y el
estudiante elegido del grupo haya co-evaluado. Con ello se tendrán calificadas las 4 habili-
dades correspondiente a este desempeño.
Continuando con el ejemplo del desempeño AU 02, es posible generar por cada estudiante
un informe, donde se observa el nivel alcanzado en cada indicador. Para ello se utilizan
gráficos de barras, que permiten presentar varias variables de forma paralela en un mismo
gráfico. En la figura 4-8 es posible observar el valor obtenido en cada indicador, en el eje
de las ordenadas se encuentran organizadas cada una de las habilidades correspondientes al
desempeño. En el eje de las abscisas se tienen los valores entre 0 y 3 que como se mencionó
en la sección previa, indican niveles desde ‘Bajo’ hasta ‘Superior’. En la figura el color azul
indica el nivel obtenido por el estudiante, mientras el color rojo indica los niveles faltantes
para lograr el nivel máximo. Junto a esta figura se da una re-alimentación como la mostrada
en la tabla 4-1, lo que permite al estudiante y al docente identificar las dificultades que tiene
el educando, en cada desempeño.
4.5 Automatización proceso evaluativo: rúbricas 65
Figura 4-8.: Ejemplo de informe de indicadores
Este mismo tipo de gráfico es usado en el informe que corresponde al resultado del indicador
por grupo, el cual permite al docente poder visualizar las dificultades que la totalidad de es-
tudiantes de un curso, tiene en un determinado indicador. Este gráfico se acompaña con una
re-alimentación sobre el indicador como se ha explicado previamente. Para calcular el valor
que obtuvo el grupo en el indicador, basta con multiplicar el número de estudiantes k por la
sumatoria de las calificaciones del indicador obtenidas por cada educando. La ecuación 4-4
presenta el cálculo descrito previamente, donde k1 establece el número de estudiantes perte-
necientes al grupo, AU 0XHY Ei corresponde a la calificación obtenida por cada estudiante
en un determinado indicador.
k
1 X
AU 02H4 = ( AU 0XHY Ei ) (4-4)
k i=1
Informe por desempeño

Para la obtención de informes por cada desempeño se requiere que estén almacenados en una
base de datos, los valores obtenidos en la calificación de cada habilidad por cada estudiante.
A partir de los valores de cada destreza y de identificar a cual dimensión pertenecen, es
posible obtener el nivel alcanzado en el desempeño por cada estudiante. Para ello se utiliza la
ecuación 4-5, donde m representa el número de indicadores del desempeño y m
P
i=1 AU 0XHi
corresponde a la suma de cada calificación obtenida por el estudiante en cada habilidad.
m
1 X
AU 0X = ( AU 0XHi ) (4-5)
m i=1
Luego de tener evaluadas la totalidad de habilidades de cada desempeño, se procede a la

generación de los informes. Para esto se usan diagramas de red los cuales permiten obser-
var todos los desempeños que pertenecen a una competencia, ası́ como los niveles máximos,
mı́nimos y el obtenido por el estudiante. Este tipo de gráfico permite al estudiante identificar
el nivel que obtuvo en cada desempeño, lo mismo que observar su nivel en la competencia.
Ası́ mismo le permite al docente conocer para cada estudiante las dificultades y fortalezas
que presenta en cada dimensión de la competencia. Junto al gráfico se da un breve informe
de cada desempeño, describiendo las fortalezas que se tienen, los aspectos a mejorar y suge-
rencia de posibles actividades que permiten fortalecer cada dimensión.
En el caso del informe por grupo para los desempeños de una competencia, se hace necesario
calcular el valor obtenido por la totalidad de estudiante del curso, en cada dimensión. Para
ello al igual que en el caso de los indicadores, se utiliza la suma ponderada. La ecuación 4-6
presenta la forma como se calcula el valor de cada desempeño. En este caso p representa la
totalidad de estudiantes del curso, AU 0XEi la calificación obtenida por cada estudiante en
el desempeño evaluado. Con esta ecuación es posible obtener todos los desempeños de una
competencia para todos los estudiantes de un curso.
p
1 X
AU 0X = ( AU 0XEi ) (4-6)
p i=1
Luego de obtener para cada desempeño de la competencia su determinado nivel, se diseña

nuevamente un diagrama de red, acompañado de una descripción con las fortalezas y de-
bilidades de cada dimensión. Este informe le permite al docente identificar los desempeños
donde el grupo tiene fortalezas y aquellos donde se requiere generar un refuerzo. Dentro
del informe se sugieren al educador, algunas actividades que permiten mejorar en aquellas
dimensiones que se requiere mejorar.
4.6. Experiencia de usuario

En esta sección se presenta un panorama general sobre la forma de utilizar las herramientas
automatizadas, por parte del docente y el estudiante. El docente luego de configurar el curso
y establecer las fechas de cada uno de los periodos académicos, puede habilitar el periodo de
tiempo en el cual el educando debe presentar y solucionar las pruebas diagnosticas. Dentro
de las fechas establecidas el colegial ingresa a la plataforma, mediante su nombre de usuario
y contraseña y soluciona cada uno de los test automáticos. Al finalizar cada prueba el edu-
cando envı́a sus respuestas y el sistema carga los resultados en la base de datos. El educador
o el estudiante pueden consultar el resultado de cada test, ası́ como la re-alimentación para
cada desempeño y con ello identificar el nivel que se tiene en cada una de las competencias
4.7 Resumen 67
evaluadas.
Para usar la plataforma de rúbricas automáticas diseñada, el docente establece la habilidad

a trabajar, determina el tipo de evaluación a aplicar e indica al estudiante los tiempos para
el desarrollo de la actividad. Si el trabajo desarrollado por el educando es evaluada por el
educador, el sistema le informa periódicamente que debe hacer la calificación de la actividad.
Cuando ingresa a hacer la cualificación la plataforma le presenta la habilidad a evaluar, el
listado de los estudiantes y la escala de valoración a tener en cuenta. Finalizado el proceso
de calificación el sistema actualiza la base de datos y si el educador lo requiere le presenta
el informe de resultados.
Cuando el docente establece para una determina habilidad la calificación a través de auto y/o
co-evaluación, el sistema notifica a los estudiantes mediante un mensaje de correo electróni-
co, solicitando hacer la evaluación. El educando ingresa a la plataforma, selecciona la opción
de evaluar la habilidad y el sistema le presenta la destreza acompañada de una pregunta.
También le brinda cuatro respuestas posibles al interrogante, el educando debe elegir una a
partir de los resultados de la actividad. La información recolectada se almacena en la base
de datos y se procesa, si el educador o el colegial desean ver los resultados, simplemente
ingresan al sistema de generación de informes y observan el nivel obtenido en la habilidad.
Cada uno de los aspectos sobre el uso de la plataforma por parte de los dos actores del
proceso educativo mencionados en esta sección, se aprecian en el anexo G. Dicho anexo
evidencia mediante diversas pantallas, la experiencia paso a paso tanto por el docente como
por el estudiante.
4.7. Resumen
En el presente capı́tulo se argumentó alrededor de las diferentes herramientas usadas que
permitieron la automatización del proceso evaluativo. Se inició el capı́tulo con una breve
descripción de las herramientas evaluativas automatizadas. Posteriormente se explican los
diferentes algoritmos usados para automatizar las pruebas diagnóstico creadas y los diferentes
tipos de pregunta usados. El modelo de calificación usado el cual permitió obtener a partir
de las pruebas, el nivel de cada habilidad, desempeño y competencia. También se presentó
el modelo de automatización usado para las rúbricas como parte del proceso educativo.
Se describió la manera en la cual, haciendo uso de ellas y usando el mismo modelo que
en las pruebas, es posible que el docente reciba diversos tipos de informe, ası́ como re-
alimentación del proceso desarrollado por cada estudiante y el grupo al que pertenece. Ası́
mismo el estudiante puede tener una herramienta la cual al ser automática, le da información
oportuna sobre su proceso y las mejoras que puede hacer para obtener un mejor rendimiento
académico.
5. Resultados
En este capı́tulo se presentarán los resultados obtenidos al aplicar las pruebas automáticas
creadas, ası́ como la opinión recogida de un grupo de docentes acerca de la plataforma
de evaluación del proceso educativo basado en rúbricas. En cada uno de los casos se hará
una descripción de la metodologı́a con la cual fue posible la obtención de los resultados.
Para las pruebas diagnósticas se hace una comparación de la calificación de los diversos
tipos de pregunta de forma manual, frente al modelo de calificación diseñado en la versión
automática. También se analizan los resultados obtenidos al aplicar una encuesta a cinco
docentes de colegios distritales de la ciudad de Bogotá, quienes analizan las caracterı́sticas
de la plataforma de las rúbricas, su facilidad de uso, la utilidad de las herramientas de auto
y co-evaluación y los diversos tipos de informe que presenta.
5.1. Resultados pruebas diagnóstico y sumativa

Luego del proceso de corrección de desempeños, el diseño de indicadores de evaluación, la
creación de las rúbricas para los componentes ‘Apropiación y Uso de la Tecnologı́a’ y ‘Solu-
ción de Problemas con Tecnologı́a’, se crearon las pruebas diagnósticas. La primera versión
de las pruebas fue una prueba escrita, la cual fue validada como se describió en el capı́tulo
3. Luego se procedió a automatizar cada test de tal manera que generarán resultados por
indicador, desempeño y competencia, tomando las respuestas de cada pregunta, tal como se
describió en el capı́tulo 4. Este proceso permitió establecer para cada estudiante un diagra-
ma de radar con los resultados obtenidos en la prueba y dando una re-alimentación de los
aspectos en los que debe mejorar. Ası́ mismo le entrega al docente informes por estudiante
o grupo con los resultados por cada habilidad, desempeño y competencia.
5.1.1. Metodologı́a de aplicación de las pruebas tanto manuales como

automáticas
Tomando como base las pruebas diagnósticas se desarrolló un piloto con tres docentes de
planta de la ‘Secretaria de Educación del Distrito’ (SED Bogotá). Los docentes Edna Yo-
landa Orjuela, Edgar Augusto Castañeda y Marco Antonio Calvo, educadores que orientan
el área de tecnologı́a, con más de cinco años de experiencia. La medición realizada con los
docentes fue llevada a cabo en el mes de febrero del año 2015, en fechas diferentes, esto
5.1 Resultados pruebas diagnóstico y sumativa 69
debido a la disponibilidad de tiempo de cada uno de ellos. A cada educador se le entregó una
prueba piloto desarrollada por 56 estudiantes de ciclo V del ‘I.E.D Julio Garavito Armero’
con tres tipos de pregunta, una abierta, una de única respuesta y una de múltiple respuesta.
Las preguntas dadas a los educadores son tomadas de las pruebas diagnósticas diseñadas. La
idea fundamental en este ejercicio fue medir el tiempo que tardan los docentes calificando
cada tipo de pregunta.
En el primer caso se entregó a cada docente las respuestas correspondientes a la pregunta

de tipo abierto, adicionalmente se entregó el modelo de respuesta correspondiente al interro-
gante, el mismo que se utilizó en el sistema automático. Se entregaron dos paquetes de 28
respuestas a cada docente con un tiempo de 20 minutos de receso entre la revisión y califi-
cación de cada paquete. Esto con la idea fundamental de permitir al educador un tiempo de
descanso. Se midió por cada docente el tiempo en segundos, que tarda en revisar la respuesta
dada por el estudiante. El resultado se muestra en la tabla 5-1, donde es posible apreciar
que el docente para la pregunta abierta tarda en promedio entre 17,20 a 19,18 segundos.
Eval 1 Eval 2 Eval 3

Grupo 1 13,24 14,34 15,19
Grupo 2 21,26 22,26 23,26
Total 17,20 18,23 19,18
Tabla 5-1.: Tiempos promedios de evaluación de cada grupo por cada educador, tiempo en
segundos
Para corroborar el tiempo promedio de calificación de la herramienta software creada, se

ingresaron las respuestas al sistema tal cual como los estudiantes las habı́an escrito, inclu-
yendo los errores ortográficos. Luego de finalizar el proceso se solicitó al sistema crear un
informe con los resultados de todos los estudiantes ingresados, el cual tardó cerca de 20
segundos. Es necesario aclarar que este es el tiempo que la herramienta tarda calificando
las 22 preguntas que contiene la prueba completa de ‘Apropiación y Uso de La Tecnologı́a’,
de igual manera este tiempo fue el que tardó en la revisión y calificación de los 56 estudiantes.
Un aspecto que se presentó con los docentes dentro del ejercicio de revisión y calificación de
las pruebas, tuvo que ver con el poco seguimiento de algunas de las instrucciones dadas. A
los educadores se les dio de forma previa la respuesta adecuada a la pregunta abierta, junto
con el modelo de calificación, lo mismo que el mecanismo para la asignación de puntuación.
Pero algunos de los educadores consideraron necesario hacer una interpretación de la res-
puesta dada, ası́ mismo a pesar que se indicó no revisar ortografı́a, algunos de los docentes
lo hicieron y lo tuvieron en cuenta para la calificación. Hacer la corrección de ortografı́a no
es inadecuado, pero distrae al profesor del objetivo primordial que es la evaluación de com-
petencias. Los docentes que tuvieron en cuenta el aspecto ortográfico, justifican este hecho
70 5 Resultados
como pieza necesaria al momento de evaluar, además sugerı́an que esto hace parte de la for-
mación integral del estudiante, tomada a partir de métodos tradicionales de evaluación [116].
Los aspectos descritos sugieren que algunos docentes, en algunas oportunidades no son obje-
tivos al momento de evaluar una habilidad en el estudiante y tiene en cuenta habilidades que
no tienen que ver con lo que se quiere revisar. Frente a este aspecto el sistema creado presenta
una ventaja, el algoritmo desarrollado e implementado no tiene en cuenta la ortografı́a, ni
hace interpretaciones de la respuesta, simplemente evalúa lo que el estudiante escribe. Por
tanto la herramienta brinda una evaluación más clara para el estudiante, ya que frente a un
indicador le indica el nivel que tiene.
Posterior a la revisión de las preguntas abiertas, se solicitó al grupo de docentes evaluar las
preguntas de tipo cerrado con única respuesta. Para ello se desarrollo la misma metodologı́a
que en el caso anterior, se dio a cada docente la respuesta adecuada junto con los paquetes de
soluciones planteadas por los estudiante, divididos en grupos de 28. De igual manera luego
de revisar y calificar un paquete se daba un breve receso para posteriormente revisar el otro
grupo. Se encontró que en este caso los docentes tardan menos tiempo en la revisión de cada
respuesta, gracias a que solo buscan la opción adecuada a la pregunta. La tabla 5-2 evidencia
en sus columnas el promedio que tarda cada uno de los docentes en hacer la calificación de
una pregunta que tiene una sola respuesta. Se demuestra a partir del resultado que los
educadores en este tipo de preguntas tienen gran habilidad en su proceso de calificación, el
tiempo usado para la revisión es bajo, aunque no es comparable con el del sistema automático
descrito previamente. Esto debido a que el sistema revisa un mayor número de preguntas en
un tiempo que es el doble del que tarda el docente.

Grupo 1 7 11 10
Grupo 2 11 11 10
Promedio 8,8 11,3 10,2
Tabla 5-2.: Resultado de evaluación de preguntas con única respuesta, tiempo en segundos
Luego de la revisión de las preguntas con única respuesta, se presentó a los docentes una
pregunta en la cual el estudiante debı́a seleccionar cuatro posibles respuestas y organizarlas.
Al igual que en el caso anterior se les diieron las respuestas adecuadas organizadas, dos
paquetes de soluciones desarrolladas por los estudiantes, ası́ como el mecanismo con el cual
asignar la calificación. Los resultados promedio obtenidos por los educadores se presentan en
las columnas de la tabla 5-3, en ella es posible observar que los tiempos promedios son más
altos al ser comparados con el valor promedio que tarda el sistema en generar un informe para
ese mismo número de pruebas. Es importante destacar que tanto en este tipo de preguntas
ası́ como en las de única respuesta, los docentes que colaboraron con el ejercicio, no suelen
tener inconvenientes, por tanto el nivel de precisión de la calificación es bueno y adecuado.

Grupo 1 22 26 21
Grupo 2 24 27 23
Promedio 23,4 26,4 22,0
Tabla 5-3.: Resultado de evaluación de preguntas con múltiple respuesta, en segundos
5.1.2. Comparación entre el uso de pruebas manuales y automáticas

Luego de analizar la prueba piloto implementada con los docentes, se observa que los educa-
dores tienden a revisar y calificar las pruebas en tiempos más altos comparados con los del
sistema. Cuando se analiza el tiempo que un docente tarda en revisar la prueba de ‘apropia-
ción y uso de la tecnologı́a’ aplicada a un grupo de 30 estudiantes, se obtiene un promedio
de 75 minutos. La prueba contiene 22 preguntas, las cuales fueron revisadas por el docente y
también por el sistema creado, encontrando coincidencia en el modelo de calificación en 18
interrogantes. Es importante aclarar que se dieron al educador las respuestas usadas en la
automatización del sistema, pero el análisis que ellos hacen para asignar una calificación en
algunas preguntas, no coincide con lo aplicado en la plataforma. Esto permite establecer que
es necesario hacer una revisión de la forma como se asigna la calificación en las preguntas
donde no se tiene coincidencia.
El algoritmo creado establece el puntaje al determinar el número de respuestas acertadas, se-

leccionadas por el estudiante. Si este número coincide con la totalidad de opciones correctas
marcadas, se asigna el máximo de puntaje. Si el número de soluciones correctas marcadas
coincide con el 70 % de las opciones de respuesta esperadas, se asigna una calificación que
corresponde con el nivel ‘alto’ del sistema de calificación. En el caso que el estudiante marque
el 50 % de las opciones de solución esperadas se asigna un nivel de ‘básico’ y si esta por
debajo del porcentaje mencionado, se otorga el nivel ‘bajo’ de calificación. Para los docentes
este mecanismo de evaluación si bien es correcto, prefieren dar al estudiante la posibilidad
de fallar en alguna respuesta de las esperadas. Por tanto los porcentajes sugeridos en el
algoritmo varı́an, por lo cual se considera ajustar las pruebas automáticas a este parámetro
que plantean los educadores.
En las pruebas automáticas diseñadas son evidentes algunos aspectos donde son más eficien-
te, frente al caso de la comprobación y puntuación desarrollada por los docentes. Por ejemplo
hace la revisión de las respuestas en menor tiempo y sin errores independiente del tipo de
pregunta que se tenga. Ası́ mismo no presenta interpretaciones en el caso de las respuestas
72 5 Resultados
a preguntas abiertas, simplemente utiliza el algoritmo que permite su calificación, tampoco

tiene en cuenta la ortografı́a de la respuesta obtenida del educando. Esos aspectos permiten
que la calificación dada por el sistema sea especı́fica sobre el indicador o habilidad, lo cual
hace que se tenga información sobre las dificultades que el estudiante pueda tener.
En el caso de la generación de informes sobre las pruebas diagnóstico, el sistema puede

brindarlos por estudiante o por grupo, ası́ mismo por habilidad, desempeño o competencia.
En el caso de los informes por estudiante y por indicador, el sistema entrega un gráfico de
barras donde muestra la habilidad evaluada y el nivel alcanzado, también brinda una re-
alimentación acerca del resultado obtenido. Para los informes por desempeño simplemente
al gráfico de barras mencionado previamente, le añade todos las habilidades que contiene la
dimensión, dando re-alimentación a cada una. En el caso de los informes por competencia,
el sistema presenta un gráfico de red, el cual fue explicado en el capı́tulo cuatro, las aris-
tas de la figura corresponden con cada uno de los desempeños que se evaluaron. De igual
manera, presenta el nivel que el estudiante obtuvo en cada una de las dimensiones evalua-
das, adicionalmente re-alimenta tanto con las fortalezas como las dificultades que tiene el
estudiante, sugiriendo en cada caso, actividades que permiten mejorar el nivel actual. Las
mismas caracterı́sticas descritas se aplican a los informes por grupo, es posible tener el re-
sultado por indicador, desempeño y competencias, recibiendo en cada uno la re-alimentación.
Los docentes frente al caso de los informes indican que comúnmente lo que hacen es tomar
las notas de cada estudiante, de acuerdo a si son de trabajo en clase, auto o co-evaluación.
A partir de esas calificaciones establecer el resultado obtenido por el estudiante como un
valor numérico. A partir de la nota dan una re-alimentación pero en muchos ocasiones solo
a los estudiantes que pierden o solicitan conocer el porqué de su calificación. En el resto de
casos simplemente se da el valor sin mayor re-alimentación. Frente al tema de generar un
informe por curso, los docentes manifiestan que es complejo y que los espacios que tienen en
la institución libres, los dedican a actividades de preparación de clase, por tanto simplemente
con conocer el número de educandos con dificultades es suficiente.
Por tanto la herramienta creada para las pruebas brinda información más adecuada, frente a
la obtenida por el docente, ya que el sistema tiene la posibilidad de procesar los datos de una
manera más eficiente. Por esta razón es un apoyo al docente ya que le permitirá establecer
por cada estudiante y por cada grupo los desempeños donde se tiene mayor dificultad. Con
ello identificar actividades que puede desarrollar y que potenciarı́an la mejora en en los
procesos educativos del estudiante. Para el educando la herramienta le permite identificar
sus fortalezas y le sugiere, en el caso de las debilidades, alternativas que le permiten mejorar.
5.1.3. Resultados de los estudiantes en las pruebas

Una vez finalizado el diseño de las pruebas diagnósticas de los componentes ‘Apropiación
y Uso de la Tecnologı́a’ y ‘Solución de Problemas con Tecnologı́a’, su proceso de revisión y
validación, ası́ como su implementación para convertirlas en una prueba automática, fueron
aplicadas en dos instituciones del distrito capital. Los colegios ‘I.E.D Clemencia Holguı́n de
Urdaneta’ de la localidad Rafael Uribe Uribe y en el ‘I.E.D Julio Garavito Armero’ de la
localidad de Puente Aranda. En ambas instituciones se aplicó primero la prueba de ‘Apro-
piación y Uso de la Tecnologı́a’ en una sesión de clase de 110 min, ocho dı́as después se aplicó
la prueba de ‘Solución de Problemas con Tecnologı́a’ con el mismo tiempo de duración y bajo
las mismas condiciones, las pruebas fueron aplicadas en el primer semestre del 2015.
Para la aplicación de cada prueba a cada estudiante se le asignó un computador con co-
nexión a Internet y se le solicitó abrir el navegador de su preferencia, posteriormente se le
indicó la dirección electrónica donde se encontraban las pruebas y se dio la orden de iniciar
a responderlas. También antes de iniciar a responder los test, se recomendó seguir las indi-
caciones que cada prueba pudiese tener en cada una de sus preguntas. Adicionalmente se
aclaro que no se debı́a usar ningún tipo de ayuda para la solución de los exámenes, además
se mencionó que no tendrı́a calificación que simplemente era un diagnóstico que se querı́a
establecer. Los estudiantes de las instituciones desarrollaron cada una de las pruebas en su
totalidad, a partir de ellas fue posible obtener por cada educando y grupo resultados. Con
las respuestas obtenidas en cada test, se construyeron los informes para cada grupo evaluado
en cada componente, a continuación se hará la descripción de los hallazgos obtenidos.
Resultados prueba ‘Apropiación y Uso de la Tecnologı́a’

En este apartado se analizarán los resultados obtenidos por los estudiantes de cada institución
que participaron en el proceso de implementación de las pruebas diagnósticas. Se inicia con
los educando que pertenecen al ‘I.E.D Clemencia Holguı́n de Urdaneta’ y que respondieron
el exámen de ‘Apropiación y Uso de Tecnologı́a’. La prueba fue desarrollada por cuarenta
y nueve estudiantes de grado once. El grupo de educandos contestó la totalidad de las
preguntas contenidas en la prueba, a partir de las respuestas se aplicó el algoritmo descrito
en el capı́tulo cuatro y que calcula el promedio ponderado. El resultado obtenido se presenta
en la tabla 5-4. Con ella se puede observar desde el desempeño de mejor nivel al de mayor
dificultad, con estos insumos se construyó la figura 5-1.
A01 A02 A03 A04 A05 A06 A07 A08

Básico Básico Básico Básico Alto Básico Básico Alto
Tabla 5-4.: Tabla de Resultados I.E.D Clemencia Holguı́n de Urdaneta

74 5 Resultados
Figura 5-1.: Resultado I.E.D Clemencia Holguı́n de Urdaneta
La figura y la tabla evidencian que los desempeños AU08 y AU05 tienen un nivel de logro
alto por parte de los educandos. Esto indica que los estudiantes que pertenecen al grupo
evaluado son capaces de identificar y explicar, cómo conocimiento y conceptos de otras áreas
están presentes en un artefacto. Ası́ mismo tienen habilidad para interpretar, utilizar ma-
nuales, seguir instrucciones, diagramas y esquemas, con los cuales pueden hacer el montaje
de artefactos, dispositivos y sistemas tecnológicos. Por tanto para estos desempeños se reco-
mendarı́a reforzar un poco más en este desempeño pero no es una actividad que tenga alta
prioritario.
Por otro lado el grupo obtuvo niveles básicos en los desempeños AU01, AU02, AU03, AU04
y AU07. Los educandos tienen dificultad para reconocer la importancia del mantenimiento de
artefactos tecnológicos utilizados en la vida cotidiana. También para consultar y documen-
tar información sobre algunos procesos de producción y manufactura de productos. Además
tienen dificultades para utilizar adecuadamente herramientas de las TIC para la búsqueda,
procesamiento y socialización de la información. Frente a el uso de elementos de protección
en ambientes de trabajo y de producción teniendo en cuenta las normas de seguridad indus-
trial, también presentan inconvenientes. Ası́ mismo en utilizar herramientas y equipos en la
construcción de modelos, maquetas o prototipos, teniendo en cuenta normas de seguridad.
Ası́ mismo al trabajar en equipo como estrategia para realizar proyectos tecnológicos. Se
recomienda que se desarrollen actividades que permitan al estudiante potenciar sus aprendi-
zajes en cada uno de estos desempeños. Esto contribuirı́a a la mejora tanto conceptual, ası́
como de aplicación de cada uno de ellos.
La tabla 5-5 y la figura 5-2 presentan los resultados obtenidos por los veintiséis estudiantes
de grado décimo del colegio ‘I.E.D Julio Garavito Armero’ que completaron la prueba del
componente de ‘Apropiación y Uso de la Tecnologı́a’. Es posible observar que el grupo tiene
un nivel alto en el desempeño AU08, lo que indica que los educandos que pertenecen a este
grupo son capaces de identificar y explicar, cómo conocimiento y conceptos de otras áreas
están presentes en un artefacto. Contrario a este resultado tienen dificultades en el desempeño
AU02, ya que obtuvieron un nivel ‘Bajo’ en él. Esto indica que tienen dificultades para
consultar y documentar información sobre algunos procesos de producción y manufactura de
productos. Por tanto es necesario que se trabaje en actividades que permitan al estudiante
consultar información de un proceso de producción y manufactura de productos. También es
necesario que se mejore en la habilidad de describir los pasos de producción y/o manufactura
de un producto determinado. Ası́ mismo se requiere incrementar en el indicador donde el
educando presenta información organizada sobre procesos de producción y/o manufactura
para obtener productos.
A01 A02 A03 A04 A05 A06 A07 A08

Básico Bajo Básico Básico Básico Básico Básico Alto
Tabla 5-5.: Tabla de Resultados I.E.D Julio Garavito Armero
Figura 5-2.: Resultado I.E.D Julio Garavito Armero

76 5 Resultados
Análisis de resultados ‘Solución de Problemas con Tecnologı́a’

En este apartado se analizarán los resultados obtenidos por cada estudiante de las institucio-
nes que participaron en el proceso de implementación de las pruebas diagnósticos. Se inicia
con el colegio ‘I.E.D Clemencia Holguı́n de Urdaneta’ y los hallazgos obtenidos en el test
de la componente de ‘Solución de Problemas con Tecnologı́a’. La prueba fue desarrollada
por veinticinco estudiantes de grado once. El grupo de estudiantes contestó la totalidad de
las preguntas contenidas en la evaluación automática. En la tabla 5-6 y en la figura 5-3 se
evidencia que el grupo de estudiantes, tienen un nivel básico en los desempeños: SP02, SP03,
SP05 y SP06. Los resultados obtenidos en la prueba permiten determinar dificultades al mo-
mento de analizar y comparar diversas soluciones a un problema, por tanto no proponen, no
analizan, ni comparan diferentes soluciones. El grupo tiene dificultad con la interpretación
y representación de ideas de diseño. Por lo cual no diseña ni construye prototipos en donde
deba utilizar algún registro, texto, diagrama o plano.
En los desempeños SP01 y SP04 el grupo de educandos está en el nivel más bajo de la
escala. La prueba permitió determinar que no identifican condiciones, restricciones y especi-
ficaciones alrededor de un problema. Asimismo no diseñan, ni construyen o prueba artefactos
tecnológicos teniendo en cuenta condiciones, restricciones y especificaciones de diseño.
S01 S02 S03 S04 S05 S06

Bajo Básico Básico Bajo Básico Básico
Tabla 5-6.: Tabla de Resultados I.E.D Clemencia Holguı́n de Urdaneta, prueba de la com-
ponente ‘Solución de Problemas con Tecnologı́a’
Figura 5-3.: Resultados I.E.D Clemencia Holguı́n de Urdaneta, prueba ‘Solución de Pro-
blemas con Tecnologı́a’
En el caso del colegio ‘I.E.D Julio Garavito Armero’ se aplicó la prueba de la componente
de ‘Solución de Problemas con Tecnologı́a’ a diecinueve estudiantes de grado décimo. Los
resultados obtenidos se observan en la tabla 5-7 y en la figura 5-4, se observa que los
resultados son similares a los obtenidos en el colegio Clemencia. Su única diferencia radica
que en el desempeño SP04, tienen un nivel ‘Básico’ comparado con el ‘Bajo’ obtenido por la
institución Holguı́n de Urdaneta. Por tanto se podrı́a dar un informe de resultados similar
al generado previamente.
S01 S02 S03 S04 S05 S06

Bajo Básico Básico Básico Básico Básico
Tabla 5-7.: Tabla de Resultados I.E.D Julio Garavito Armero, prueba de la componente
‘Solución de Problemas con Tecnologı́a’
78 5 Resultados
Figura 5-4.: Resultados I.E.D Julio Garavito Armero, prueba ‘Solución de Problemas con
Tecnologı́a’
Tomando como base los hallazgos obtenidos en ambas instituciones se recomienda trabajar
en actividades que involucren la solución de un problema del entorno usando tecnologı́a.
Es importante desarrollar un proceso educativo donde los estudiantes evidencien los pasos
necesarios para solucionar el problema, ası́ como comprender que se deben explorar diver-
sas soluciones y con ellas determinar la que mejor se ajuste a los parámetros del problema.
Además es necesario que puedan representar esas ideas en insumos tales como: planos, dia-
gramas, maquetas entre otros. Ası́ mismo deben trabajar en la selección de una solución
argumentando el porqué la hace. Con cada una de estas habilidades de pensamiento el
estudiante logrará mejorar su competencia en la componente ‘Solución de Problemas con
Tecnologı́a’.
Es necesario mencionar que luego de la implementación de las pruebas en las instituciones,

se generó un manual de aplicación, el cual se encuentra en el anexo F. Esta herramienta per-
mite a los docentes, aplicar las pruebas, ası́ como interpretar los resultados obtenidos por los
estudiantes en cada uno de los desempeños de cada componente. Lo cual brinda al educador
la posibilidad de establecer las dificultades que pueden llegar a tener los estudiantes en cada
uno de los desempeños evaluados de cada componente.
El presente proyecto de tesis trabajó en conjunto con otros dos proyectos pertenecientes al
proyecto CIER, uno de ellos encaminado al análisis de una metodologı́a para la enseñanza
del área de ‘Tecnologı́a e Informática’ en el ciclo V de secundaria. Los resultados obtenidos
en las pruebas, permitieron al proyecto de metodologı́a establecer el nivel de cada desempeño
5.2 Resultados juicio de expertos sobre el diseño de la plataforma para rúbricas 79
de cada componente. Con estos resultados se generó la planeación de las clases y las posibles
actividades que permitirı́an al educando mejorar sus procesos de aprendizaje. Ası́ mismo al
finalizar el proceso educativo, se aplicó la misma prueba y permitió identificar si existı́a o
no mejora en los desarrollos académicos aplicados.
El segundo proyecto en el cual se trabajó en conjunto fue en la ‘La comunidad de docentes

de tecnologı́a del departamento de Cundinamarca’, diseñada en la plataforma ‘Pies Renata’.
En el espacio creado, se dialogo con los docentes de cerca de diez instituciones educativas
de Cundinamarca, entre los meses de abril y junio del año 2015 acerca de diversos temas
relacionados con varios proyectos de tesis de grado, entre ellos el presente proyecto. Es
necesario aclarar que en cada una de las 10 instituciones se aplicaron las pruebas, con el
fin de poder determinar el nivel que tenı́an los educandos en los componentes que estas
evalúan. Los resultados permitieron a los docentes, según manifestaron en algunas reuniones,
diseñar y planear algunas actividades encaminadas a mejorar el nivel de competencia en los
estudiantes.
5.2. Resultados juicio de expertos sobre el diseño de la

plataforma para rúbricas
Luego de finalizar el proceso de diseño de las rúbricas de evaluación para las dos compo-
nentes propuestas en el presente documento de tesis, diseñar los algoritmos y desarrollar la
plataforma software que automatiza las matrices de evaluación, se presentó la herramienta a
un grupo de docentes del área de tecnologı́a. Se trabajó la evaluación del software diseñado
mediante un juicio de expertos H, para ello se contacto a cinco docentes del área tecnológi-
ca de diversas instituciones educativas del distrito capital, cuya experiencia supera los cinco
años. Es necesario que el docente tenga la experiencia necesaria en el área tecnológica, porque
ası́ podrán entregar información suficiente y necesaria sobre los temas que se les solicitará
[35]. Para poder obtener información fue necesario presentar a los expertos encuestados la
plataforma automática de evaluación mediante rúbricas previamente de manera individual,
brindando a cada uno la posibilidad de explorarla y familiarizarse con sus diversas partes y
caracterı́sticas.
Los educadores fueron entrenados en el uso de la plataforma, se presentaron a cada uno las
diversas partes que conforman la plataforma automática de evaluación, también se evidenció
el contexto en que se sugiere utilizarla y se les brindó un espacio donde cada docente pudiese
interactuar con el sistema. Posterior a este paso a cada experto se le envió un test basado en
la escala de Likert, en el cual cada educador entrega su opinión alrededor de cada uno de los
aspectos solicitados. Se valoró en cada pregunta propuesta, el nivel de acuerdo que tiene el
grupo de expertos en cada cuestionamiento planteado. A partir de las respuestas dadas por
80 5 Resultados
los educadores encuestados, fue posible establecer los resultados de cada uno de los aspectos
requeridos [126]. Se dividieron los hallazgos en tres partes, la primera relacionada con las
caracterı́sticas del usuario y configuración inicial del sistema de evaluación automático, la
segunda acerca de la usabilidad de la plataforma y la tercera relacionada con la utilidad del
software creado.
5.2.1. Caracterı́sticas del usuario y configuración inicial de evaluación

con rúbricas
A partir del instrumento de juicio de expertos fue posible establecer los resultados acerca
de las diversas caracterı́sticas presentes, tanto para el usuario docente como para el usuario
estudiante. Se preguntó a los expertos sobre diversos aspectos presentes en la plataforma,
el primero de ellos acerca de la facilidad de ingreso. La figura 5-5 presenta los resultados
obtenidos a partir de las respuestas dadas por los docentes frente a cinco interrogantes. La
primer pregunta (P.1) se enfocó en indagar acerca del acceso a la plataforma, los expertos
están acuerdo en que accesar a la herramienta no es complejo. Lo que implica que para los
docentes el ingresar al sistema no presenta mayores dificultades.
(a) Preguntas 1, 2 y 3 (b) Preguntas 4 y 5
Figura 5-5.: Resultados juicio de expertos sobre caracterı́sticas de usuario y configuración

de la plataforma
El segundo interrogante, se relaciona con la configuración básica del curso, donde el docente
selecciona el número de cortes que tendrá durante el año, las fechas de inicio y finalización
de cada uno y los desempeños que considera trabajar en cada periodo de tiempo. También el
valor porcentual de la auto, la co y la hetero-evaluación y el listado de estudiantes. En este
aspecto la figura 5-5 muestra en la fila P.2, muestra acuerdo entre los docentes encuestados,
por tanto los datos solicitados en la herramienta software creada son necesarios y suficientes.
De otro lado se tienen un par de expertos que ni están en desacuerdo ni en acuerdo. Al
revisar el espacio de observaciones no se encuentra ningún tipo de recomendación por parte
de ninguno de los docentes.
5.2 Resultados juicio de expertos sobre el diseño de la plataforma para rúbricas 81
La tercer pregunta (P.3) se enfoca en analizar la opinión de los expertos acerca de la confi-
guración de las diversas actividades presentes para cada componente. Ası́ mismo, la forma
como el docente desea trabajar cada una de las habilidades de cada desempeño, sus posibles
fechas de entrega y el tipo de evaluación que desea realizar. Frente a este aspectos los docen-
tes están en acuerdo que son suficientes y que la información solicitada por la herramienta
software, es necesaria para la planeación de sus clases. Esta misma opinión se da frente a
la pregunta número cuatro del juicio de expertos. Dicho cuestionamiento se relaciona con la
información brindada al educador, sobre las actividades actuales, su tipo de evaluación y su
fecha de finalización. También sobre las actividades futuras, la forma como serán evaluadas
y el tipo de evaluación que se aplicará.
La última pregunta (P.5) está encaminada a indagar acerca de la suficiencia de los infor-
mes presentados por la plataforma de evaluación basada en rúbricas, para cada habilidad,
desempeño y componente. La figura 5-5 en la fila P.5 indica que los expertos consideran los
informes suficientes y aptos como apoyo al proceso educativo. Los educadores encuestados
están de acuerdo en que es una herramienta que contribuye a establecer el nivel que puede
llegar a tener un estudiante o un grupo, frente algún indicador, desempeño o competencia.
Mencionan algunos educadores que la herramienta les brinda información para planear acti-
vidades de mejora y a su vez planear sus clases. Otros expertos sostienen que la plataforma
software automática de evaluación, les permite valorar las actividades planteadas y a su vez
su propio desempeño en las sesiones de clase.
5.2.2. Usabilidad de la plataforma de evaluación con rúbricas

La segunda sección que se presentó en el juicio de expertos, está relacionada con la usabilidad
de la plataforma automática de evaluación, basada en rúbricas. Se indaga a través de seis
preguntas, acerca de la facilidad de uso, la presentación de información, la organización de la
plataforma, la velocidad de carga de las diferentes pantallas, la programación de actividades
de auto, hetero y co-evaluación y el nivel de agrado generado luego de trabajar con la
herramienta software. La figura 5-6 presenta los resultados dados a cada pregunta por cada
uno de los expertos, alrededor de la usabilidad de la plataforma diseñada.
82 5 Resultados
(a) Preguntas 1, 2 y 3 (b) Preguntas 4, 5 y 6
Figura 5-6.: Resultados juicio de expertos sobre usabilidad de la plataforma de evaluación

con rúbricas
Los hallazgos obtenidos a las tres primeras preguntas se muestran en la sub-figura (a), estos
interrogantes indagan sobre la facilidad de uso, la claridad y consistencia al presentar infor-
mación dada por la herramienta software desarrollada. Ası́ mismo cuestiona la coherencia y
claridad de la organización de la plataforma. Los expertos coinciden en que la herramienta
automática de evaluación, es fácil de utilizar, ası́ mismo consideran que la organización que
tiene el software de evaluación es coherente y es clara.
Los expertos se muestran en acuerdo frente a que es aceptable la velocidad de carga de las
diversas pantallas que contiene la plataforma. También muestran acuerdo sobre la facilidad
de usar el sistema para programar las actividades educativas, planteado en la herramienta
software. Los resultados mencionados se presentan en la sub-figura (b) preguntas 4 y 5
mostrados en la figura 5-6. Por último se indaga acerca del nivel de agrado al usar la
herramienta (P.6), la mayorı́a de docentes están en acuerdo en que la experiencia de uso
de la plataforma fue positiva. Para algunos docentes ni fue positiva ni tampoco negativa,
pero manifiestan en el espacio de observaciones que es una herramienta útil y que esperarı́an
utilizarla en el aula.
5.2.3. Utilidad de la plataforma de evaluación con rúbricas

El último aspecto evaluado por los expertos mediante el juicio diseñado, consiste en la
posible utilidad que puede brindar la plataforma automática de evaluación, al ser usada en
las sesiones de clase. Para ello se solicitó a los educadores encuestados valorar el nivel de
beneficio que puede dar la herramienta software al ser usada en el aula, ası́ mismo el provecho
que pueden brindar los recursos que contiene, además la posibilidad de utilizarla a diario en
las sesiones de clase, también analizar si la información brindada por el sistema es relevante
o no.
5.3 Resumen 83
Figura 5-7.: Resultados juicio de expertos sobre utilidad de la plataforma de evaluación con
rúbricas
Los resultados son presentados en la figura 5-7, se puede apreciar en el gráfico acuerdo entre
los diferentes expertos encuestados, esto gracias que todos evalúan los diversos interrogantes
en el mismo nivel. Por tanto, a partir del resultados dado por los educadores encuestados,
se determina que la herramienta automática de evaluación, basada en rúbricas, puede ser
sugerida para su uso en el aula, ası́ mismo los recursos presentes en ella, le resultan útiles al
educador y le permiten mejorar su proceso de enseñanza.
Luego de analizar cada una de las preguntas, ası́ como las diversas secciones generadas en el
juicio de expertos, se puede establecer que la plataforma de evaluación automática, basada en
rúbricas puede ser una herramienta útil en el aula. También los diversos recursos propuestos
en el software de evaluación, como su configuración, acompañamiento de las sesiones de
clase, gestión de actividades, método de evaluación y los diversos informes que entrega, dan
información relevante para el docente y el estudiante. Además es una herramienta que puede
ser usada regularmente en el aula de clase, evaluando de forma efectiva las habilidades
pertenecientes a los componentes propuestos en el documento de tesis. Para los expertos
encuestados la plataforma de evaluación automática debe ser usada en el aula y tiene el
potencial de permitir al educador evaluar competencias.
5.3. Resumen
En este capı́tulo se presentaron los resultados obtenidos luego de aplicar las pruebas au-
tomáticas creadas, con los test diseñados fue posible establecer el nivel de competencia que
tienen los estudiantes en los componentes ‘Apropiación y Uso de la Tecnologı́a’ y ‘Solución de
Problemas con Tecnologı́a’, en las instituciones donde fueron aplicados. También las pruebas
diagnósticos permitieron hacer una comparación de su efectividad, al comparar el modelo
de calificación que brindan frente a la calificación tradicional desarrollada por los docentes.
Se analizaron los resultados obtenidos en un juicio de expertos al aplicar un test de Likert
84 5 Resultados
a cinco docentes de colegios distritales de la ciudad de Bogotá. Los resultados permitieron

establecer que la herramienta automática de evaluación con rúbricas, es un instrumento que
se puede sugerir para trabajar en el aula, ya que brinda las caracterı́sticas necesarias para
evaluar el proceso educativo en el área de tecnologı́a en el ciclo V.
6. Conclusiones y trabajos futuros
6.1. Resumen
El presente documento de tesis presenta las diversas fases utilizadas para obtener la automa-
tización de los procesos educativos y evaluativos basados en modelos de diseño instruccional
(D.I). La revisión bibliográfica permitió identificar el D.I como un modelo de proceso, el
cual da las herramientas necesarias para hacer seguimiento constante y sistemático al estu-
diante, con el fin de identificar sus habilidades, debilidades y fortalezas frente a una meta
de aprendizaje. Este trabajo de tesis se realizó debido a las dificultades que tienen los do-
centes para hacer un seguimiento adecuado al educando. Ası́ mismo debido a la carencia de
re-alimentación oportuna al escolar, no tiene claridad acerca de las fortalezas y debilidades
que tiene frente a una competencia, por tanto no identifica los aspectos que debe mejorar en
su proceso de aprendizaje.
En la parte inicial del documento, se incluyeron los referentes teóricos necesarios para de-
terminar y seleccionar las herramientas educativas susceptibles de ser automatizadas. En el
segundo capı́tulo se presentó un panorama general acerca de la automatización del proceso
educativo y evaluativo, ası́ como del diseño instruccional, con el cual es posible la creación
de diversos tipos de herramientas educativas y evaluativas. Posteriormente se hizo la des-
cripción de la forma como han sido automatizadas las pruebas escritas de tipo diagnóstico y
las rúbricas o matrices de evaluación. Ası́ mismo se presentó un panorama de la educación
tecnológica y como su enseñanza permite la formación de ciudadanos que puedan ser par-
ticipes en la sociedad. Al final del capı́tulo se hace una descripción acerca de la formación
tecnológica en Colombia y las falencias que está área tiene en sus procesos educativo y eva-
luativo.
En el capı́tulo tres se presentó el diseño y creación de de los diversos tipos de instrumentos

evaluativos a automatizar. Para ello fue necesario determinar las fases del proceso evaluativo
en el área tecnológica, a partir de esas etapas se determinó la necesidad de hacer un diagnósti-
co sobre el nivel de competencia que tienen los estudiantes en el área. También fue necesario
establecer las competencias tecnológicas a evaluar, por tanto se analizó el documento ‘Serie
guı́a # 30’ del MEN. A partir de este documento se hizo la mejora de los desempeños de
dos de los cuatro componentes que posee: ‘Apropiación y uso de la tecnologı́a’ y ‘Solución
de problemas con tecnologı́a’. Posterior a este paso se crearon los indicadores que permiten
86 6 Conclusiones y trabajos futuros
hacer la medición del nivel que tiene cada estudiante en los diversos desempeños plantea-
dos en cada una de las componentes a evaluar. Con este insumo fue posible el diseño de
las rúbricas de evaluación, instrumentos que luego de creados fueron validados y mejorados
para posteriormente ser automatizados. El capı́tulo finaliza con el diseño y desarrollo de las
pruebas escritas, las cuales permiten hacer el diagnóstico de los estudiantes en las compo-
nentes tecnológicas seleccionadas. Para el diseño de los test, se analizaron los objetivos de las
pruebas PISA y se determinó, que las pruebas tuviesen como eje central solucionar diversas
situaciones en contexto. Ası́ mismo, luego del proceso de diseño y construcción de los test,
estos fueron validados mediante la aplicación de una prueba piloto a estudiantes de ciclo V
pertenecientes a dos instituciones educativas públicas del distrito capital
El capı́tulo cuatro presenta el proceso de automatización de las pruebas diagnósticas creadas,

ası́ como el de las rúbricas. La primera parte del capı́tulo presenta el lenguaje de programa-
ción seleccionado y las caracterı́sticas que se tuvieron en cuenta para su elección. Ası́ mismo
el gestor de bases de datos elegido, el cual permitirá llevar un archivo con los registros eva-
luativos de cada estudiante y del grupo al que este pertenece. El capı́tulo continúa con la
presentación de los requerimientos necesarios para automatizar los diversos tipos de pregun-
ta presentes en las pruebas. También se presentan los algoritmos con los cuales fue posible
diseñar las dos pruebas automáticas. Posteriormente se hace la descripción de la manera
como la herramienta software creada para las pruebas, genera los informes que permiten re-
alimentar al docente y al estudiante, acerca del nivel obtenido en cada habilidad, desempeño
y competencia. Luego se describe el proceso que permitió la automatización de las rúbricas
de evaluación, donde se tuvo en cuenta la forma como el docente prepara sus sesiones de
clase, las actividades que desarrolla y la forma como las evalúa. También se hace una des-
cripción detallada de la forma como se generan los informes por cada habilidad, desempeño
y competencia evaluada. El capı́tulo en su sección final presenta los perfiles tanto del docente
como del estudiante que fue necesario construir. También se determinó que ambos agentes
necesitan recibir información sobre la actividad actual, la futura, el tipo de evaluación usado
e informe sobre el avance alcanzado en cada componente.
Al inicio del capı́tulo de resultados, se presenta la metodologı́a aplicada para validar la eficien-
cia de las pruebas automáticas creadas, en cuánto al modelo de calificación implementado.
La validación consistió en la medición de tiempo que puede tardar un docente al calificar los
diversos tipos de pregunta presentes en las pruebas. Esta información fue confrontada contra
el tiempo que el sistema automático de evaluación creado, tarda en hacer la calificación de
los mismos tipos de pregunta. Se corroboró la eficiencia del sistema automático diseñado, ya
que obtuvo mejores resultados que los obtenidos por el modelo de calificación desarrollado a
mano por los docentes. Posterior al proceso de validación de las pruebas automáticas, estás
fueron aplicadas a dos grupos de estudiantes pertenecientes a dos instituciones educativas
públicas del distrito capital. Los resultados obtenidos permitieron establecer el nivel de com-
6.2 Conclusiones 87
petencia que tienen los educandos y los grupos a los que pertenecen, en las dos componentes
evaluadas. Finalmente, se valida mediante juicio de expertos la plataforma de evaluación
automática, basada en rúbricas diseñadas. Se examinaron los resultados obtenidos en tres
aspectos fundamentales: caracterı́sticas de usuario y configuración inicial, usabilidad y uti-
lidad de la plataforma. Se estableció que es una herramienta que los docentes utilizarı́an en
el aula y que contiene las caracterı́sticas y herramientas necesarias para el seguimiento y
sistematización de los procesos educativo y evaluativo.
6.2. Conclusiones
A continuación se presentan todas las conclusiones obtenidas tras el desarrollo de este trabajo
de investigación:
Los instrumentos evaluativos creados fueron diseñados teniendo en cuenta las normas
dadas desde los diversos decretos del MEN y la SED Bogotá. Por tanto, los resultados
que las herramientas entregan están ajustados a los diferentes lineamientos que la ley
en Colombia exige. Ası́ mismo, desde el punto de vista pedagógico cada uno de los
instrumentos fue desarrollado cumpliendo con los procesos de diseño propuestos por
diversos autores. Por tanto son herramientas que brindan resultados fiables y adecuados
para las competencias que evalúan. Esto se obtuvo a partir de la aplicación de las
pruebas diagnósticas a grupos de estudiantes de dos colegios distritales, ası́ como a
los resultados obtenidas en los procesos de validación de cada herramienta evaluativa
creada.
Las rúbricas de evaluación creadas son herramientas que brindan tanto al docente como
al educando la posibilidad de identificar para un determinado desempeño las fortalezas
y debilidades. Su diseño implica el seguimiento sistemático y metódico de una serie de
pasos, los cuales dan como resultado un instrumento que da a estudiantes y docentes,
información suficiente sobre el proceso educativo.
Las pruebas diagnósticas automáticas miden de forma adecuada el nivel de competencia

que tienen los estudiantes de ciclo V en las componentes ‘Apropiación y uso de la
tecnologı́a’ y ‘Solución de problemas con tecnologı́a’. Los resultados de la aplicación
de los test automáticos, permitieron determinar para cada habilidad, cada desempeño
y cada competencia el nivel que poseen tanto el estudiante, como el grupo al que
pertenece. Ası́ mismo la herramienta propuesta brinda al docente y al estudiante la
posibilidad de identificar, las debilidades y fortalezas que tienen los educandos en las
componentes evaluadas.
El diseño de la herramienta evaluativa automática, basada en rúbricas, evidenció la

necesidad de tener en cuenta diversos aspectos presentes en las diferentes instituciones
88 6 Conclusiones y trabajos futuros
educativas públicas del distrito. Es por ello que dentro de sus requerimientos de automa-
tización se implementó la posibilidad de seleccionar el número de periodos académicos,
también tener un cronograma de fechas en el cual el docente seleccione los momentos
donde trabajará cada habilidad y darle la posibilidad al educador de seleccionar el
tipo de evaluación que considere para cada habilidad. Estas opciones dan al docente la
libertad de preparar sus clases como desee, ası́ mismo determinar que tipo de actividad
hacer y calificarlas con el tipo de evaluación que considere adecuado.
Los informes que entrega la herramienta automática de evaluación, basada en rúbricas

permiten al docente identificar para cada habilidad, cada desempeño y cada competen-
cia, los aciertos y dificultades que tiene el estudiante. De esta manera, la herramienta
se convierte en un insumo que le permite al docente planear sus sesiones de clase, gestar
las actividades requeridas para mejorar en los desempeños y establecer las actividades
educativas que sean significativas para el estudiante. Por tanto los informes que brinda
la herramienta automática de evaluación, mejoran el proceso educativo y brindan las
herramientas necesarias al docente y estudiante para hacer un seguimiento constante
de los aprendizajes.
Tanto la herramienta automática de evaluación basada en rúbricas, como las pruebas

automáticas son herramientas que simplifican el proceso evaluativo al docente, adi-
cionalmente no implica una carga adicional de trabajo al educador. Esto se concluye
debido a que cualquiera de las herramientas automatizadas, presenta informes consoli-
dados, también permite a ambos agentes educativos establecer el nivel que se tiene en
cada habilidad, desempeño y competencia. También por la facilidad de calificación que
brinda al educador, donde simplemente con elegir el nivel obtenido por el estudiante en
una actividad educativa, automáticamente el sistema genera un reporte donde informa
el nivel dado y las actividades de mejora a desarrollar.
6.3. Aportes originales

De acuerdo con la revisión bibliográfica realizada y el trabajo presentado en este docu-
mento, la automatización tanto de la evaluación basada en rúbricas, como de las pruebas
diagnósticas, constituyen una aproximación novedosa para el seguimiento, desarrollo y siste-
matización del proceso evaluativo y educativo. Las herramientas evaluativas automatizadas
en este proyecto han sido consideradas en trabajos previos, pero ninguno de los trabajos
revisados presenta la construcción de este tipo de instrumentos en su totalidad para la eva-
luación de competencias tecnológicas. Además los instrumentos evaluativos generados en el
presente documento ası́ como los indicadores, no han sido diseñados ni desarrollados para el
área tecnológica en el ciclo V de educación secundaria, en estudios anteriores.
6.4 Trabajos futuros 89
6.4. Trabajos futuros

Las pruebas automáticas, ası́ como la herramienta automática de evaluación, basada en
rúbricas, constituyen herramientas valiosas para el docente y el estudiante. Este tipo de
instrumentos podrı́an ser adaptadas a diversos contextos educativos, de tal manera que sea
posible determinar en cada uno de ellos, las posibles mejoras que puedan potenciar y mejorar
las diversas caracterı́sticas de los instrumentos. Ası́ mismo se considera necesario, hacer una
revisión al modelo de calificación que presentan las herramientas diseñadas, optimizando el
prototipo presentado, de tal manera que permita hacer una evaluación con mayor precisión
que la desarrollada en la versión actual. También se propone el integrar las herramientas au-
tomáticas creadas a plataformas tales como moodle o blackboard, mediante mecanismo como
‘Scorm’, esto permitirı́a hacer que la herramienta sea un estándar de evaluación. Finalmente
se propone crear versiones de la herramienta para los demás ciclos presentes en la educación
básica y secundaria, ası́ como a los demás componentes del área tecnológica no tenidos en
cuenta en el presente trabajo, esto permitirı́a hacer una evaluación de competencias en todos
los niveles. Esto permitirı́a determinar en el estudiante los niveles de competencia logrados
desde los niveles básicos de formación hasta el último ciclo académico.
A. Anexo: Desempeños modificados de
la serie guı́a #30
Para observar el archivo, se invita revisar el CD anexo al documento y revisar el archivo
‘Desempenos modificados.pdf’
B. Anexo: Diseño de indicadores
‘Diseño de indicadores.pdf’
C. Anexo: Rúbricas propuestas
‘Rubricas propuestas.pdf’
D. Anexo: Rúbricas de auto y
co-evaluación
‘Rubricas autoco.pdf’
E. Anexo: Pruebas escritas diseñadas
‘Pruebas escritas.pdf’
F. Anexo: Manual de aplicación pruebas
‘Manual Aplicación Pruebas.pdf’
G. Anexo: Experiencia de uso
‘Experiencia de uso de la plataforma.pdf’
H. Anexo: Juicio de expertos sobre la
plataforma de evaluación mediante
rúbricas
‘Juicio de expertos sobre la plataforma de evaluación mediante rúbricas.pdf’
Bibliografı́a
[1] Aiken, Lewis R.: Tests psicológicos y evaluación. Pearson Educación, 2003
[2] Al-lawati, B. ; Al-Jumeily, D. ; Lunn, J. ; Laws, A.: An Adoptive Technology

Acceptance Model within the Oman Secondary System for Geography Teaching and
Learning. (2011), p. 282–286
[3] Andrade, Heidi G.: Using rubrics to promote thinking and learning. En: Educational
Leadership 57 (2000), Nr. 5, p. 13–19
[4] Andrade, Heidi G.: Teaching with rubrics: The good, the bad, and the ugly. En:
College teaching 53 (2005), Nr. 1, p. 27–31
[5] Arends, Richard ; Beth, Mejia (Ed.): Learning to Tech. Mc Graw Hill, 2011
[6] Arias Ortiz, Elena ; Cristia, Julian P.: El BID y la tecnologı́a para mejorar el
aprendizaje:¿ Cómo promover programas efectivos? En: IDB Technical Note (Social
Sector. Education Division); IDB-TN-670 (2014)
[7] Arsenault, J. ; Godsoe, S. ; Holden, C. ; Vetelino, J.: Integration of sensors

into secondary school classrooms. (2005), oct., p. S2F –33. – ISSN 0190–5848
[8] Baird, Davis: Thing knowledge: A philosophy of scientific instruments. Univ of Cali-
fornia Press, 2004
[9] Bakx, Anouke ; Baartman, Liesbeth ; van Schilt-Mol, Tamara: Development

and evaluation of a summative assessment program for senior teacher competence. En:
Studies in Educational Evaluation 40 (2014), p. 50 – 62. – ISSN 0191–491X
[10] Balfe, Nora ; Sharples, Sarah ; Wilson, John R.: Impact of automation: Mea-
surement of performance, workload and behaviour in a complex control environment.
En: Applied Ergonomics 47 (2015), p. 52 – 64. – ISSN 0003–6870
[11] Bayrak, Gokay ; Cebeci, Mehmet: An Automation Platform Designs for Electrical
and Electronics Students: An Application Study. En: Procedia - Social and Behavioral
Sciences 47 (2012), p. 950 – 955. – Cyprus International Conference on Educational
Research (CY-ICER-2012)North Cyprus, US08-10 February, 2012. – ISSN 1877–0428
Bibliografı́a 99
[12] Belloch, Consuelo: Diseño Instruccional. En: Universidad de Valencia (2008)
[13] Berrocoso, J V. ; Domı́nguez, Francisco Ignacio R. ; Sánchez, Marı́a Rosa F.:

Modelos de evaluación por competencias a través de un sistema de gestión de aprendi-
zaje. Experiencias en la formación inicial del profesorado. En: Revista Iberoamericana
de educación (2012), Nr. 60, p. 51–62
[14] Blanco, A: Las rúbricas: un instrumento útil para la evaluación de competencias.

En: Blanco, A., Morales, P. Y Torre, JC La enseñanza universitaria centrada en el
aprendizaje: estrategias útiles para el profesorado. Barcelona: Octaedro-ICE de la Uni-
versidad de Barcelona (2008)
[15] Bo, Huang ; Qing, Fan ; Yi, Zhang ; Yi, Zhang: Situational Creation of Simulated
Teaching in Electrical-Mechanics Major. (2010), p. 359–362
[16] Burke, Patricia M.: A simulation case study from an instructional design framework.
En: Teaching and Learning in Nursing 5 (2010), Nr. 2, p. 73 – 77. – ISSN 1557–3087
[17] Cabero-Almenara, Julio ; Osuna, Julio B.: La utilización del juicio de experto
para la evaluación de TIC: el coeficiente de competencia experta. En: Bordón. Revista
de pedagogı́a 65 (2013), Nr. 2, p. 25–38
[18] Carrasco, Miguel Ángel L.: Guı́a Básica para la elaboración de rúbricas. En: Puebla:
Universidade Iberoamericana Puebla (2007)
[19] Case, D: Cómo elaborar preguntas para evaluaciones escritas en el área de ciencias
básicas y clı́nicas. National Board of Medical Examiners, 2006
[20] Celeita, David ; Hernandez, Miguel ; Ramos, Gustavo ; Penafiel, Nicolas ;

Rangel, Mauricio ; Bernal, Juan D.: Implementation of an educational real-time
platform for relaying automation on smart grids. En: Electric Power Systems Research
130 (2016), p. 156 – 166. – ISSN 0378–7796
[21] Cohen Louis, Manion L. ; Keith, Morrison: Research methods in education. The Hig-
her Education Academy Innovation Way, York Science Park, Heslington, York YO10
5BR, 2007 ( 10)
[22] Colak, I. ; Irmak, E. ; Demirbas, S. ; Sagiroglu, S.: A Novel Integrated Web

Based Learning System for Electrical Machines Education. En: Power Engineering,
Energy and Electrical Drives, 2007. POWERENG 2007. International Conference on,
2007, p. 265–269
[23] Collofello, J.S.: Creation, deployment and evaluation of an innovative secondary

school software development curriculum module. 1 (2002), p. T2C–8 – T2C–11 vol.1.
– ISSN 0190–5848
100 Bibliografı́a
[24] Compartir, Fundación ; Colombia, Telefónica (Ed.): Cómo enseñan los maestros
en Colombia en el área de tecnologı́a ? Análisis de las propuestas del premio compartir
al maestro. Telefónica Colombia, 2014
[25] Corral, Yadira: Validez y confiabilidad de los instrumentos de investigación para la

recolección de datos. En: Revista de las ciencias de la educación. 19 N 33 (2009)
[26] Costagliola, G. ; Ferrucci, F. ; Fuccella, V. ; Gioviale, V.: A Web based

tool for assessment and self-assessment. En: Information Technology: Research and
Education, 2004. ITRE 2004. 2nd International Conference on, 2004, p. 131–135
[27] De Vincenzi, Ariana ; De Angelis, Patricia: La evaluación de los aprendizajes de

los alumnos. Orientaciones para el diseño de instrumentos de evaluación. En: REvista
de educación y desarrollo 8 (2008), p. 18 – 23
[28] Diaz Barriga, Frida ; del Bosque Alayon, Ricardo (Ed.): Enseñanza situada:
Vı́nculo entre la escuela y la vida. Mc Graw Hill, 2006
[29] Diaz Barriga, Frida: La evaluación en la enseñanza y el aprendizaje. En: Geografı́a

de México y del Mundo (2008), p. Page 1 – 24
[30] Diaz-Barriga, Frida ; Lule, Maria: Metodologia de diseño curricular para educación
superior. En: México, Editorial Trillas (1998)
[31] Distrital, Universidad ; Greece (Ed.): Colegios públicos de excelencia para Bogotá:
orientaciones curriculares para el campo de la ciencia y la tecnologı́a. Alcaldia Mayor
de Bogotá, 2007
[32] Duque, M. ; Hernandez, J.T. ; Gomez, M. ; Vasquez, C.: Pequenos cientı́ficos

program: STEM K5-K12 education in Colombia. En: Integrated STEM Education
Conference (ISEC), 2011, 2011, p. 5B–1–5B–4
[33] Edel Navarro, Rubén: El rendimiento académico: concepto, investigación y desarro-

llo. En: REICE: Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio
en Educación (2003)
[34] Educación, Min.: Serie 30: Ser Competente en Tecnologı́a: Una necesidad para el
desarrollo. En: Serie 30 1 (2008)
[35] Escobar-Pérez, Jazmine ; Cuervo-Martı́nez, A: Validez de contenido y juicio de

expertos: una aproximación a su utilización. En: Avances en medición 6 (2008), p.
27–36
Bibliografı́a 101
[36] Escudero, Eduardo B. ; Reyna, Norma L. ; Morales, Martı́n Rosas: The level
of difficulty and discrimination power of the Basic Knowledge and Skills Examination
(EXHCOBA). En: Revista Electrónica de Investigación Educativa 2 (2000), Nr. 1, p. 2
[37] Excoffon, E. ; Papillon, F. ; Fesquet, L. ; Bsiesy, A. ; Bonnaud, O.: New

pedagogical experiment leading to awareness in nanosciences and nanotechnologies for
young generations at secondary school. En: Information Technology Based Higher
Education and Training (ITHET), 2012 International Conference on, 2012, p. 1–4
[38] Fernández-Sánchez, P. ; Salaverrı́a Garnacho, A. ; Mandado Perez, E. ;

Valdes, V. G.: An integrated system as a tool for complex technologies learning. En:
Education Engineering (EDUCON), 2010 IEEE, 2010, p. 755–759
[39] Fidler, Penny: The Impact of Class Size Reduction on Student Achievement. (2001)
[40] Forrester, Jay W.: La Dinámica de Sistemas y el Aprendizaje del Alumno en la

educación escolar. En: Massachusetts Institute of Technology Cambridge, MA 02139,
USA (1992)
[41] Francesca Bertacchini, Pietro Pantano Assunta T.: Motivating the learning of
science topics in secondary school: A constructivist edutainment setting for studying
Chaos. En: Computers & Education 59 (2012), p. 1377–1387
[42] Froncek, Benjamin ; Hirschfeld, Gerrit ; Thielsch, Meinald T.: Characteristics

of effective exams Development and validation of an instrument for evaluating written
exams. En: Studies in Educational Evaluation 43 (2014), p. 79 – 87. – ISSN 0191–491X
[43] Gabriel, Castillo ; Gerardo, Sierra: Algoritmo flexibilizado de agrupamiento

semántico. En: Estudios de lingüistica aplicada 22 (2003), p. 69 –80
[44] Gagne, Robert M.: Educational technology and the learning process. En: Educational
Researcher 3 (1974), Nr. 1, p. 3–8
[45] Gamero, Rafael Miguel M.: APRENDER GENÉTICA UTILIZANDO PIZARRAS

DIGITALES Y RECURSOS WEB INTERACTIVOS CREADOS CON PÁGINAS
DINÁMICAS EN PHP. En: INVESTIGACIÓN Y DIDÁCTICA PARA LAS AULAS
DEL SIGLO XXI (2011), p. 13
[46] Garcı́a Garcı́a, Marı́a José ; Terrón López, Ma ; Blanco Archilla, Yolanda:
Desarrollo de recursos docentes para la evaluación de competencias genéricas. En:
ReVisión 3 (2010), Nr. 2
[47] Gatica-Lara, Fiorina ; Uribarren-Berrueta, Teresita del Niñ. J.: ¿ Cómo ela-
borar una rúbrica? En: Investigación en educación médica 2 (2013), Nr. 5, p. 61–65
102 Bibliografı́a
[48] Georgouli, K.: Virtual Learning Environments - An Overview. En: Informatics

(PCI), 2011 15th Panhellenic Conference on, 2011, p. 63–67
[49] Giraldo, Eliana Patricia L.: El Diseño Instruccional en la Educación Virtual: Más
Allá de la Presentación de Contenidos. En: Revista educación y desarrollo social 5
(2011), p. 112 –127
[50] Giraldo, M.P. ; Acuna, A.M.: Instructional design oriented towards the development
of competences. En: Information Technology Based Higher Education and Training,
2005. ITHET 2005. 6th International Conference on, 2005, p. F2B/20–F2B/25
[51] Gordon, Brown ; AZ (Ed.): The genesis of the system thinking program at the orange
grove middle school. Tucson Arizona, 1990
[52] GREECE ; Olarte, Henry F. (Ed.): Colegios públicos de excelencia para Bogotá:
Orientaciones curriculares para el campo de la ciencia y Tecnologı́a:. Secretaria de
Educació Distrital, 2007
[53] Guilford, JP: Varieties of creative giftedness, their measurement and development.
En: Gifted Child Quarterly (1975)
[54] Gulikers, Judith T. ; Bastiaens, Theo J. ; Kirschner, Paul A. ; Kester, Lies-

beth: Authenticity is in the eye of the beholder: student and teacher perceptions of
assessment authenticity. En: Journal of Vocational Education and Training 60 (2008),
Nr. 4, p. 401–412
[55] Gustavo, Pole: Diseño Instruccional para Ambientes de Aprendizaje Basados en la

Web. En: Docencia Universitaria 1 (2002), p. 49 – 66
[56] Hernández, Jaime: Orientaciones para la conformació de ambientes de aprendizaje

de la Tecnologı́a:. Secretaria de Educació Distrital, 2007
[57] Husain, Hafizah ; Bais, Badariah ; Hussain, Aini ; Samad, Salina A.: How to
Construct Open Ended Questions. En: Procedia - Social and Behavioral Sciences
60 (2012), p. 456 – 462. – Universiti Kebangsaan Malaysia Teaching and Learning
Congress 2011, Volume II, December 17 – 20 2011, Pulau Pinang {MALAYSIA}. –
ISSN 1877–0428
[58] Iofciu, Florentina ; Miron, Cristina ; Antohe, Stefan: Constructivist approach

of evaluation strategies in science education. En: Procedia - Social and Behavioral
Sciences 31 (2012), p. 292 – 296. – World Conference on Learning, Teaching &
Administration - 2011. – ISSN 1877–0428
[59] Ishii, Kazuyoshi ; Tamaki, Kinnya: Automation in Education / Learning Systems.

En: Handbook of Automation (2009), p. 1503–1527
Bibliografı́a 103
[60] Jelemenská, K. ; Cicak, P. ; Jurikovicc, M. ; Pistek, P.: Digital System Des-

cription Knowledge Assessment. En: Elleithy, Khaled (Ed.) ; Sobh, Tarek (Ed.)
; Iskander, Magued (Ed.) ; Kapila, Vikram (Ed.) ; Karim, Mohammad A. (Ed.)
; Mahmood, Ausif (Ed.): Technological Developments in Networking, Education and
Automation. Springer Netherlands, 2010. – ISBN 978–90–481–9150–5, p. 127–132
[61] John, Williams ; editor, Series (Ed.): Technology education for teachers. Sense
Publishers, 2012
[62] Jornet, J. et a.: Diseños de procesos de evaluación de competencias: consideraciones

acerca de los estándares en el dominio de las competencias. En: Revista Bordón 63 -1
(2011), p. 125 – 147
[63] Kastner, Margit ; Stangla, Barbara: Multiple Choice and Constructed Response
Tests: Do Test Format and Scoring Matter? En: Procedia - Social and Behavioral
Sciences 12 (2011), p. 263 – 273. – {INTERNATIONAL} {CONFERENCE} {ON}
{EDUCATION} {AND} {EDUCATIONAL} {PSYCHOLOGY} 2010. – ISSN 1877–
0428
[64] Kimbell, Richard: Understanding Assessment its Importance; its Dangers; its Poten-
tial. En: Technology education for teachers. Springer, 2012, p. 137–165
[65] Kocakülah, Mustafa S.: Development and application of a rubric for evaluating
students’ performance on Newton’s laws of motion. En: Journal of Science Education
and Technology 19 (2010), Nr. 2, p. 146–164
[66] Kocijancic, S.: Mechatronics as a challenge for teaching technology in secondary

education. 1 (2001), p. T2E –1–4 vol.1. – ISSN 0190–5848
[67] Kopaiboon, Wandee ; Reungtrakul, Auyporn ; Wongwanich, Suwimon: De-

veloping the Quality of {ICT} Competency Instrument for Lower Secondary School
Students. En: Procedia - Social and Behavioral Sciences 116 (2014), p. 1802 – 1809. –
5th World Conference on Educational Sciences. – ISSN 1877–0428
[68] Krathwohl, David R.: A revision of Bloom’s taxonomy: An overview. En: Theory
into practice 41 (2002), Nr. 4, p. 212–218
[69] Kurebayashi, S. ; Nishigaya, H. ; Murofushi, H. ; Eguchi, K.: Development of

an Autonomous Mobile Robot with an Arm as a Teaching Material. (2008), p. 404–407
[70] León, HéctorG.Barbosa ; Peñalvo, Francisco.Garcı́a ; Rodriguez-Conde,

Marı́a José: Adaptive Assessments using Open Standards. En: Elleithy, Khaled
(Ed.) ; Sobh, Tarek (Ed.) ; Iskander, Magued (Ed.) ; Kapila, Vikram (Ed.) ; Ka-
rim, Mohammad A. (Ed.) ; Mahmood, Ausif (Ed.): Technological Developments in
104 Bibliografı́a
Networking, Education and Automation. Springer Netherlands, 2010. – ISBN 978–90–

481–9150–5, p. 19–24
[71] Li, Xiping: Web-based medical imaging simulation system for education and research,
UNIVERSITY OF MIAMI, Tesis de Grado, 2011
[72] Liu, Min ; Reed, W.Michael: The relationship between the learning strategies and
learning styles in a hypermedia environment. En: Computers in Human Behavior 10
(1994), Nr. 4, p. 419 – 434. – ISSN 0747–5632
[73] Lowyck, Joost: Bridging Learning Theories and Technology-Enhanced Environments:

A Critical Appraisal of Its History. En: Spector, J. M. (Ed.) ; Merrill, M. D.
(Ed.) ; Elen, Jan (Ed.) ; Bishop, M. J. (Ed.): Handbook of Research on Educational
Communications and Technology. Springer New York, 2014. – ISBN 978–1–4614–
3184–8, p. 3–20
[74] Marı́a, Sánchez Colorado M.: Ambientes de Aprendizaje con Robótica Pedagógi-
ca. En: Memorias del Simposiio Internacional: Las Computadoras en la Educación.
SOMECE-SEP (June 2003)
[75] Mariño, Sonia I. ; Godoy Guglielmone, Marı́a V. ; Busso, Lorena E.: Sistema
de gestión de evaluaciones basado en software libre. En: XI Congreso Argentino de
Ciencias de la Computación, 2005
[76] Martı́nez, Maria ; Amante, Beatriz ; Cadenato, Ana ; Gallego, Isabel: As-
sessment Tasks Center of the Learning Process. En: Procedia Social and Behavioral
Sciences 46 (2012), p. 624 – 628. – 4th WORLD CONFERENCE ON EDUCATIONAL
SCIENCES (WCES-2012) 02-05 February 2012 Barcelona, Spain. – ISSN 1877–0428
[77] Maureen Morris, Anne L. P. ; Griffiths., David A. Assessment as a tool for

learning. University of Wollongong. January 2003
[78] MEN. DECRETO NUMERO 1850 DE 2002. http :

//www.mineducacion.gov.co/1621/articles − 103274a rchivop df.pdf . Agosto 2002
[79] MEN. Decreto 1290. http : //www.mineducacion.gov.co/1621/articles −

187765a rchivop dfd ecreto1 290.pdf . Abril 2009
[80] Mendoza, M. Rojas T.: Modelo sistémico para estimar la calidad de los sistemas
de software. En: (MOSCA).ASOVAC. Acta Cientı́fica Venezolana. Universidad Simón
Bolı́var (2001), p. 1 –11
[81] Mertler, Craig A.: Designing scoring rubrics for your classroom. En: Practical
Assessment, Research & Evaluation 7 (2001), Nr. 25, p. 1–10
Bibliografı́a 105
[82] Miller, G: La enseñanza impartida a grupos númerosos. En: Estrategias educativas

para las profesiones de la salud. Cuadernos de Salud Pública 61 (1974)
[83] Mon, Francesc E. ; Cervera, Mercè G.: Competencia digital en la educación superior:
instrumentos de evaluación y nuevos entornos. En: Enl@ce 10 (2013), Nr. 3
[84] Mónica Blanco, Marta G.: MOODLE QUIZZES FOR ASSESSING STATISTICAL
TOPICS IN ENGINERING STUDIES. En: Joint International IGIP-SEFI Annual
Conference 2010 (2010), p. 1
[85] Monks, James ; Schmidt, Robert M.: The impact of class size on outcomes in higher
education. En: The BE Journal of Economic Analysis & Policy 11 (2011), Nr. 1
[86] Moodle.org. Moodle Rúbricas. https://docs.moodle.org/all/es/Rúbricas. Octubre

2015
[87] Moraes, L.A.M. ; Gomes, F.J.: Digital environment for simulation of electronic
processes focused on an educational approach. En: Industrial Electronics, 2003. ISIE
03. 2003 IEEE International Symposium on Vol. 2, 2003, p. 1118–1122 vol. 2
[88] Morduchowicz, Alejandro: Los indicadores educativos y las dimensiones que los
integran. En: Instituto Internacional de Planeamiento de la Educación-Organización
de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO). (2006)
[89] Moreda, P ; del Lenguage Natural, Grupo de P.: Los Roles Semánticos en la
Tecnologıa del Lenguaje Humano: Anotación y Aplicación. En: Marı́a Teresa Vicente-
Dı́ez, Paloma Martı́nez, Ángel Martı́nez-González 42 (2009), p. 125–126
[90] Murray, R.M. ; Astrom, K.J. ; Boyd, S.P. ; Brockett, R.W. ; Stein, G.: Future
directions in control in an information-rich world. En: Control Systems, IEEE 23
(2003), Apr, Nr. 2, p. 20–33. – ISSN 1066–033X
[91] Myers, Jefferson: No logro captar que un profesor con 45 alumnos pueda ofrecer la
misma calidad de educación que uno con 25”. En: Hacı́a un movimiento pedagógico
nacional 1 (2015), p. 14 –19
[92] Norman, Donald A.: La psicologı́a de los objetos cotidianos. Vol. 6. Editorial Nerea,
1998
[93] Obando, Patricia L.: Construcción y validación de una prueba para medir conoci-
mientos matemáticos. En: REVISTA HORIZONTES PEDAGÓGICOS 11 (2009), Nr.
1
[94] OCDE. PISA 2006: Marco de la evaluación. Conocimientos y habilidades en ciencias,

matemáticas y lectura. http : //www.oecd.org/pisa/39732471.pdf . Octubre 2014
106 Bibliografı́a
[95] O’Shea, Peter: A systems view of learning in education. En: International Journal
of Educational Development 27 (2007), p. 637–647
[96] Paquette, Gilbert: Instructional engineering in networked environments. Vol. 8. John

Wiley & Sons, 2004
[97] Pasik Duncan, Bozenna ; Verleger, Matthew: Education and Qualification for
Control and Automation. En: Nof, Shimon Y. (Ed.): Springer Handbook of Automa-
tion. Springer Berlin Heidelberg, 2009. – ISBN 978–3–540–78830–0, p. 767–778
[98] Pereyra, Miguel A. ; Kotthoff, Hans-Georg ; Cowen, Robert: PISA under exa-
mination. Springer, 2011
[99] Pérez Marı́n, Diana ; Alfonseca Cubero, Enrique ; Rodrı́guez Marı́n, Pilar:
¿ Pueden los ordenadores evaluar automáticamente preguntas abiertas? En: Novática
(2006)
[100] Petropoulou, Ourania ; Vassilikopoulou, M ; Retalis, Symeon: Enriched as-

sessment rubrics: a new medium for enabling teachers to easily assess student’s perfor-
mance when participating in complex interactive learning scenarios. En: Operational
Research 11 (2011), Nr. 2, p. 171–186
[101] Pressman, Roger: Ingenierı́a de software: un enfoque práctico. Mac Graw Hill, 2002
[102] Prieto, Victor: Gestión integral de recursos para el aprendizaje. En: Recursos digitales
para el aprendizaje 1 (2009), p. 27 –33
[103] Pudlowski, Z.J. ; Messerle, H.K.: Technological education for schools in Australia.
(1989), p. 28–34
[104] Ramdas, C.V. ; Parimal, N. ; Utkarsh, M. ; Sumit, S. ; Ramya, K. ; Smitha, B.P.:

Application of sensors in Augmented Reality based interactive learning environments.
En: Sensing Technology (ICST), 2012 Sixth International Conference on, 2012. – ISSN
2156–8065, p. 173–178
[105] Randolph G, Bias ; Mayhew, Deborah J.: Cost-justifying usability: An update for
an internet age. Morgan Kaufman Publishers, 2005
[106] Rasinen, Aki: An analysis of the technology education curriculum of six countries.
En: Journal of techonology education 15 (2003), p. 31– 46
[107] Reeves, Stacy ; Stanford, Barbara [u. a.]: Rubrics for the classroom: Assessments
for students and teachers. En: The Delta Kappa Gamma Bulletin Fall (2009), p. 24–27
Bibliografı́a 107
[108] Reeves, Thomas C.: Evaluation of the design and development of IT tools in educa-
tion. En: International handbook of information technology in primary and secondary
education. Springer, 2008, p. 1037–1051
[109] Requena, Stefany Raquel H.: El modelo constructivista con las nuevas tecnologı́as,
aplicado en el proceso de aprendizaje. En: RUSC. Universities and Knowledge Society
Journal 5 (2008), Nr. 2, p. 6
[110] Richard, Kimbell: Understanding assesment its importance; its danger; its potential.
En: Technology education for teachers (2012), p. 137 –166
[111] Rico, Luis: Marco teórico de evaluación en PISA sobre matemáticas y resolución de
problemas. En: Colección Digital Eudoxus (2009), Nr. 22
[112] Ritzhaupt, Albert D. ; Martin, Florence: Development and validation of the edu-
cational technologist multimedia competency survey. En: Educational Technology Re-
search and Development 62 (2014), Nr. 1, p. 13–33
[113] Riveros, H. G.: Nota: La prueba PISA de la OCDE. En: Lat. Am. J. Phys. Education
2 (2008), p. 351–353
[114] Rodrı́guez, David E.: Tecnologı́a, diseño y cultura material. En: Comunicación y
Ciudadanı́a 3 (Enero - Junio 2010), p. 30 –39
[115] Rosas, MV ; Errecalde, Marcelo L. ; Rosso, Paolo: Un framework de Ingenierı́a

del Lenguaje para el Pre-procesado Semántico de Textos. En: XVI Congreso Argentino
de Ciencias de la Computación, 2010
[116] Sánchez, Alfonso B. ; Román, Marcela: La importancia de evaluar la incorporación

y el uso de las TIC en educación. En: Revista Iberoamericana de evaluación educativa
4 (2011), Nr. 2, p. 3–7
[117] Sánchez, Pilar F. ; Garnacho, Ángel S. ; Trabado, Antonio ; Pérez, Enrique M.:
SIAPE Sistema Integrado para el Aprendizaje de la Electrónica para Técnicos e Inge-
nieros. En: IEEE RITA 6 (2011), Nr. 1, p. 58 a 63
[118] Santos, Patricia ; Pérez-Sanagustı́n, Mar ; Hernández-Leo, Davinia ; Blat,

Josep: QuesTInSitu: From tests to routes for assessment in situ activities. En: Com-
puters & Education 57 (2011), Nr. 4, p. 2517 – 2534. – ISSN 0360–1315
[119] Savenye, WilhelminaC.: Perspectives on Assessment of Educational Technologies for

Informal Learning. En: Spector, J. M. (Ed.) ; Merrill, M. D. (Ed.) ; Elen, Jan
(Ed.) ; Bishop, M. J. (Ed.): Handbook of Research on Educational Communications
and Technology. Springer New York, 2014. – ISBN 978–1–4614–3184–8, p. 257–267
108 Bibliografı́a
[120] Saxton, Emily ; Burns, Robin ; Holveck, Susan ; Kelley, Sybil ; Prince, Daniel
; Rigelman, Nicole ; Skinner, Ellen A.: A Common Measurement System for K-12
{STEM} education: Adopting an educational evaluation methodology that elevates
theoretical foundations and systems thinking. En: Studies in Educational Evaluation
40 (2014), p. 18 – 35. – ISSN 0191–491X
[121] Scalese, Ross J. ; Hatala, Rose: Competency assessment. En: The Comprehensive
Textbook of Healthcare Simulation. Springer, 2013, p. 135–160
[122] Scardamalia, Marlene ; Bransford, John ; Kozma, Bob ; Quellmalz, Edys: New
assessments and environments for knowledge building. En: Assessment and teaching
of 21st century skills. Springer, 2012, p. 231–300
[123] SED, Bogotá. Resolución 1577. http : //www.alcaldiabogota.gov.co/sisjur/normas/N orma1.jsp?i =

37367. Junio 2009
[124] SEP ; de educació pública, Secretaria (Ed.): Las estrategias y los instruentos de
evaluación desde el enfoque formativo. SEP, 2013
[125] Siozos, Panagiotis: Computer based testing using, based assessment application for
secondary education. En: Computers & Education 52 (2009), p. 811 – 819
[126] Skjong, Rolf ; Wentworth, Benedikte H. [u. a.]: Expert judgment and risk per-
ception. En: The Eleventh International Offshore and Polar Engineering Conference
International Society of Offshore and Polar Engineers, 2001
[127] Sládek, Petr ; Válek, Jan: Dynamic modeling in {PHP}. En:

Procedia - Social and Behavioral Sciences 12 (2011), p. 157 – 163.
– {INTERNATIONAL} {CONFERENCE} {ON} {EDUCATION} {AND}
{EDUCATIONAL} {PSYCHOLOGY} 2010. – ISSN 1877–0428
[128] Smith, Pa. ; R, Tillman ; Wiley, Jhon (Ed.): Instructional Design. 1999
[129] Soare, Emanuel: Curricular Approach of Education. Effects on Evaluation Design.

En: Procedia - Social and Behavioral Sciences 76 (2013), p. 775 – 779. – 5th Internatio-
nal Conference EDU-WORLD 2012 - Education Facing Contemporary World Issues.
– ISSN 1877–0428
[130] Soto, César M. ; Lautenschlager, Gary: Comparación estadı́stica de la confia-

bilidad alfa de Cronbach: Aplicaciones en la medición educacional y psicológica. En:
Revista de Psicologı́a 12 (2003), Nr. 2, p. Pág–127
[131] Suzuki, K.: The Instructional design for e-learning practice. En: J. Educ. Technol 3
(2005), p. 197 – 205
Bibliografı́a 109
[132] Teachervision. What is a weighted rubric? https :

//www.teachervision.com/teaching − methods − and −
management/rubrics/4525.html. Octubre 2015
[133] Tillema, Harm ; Leenknecht, Martijn ; Segers, Mien: Assessing assessment qua-
lity: Criteria for quality assurance in design of (peer) assessment for learning–a review
of research studies. En: Studies in Educational Evaluation 37 (2011), Nr. 1, p. 25–34
[134] Tobón, Sergio: La formación basada en competencias en la educación superior: el

enfoque complejo. En: Universidad Autónoma de Guadalajara, (2008)
[135] Tsiakas, Panagiotis ; Stergiopoulos, Charalampos ; Nafpaktitis, Drosos ;

Triantis, Dimos ; Stavrakas, Ilias: Computer as a tool in teaching, examining
and assessing electronic engineering students. En: EUROCON, 2007. The Internatio-
nal Conference onÇomputer as a Tool” IEEE, 2007, p. 2490–2497
[136] V. Kumar, M. El-Kadi P.-D. Manimalar T. S. ; Sidhan., M.: Open instructional

design. In Technology for Education,. En: International Workshop T4E 09. (2009.),
p. 42–48
[137] de Vries, Marc: Philosophy of techonology. En: Technology education for teachers
(2012), p. 15 – 34
[138] Wahl, Michael J. Dyrenfurth. Kati Langer. D.: Technology education guide. Unesco,
2003
[139] Yifei, Zhang: Web CT-based platform design for interactive college English teaching.
En: Mechatronic Science, Electric Engineering and Computer (MEC), 2011 Interna-
tional Conference on, 2011, p. 1298–1301

Automatizaci On de Procesos

Cargado por

Copyright:

Formatos disponibles

Automatizaci On de Procesos

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Automatizaci On de Procesos

Cargado por

Copyright:

Formatos disponibles

Automatización de procesos

académicos y evaluativos en el área de

Luis Fernando Vargas Neira

Universidad Nacional de Colombia

Luis Fernando Vargas Neira

Universidad Nacional de Colombia

A mis eternos compañeros de viaje Fanny,

1. Mi familia, por su apoyo constante y acompañamiento a lo largo de mi proceso de

2. Al profesor Andrés Olarte, por su acompañamiento constante, valiosas enseñanzas,

Esta tesis presenta el diseño e implementación de una herramienta de evaluación automática

Posterior al proceso de validación ası́ como la mejora de los instrumentos, se desarrolló el

como la posibilidad de configurar una habilidad, un desempeño o una competencia cuantas

Palabras clave: Automatización, competencias educativas, diseño instruccional, edu-

Lista de tablas XVI

3. Diseño y creación de instrumentos de evaluación 21

4. Automatización del proceso evaluativo 49

6. Conclusiones y trabajos futuros 85

A. Anexo: Desempeños modificados de la serie guı́a #30 90

B. Anexo: Diseño de indicadores 91

C. Anexo: Rúbricas propuestas 92

D. Anexo: Rúbricas de auto y co-evaluación 93

E. Anexo: Pruebas escritas diseñadas 94

F. Anexo: Manual de aplicación pruebas 95

G. Anexo: Experiencia de uso 96

H. Anexo: Juicio de expertos sobre la plataforma de evaluación mediante rúbricas 97

3-1. Evaluación por competencias . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

4-1. Herramientas del proceso educativo automatizadas . . . . . . . . . . . . . . . 50

5-1. Resultado I.E.D Clemencia Holguı́n de Urdaneta . . . . . . . . . . . . . . . . 74

4-1. Ejemplo de re-alimentación por desempeño . . . . . . . . . . . . . . . . . . . 62

1.1. Contexto general

El diseño instruccional es un conjunto de modelos de proceso que segmenta el aprendizaje y

ha alcanzado el estudiante [70].

Se espera que el área tecnológica desarrolle habilidades y competencias en el estudiante. Esto

1.2. Planteamiento del Problema

En Colombia no existe una estructuración adecuada frente a la creación de herramientas

En particular como objeto de estudio de este proyecto se hará su implementación en la

1.3. Solución Propuesta

1. Revisión bibliográfica de temáticas relacionadas con educación en tecnologı́a basada

2. Análisis y construcción de los indicadores y habilidades de desempeño para el área de

3. Diseño y construcción del sistema software basado en modelos instruccionales para

1.4. Contenido de la Tesis

2.1. Automatización de procesos

La automatización en la educación ha sido aplicada en diversos campos, dentro de ellos se

2.1.1. Automatización de procesos en la educación

Los sistemas de software implementados on-line no solo permiten generar conocimiento en

2.1.2. Automatización del diseño instruccional (D.I)

Procesos evaluativos basados en competencias son diseñados y desarrollados mediante mo-

Existen diversos modelos de diseño instruccional clasificados a partir de la estrategia pe-

Métodos software usados para automatizar el diseño instruccional

El diseño instruccional ha sido automatizado mediante software, gracias al uso de la meto-

Comienzo Elaboración Construcción Transición

Objetivos del Arquitectura del Capacidades de Producto

Figura 2-1.: Fases del proceso RPU [101]

1 ra. Fase 2 da. Fase 3 ra. Fase 4 ta. Fase

Un aspecto fundamental para el desarrollo de los sistemas presentados es la posibilidad de

2.1.3. Automatización del proceso evaluativo

Aspectos relevantes para automatizar la evaluación

Automatización de pruebas escritas

En el caso de automatizar pruebas escritas se tienen en cuenta para su diseño y construcción