1

Instrumento de evaluación de software

educativo bajo un enfoque sistémico
Díaz-Antón, G., Pérez, M., Grimán, A., Mendoza, L.

Abstract—
La incorporación de las Tecnologías de la Información y la I. INTRODUCCIÓN
Comunicación (TIC) a la educación ofrece distintas as ventajas del uso de software educativo como
dimensiones al proceso instruccional. En particular, el uso del
software educativo en el proceso de enseñanza-aprendizaje
permite mejorar en el estudiante las destrezas cognitivas. Este
L instrumento de ayuda instruccional en el proceso de
enseñanza-aprendizaje, está ampliamente documentada
tipo de software fomenta el análisis de problemas, facilita el (Beichner, 1994; Borrás y Lafayette, 1994; Cohen et al.,
trabajo en grupo, provee soporte en actividades docentes; en el 1994; Cohen, Tsai et al., 1995; Díaz-Antón, 2002;
sentido más amplio, mejora las habilidades del pensamiento y Jonassen y Reeves, 1996, Liu y Reed 1995; Mayer et al.,
la resolución de problemas. Ahora bien, para lograr todo esto, 1997; Yildirim et al., 2001). Sin embargo, el uso adecuado
el software debe ser de calidad. de esta herramienta informática requiere de una cuidadosa
Cuando se hace referencia a calidad de software educativo, selección para garantizar un producto de calidad.
se requiere un producto que satisfaga tanto las expectativas de El tema de evaluación del software educativo ha sido
los docentes como de los alumnos, a un menor costo, libre de estudiado y documentado por diversos autores del ámbito
errores y cumpliendo con ciertas especificaciones
instruccionales y tecnológicas. Esta necesidad conlleva a
educativo, proporcionando medidas de evaluación en el área
generar un modelo para medir la calidad del software como educativa y técnica (Barrosot et al., 1998; Del Moral, 1998,
producto y como servicio. El objetivo de esta investigación es Galvis, 2000; Gómez, 1997; González, 1999; Gros
presentar el desarrollo de un modelo de calidad del software (Coord.) et al., 1997; Marquès, 1998; Martínez, 1993;
educativo con sus respectivas métricas; siguiendo un enfoque MVU, 2002; Navarro, 1999; OTA, 1988; PEMGU, 1999;
sistémico. Para ello se partió del Modelo Sistémico de Calidad Reeves, 1998; Stephen, 1998). Destacan los métodos de
de Software (MOSCA) elaborado por LISI-USB, ampliándolo de evaluación de Galvis (2000) y de la Universidad Virtual de
acuerdo a los requerimientos particulares de calidad del Michigan (2002), que utilizan métodos cuantitativos de
software educativo, tomando en cuenta no sólo los aspectos evaluación. Sin embargo, en vista de que gran parte de las
técnicos del producto, sino el diseño pedagógico y los propuestas sobre software educativo, son de índole
materiales de soporte didáctico. Finalmente, a través de un caso
de estudio real, se presenta la aplicación del modelo ampliado
cualitativa o necesitan adaptarse a medidas estándares de
MOSCA, se analiza su desempeño, y se ofrece un conjunto de evaluación de software según las normas ISO/IEC 9126
métricas que permiten evaluaciones posteriores. El resultado (1991), surge la necesidad de la disponibilidad de un
principal es un modelo en versión prototipo que permite medir instrumento de medidas estándares de calidad para la
la calidad para software educativo. evaluación de software educativo, que sea de utilidad tanto
para los desarrolladores de software educativo como para los
Index Terms— Evaluación de software educativo, calidad interesados en adquirir software comercial (por ejemplo,
de software educativo, medición de calidad. educadores e instituciones educativas).
Se propone entonces un modelo de evaluación de
Este trabajo es parte del proyecto especial de postgrado de Gabriela software educativo bajo un enfoque sistémico de calidad,
Díaz-Antón, en Informática Educativa, de la Universidad Simón Bolívar basado en El Modelo Sistémico de Calidad de Software
(USB) y de la línea de investigación del grupo del Laboratorio de (MOSCA) de Mendoza et al., (2001), elaborado por LISI-
Información en Sistemas de Información (LISI), Departamento de
Procesos y Sistemas de la USB, Caracas, Venezuela. USB (Laboratorio de Información y Sistemas de
Pérez, María Angélica, PhD, es profesora y coinvestigadora del Información, Universidad Simón Bolívar (USB), soportado
Laboratorio de Información en Sistemas de Información (LISI), por los conceptos de calidad total sistémica (Callaos y
Universidad Simón Bolívar (USB), Departamento de Procesos y Sistemas, Callaos, 1993; Pérez et al., 1999).
Apartado postal 89000, Caracas 1080-A, Venezuela. (e-mail:
movalles@usb.ve).
Esta propuesta consiste en una serie de cuestionarios a
Mendoza, Luis Eduardo, MSc, es profesor de sistemas de información través de los cuales se realiza la medición por docentes,
en la Universidad Simón Bolívar (USB), Departamento de Procesos y especialistas de informática y alumnos. La propuesta de un
Sistemas, Caracas, Venezuela. (e-mail: lmendoza@usb.ve). modelo de evaluación de software educativo bajo un
Grimán, Ana Cecilia, MSc, es profesora de sistemas de información enfoque sistémico de calidad, ofrece una metodología de
en la Universidad Simón Bolívar (USB), Departamento de Procesos y preselección y estudio de selección final para la adquisición
Sistemas, Caracas, Venezuela. (e-mail: agriman@usb.ve).
Díaz-Antón, Gabriela, es Especialista en Informática Educativa,
del software educativo así como los estudios de campo para
directora y consultora académica en Academia Educación Interactiva, la validación del software o cuestionarios para el alumno en
C.A., Caracas, Venezuela, (autor a quien la correspondencia debe ser formatos estandarizados, dependiendo de si el software a
enviada: e-mail: gabriela_diaz@cantv.net). evaluar se desea adquirir comercialmente como producto
.
 2

final (institutos educativos, educadores, padres) o está en desarrollo (Pérez et al., 2001), y está soportado por los
proceso de desarrollo (producción de software educativo). conceptos de calidad total sistémica (Callaos y Callaos,
Lo novedoso de este instrumento es que cuantifica las 1993; Pérez et al., 1999).
métricas de evaluación de calidad a partir de tres categorías,
Funcionalidad, Usabilidad y Fiabilidad, con sus respectivas En cuanto al producto, este modelo plantea, sobre la base
métricas, determinando si el software educativo es de de las 6 características de calidad del estándar internacional
calidad básica, intermedia o avanzada. Los resultados de la ISO/IEC 9126 (1991), un conjunto de categorías,
evaluación se traducen además en unas guías, en donde se características y métricas asociadas que miden la calidad de
consignan los juicios evaluativos, posibilidades de un producto de software con un enfoque sistémico y hacen
integración del software educativo con sentido pedagógico del modelo un instrumento de medición de gran valor ya
en un currículo o proyecto pedagógico real. Se toman en que cubre todos los aspectos imprescindibles para medir
cuenta, tanto los aspectos del contenido (culturales, directamente la calidad del producto de software. En cuanto
ideológicos y valorativos), como los aspectos informáticos al proceso, este modelo plantea sobre la base de las 5
o técnicos; así como también los documentos de soporte características de calidad del estándar internacional
pedagógicos y técnicos. ISO/IEC 15504 (1991), un conjunto de categorías,
Para la elaboración de la propuesta del modelo, se analiza características y métricas asociadas que miden la calidad de
en primer lugar El Modelo Sistémico de Calidad de un proceso de software con un enfoque sistémico.
Software (MOSCA). En segundo lugar, se selecciona un
conjunto del total de las características, categorías y MOSCA consta de cuatro niveles: dimensiones,
métricas de MOSCA, que se ajusten a la evaluación de categorías, características y métricas; con un total de 587
software educativo, formando así la base de la propuesta. métricas. Además proporciona el algoritmo para evaluar la
Por último se le añaden los parámetros específicos calidad sistémica. El algoritmo es un conjunto de pasos
relacionados con la calidad educativa del software, dando procedimentales que se realizan para ejecutar el modelo y
lugar a la adición de un nuevo conjunto de medidas que estimar la calidad de software. El algoritmo contempla tres
involucran tanto un nuevo parámetro de medición (3) fases:
(subcaracterísticas), como nuevas métricas que no están 1. Fase 1: Calidad del producto de software con un
presentes en MOSCA. De esta manera se realiza una enfoque sistémico.
ampliación de MOSCA para el software educativo. 2. Fase 2: Calidad del proceso de desarrollo de software
Además, se pauta la prueba del modelo de evaluación de con un enfoque sistémico.
software educativo con enfoque sistémico de calidad, a 3. Fase 3: Integración de las mediciones de los
través de un estudio de campo. Finalmente, se enumerarán submodelos de la calidad del producto y la calidad
las conclusiones y recomendaciones que se han derivado de del proceso.
esta investigación en progreso. Cabe acotar que, según el método propuesto para aplicar
el modelo de calidad del producto de software (Mendoza, et
al., 2001), no todas las características y métricas tienen que
II. CALIDAD DE SOFTWARE
ser usadas, sino que el modelo debe ser adaptado
dependiendo de las características que se desean del
Según Pressman (2002), la calidad del software es la producto, en virtud del dominio del software.
concordancia con los requerimientos funcionales y de
rendimiento explícitamente establecidos, con los estándares
de desarrollo explícitamente documentados y con las III. CALIDAD DE SOFTWARE EDUCATIVO
características implícitas que se espera de todo software
desarrollado profesionalmente. La ausencia de defectos, la En primera instancia se define el término de software
aptitud para el uso, la seguridad, la confiabilidad y la educativo. Según Galvis (2000), en el campo educativo
reunión de especificaciones son elementos que están suele denominarse software educativo a aquellos programas
involucrados en el concepto de calidad del software. que permiten cumplir y apoyar funciones educativas. En
esta categoría entran tanto los que dan soporte al proceso de
A la hora de definir la calidad del software se debe enseñanza y aprendizaje (un sistema para enseñar
diferenciar entre la calidad del producto software y la matemáticas, ortografía, contenidos o ciertas habilidades
calidad del proceso de desarrollo de éste -calidad de diseño cognitivas), como los que apoyan la administración de
y fabricación- (Callaos y Callaos, 1993; Pérez et al., 1999). procesos educacionales o de investigación (ej., un sistema
No obstante, las metas que se establezcan para la calidad del que permita manejar un banco de preguntas). El significado
producto van a determinar los objetivos del proceso de que se maneja en este trabajo está relacionado
desarrollo, ya que la calidad del primero va a depender, principalmente con la primera definición, es decir, con los
entre otros aspectos, de éstos últimos. Según Callaos y materiales educativos computarizados que apoyan el proceso
Callaos (1993), la calidad de los Sistemas de Software no de enseñanza-aprendizaje, a las que en Inglés se denomina
es algo que depende de una sola característica en particular, courseware (i.e., software educativo para cursos).
sino que obedece al compromiso de todas sus partes.
Tomando en cuenta la calidad del producto y la calidad Cuando se hace referencia a calidad de software
del proceso, se desarrolló El Modelo Sistémico de Calidad educativo, se requiere de un producto que satisfaga tanto
de software (MOSCA), por LISI-USB (Mendoza et al., las expectativas de los docentes como de los usuarios, a un
2001), que integra el modelo de calidad del producto menor costo, libre de defectos y cumpliendo con ciertas
(Ortega, et al., 2000) y el modelo de calidad del proceso de
 3

especificaciones instruccionales y tecnológicas. Según Gros

(2000), la calidad del software está determinada no sólo por
los aspectos técnicos del producto sino por el diseño
pedagógico y los materiales de soporte. Éste último aspecto
es uno de los más problemáticos ya que existen poco
programas que ofrezcan un soporte didáctico. La evaluación
de software educativo se ha centrado tradicionalmente en
dos momentos:
1. Durante su utilización real por los usuarios, para
juzgar su eficiencia y los resultados que con él se
obtienen.
2. Durante el proceso de diseño y desarrollo, con el fin
de corregir y perfeccionar el programa.

A continuación se presenta la propuesta del modelo de

evaluación de software educativo, basado en el modelo
MOSCA.

IV. PROPUESTA DEL MODELO DE EVALUACIÓN DE

SOFTWARE EDUCATIVO

En primer lugar se describen las dos actividades que se

realizaron para formular la propuesta de evaluación a partir
de MOSCA y en segundo lugar, el algoritmo para la
evaluación de la calidad del software educativo.

A. PROPUESTA PARA UNA PRESELECCIÓN DE Figura 1. Método de preselección de software educativo (modificado de
SOFTWARE EDUCATIVO Galvis, 2000).

Dado que la situación de las escuelas se sitúa

principalmente en la adquisición de software educativo y B. FORMULACIÓN DEL MODELO PROPUESTO BASADO
no en la de desarrollo del mismo, se propone un EN MOSCA
procedimiento de preselección de software educativo para
evaluar la gran oferta de material educativo computarizado Para el área de software educativo, se encontró que las
(ver figura 1) (Galvis, 2000). características y métricas indicadas en MOSCA no se
adaptan completamente a este tipo de software, debido a
En esta propuesta de evaluación de software educativo se que las métricas están diseñadas genéricamente, y por lo
aplicarán, en primer lugar, los criterios de preselección tanto no consideraba los aspectos pedagógicos y
sobre el material a evaluar, para tomar la decisión de una metodológicos del proceso de enseñanza-aprendizaje que se
depuración inicial mediante un cuestionario de debe tomar en cuenta al diseñar un instrumento de
características mínimas que debe satisfacer el producto (21 evaluación (Marquès, 1998).
preguntas); es decir, fundamentar la toma de decisiones de
adquisición, considerando si el material educativo Por tal motivo se procedió a realizar las siguientes 3
computarizado vale la pena ser evaluado con MOSCA, o si (tres) actividades para efectuar los cambios necesarios en
es descartado de una vez. MOSCA para adaptarlo y especificarlo en el área educativa.
El resultado de estas actividades se puede apreciar en la
La razón de esta preselección se basa en: Tabla 1.
1. La poca disponibilidad de tiempo de los docentes
involucrados en la selección de software educativo. 1. Selección de las categorías. MOSCA consta de seis (6)
2. En la numerosa disponibilidad de material educativo categorías, de las cuales sólo se deben utilizar 3 (tres)
computarizado comercial que está disponible en el para la evaluación de software educativo. Debido a que la
mercado y que puede ser usado como apoyo en el categoría de Funcionalidad siempre debe estar presente,
proceso de enseñanza-aprendizaje, y que además en esta actividad se seleccionan dos (2) categorías de las
requeriría la inversión de horas de evaluación, de las cinco (5) restantes del modelo del producto (Usabilidad,
cuales los docentes no disponen. Fiabilidad, Eficiencia, Mantenibilidad y Portabilidad).
Se seleccionaron Usabilidad y Fiabilidad (Grimán,
Una vez tomada la decisión de preseleccionar un software Mendoza, Pérez y Rojas, 2001). La Usabilidad es
educativo, se procede a aplicar el algoritmo para la seleccionada debido a que un software educativo motive
evaluación de calidad. En el caso de que se trate de al aprendizaje, es fundamental que el material educativo
desarrollo de software, se aplica el modelo que se describe a sea atractivo y de fácil manejo, debe generar actividades
continuación para confirmar o evaluar la calidad de interactivas que motiven y mantengan la atención,
producción del software que está en proceso de desarrollo. actividades que deben ser variadas y que respondan a los
 4

diversos estilos de aprendizaje. Se seleccionó C. DESCRIPCIÓN DEL MODELO PROPUESTO

Fiabilidad debido a que es importante que el producto
funcione bajo las condiciones establecidas y mantenga La propuesta del modelo de evaluación de calidad de
un nivel específico de rendimiento. software educativo consiste en un conjunto de categorías,
características, subcaracterísticas y métricas (ver Figura 2).
Tabla 1.
Propuesta de categorías, características, subcaracterísticas y número de
métricas, para el modelo propuesto basado en MOSC A. (modificado de
Mendoza et al. 2001).

CATEGORÍA CARACTERÍSTICAS SUBCARACTERÍSTICAS

FUN.1.1 General (6)

FUN.1.2 Objetivos de aprendizaje (10)
FUN.1.3 Contenidos de aprendizaje (24)
FUN.1.4 Actividades de aprendizaje (17)
FUN.1 Ajuste a los FUN.1.5 Ejemplos (5)
FUNCIONALIDAD propósitos (118) FUN.1.6 Motivación (17)
(FUN) FUN.1.7 Retroalimentación (11)
FUN 1.8 Ayudas (5)
FUN.1.9 Evaluación y registro de datos
(11)
FUN.1.10 Metodología de enseñanza (12)
FUN.2 Precisión (4)
FUN.3 Seguridad (4)
USA.1.1 General (13)
USA.1 Facilidad de USA.1.2 Interactividad (21)
USABILIDAD comprensión (91) USA.1.3 Diseño de la interfaz (34)
(USA) USA.1.4 Guías didácticas (23)
USA.2 Capacidad de uso(11)
USA.3 Interfaz Gráfica (14)
USA.4 Operabilidad (15)
FIABILIDAD FIA.1 Madurez (11)
(FIA) FIA.2 Recuperación (4)
FIA.3 Tolerancia a fallas (4)
Total de métricas: 276

2. Selección y propuesta de las características y

Figura 2. Propuesta del modelo de evaluación de software educativo
subcaracterísticas. Una vez seleccionadas las categorías (modificado de Mendoza et al., 2001)
que están relacionadas con la evaluación de software
educativo (Funcionalidad, Usabilidad y Fiabilidad), se La estructura del modelo consta de cuatro niveles que se
seleccionan las características asociadas a estas categorías explican brevemente a continuación:
en MOSCA, que estén relacionadas con el área educativa. a. Nivel 0: Dimensiones. Producto.
Se decidió seleccionar ciertas características asociadas a b. Nivel 1: Categorías. Se contemplan tres categorías:
la efectividad del producto y no a la eficiencia del Funcionalidad (FUN): Es la capacidad del
producto, debido a que, al adquirir un software producto del software para proveer funciones que
comercial, no se tiene acceso a los documentos que cumplan con necesidades específicas o implícitas,
permiten aplicar las métricas correspondientes a esta cuando el software es utilizado bajo ciertas
dimensión, por lo que no es posible evaluarla. Para condiciones.
algunas características, tales como ‘Ajuste a los Usabilidad (USA): Esta categoría se refiere a la
propósitos’ y ‘Facilidad de comprensión del software’, se capacidad del producto de software para ser
agregó un conjunto de sub-características (14 en total) atractivo, entendido, aprendido y utilizado por el
que añadieron el componente educativo a MOSCA. usuario bajo condiciones específicas.
Fiabilidad (FIA): La fiabilidad es la capacidad
del producto de software para mantener un nivel
3. Selección y propuesta de las métricas. Es necesaria una especificado de rendimiento cuando es utilizado
selección de métricas adicionales relacionadas con bajo condiciones específicas.
Funcionalidad, Usabilidad y Fiabilidad, que permitan
adaptar MOSCA en el área de software educativo. En c. Nivel 2: Características. Cada categoría tiene
esta propuesta se realizó una investigación sobre asociado un conjunto de características (10 en total) .
instrumentos de evaluación de software educativo d. Nivel 3: Subcaracterísticas. Para algunas de las
elaborados por universidades, organizaciones e característica se asocian un conjunto de
instituciones gubernamentales, y expertos en la materia subcaracterísticas.
(Barroso et al., 1998; Del Moral, 1998, Galvis, 2000; e. Nivel 4: Métricas. Para cada característica se
Gómez, 1997; González, 1999; Gros (Coord.), propone una serie de métricas utilizadas para medir
Bernardote al., 1997; Marquès, 1998; Martínez, 1993; la calidad sistémica. Dada la cantidad de métricas
MVU, 2002; Navarro, 1999; OTA, 1988; PEMGU, asociadas a cada una de las características que
1999; Reeves, 1998; Stephen, 1998). De esta conforman la propuesta, (276 en total) éstas no serán
investigación se realizó la propuesta de un conjunto de presentadas en el presente artículo.
métricas que se incorporaron en la estructura de MOSCA
(276 en total).
 5

En resumen, la propuesta del modelo de evaluación de cumplidas para proceder a la próxima actividad. De lo
software educativo consta de un total de 3 categorías, 10 contrario, la evaluación finaliza. Para la categoría
características, 14 subcaracterísticas y 276 métricas. funcionalidad se propone que al menos se cumpla la
característica “Ajuste a los propósitos”, más una de
Una vez formulado el modelo, se presenta una propuesta las dos características restantes, es decir, “Precisión” o
para la evaluación de software educativo. “Seguridad” (ver tabla 2).
Tabla 2.
Características mínimas que deben ser satisfechas para cada
D. DESCRIPCIÓN DEL ALGORITMO PARA LA categoría (modificado de MOSCA, Mendoza et al., 2001).
EVALUACIÓN DE LA CALIDAD DE SOFTWARE
EDUCATIVO Categorías Características mínimas que
del producto deben ser satisfechas
El algoritmo de evaluación que ha sido propuesto, 1. Ajuste a los propósitos
Funcionalidad
contempla dos (2) fases: 2. Precisión o Seguridad
Usabilidad 3 (de 4)
Fase 1. Preselección (sólo en caso de adquisición por vía Fiabilidad 2 (de 3)
comercial)
1.1. Completar el formato SOFED- 01. Este formato
consiste en un ficha general con información técnica y 2.2. Estimación de calidad para cada categoría. Para las
educativa que puede ser completada una sola vez por dos (2) categorías seleccionadas previamente
cada software a evaluar, con la información obtenida de (Usabilidad y Fiabilidad), se debe:
la documentación que viene con el paquete educativo. 2.2.1. Aplicar las métricas propuestas en el
1.2. Completar el formato SOFED- 02, el cual ha sido submodelo del producto para las categorías
diseñado para fundamentar la toma de decisiones sobre seleccionadas aparte de Funcionalidad; es decir,
si un software educativo vale la pena ser evaluado por para Usabilidad y Fiabilidad.
expertos o si se descarta. Esta evaluación se justifica en 2.2.2. Normalizar los resultados de las métricas a una
el caso de que el volumen de software a evaluar escala del 1 al 5. La normalización de los
implique una cantidad de tiempo que los docentes no resultados es llevada a cabo de acuerdo a la Tabla
puedan manejar. Es necesario que en esta evaluación 3.
participen personas que estén relacionadas con la
enseñanza del tema para el cual está preparado el Tabla 3.
Normalización de las métricas para la evaluación del producto
material. Para conocer las características de un software, (Adaptado de PEMGU, 1999).
el profesor normalmente deberá leer el manual e No aplica 1 2 3 4 5
interactuar con él con el propósito de determinar sus o No sabe

objetivos, los contenidos, el planteamiento didáctico, Nunca Pocas veces Algunas

veces
Casi
siempre Siempre
el tipo de actividades que presenta y la calidad técnica; Muy mal Mal Normal Bueno Muy bueno
es decir, deberá realizar una pre-evaluación del software. Nada Alguno Normal Casi Mucho
Para facilitar esta evaluación objetiva de las No tiene Básico Mediano Alto Muy alto
características de un software, se propone una ficha de No aplica Ninguno Muy pocos Pocos Casi Todos
(NA) todos
catalogación y evaluación que permitirá recoger los Muy baja Baja Media Alta Muy alta
rasgos principales y algunas valoraciones generales No sabe
(NS) No Poco Medianamente Casi todo Completamente
sobre sus aspectos técnicos, pedagógicos y funcionales. Inaceptable Debajo del promedio Buena Excelente
promedio
Se aplica un cuestionario que consta de 21 preguntas
No está Poco Casi todo
relacionadas con las métricas que posteriormente se definido definido
Medianamente
definido definido
Completamente
definido
proponen. No Promedio Si

Una vez preseleccionados los software educativos que 2.2.3. Verificar que el 75% de las métricas se
requieran de una evaluación más precisa, se procede a encuentran dentro de los valores óptimos (mayor o
aplicar el algoritmo MOSCA, modificado y ampliado, para igual a 4) para cada una de sus subcaracterísticas y
medir la calidad del producto de software con un enfoque características. Si no se cumple el 75% de las
sistémico. métricas asociadas, entonces esta subcaracterística
o característica tendrá calidad nula. En el caso de
Fase 2. Estimar la calidad del producto de software institutos educativos la población de evaluadores
educativo con enfoque sistémico. A través de la serán docentes de aula y de informática y los
ejecución de esta fase, se evalúa la calidad de producto estudiantes; y en el caso de empresas
de software; para tal fin, se siguen 3 actividades, las desarrolladoras de software educativo, la población
cuales son descritas a continuación: de evaluadores serán los expertos en contenido,
diseño instruccional, en informática y el
2.1. Estimar la calidad de la Funcionalidad del coordinador o líder del proyecto. Las pautas para
producto. Según MOSCA, se establece que siempre y promediar las métricas se aplican tal como lo
en todos los casos se debe medir primero la categoría señala el algoritmo MOSCA en este apartado.
Funcionalidad del producto, donde las características
que se proponen para esta categoría deben ser
 6

2.2.4. Evaluar la categoría. En MOSCA, una Tabla 5.

Lista de software educativo que se consideró para la evaluación de la
categoría es satisfecha si el número de propuesta.
características es altamente satisfecho; es decir, si Software
Materia Edad Fabricante
satisface el 75% de las características asociadas a la educativo
categoría, tal como se aprecia en la tabla 2. 1 Los aventureros. 3er.grado 8 – 10 The Learning
Tratándose de software educativo, donde existen 3er. grado. Curricular años Company
características que son imprescindibles que estén 2
Kids English Inglés
4a8
Syracurse Language
años
presentes, se proponen las características mínimas 3 Trampolín 3er. Grado 8 a 10 Knowledge Adventure
satisfechas que debe tener cada categoría del Tercer ciclo Curricular años - Anaya Interactiva
producto para que ésta pueda ser satisfecha. Luego 4 Smart Start in
10 años
se continúa con la fase 2.3. English Idioma
a
Syracuse Language –
(Hable Inglés Inglés Language Larousse
adultos
¡ya!)
2.3. Estimar la calidad del producto partiendo de las
categorías evaluadas. En este punto se utiliza el Funcionalidad: En la Figura 3 se muestran los porcentajes
algoritmo de MOSCA, con ciertas modificaciones (ver alcanzados por los cuatro (4) software educativos, en cuanto
tabla 4). Nótese que para que un software educativo a los requerimientos de calidad asociados a Funcionalidad.
obtenga calidad intermedia, debe ser satisfechas las
categorías de Fiabilidad y Usabilidad. Como se puede observar en la Figura 3, sólo tres de los
cuatro software educativos cumplen con las característica de
Una vez terminada la evaluación del producto, y sólo en ‘Ajuste a los propósitos’ y ‘Precisión’, por lo tanto se
caso de que éste obtenga al menos el nivel de calidad concluye que la categoría Funcionalidad es satisfecha para
intermedio: lo software educativos “Los aventureros. 3er. Grado”,
1. Se procederá a la toma de decisión de adquisición “Trampolín tercer ciclo” y “Smart Start in English (Hable
del software educativo en el caso de institutos o Inglés ¡ya!)”; y se procede a continuación con el algoritmo
empresas de acuerdo a los recursos económicos. del modelo ampliado de MOSCA.. El software educativo
2. Se procederá a evaluar la calidad del proceso a través “Kids Englsh” no cumple con dos de las tres características
del sub-modelo del mismo (fase 2 y 3 de MOSCA), de Funcionalidad, por lo que esta categoría no está
en el caso de empresas o institutos desarrolladores satisfecha para este software educativo.
de software educativo. El algoritmo de estas fases
escapa al alcance de esta propuesta.

Tabla 4.
Nivel de calidad del producto con respecto a las categorías satisfechas
para el producto software educativo (modificado del modelo MOSCA,
Mendoza et al, 2001).
Nivel de
Funcionalidad Usabilidad Fiabilidad
calidad
No
Satisfecha No satisfecha Básico
satisfecha
Satisfecha No satisfecha Satisfecha Básico
No
Satisfecha Satisfecha Intermedio
satisfecha
Satisfecha Satisfecha Satisfecha Avanzado

V. CASO DE ESTUDIO: APLICACIÓN DEL

ALGORITMO DE EVALUCIÓN DE LA PROPUESTA

Para la prueba de este modelo de evaluación de software

educativo con enfoque sistémico de calidad, se selecciona Figura 3. Porcentaje de satisfacción de los software educativos frente
una variedad de 4 (cuatro) títulos, dos en español y dos en a las tres características de Funcionalidad.
inglés, para distintas áreas de la educación y para diferentes
edades y se aplica el instrumento de evaluación (ver tabla Usabilidad: La Figura 4 muestra los porcentajes alcanzados
5). por las características asociadas a la categoría Usabilidad.

Se aplicaron dos tipos de cuestionarios, que son estándar Como se puede observar en la Figura 4, sólo dos de los
para todos los software. El primero dirigido a los docentes cuatro software educativos cumplen con tres de las cuatro
y el segundo dirigido a los estudiantes. Ambos características asociadas a Usabilidad, por lo tanto se
cuestionarios se desarrollaron a partir de las métricas que concluye que la categoría Usabilidad es satisfecha para “Los
conforman el modelo propuesto. Cada software educativo aventureros. 3er. Grado” y “Trampolín tercer ciclo”. Para el
fue evaluado por dos docentes y dos alumnos. A los software “Smart Start in English (Hable Inglés ¡ya!)” y
continuación se muestran los resultados. “Kids English”, las características de ‘ facilidad de
 7

comprensión del uso software’ y ‘operabilidad’ no VI. RESULTADOS

alcanzaron el 75% de la satisfacción, por lo que se concluye
que para estos software, la categoría Usabilidad no es Analizando los resultados de las Figuras 3, 4 y 5, se
satisfecha. tiene la tabla 6, la cual muestra que dos (2) de los cuatro (4)
software evaluados presenta nivel de calidad avanzado; es
decir, los software educativos “Los aventureros. 3er.
Grado” y “Trampolín tercer ciclo” presentan nivel de
calidad Avanzada. El software “Smart Start in English
(Hable Inglés ¡ya!)” presenta nivel de Calidad Básica,
debido a que la categoría Usabilidad no fue satisfecha. El
software “Kids English” presenta nivel de calidad nula,
debido a que la categoría Funconalidad y Usabilidad,no
fueron satisfechas.
Tabla 6.
Resultados de las evaluaciones de los cuatro software educativos según
el modelo propuesto.
Categoría
Software Nivel de
educativo calidad
Funcionalidad Usabilidad Fiabilidad
Aventureros Satisfecha Satisfecha Satisfecha Avanzada
tercer grado
Kids English No satisfecha No satisfecha Satisfecha Nula
Trampolín Satisfecha Satisfecha Satisfecha Avanzada
tercer ciclo
Smart Start in Satisfecha No satisfecha Satisfecha Básica
English

Figura 4. Porcentaje de satisfacción de los software educativos frente a

las cuatro características de Usabilidad. VII. CONCLUSIONES
Se propone un modelo para la estimación de la calidad
Fiabilidad: La Figura 5 muestra los porcentajes alcanzados de software educativo bajo un enfoque de calidad total
por las características asociadas a la categoría Fiabilidad. sistémica. Este modelo proporciona una valiosa herramienta
Como se puede observar en la Figura 5, todos los software de evaluación para el docente que tiene la necesidad de
educativos cumplen al menos, dos de las tres características conocer el valor educativo de un software, su calidad y el
asociadas a Fiabilidad, por lo tanto se concluye que la uso posible de un software en el ambiente educativo, como
categoría Fiabilidad es satisfecha para “Los aventureros. criterios imprescindibles para su adquisición y uso por parte
3er. Grado”, “Kids English”, “Trampolín tercer ciclo” y de las instituciones educativas. Es además, una excelente
“Smart Start in English (Hable Inglés ¡ya!)”. herramienta de evaluación para hacer ajustes durante el
proceso de diseño o desarrollo de software educativo, de
una evaluación de prueba, antes de la edición definitiva.
Además, se propone un algoritmo para la estimación de
la calidad sistémica, haciendo uso del prototipo propuesto.
Tanto el modelo propuesto como el algoritmo de
aplicación asociado a él, fueron probados a través de un
estudio de campo que permitió medir el desempeño de este
modelo objetivamente en cuatro software educativos
utilizados a nivel de edad escolar y adolescentes.

AGRADECIMIENTOS
Los autores desean agradecer a los docentes y alumnos de
la Unidad Educativa Institutos Educacionales Asociados
(IEA), Caracas, Venezuela, por su valiosa colaboración en la
evaluación de los software educativos utilizados para este
estudio.

REFERENCIAS
Barroso, J., Mendel, J.L. , Valdeverde, J. (1998) "Evaluación de los
medios informáticos: una escala de evaluación para el software
Figura 5. Porcentaje de satisfacción de los software educativos frente a educativo". En Cebrián, M. et al. “Creación de materiales para la
las tres características de Fiabilidad. innovación con nuevas tecnologías”: EDUTEC 97, 355-358. Málaga:
 8

ICE Univ. Málaga. Disponible: Científica Venezolana, (53:3) p 435. LISI, Universidad Simón
http://www.ice.uma.es/edutec97/edu97_c3/2-3-08.htm. Bolívar. Disponible: http://www.lisi.usb.ve/publicaciones
Beichner, R. (1994) Multimedia editing to promote science learning. MVU, Michigan Virtual University (2002) “Standard Quality on-line
Journal of Educational Multimedia and Hypermedia. 3 (1) 55 – 70. courses”. Dispnible: http://ideos.mivu.org/standards
Borrás, I., Lafayette, R. (1994) “Effects of multimedia course subtitling Navarro, E. (1998) “Evaluación de materiales multimedia”. Proyecto
on the speaking performance of college students in French”, The SAMIAL. Comunicación y Pedagogía. 157, 36 – 39.
modern Language Journal, 78, 61 – 75. Ortega M.; Pérez, M.; Rojas T. (2000) “A Model for Software Product
Callaos, N. and Callaos, B. (1993) “Designing with Systemic Total Quality with a Systemic Focus”, en The 4th World Multiconference
Quality”, en International Conference on Information Systems, N. on Systemics, Cybernetics and Informatics SCI 2000 and The 6th
Callaos and B. Sánchez (eds.), International Institute of Informatics Intrernational Conference on Information Systems, Analysis and
and Systemics, Orlando, pp. 548-560. Synthesis ISAS 2000. Orlando, USA, Julio. Disponible:
Cohen, S., Chechile, R., Smith, G., Tsai, F., Burns, G. (1994) “A method http://www.lisi.usb.ve/publicaciones
for evaluating the effectiveness of educational software” Behavior OTA (1988) “Power on! New tools for teaching and learning”. U.S.
Research Methods, Instruments & Computers, (26) 236 - 241. Congress, Office of Technology Assestment, SET-379, September,
Cohen, S., Tsai, F., Chechile, R. (1995) “A model for assessing student Government Printing Office, Washington D.C.
interaction with educational software”. Behavior Research Methods, PEMGU, (1999) “Pedagogical evaluation methods & guidelines for
Instruments & Computers, 251-256. multimedia applications” Partners: Epral (Portugal), Colegio Irabia
Del Moral, E. (1998). "El desarrollo de la creatividad y las nuevas (Spain) and Holbaek Technical College (Denmark), DEL
herramientas tecnológicas". “Comunicación Educativa y Nuevas (Denmark), the University of Cologne (Germany) and Olivetti
Tecnologías”, 51-66. Barcelona: Praxis. (Italy) . Disponible: http://www.irabia.org/pemgu/
Díaz-Antón, G. (2002) “Uso de software educativo de calidad como Pérez, M., Rojas T., Ortega, M., y Álvarez, C.. (1999) “Toward Systemic
herramientas de apoyo para el aprendizaje”. Jornadas educativas: Quality: Case study”, en 4Th Squad Meeting, Squad, Porlamar,
“La escuela como instrumento de cambio”, IEA, Abril, Caracas. Venezuela, July. Disponible: http://www.lisi.usb.ve/publicaciones
Disponible: http://www.academia-interactiva/articulos.html Pérez, M.; Mendoza, L.; Rojas, T.; Grimán, A. (2001) “Systemic Quality
Galvis, A., (2000) “Evaluación de MECs por juicio de expertos”, Model for System Development Process: Case Study”, en: Seventh
Capitulo 10 del libro: “Ingeniería de software educativo” 2da. Americas Conference on Information Systems AMCIS 2001. Boston,
reimpresión. Universidad de Los Andes. Colombia. USA, Agosto 2001, Dsponible: http://www.lisi.usb.ve/publicaciones
Gómez, M.T. (1997) “Un ejemplo de evaluación de software educativo Poole, B. (1999) “Lo que las investigaciones dicen sobre el uso de la
multimedia”. En Cebrián, M. et al. “Creación de materiales para la tecnología informática para la enseñanza y el aprendizaje”. En
innovación con nuevas tecnologías”: EDUTEC97. Málaga: ICE Capítulo 1 del mismo autor: “Tecnología Educativa: educar para la
Univ. Málaga, Disponible: sociocultura de la comunicación y del conocimiento”. 2da. Edición.
http://www.ice.uma.es/edutec97/edu97_c3/2-3-03.htm McGraw-Hill/ Interamericana de España, S.A.U. pp 1-21.
González, M., (1999) “Evaluación de software educativo. Orientaciones Pressman, Roger. (2002) “Ingeniería de Software: Un enfoque Práctico”.
para su uso” Proyecto Conexiones. Universidad de EAFIT. McGraw Hill.
Disponible: http://www.eafit.edu.co/articulos/evaISE.htm Revees, T. (1996) “Learning with software: pedagogies and practices:
Grimán, A, Mendoza, L., Pérez M., Rojas, T. (2001) “Modelo de calidad Evaluating what really matters in computer-based education”,
de software educativo: aplicación del estándar ISO/IEC 9126.” University of Georgia.. Disponible:
Valencia: 2da. Edición EDUWEB – Congreso Venezolano de http://www.nib.unicamp.br/recursos/distance_education/evaluating-
Educación e Informática. Julio. 2001, Venezuela. cbe.html
Gros, B. (2000) “Del software educativo a educar con software”. Stephen, B. (1998) “Evaluating checklist. Evaluating training software”.
Artículo publicado en el número monográfico de la revista digital Lancaster University. Disponible:
Quaderns Digital. Disponible: http://www.keele.ac.uk/depts/cs/Stephen_Bostock/docs/evaluationch
http://www.quadernsdigitals.net/articuloquaderns.asp?IdArticle=374 ecklist2.html
3 Yildirim, Z., Yasar, M., Asku, M. (2001) “Comparison of Hypermedia
Gros, B. (Coord.), Bernardo, A., Lizano, M., Martínez, C., Panadés, M., Learning and traditional instruction on knowledge acquisition”, The
Ruiz, I. (1997) “Diseños y programas educativos, pautas Journal of Educational Research. March- April, 94 (4), 207 – 214.
pedagógicas para la elaboración de software”. Editorial Ariel, S.A.
149 pp.
ISO/IEC 9126: 1991, JTC 1/SC 7. Information technology - Software
product evaluation - Quality characteristics and guidelines for their
use, JTC 1 Organization, Montréal, Québec, 1991.
Jonassen, D., Reeves, T. (1996) “Learning with technology: using
computers as cognitive tools”. In Jonassen (Ed.) Handbook of
research for educational communications and technology (pp 693 –
719). New York. Macmillan.
JTC 1/SC 7. “Software Process Assessment”, TR 15504, on-line, WG 10:
Software Process Assessment. ISO/IEC Organization, 1991,
http://www.sqi.gu.edu.au/spice/
Kitchenham, B., Linkman, S., and Law, D. (1996) “DESMET: A method
for Evaluating Software Engineering Methods and Tools”,.
Technical Report [ISSN 13 53-7776] (TR96:09), Department of
Computer Science, Keele University, pp.1-67.
Liu, M., Reed, W. (1995) “The effect of hypermedia-assisted instruction
on second language learning”. Journal of Educational computing
Research. 12, 159 –175.
Marquès, P. (1998). "La evaluación de programas didácticos".
Comunicación y Pedagogía, (149) 53-58, Barcelona. Disponible:
http://www.xtec.es/~pmarques/tecnoedu.htm
Martínez, R., Sauleda, N. (1993) “La evaluación de software educativo
en el escenario de la evolución de los paradigmas educativos”.
Enseñanza, 161 – 174.
Mayer, R., Shustack, M. Blanton, W. (1997) “What do children learn
from using computers in an informal, collaborative setting?”,
Educational Technology, March – April, 39 (2) 27 – 31.
Mendoza, L., Pérez, M., Rojas, T. (2001) “Modelo sistémico para estimar
la calidad de los sistemas de software”. (MOSCA).ASOVAC, Acta