Science">
Nothing Special   »   [go: up one dir, main page]

Semana 9 Merged

Descargar como pdf o txt
Descargar como pdf o txt
Está en la página 1de 178

Estadística Aplicada

Sesión 9

Medición en psicología

Profesores:
Kaneko Aguilar, Juan Jose; Tomás Rojas, Ambrosio; Navarro Loli,
Jhonatan Steeven Baruch; Kohler Herrera, Johanna Liliana; Rosario
Quiróz, Fernando Joel; Salazar Intusca, Sixto

2023
El estudiante identifica el concepto de
medición en psicología, constructo y las
LOGRO fuentes para determinar su validez y
fiabilidad.
Medición en psicología
¿Qué es una medición?
Procedimiento para determinar la
cantidad de algún constructo,
variable o atributo.
¿Y cómo es una medición en
psicología?
Asignar un valor numérico a
características o constructos
psicológicos como la inteligencia,
emociones, conductas,
personalidad, etc.
Medición en psicología
¿Por qué es importante?
Permite a los investigadores
cuantificar constructos psicológicos
con fin de recopilar datos objetivos y
comparables que posibiliten
analizarlos y evaluarlos.
Permite indagar mejor los fenómenos
psicológicos a través de la
construcción de instrumentos que
midan de manera valida y fiable las
variables psicológicas.
Variable y Constructo
Existen diferentes objetos de medición en psicología, entre los más
importantes tenemos la medición de…

Estas variables son Estas variables son


directamente Variables Variables aspectos NO
observables y observables latentes observables pero
medibles, como la Constructos que se infieren a
frecuencia de psicológicos partir de otros
conductas, tiempo indicadores
de reacción, etc. observables.
Representan conceptos abstractos que permiten enmarcar
y comprender comportamientos, experiencias y fenómenos
psicológicos que no son directamente observables. La
medición de un constructo implica desarrollar métodos e
instrumentos que cuantifiquen de manera confiable y
válida las dimensiones o atributos del constructo.
(Cohen et al., 2017; DeVellis, 2017;
Suen & Ary, 1989)
Variable y Constructo
¿Las variables son solo otro nombre de los constructos?

Es una abstracción teórica Una variable es una


que representa o describe característica o atributo que
una propiedad compleja y puede variar en diferentes
Constructo

multifacética que no es personas, situaciones o

Variable
directamente observable ni contextos. Las variables
medible. Requieren métodos pueden ser medidas
de medición específicos para directamente o con facilidad
ser evaluados y a menudo a través de observación,
anteceden a la medición de autoreportes o mediciones
variables. objetivas.
(Cohen et al., 2018; DeVellis, 2017;
Ramos, 2018)
Evidencias psicométricas
¿Cómo sabemos si una medición de un constructo es fiable y valida?

Evidencias de Evidencias de
Validez Fiabilidad

Instrumento
Evidencias de validez
• Se refiere al grado en que la evidencia empírica y la teoría apoyan la
interpretación de las puntuaciones de los tests relacionada con un
uso específico (AERA, APA & NCME, 2014).

• Los estudios de validez van a aportar significado a las puntuaciones


que estamos obteniendo, permitiéndonos conocer si el uso que
pretendemos hacer de ellas es o no adecuado.

AERA et al. (2014)


Algunas consideraciones sobre la validez…
a) No es preciso hablar de validez de un test sino de validez de las
puntuaciones de un test. No tiene sentido hablar de “propiedades del
test”, ya que éstas dependen del contexto de evaluación y la muestra
específica.

b) El profesional responsable de la aplicación de un test debe consultar el


manual del mismo para averiguar si la utilización e interpretación
pretendida por él coincide con la proporcionada por la prueba. De lo
contrario, para poder realizar la interpretación pretendida deberá
desarrollar una investigación, un estudio de validación (estudio piloto),
que le permita recoger información que apoye (o no) su uso.

Abad et al. (2010)


Por ejemplo:
Por ejemplo:
• ¿Serán válidas las puntuaciones e
interpretaciones del IDER en personas de
nuestro país si están basadas a partir de
las normas o baremos de este manual?
• Rpta: NO, porque como bien se señala en la
imagen la interpretación está basada en un
grupo normativo español (adaptación
española).

• ¿Serán válidas las puntuaciones e


interpretaciones del IDER si se obtienen a
partir de la aplicación a una muestra de
niños?
• Rpta: NO, porque como bien se señala en la
imagen anterior la prueba está orientada a la
evaluación del constructo/variable en
adolescentes, jóvenes y adultos.
Entonces, ¿qué podría validar el uso e interpretación de
la puntuaciones del IDER en nuestro país?

• Respuesta: La realización previa de


estudios de tipo instrumental
cumplen con ese objetivo: validar
las propiedades psicométricas de
las puntuaciones de un test para su
interpretación en un determinado
contexto o muestra específica.
Standards for Educational and Psychological Testing
(AERA, APA, & NCME, 2014)
Procesos de
respuesta

Contenido Estructura
interna
EVIDENCIAS
DE NOS CENTRAREMOS EN
VALIDEZ
ESTAS TRES EVIDENCIAS

Consecuencias Relación con


del test otras variables
Evidencias de validez, procedimiento y estadísticos

Evidencia Procedimiento Estadístico

Validez basada en el contenido Juicio de expertos V de Aiken

Validez basada en la estructura Análisis de Dimensionalidad Análisis Factorial Exploratorio (AFE)


interna Análisis Factorial Confirmatorio
(AFC)

Validez basada en relaciones con Análisis de validez convergente y Correlaciones (Pearson o


otras variables discriminante Spearman)
Evidencias Fiabilidad
Evidencias de Fiabilidad

Es la propiedad que asegura que un instrumento produce resultados


precisos, consistentes, estables y reproducibles en diferentes
situaciones y momentos.

(AERA, APA & NCME, 2014;


Anastasi & Urbina, 1997)
ACTIVIDAD 8

• Encontrar 10 artículos científicos de PSICOLOGÍA que


reporten evidencias de validez y fiabilidad.
a) Detallar qué evidencias fueron reportadas y con qué
valores estadísticos.
b) Especificar en qué instrumento o medida se encontró las
evidencias psicométricas
c) Referenciar el artículo en formato APA 7
Para finalizar

¿alguna
pregunta?
Referencias
AERA, APA & NCME (2014). Standars for educational and psychological testing. American Educational Research Association.
Aiken, L. R. (1980). Content validity and reliability of single items or questionnaires. Educational and Psychological Measurement, 40, 955–959.
Anastasi, A., & Urbina, S. (1997). Psicología experimental. Pearson Educación.
Cohen, L., Manion, L., & Morrison, K. (2017). Research methods in education (8th ed.). Routledge.
DeVellis, R. F. (2017). Scale development: Theory and applications (4th ed.). Sage Publications.
Elosua, P. (2003). Sobre la validez de los tests. Psicothema, 15(2), 315-321.
Escobar-Pérez, J. & Cuervo-Martínez, A. (2008). Validez de contenido y juicio de expertos: una aproximación a su utilización. Avances en Medición, 6,
27-36.
Lloret-Segura, S., Ferreres-Traver, A., Hernandéz-Baeza, A., & Tomás-Marco, I (2014). El análisis factorial exploratorio de los ítems: una guía práctica,
revisada y actualizada. Anales de Psicología, 30(3), 1151-1169.
Pérez, E. R., & Medrano, L. (2010). Análisis factorial exploratorio: bases conceptuales y metodológicas. Revista Argentina de Ciencias del
Comportamiento, 2(1), 58-66. http://www.redalyc.org/html/3334/333427068006/
Ramos, Z. (2018). Psicometría básica. Fundación Universitaria del Área Andina. https://core.ac.uk/download/pdf/326425381.pdf
Suen, H. K., & Ary, D. (1989). Analyzing measurement error in research. Sage Publications.
Williams, B., Brown, T., & Onsman, A. (2010). Exploratory factor analysis: A five-step guide for novices. Australasian Journal of Paramedicine, 8(3), 1-
13.
Estadística Aplicada

Sesión 10

Evidencias de validez. Definición de


validez. Fuentes de evidencia.

Profesores:
Tomás Rojas, Ambrosio / Navarro Loli, Jhonatan Steeven Baruch /
Kaneko Aguilar, Juan José / Kohler Herrera, Johanna Liliana /
Rosario Quiróz, Fernando Joel / Salazar Intusca, Sixto / Paliza
Olivares, Víctor
2023
El estudiante identifica el concepto de
LOGRO validez y las fuentes para determinar su
evidencia.
Recordamos

Grado en que la evidencia empírica y


teoría apoyan la interpretación de
puntuaciones de tests (AERA, APA &
NCME, 2014).
VALIDEZ
Aportan significado a las puntuaciones.
Permite conocer si el uso que
pretendemos hacer de ellas es o no
adecuado.
Hoy veremos…

Evidencia Procedimiento Estadístico

Validez basada en el contenido Juicio de expertos V de Aiken

Validez basada en la estructura Análisis de Dimensionalidad Análisis Factorial Exploratorio (AFE)


interna Análisis Factorial Confirmatorio
(AFC)

Validez basada en relaciones con Análisis de validez convergente y Correlaciones (Pearson o


otras variables discriminante Spearman)
VALIDEZ DE CONTENIDO
1. Evidencia de validez basada en el contenido

• Busca garantizar que el conjunto de ítems que componen la prueba es relevante,


y representativa del constructo, además de clara en cuanto a su redacción.
• Son objeto de la validez de contenido:
• las instrucciones
• los ejemplos de práctica
• el material de la prueba
• el tiempo de ejecución
1. Evidencia de validez basada en el contenido

• La consulta a expertos (juicio de


expertos) es la vía más usual para
apreciar la calidad del contenido
de los ítems.
• Una de las técnicas estadísticas
más empleadas para este
propósito es la V de Aiken (analiza
el grado de acuerdo entre jueces
sobre la relevancia del contenido
de un ítem).
CATEGORIAS DE VALIDEZ DE CONTENIDO DE LOS ÍTEMS

Escobar-Pérez y Cuervo-Martínez (2008)


Formato de validez de contenido

Escobar-Pérez y Cuervo-Martínez (2008):


Modelo de paquete estadístico para procesar V de Aiken
Juicio de expertos
El juicio de expertos se define como una opinión informada de
personas con trayectoria en el tema, que son reconocidas por otros
como expertos cualificados en éste, y que pueden dar información,
evidencia, juicios y valoraciones (Escobar & Cuervo, 2008).
V de Aiken (Versión dicotómica)
El coeficiente V de Aiken Escurra (1988) permite obtener valores factibles de ser contrastados
estadísticamente según el tamaño de la muestra de jueces seleccionada. El coeficiente V de Aiken
coeficiente genera valores entre 0 y 1. De esta manera, a medida que sea más elevado el valor, el ítem
tendrá una mayor validez de contenido.

La fórmula utilizada para determinar la validez de contenido fue la siguiente:

S
V= ------------------
(N (C – 1))

En donde S, es igual a la sumatoria de Si (valor asignado por el Juez 1); N es el número de jueces y C,
constituye el número de valores de la escala de valoración.
Ejemplo:
Escala de calificación
dicotómica usada por los
jueces

V de Aiken para ítem 1:

S = es igual a la sumatoria de Si (valor asignado por los jueces) S = 7 (suma de calificaciones)


N = número de jueces N= 7 (cantidad de jueces)
C = número de valores de la escala de valoración C = 2 (valores de la escala)

V= 1.00

Hallar la V de Aiken de los otros ítems y la V de Aiken de la prueba total


Solución
V de Aiken (versión politómica)
La fórmula uElizada para determinar la validez de contenido, en el caso de una
ficha politómica es la siguiente (Penfield y Giacobbi, 2004):

x̅ -ʅ
V= ------------------
k

V = Coeficiente V de Aiken
x̅ = promedio de las calificaciones de todos los jueces.
ʅ = Es el valor mínimo en la escala de calificación de la ficha de evaluación del
instrumento
k = Rango (diferencia entre el valor máximo y mínimo de la escala uElizada en la
ficha de evaluación)
Ejemplo:
Escala de calificación
politómica usada por los
jueces

V de Aiken para ítem 1:

x̅ = promedio de las calificaciones de todos los jueces. x̅ = 3.6 (promedio)


ʅ = Es el valor mínimo en la escala de calificación de la ficha de ʅ = 1 (valor mínimo)
evaluación del instrumento k = 3 (4-1)
k = Rango (diferencia entre el valor máximo y mínimo de la
escala u^lizada en la ficha de evaluación) V= 0.87

Hallar la V de Aiken de los otros ítems y la V de Aiken de la prueba total


Solución
Consideraciones para la interpretación de la
V de Aiken:
• El intervalo de confianza para la V de Aiken permite probar si la magnitud obtenida
del coeficiente es superior a los criterios establecidos como mínimamente aceptables
para concluir sobre la validez de contenido de los ítems.

• Los criterios o estándares de comparación pueden ser de tres tipos:


ü Nivel liberal de Vo = 0.50 a más (Cicchetti, 1994)
ü Nivel conservador de Vo = 0.70 a más (Charter, 2003).
ü Determinar el intervalo inferior de cada ítem, considerando los resultados.

ENTONCES:
Se considera que hay un insuficiente grado de acuerdo entre los jueces si el intervalo
de confianza inferior de la V de Aiken resulta menor a 0.70 ó 0.50 según el criterio
empleado (conservador o liberal respectivamente). Ello quiere decir que el ítem no es
válido.
Ejemplo:
• Luego de recolectar el juicio de 5 jueces, en una escala de 1 al 5, el
coeficiente promedio es 0.42, y al 95% de confianza el intervalo del
coeficiente obtenido será [Límite inferior = 0.62, Límite superior = 0.90].

• Con este dato, no podemos aceptar el ítem a la luz del estándar mínimo
más conservador (0.70), ya que el límite inferior del intervalo está por
debajo de tal punto (0.62).

• En las fases iniciales de la construcción de ítems, se puede elegir un


criterio más liberal (Vo < 0.50).
Interpretaciones y decisiones (criterio conservador):

Si un ítem presenta una V de Aiken cuyo límite


inferior del intervalo es menor a 0.70 en claridad, se
toma la decisión de modificar la redacción del ítem
según la recomendación de los jueces expertos.

Si un ítem presenta una V de Aiken cuyo límite


inferior del intervalo es menor a 0.70 en coherencia,
se analiza la posibilidad de incluirlo en otra
dimensión del test según las recomendaciones de
los jueces expertos.

Si un ítem presenta una V de Aiken cuyo límite


inferior del intervalo es menor a 0.70 en relevancia,
se toma la decisión de eliminar el ítem de la versión
final del test.
Interpretaciones y decisiones (criterio liberal):

Si un ítem presenta una V de Aiken cuyo límite


inferior del intervalo es menor a 0.50 en claridad, se
toma la decisión de modificar la redacción del ítem
según la recomendación de los jueces expertos.

Si un ítem presenta una V de Aiken cuyo límite


inferior del intervalo es menor a 0.50 en coherencia,
se analiza la posibilidad de incluirlo en otra
dimensión del test según las recomendaciones de
los jueces expertos.

Si un ítem presenta una V de Aiken cuyo límite


inferior del intervalo es menor a 0.50 en relevancia,
se toma la decisión de eliminar el ítem de la versión
final del test.
¿Qué decisiones tomarían con los siguientes ítems,
tomando en consideración el criterio conservador?
Uso de la plan1lla para el cálculo de la V de Aiken

El valor mínimo y máximo con el que cada experto evalúa el ítem según la escala de evaluación (Likert).

Se especifica el número de jueces que han evaluado los ítems del test.

Para interpretar y tomar las decisiones con relación a cada ítem nos basamos
en el valor del límite inferior de la V de Aiken.

Aquí se transcriben las respuestas de los jueces por cada ítem según
los tres criterios evaluados: relevancia, claridad y coherencia.
Ac.vidad 9
1.2. Evidencia de validez basada en la estructura interna

• Descargamos el documento MS Excel “V de Aiken” y utilizamos la base de datos


“Caso Juicio de expertos”
• Contestamos las preguntas de la ficha “ACTIVIDAD 9”
Para finalizar

¿alguna
pregunta?
Referencias
AERA, APA & NCME (2014). Standars for educational and psychological testing. American Educational Research Association.
Aiken, L. R. (1980). Content validity and reliability of single items or questionnaires. Educational and Psychological
Measurement, 40, 955–959.
Elosua, P. (2003). Sobre la validez de los tests. Psicothema, 15(2), 315-321.
Escobar-Pérez, J. & Cuervo-Martínez, A. (2008). Validez de contenido y juicio de expertos: una aproximación a su utilización.
Avances en Medición, 6, 27-36.
Lloret-Segura, S., Ferreres-Traver, A., Hernandéz-Baeza, A., & Tomás-Marco, I (2014). El análisis factorial exploratorio de los
ítems: una guía práctica, revisada y actualizada. Anales de Psicología, 30(3), 1151-1169.
Pérez, E. R., & Medrano, L. (2010). Análisis factorial exploratorio: bases conceptuales y metodológicas. Revista Argentina de
Ciencias del Comportamiento, 2(1), 58-66. http://www.redalyc.org/html/3334/333427068006/
Ramos, Z. (2018). Psicometría básica. Fundación Universitaria del Área Andina.
https://core.ac.uk/download/pdf/326425381.pdf
Williams, B., Brown, T., & Onsman, A. (2010). Exploratory factor analysis: A five-step guide for novices. Australasian Journal
of Paramedicine, 8(3), 1-13.
Estadística Aplicada

Semana 11

Evidencias de validez. Validez basada


en la estructura interna: AFE.

Profesores: Johanna Kohler, Jhonatan Navarro, Sixto Salazar,


Fernando Rosario, Juan Kaneko, Mayte Casaño, Víctor Paliza y
Ambrosio Tomás

Ciclo: 2023-2
Facultad de Psicología

Estadística Aplicada

Semana 11

2023-2
El estudiante identifica el procedimiento
LOGRO para determinar evidencia de validez basada
en la estructura interna: AFE.
Evidencias de validez, procedimiento y estadísticos

Evidencia Procedimiento Estadístico

Validez basada en el contenido Juicio de expertos V de Aiken

Validez basada en la estructura Análisis de Dimensionalidad Análisis Factorial Exploratorio (AFE)


interna Análisis Factorial Confirmatorio
(AFC)

Validez basada en relaciones con Análisis de validez convergente y Correlaciones (Pearson o


otras variables discriminante Spearman)
Etapas del análisis de datos:
1. Análisis
5. Baremos preliminar de
ítems

4. Examinar la 2. Revisar la
correlación de estructura
las variables interna del
de estudio test (validez)

3. Examinar la
confiabilidad
de las
puntuaciones
del test

*En rojo los procedimientos realizados como parte del curso


1. Análisis de ítems
a. Estadísticos descriptivo
b. Correlación ítem-total (ítem-test) corregida
a. Estadísticos descriptivos: Min, max, M, DE, G1, G2

2 3
8

1. Clic Exploración
2. Clic Descriptivos 4
3. Ingresar los ítems
4. Elegir “Variables
across rows” (filas)
5
5. Elegir M y Md
6. Elegir Min, Max y DE
7. Elegir Asimetría y
Kurtosis
8. Interpretar 6 7
a. Estadísticos descriptivos: interpretación

Se analizan los coeficientes de


asimetría (skewness) y curtosis
(kurtosis) de los ítems a fin de
identificar la distribución de las
respuestas (distribución normal o
distribución asimétrica).
Estadísticos descriptivos

OJO: Se usa el criterio de +/- 1 para


la interpretación (Ferrando &
Anguiano-Carrasco, 2010).

- Si la asimetría y curtosis son


menores a +/- 1, entonces el ítem
tiene distribución normal.
- Si la asimetría o curtosis son
mayores a +/- 1, entonces el ítem
tiene distribución asimétrica.
b. Homogeneidad de los ítems (correlación ítem-rest):

Ruta:
1. Clic en Factor
2. Clic en Análisis de Fiabilidad
4
3. Elegir correlación del
elemento con otros
4. Interpretar

3
b. Homogeneidad de los ítems (correlación ítem-rest):
Interpretación

Correlación ítem-rest (ítem-total)


Análisis de homogeneidad de ítems

Se retienen (mantienen) aquellos


ítems cuyos valores sean iguales
o mayores a .30. Aquellos ítems
con valores menores a .30 o con
signo negativo, son eliminados.

OJO: Se hace este análisis por


cada dimensión del test.
b. Homogeneidad de los ítems (correlación ítem-rest):
Interpretación
Cansancio emocional Realización personal
Análisis de homogeneidad de ítems
2. Revisar la estructura interna del test
a. Análisis Factorial Exploratorio (AFE)
b. Análisis Factorial Confirmatorio (AFC)
a. Análisis Factorial Exploratorio: Definición

• Conjunto de métodos estadísticos de


interdependencia, los cuales tienen como objetivo
identificar una estructura subyacente a un conjunto
amplio de datos.

• Es decir, se emplea para reducir un número de


indicadores operativos (ítems) en un número inferior
de variables conceptuales (factores/dimensiones).
a. Análisis Factorial Exploratorio:
ÍTEMS
FACTORES/DIMENSIONES
ÍTEMS

ÍTEMS
Análisis de Componentes Principales (ACP) y
Análisis Factorial
IMPORTANTE:
(AF) Cuando analizamos los ítems
de un test en busca de la
estructura factorial que le
corresponde,
estamos ubicados bajo el
modelo del análisis factorial
(factores comunes).

OJO:
Por lo tanto, analizar un
conjunto de ítems con
Componentes Principales
En el ACP buscamos que ítems En el AF buscamos que ítems se (ACP), no es recomendable.
explican mejor la varianza total del agrupan considerando la varianza
constructo. compartida entre ellas.
Se analizan que ítems (Y) explican
Se analizan que ítems (Y)
el mayor porcentaje de la varianza
comparten varianzas similares,
total de la prueba (C)
dando lugar a un factor (F)

Revisar las siguientes lecturas:

Lloret-Segura, S., Ferreres-Traver, A., Hernández-Baeza, A., y Tomás-Marco, I. (2014). El análisis factorial exploratorio de los ítems: una guía práctica, revisada y actualizada. Anales de Psicología, 30(3), 1151-
1169. https://doi.org/10.6018/analesps.30.3.199361

Méndez, C., y Rondón, M. A. (2012). Introducción al análisis factorial exploratorio. Revista Colombiana de Psiquiatría, 41(1), 197-207. https://doi.org/10.1016/S0034-7450(14)60077-9
Análisis de Componentes Análisis Factorial
Principales [ACP] Exploratorio [AFE]
(No recomendable) (Recomendable)
Revisar las siguientes lecturas:
Lloret-Segura, S., Ferreres-Traver, A., Hernández-Baeza, A., y Tomás-Marco, I. (2014). El análisis factorial exploratorio de los ítems: una guía práctica, revisada y actualizada. Anales de Psicología, 30(3), 1151-1169. https://doi.org/10.6018/analesps.30.3.199361

Méndez, C., y Rondón, M. A. (2012). Introducción al análisis factorial exploratorio. Revista Colombiana de Psiquiatría, 41(1), 197-207. https://doi.org/10.1016/S0034-7450(14)60077-9
a. Análisis Factorial Exploratorio:
1
Pasos:
1. Clic en Factor
6
2. Clic en Análisis Factorial
Exploratorio
3. En Método, la opción a 2
elegir en Extracción,
depende de la normalidad
de la distribución de los
ítems 3 5
4. En Número de Factores,
Clic en “Basado en análisis
4
paralelos”
5. Dar clic en todos los
botones seleccionados en
la imagen. En cargas de los
factores, colocar 0.3
6. Interpretar
a. Análisis Factorial Exploratorio (AFE): Fases

a1. Supuesto de relación de los ítems


• KMO
• Prueba de Bartlett
a2. Extracción de factores
• Método de Máxima Verosimilitud
• Método de Mínimos Cuadrados (factorización de ejes principales o mínimos cuadrados no ponderados)

a3. Rotación
• Ortogonal (factores/dimensiones independientes): Varimax
• Oblicua (factores/dimensiones relacionados): Promax u Oblimin

a4. Matriz factorial (matriz patrón)


• Revisar las cargas (pesos) factoriales de los ítems en cada factor.
a1. Supuesto de relación de los ítems
COEFICIENTE KMO
Permite determinar si la prueba es factorizable. Si los ítems se ajustan a una
estructura factorial, el KMO tomará valores próximos a 1.
Valores cercanos a cero en el KMO, indican que no es pertinente usar el análisis
factorial con esos datos.

Como mínimo se espera que el KMO


sea igual o mayor a .70 (Ferrando y
Anguiano-Carrasco, 2010).
Interpretación:
KMO mayor a 0.70, por
lo tanto, es factorizable

OJO:

Al procesar el AFE no
incluir los ítems que
se eliminaron en el
análisis de ítems
(correlación ítem-
total menores a 0.30)
PRUEBA DE ESFERICIDAD DE BARLETT
Permite determinar si la prueba es factorizable. Para ello se plantean dos
hipótesis:

H1: Las variables (ítems) se correlacionan.


H0: Las variables (ítems) no se correlacionan.

Si la p es menor a 0.05, se rechaza la hipótesis nula, por lo tanto, hay


correlación entre los ítems y la prueba se puede factorizar.
Si la p es mayor a 0.05 no se recomienda realizar un análisis factorial con
los datos.
Interpretación:

Significancia de la
prueba de Bartlett
menor a 0.05 (se
rechaza Ho, por lo
tanto, los ítem están
correlacionados)
CONCLUSIÓN: Se cumplen los supuestos
para aplicar el Análisis
Factorial Exploratorio (AFE).
a2. Extracción de Factores

DECISIÓN 1: DECISIÓN 2:
Se empleará Máxima Se empleará Factorización de Ejes
Verosimilitud (MV) si es que en Principales (FEP) si es que en alguno
todos los ítems, incluidos en el de los ítems, incluidos en el AFE, los
AFE, los estadísticos descriptivos estadísticos descriptivos de
de asimetría y curtosis han sido asimetría y curtosis han sido
menores a +/- 1 (distribución mayores a +/- 1 (distribución No
normal). normal).
a2. Extracción de Factores: Pasos

Aquí se selecciona entre el


método de Máxima
Verosimilitud (MV) si la
distribución de todos los ítems
es normal o
el de Factorización de Ejes
Principales (FEP) si la
distribución de algunos o todos
los ítems es NO normal
a2. Extracción de Factores: Para determinar número de factores
Autovalores

Criterio para determinar la cantidad de


factores a extraer:

Autovalores mayores a 1: se identifica en


la columna de autovalores (columna de
eigenvalue) hasta que fila se encuentran
autovalores mayores a 1.

Varianza compartida total


explicada
Para instrumentos de más de una
dimensión se considera aceptable
valores mayores al 30%.

En este caso, la varianza


compartida total explicada por
los 2 factores extraídos, es de
67.5%
a2. Extracción de Factores: Para determinar número de factores
Criterio para determinar la cantidad de factores a extraer:
• Fijar número de factores: si en caso el criterio
de autovalores mayores a 1 arroja más
factores que la estructura original (la
propuesta por la teoría) y se forman factores
no interpretables (con 0 o 1 ítem por ejemplo),
se puede hacer un nuevo análisis fijando el
número de factores a la cantidad propuesta
por la teoría.
• En este caso se fijo a (3) factores porque es la
cantidad planteada teóricamente (teoría de
Burnout de Maslach).

OJO:

• Si incluso la estructura teórica no resulta


interpretable, se pueden hacer análisis
considerando menos dimensiones (prueba de
modelos teóricos).
a3. Rotación de factores

• ORTOGONAL: En factores NO CORRELACIONADOS


(independientes), se recomienda la rotación
VARIMAX.
OJO: Por lo general en
constructos psicológicos
• OBLICUA: En factores CORRELACIONADOS, se que tienen dimensiones
recomienda PROMAX u OBLIMIN (para muestras se asumen que éstas
grandes N > 500). están relacionadas, por
lo que se aconsejan
usar rotaciones
oblicuas.
a4. Matriz factorial (patrón) rotada

Criterios para decidir observar ítems o considerar su eliminación:

1. El ítem presente una carga(peso) factorial menor a .30.


2. El ítem presenta una carga (peso) factorial negativa (tratándose ya
de un ítem directo).
3. El ítem presenta una carga (peso) factorial mayor a .30 pero en un
factor distinto al que teóricamente se planteó.
4. El ítem presenta una carga (peso) factorial mayor a .30 en más de
una dimensión/factor.
INTERPRETACIÓN DE LA MATRIZ FACTORIAL
NOTA:
• Factor 1: Cansancio emocional
• Factor 2: Despersonalización
• Factor 3: Realización personal

ANÁLISIS DE LOS ÍTEMS:

• El B22 se elimina por que satura más en el factor 1, cuando


pertenece al factor 2.
• El B5 es del factor 2 y satura en el factor 1, por eso se
elimina.
• El B6 satura en dos factores (1 y 2), cuando pertenece al 1.
• El B19 se elimina por que pertenece al factor 3 y satura en
los otros dos.
• El B11, pertenece al factor 2 y satura también en el 1 (podría
quedarse por que satura más en el 2)
• El B20 pertenece al factor 1, pero satura más en el factor 2.
• El B16 satura de manera similar en el factor 1 y 2, cuando
pertenece a factor 1.
• El B13 pertenece al factor 1, pero satura más en el factor 2.
AFE: Ideas de cierre
El Análisis Factorial exploratorio (AFE) de ítems es una de las técnicas más frecuentemente aplicadas en estudios
relacionados con el desarrollo y validación de tests, porque es la técnica por excelencia que se utiliza para explorar el
conjunto de variables latentes o factores comunes que explican las respuestas a los ítems de un test.

Método multivariado permite agrupar las variables (ítems, por ejemplo) que se correlacionan fuertemente entre sí, y
cuyas correlaciones con las variables de otros agrupamientos (factores) son menores

IMPORTANTE
No necesariamente debemos
indicar el número de factores a
esperar, esto podría sesgar el AFE.

Lo ideal es explorar como se


agrupan los ítems en las
dimensiones planteadas en un
instrumento que se esta creando.
A leer
Lloret-Segura, S., Ferreres-Traver, A., Hernández-Baeza, A., y Tomás- Méndez, C., y Rondón, M. A. (2012). Introducción al análisis factorial
Marco, I. (2014). El análisis factorial exploratorio de los ítems: una guía exploratorio. Revista Colombiana de Psiquiatría, 41(1), 197-
práctica, revisada y actualizada. Anales de Psicología, 30(3), 1151- 207. https://doi.org/10.1016/S0034-7450(14)60077-9
1169. https://doi.org/10.6018/analesps.30.3.199361
Referencias
AERA, APA & NCME (2014). Standars for educational and psychological testing. American Educational Research
Association.
Elosua, P. (2003). Sobre la validez de los tests. Psicothema, 15(2), 315-321.
Lloret-Segura, S., Ferreres-Traver, A., Hernandéz-Baeza, A., & Tomás-Marco, I (2014). El análisis factorial exploratorio de
los ítems: una guía práctica, revisada y actualizada. Anales de Psicología, 30(3), 1151-1169.
Pérez, E. R., & Medrano, L. (2010). Análisis factorial exploratorio: bases conceptuales y metodológicas. Revista Argentina
de Ciencias del Comportamiento, 2(1), 58-66. http://www.redalyc.org/html/3334/333427068006/
Ramos, Z. (2018). Psicometría básica. Fundación Universitaria del Área Andina.
https://core.ac.uk/download/pdf/326425381.pdf
Williams, B., Brown, T., & Onsman, A. (2010). Exploratory factor analysis: A five-step guide for novices. Australasian
Journal of Paramedicine, 8(3), 1-13.
Videos adicionales de
apoyo

https://www.youtube.com/watch?v=djEufq1-tSU

https://www.youtube.com/watch?v=2fNv8esJIeA

https://www.youtube.com/watch?v=K2t4F7DEEj8
Estadística Aplicada

Semana 12

Evidencias de validez. Validez basada


en la estructura interna: AFC.

Profesores: Johanna Kohler, Jhonatan Navarro, Sixto Salazar,


Fernando Rosario, Juan Kaneko, Mayte Casaño, Víctor Paliza y
Ambrosio Tomás

Ciclo: 2023-2
Facultad de Psicología

Estadística Aplicada

Semana 12

2023-2
El estudiante identifica el procedimiento
LOGRO para determinar evidencia de validez basada
en la estructura interna: AFC.
Etapas del análisis de datos:
1. Análisis
5. Baremos preliminar de
ítems

Análisis factorial exploratorio AFE


4. Examinar la 2. Revisar la
correlación de estructura
las variables interna del
de estudio test (validez) Análisis factorial confirmatorio AFC

3. Examinar la
confiabilidad
de las
puntuaciones
del test
Evalúa la estructura interna del instrumento de medición

a. Análisis Factorial Exploratorio (AFE)


b. Análisis Factorial Confirmatorio (AFC)
Recordemos los símbolos del SEM…

Variable observada o indicador: son


aquellas que se pueden observar y medir,
por ejemplo, las conductas, los ítems de
un test.

Variable latente: es la característica que se


desea medir pero que no se puede
observar directamente, por ejemplo: los
constructos psicológicos.

Variable exógena: es aquella que afecta a otra variable


y que no recibe efecto de ninguna variable. Las
variables independientes de un modelo de regresión
son exógenas.

Variable endógena: es aquella que recibe efecto de


otra variable. La variable dependiente de un modelo
de regresión es endógena. Toda variable endógena
debe ir acompañada de un error.

Samperio Pacheco, Víctor Manuel. (2019). Ecuaciones estructurales en los modelos educativos: características y fases en su construcción. Apertura (Guadalajara, Jal.), 11(1), 90-103.
https://doi.org/10.32870/ap.v11n1.1402
¿Se tiene alguna hipótesis previa del
comportamiento de los ítems?

• Si NO SE TIENE una hipótesis previa clara, se usará el ANÁLISIS


FACTORIAL EXPLORATORIO – AFE, es decir, se buscará patrones de
relación entre los ítems. Esto se da cuando se está construyendo el
instrumento

• Si SE TIENE una hipótesis previa, se usará el ANÁLISIS FACTORIAL


CONFIRMATORIO - AFC, es decir, se va a comparar si los datos
hallados con el test, se ajustan al modelo teórico con el cuál fue
creado. Esto se hace cuando el instrumento ya existe, o después del
AFE del instrumento en elaboración.
e1 X1 e1 X1

e2 X2 e2 X2

Factor1 Factor1
e3 X3 e3 X3

e4 X4 e4 X4
Factor2 Factor2

e5 X5 e5 X5

e6 X6 e6 X6

Análisis Factorial Exploratorio Análisis Factorial


En el AFC, Confirmatorio
los ítems NO saturan libremente en
En eltodos
En AFE AFE, los
los ítems
ítems son
saturan libremente
propuestos comoen En AFC,
todossolo
los algunos
factoresitems son
debido propuestos
a que como
desde el
todos los
indicadores defactores latentes y la solución es
cada factor. indicadores de cada factor.
principio especificamos que carguen en un
Factores sonajustarla
rotada independientes
a un mínimo de factores. La línea curva indica la relación que podría existir
factor determinado (según la teoría).
entre los factores.
ANÁLISIS FACTORIAL CONFIRMATORIO AFC
Análisis Factorial Confirmatorio
El análisis factorial confirmatorio (CFA) es considerado como una forma de
modelo de ecuaciones estructurales (SEM) que tiene como propósito
confirmar el ajuste entre un modelo teórico y los datos empíricos obtenidos
con la aplicación de la prueba; además de confirmar las relaciones entre las
variables observadas y las variables latentes del modelo de medida
propuesto (Brown, 2015).

Brown, T. A. (2015). Confirmatory factor analysis for applied research (Second edition). The Guilford Press.
Supuestos:
El AFC parte de un modelo de factores determinado, SUSTENTADO POR UNA
TEORÍA DE RESPALDO obligatoriamente.

Supuestos ideales para su aplicación:

üNormalidad multivariante
üMuestra: “El requisito más fuerte del AFC es la aleatoriedad y tamaño
grande de la muestra. Idealmente se debería aplicar sobre muestras
probabilísticas para realizar inferencias paramétricas. Se considera
inadecuada aplicarlo a muestras menores de 200 sujetos” (Landero y
González, 2006).
Modelo de AFC:
Análisis Factorial Confirmatorio Análisis Factorial Confirmatorio
1° orden 2° orden

•Estructura: se evalúan las relaciones entre los factores de primer orden y un


•Estructura: se evalúan directamente las relaciones entre las variables
factor de segundo orden.
observadas (ítems) y los factores latentes (constructos).
•Factores latentes: los factores de primer orden se agrupan bajo un factor de
•Factores latentes: cada factor latente (constructo) se relaciona con un
segundo orden. Los factores de primer orden son vistos como
conjunto específico de variables observadas (ítems).
subdimensiones que contribuyen a un constructo más amplio.
•Propósito: se utiliza para verificar la estructura factorial básica en un
•Propósito: se utiliza para examinar la estructura jerárquica de los
modelo de medición. Mira si los ítems se agrupan de la manera esperada.
constructos. Es útil cuando se supone que los factores de primer orden están
relacionados y contribuyen a un constructo superior.
Etapas del AFC
Las etapas de este análisis estadístico se da en 5 pasos:

Link: http://www.scielo.org.pe/scielo.php?script=sci_arttext&pid=S2223-25162017000100015
1. ESPECIFICACIÓN
• En esta etapa el investigador establece cuáles serán las
variables que se incluirán en el modelo y cuál es la
relación que existe entre ellas. Establece así mismo que
cada variable satura sólo sobre el factor que mide, esto
se basa en la teoría.

• Aquí se establece cuales son las variables que lo


componen: cuales son observables y latentes.

• Esta primera etapa depende fundamentalmente del


conocimiento teórico sobre el fenómeno por abordar.

En este modelo vemos 4 variables latentes y 13 variables Escala de Medida del Estado Actual (MOCS)
observables (cada una satura solo en un factor, de acuerdo a la
teoría).
https://revistas.ucu.edu.uy/index.php/cienciaspsicologicas/article/view/3009/3064
2. IDENTIFICACIÓN
Para evaluar si es estimable el modelo, debemos analizar
tres aspectos:

• Cada factor debe tener al menos dos ítems que no


saturen en otro factor.
• El tamaño de la muestra debe ser superior a 200
• Las correlaciones ítems test deben ser mayores a 0.30.

Comprobando estos tres puntos, pasamos a estimar el


ajuste del modelo.
Escala Teacher Observation of Classroom Adaptation-Revised (TOCA-R)

https://actacolombianapsicologia.ucatolica.edu.co/article/download/3148/3142
3. ESTIMACIÓN
Debemos elegir el método de análisis de los datos, para estimar si los ítems se ajustan al modelo teórico. Hay
tres métodos:
Máxima verosimilitud (ML) necesita:
1. Tamaño adecuado de muestra (> 300; Hayes y Preacher,
2014)
2. Distribución normal multivariada (valor menor o igual a 70
en el coeficiente multivariado de Mardia, Rodríguez y Ruiz,
2008).

Mínimos cuadrados no ponderados (ULS) necesitan (Saris et al.,


2009):
1. Muestras pequeñas
2. Incumplimiento de la normalidad multivariada

Mínimos Cuadrados Ponderados Robustos (WLSMV)


1. Muestras grandes (mayores a 200)
2. No es relevante el tipo de distribución.
3. Perite variables ordinaes
4. EVALUACIÓN
Existen dos formas de evaluar el modelo:
- Evaluación global (índices de ajuste): ajuste global y complementario
- Evaluación localizada (parámetros): cargas factoriales mayor a 0.30

Para evaluar el ajuste global del test al Para los ajustes complementarios,
modelo teórico, considerar: considerar:

p del X2 menor a 0.05 CFI> 0.90


X2/gl es menor a 5 TLI > 0.90
SRMR cerca a 0
RMSEA < 0.08
Si ambos indicadores se cumplen, la
estructura del test se ajusta al modelo.
5. RE-ESPECIFICACIÓN

• En caso de que los índices de ajuste global y


complementarios no sean adecuados, se puede realizar
una re-especificación del modelo inicial.

• Para ello debemos realizar un análisis de la correlación de


los residuos para detectar aquellos ítems con una
correlación muy elevada (ítems muy similares), y sugerir
posibles modificaciones del modelo para mejorarlo.

• Para determinar qué ítem eliminar, tomar en consideración


la cargas factoriales.

http://www.scielo.org.pe/scielo.php?script=sci_arttext&pid=S2223-25162017000100015 https://www.redalyc.org/journal/5605/560567815008/html/
Pasos para el AFC con Jamovi
Usar base de datos 12
1. ESPECIFICACIÓN
Teoría de la búsqueda de sensaciones sexuales (BSS)
Kalichman et al. (1994) define la BSS como la tendencia
a obtener niveles más altos de excitación sexual
mediante la implicación en experiencias sexuales
novedosas.

La escala de Búsqueda de Sensaciones Sexuales fue


creada por Kalichman et al. (1994), la cual cuenta con 9
ítems subdivididos en una sola dimensión, la cual es:
búsqueda de sensaciones sexuales.

¿Cuántas variables latentes hay?


¿Cuantas variables observables hay?

https://revistas.ucu.edu.uy/index.php/cienciaspsicologicas/article/view/3009/3064
2. IDENTIFICACIÓN
Para evaluar si es estimable el modelo, debemos analizar tres aspectos:

• Cada factor debe tener al menos dos ítems que no saturen en otro factor.
• El tamaño de la muestra debe ser superior a 200.
• Las correlaciones ítems test deben ser mayores a 0.30.

Analicemos:
CORRELACIÓN ÍTEM - TEST
Factor 1:
Todos los ítems tienen
valores iguales o mayores a
0.30, por lo tanto, se
cumplen los tres criterios.

Ya podemos estimar el ajuste


del modelo
3. ESTIMACIÓN
Jamovi determina el método de análisis de datos por defecto, por ello no es necesario especificarlo, pero
si debemos indicarle que estimadores necesitamos, para ello seguimos los siguientes pasos:
Continua…

Ingresar los 9 ítems de la escala


Continua…

Activar estas opciones


4. EVALUACIÓN
Evaluación global (índices de ajuste): ajuste global

Para evaluar el ajuste global del test al


modelo teórico, considerar:

p del X2 menor a 0.05


X2/gl es menor a 5

Si ambos indicadores se cumplen, la


estructura del test se ajusta al modelo.

La p es menor a 0.05 (Cumple)

X2/gl es 116.12/27= 4.3 (Cumple)


Evaluación global (índices de ajuste): ajuste complementario
Para los ajustes complementarios,
considerar:

CFI> 0.90
TLI > 0.90
SRMR cerca a 0
RMSEA < 0.08

CFI> 0.90 (Cumple)


TLI > 0.90 (No cumple)
SRMR cerca a 0 (Cumple)
RMSEA < 0.08 (No cumple)

El modelo no muestra un adecuado


funcionamiento
Evaluación localizada (parámetros): cargas factoriales mayor a 0.30

Todas las cargas factoriales son mayores a


0.30
5. RE-ESPECIFICACIÓN
• Debido a que los índices de ajuste global y complementarios no son adecuados, se realizará una re-
especificación del modelo inicial.
• Para ello debemos analizar de la correlación de los residuos para detectar aquellos ítems con una
correlación muy elevada (ítems muy similares), y sugerir posibles modificaciones del modelo para
mejorarlo.

Correlación entre residuales:


S9 ~ S8 → 19.995
S8 ~ S6 → 19.168
S6 ~ S2 → 18.202
Continua…. Correlación entre residuales:
S9 ~ S8 → 19.995
S8 ~ S6 → 19.168
S6 ~ S2 → 18.202

Activar esta opción e ingresar el


primer par de ítems

Evaluemos el nuevo modelo La p es menor a 0.05 (Cumple)


X2/gl es 95.6/26=3.68 (Cumple)

CFI> 0.90 (Cumple)


TLI > 0.90 (Cumple)
SRMR cerca a 0 (Cumple)
RMSEA < 0.08 (No cumple)

El modelo muestra un adecuado


funcionamiento
Como el ítem 9 y 8 son muy similares, eso afecta la prueba, para determinar que
ítem eliminar debemos analizar la carga factorial para ver cuál tiene menor
carga:

Como vemos, el ítem 9 tiene menor carga


factorial, por lo tanto, se eliminará.

Veamos como los estimadores cambian con


la versión de 8 ítems
Estimadores con 8 ítems: La p es menor a 0.05 (Cumple)
X2/gl es 65.7/20=3.28 (Cumple)

CFI> 0.90 (Cumple)


TLI > 0.90 (Cumple)
SRMR cerca a 0 (Cumple)
RMSEA < 0.08 (Cumple)

El modelo muestra un adecuado


funcionamiento

Comparación de lo estimadores:
Modelo X2/gl CFI TLI SRMR RMSEA AIC BIC
Modelo 1 4.29 0.909 0.879 0.0538 0.0944 8689 8795
Modelo 2 3.68 0.929 0.902 0.0493 0.0852 8671 8781
Modelo 3 3.28 0.947 0.926 0.0411 0.0785 7743 7837

Modelo 1 (propuesta original de 9 ítems ); Modelo 2 (S9 ~ S8 ); Modelo 3 (8 ítems; retirando el ítem 9 de la correlación entre residuales que
tiene menor carga factorial)
Interpretación

En la tabla … se puede observar los valores del AFC de la Escala de Búsqueda de Sensaciones Sexuales. En
primer lugar, se muestra el modelo original de 09 ítems, donde los índices de ajuste no eran adecuados, ya
que el X2/gl, el TLI y el RMSEA no se encontraban dentro de lo esperado (Escobedo et al., 2016; Ruiz et al.,
2010; Hooper et al., 2008). Por lo tanto, se optó por covariar los ítems 9 y 8, debido a que tenían un alto
puntaje de índice de modificación (S9 ~ S8 = 19.995) con la finalidad de mejorar el modelo, no obstante, el
RMSEA continuaba encontrándose por encima del valor deseado. Por último, se decidió probar un modelo
reespecificado con la exclusión del ítem 9, debido a que presentaba la menor carga factorial entre los
reactivos covariados, dando como resultado un modelo con valores óptimos y de mejor ajuste (p<0.05,
X2/gl=3.28, CFI=0.947, TLI=0.926, SRMR=0.041 y RMSEA=0.0785) , lo que muestra que la Escala de Búsqueda
de Sensaciones Sexuales presenta evidencias de validez basadas en la estructura interna (Escobedo et al.,
2016; Ruiz et al., 2010; Hooper et al., 2008).
Veamos un ejemplo con dos dimensiones…
Antecedentes:

Moral, J. (2018), en una muestra de


mexicanos casados y cohabitantes,
luego de realizar un AFE, encontró
que la Escala de Búsqueda de
Sensaciones Sexuales, tenía dos
dimensiones y no una, tal y como
lo propuso el autor original, por
ello decidió realizar un AFC para
determinar los estimadores y ver la
idoneidad de tener una escala con
dos dimensiones.

https://revistas.unc.edu.ar/index.php/revaluar/article/view/22224
1. ESPECIFICACIÓN
Teoría de la búsqueda de sensaciones sexuales (BSS)

José Moral (2018), afirma que el constructo Búsqueda


de sensaciones sexuales tiene 2 factores: búsqueda de
sensaciones y sensaciones (ítems 1, 3, 4, 7, 8 y 9) y
conductas censurables (ítems 2, 5 y 6).

¿Cuántas variables latentes hay?


¿Cuantas variables observables hay?

https://revistas.ucu.edu.uy/index.php/cienciaspsicologicas/article/view/3009/3064
2. IDENTIFICACIÓN
Para evaluar si es estimable el modelo, debemos analizar tres aspectos:

• Cada factor debe tener al menos dos ítems que no saturen en otro factor.
• El tamaño de la muestra debe ser superior a 200.
• Las correlaciones ítems test deben ser mayores a 0.30.

Analicemos:
CORRELACIÓN ÍTEM - TEST
Factor 1:
Todos los ítems tienen
valores iguales o mayores a
0.30, por lo tanto, se
cumplen los tres criterios.

Ya podemos estimar el ajuste


del modelo

Factor 2:
3. ESTIMACIÓN
Jamovi determina el método de análisis de datos por defecto, por ello no es necesario especificarlo, pero
si debemos indicarle que estimadores necesitamos, para ello seguimos los siguientes pasos:
Continua…

Ingresar los 6 ítems del primer


factor y los 3 ítems del segundo
factor de la escala
Continua…

Activar estas opciones


4. EVALUACIÓN
Evaluación global (índices de ajuste): ajuste global

Para evaluar el ajuste global del test al


modelo teórico, considerar:

p del X2 menor a 0.05


X2/gl es menor a 5

Si ambos indicadores se cumplen, la


estructura del test se ajusta al modelo.

La p es menor a 0.05 (Cumple)

X2/gl es 88.9/26=3.42 (Cumple)


Evaluación global (índices de ajuste): ajuste complementario
Para los ajustes complementarios,
considerar:

CFI> 0.90
TLI > 0.90
SRMR cerca a 0
RMSEA < 0.08

CFI> 0.90 (Cumple)


TLI > 0.90 (Cumple)
SRMR cerca a 0 (Cumple)
RMSEA < 0.08 (No Cumple)

El modelo muestra un adecuado


funcionamiento
Evaluación localizada (parámetros): cargas factoriales mayor a 0.30

Todas las cargas factoriales son mayores a


0.30
5. RE-ESPECIFICACIÓN
• Debido a que los índices de ajuste global y complementarios no son adecuados, se realizará una re-
especificación del modelo inicial.
• Para ello debemos analizar de la correlación de los residuos para detectar aquellos ítems con una
correlación muy elevada (ítems muy similares), y sugerir posibles modificaciones del modelo para
mejorarlo.

Correlación entre residuales:


S9 ~ S3 → 13.540
S9 ~ S8 → 12.361
S6 ~ S8 → 11.881
Continua…. Correlación entre residuales:
S9 ~ S3 → 13.540
S9 ~ S8 → 12.361
S6 ~ S8 → 11.881

Activar esta opción e ingresar el


primer par de ítems

Evaluemos el nuevo modelo La p es menor a 0.05 (Cumple)


X2/gl es 73.9/25=2.96 (Cumple)

CFI> 0.90 (Cumple)


TLI > 0.90 (Cumple)
SRMR cerca a 0 (Cumple)
RMSEA < 0.08 (Cumple)

El modelo muestra un adecuado


funcionamiento
Como el ítem 7 y 9 son muy similares, eso afecta la prueba, para determinar que
ítem eliminar debemos analizar la carga factorial para ver cuál tiene menor
carga:

Como vemos, el ítem 9 tiene menor carga


factorial, por lo tanto, se eliminará.

Veamos como los estimadores cambian con


la versión de 8 ítems
Estimadores con 8 ítems: La p es menor a 0.05 (Cumple)
X2/gl es 48.9/19=2.57 (Cumple)

CFI> 0.90 (Cumple)


TLI > 0.90 (Cumple)
SRMR cerca a 0 (Cumple)
RMSEA < 0.08 (Cumple)

El modelo muestra un adecuado


funcionamiento

Comparación de lo estimadores:
Modelo X2/gl CFI TLI SRMR RMSEA AIC BIC
Modelo 1 3.42 0.936 0.911 0.0460 0.0808 8664 8774
Modelo 2 2.96 0.950 0.926 0.0428 0.0726 8651 8765
Modelo 3 2.57 0.966 0.949 0.0347 0.0651 7729 7827

Modelo 1 (propuesta original de 9 ítems ); Modelo 2 (S9 ~ S3); Modelo 3 (8 ítems; retirando el ítem 9 de la correlación entre residuales que tiene
menor carga factorial)
Interpretación
El modelo de dos factores de la Escala de Búsqueda de Sensaciones Sexuales, muestra un
Se puede observar los valores del AFC de la Escala de Búsqueda de Sensaciones Sexuales.
Se muestra el modelo bidimensional, donde los índices de ajuste no eran adecuados ya que
el RMSEA no se encontraba dentro de lo esperado (Escobedo et al., 2016; Ruiz et al., 2010;
Hooper et al., 2008). Por lo tanto, se optó por covariar los ítems 9 y 3, debido a que tenían
un alto puntaje de índice de modificación (S9 ~ S3 = 13.540) con la finalidad de mejorar el
modelo encontrándose valores esperados. Sin embargo, se decidió probar un modelo
reespecificado con la exclusión del ítem 9, debido a que presentaba la menor carga
factorial entre los reactivos covariados, dando como resultado un modelo con valores
óptimos y de mejor ajuste (p<0.05, X2/gl=2.57, CFI=0.966, TLI=0.949, SRMR=0.0347 y
RMSEA=0.0651), lo que muestra que la Escala de Búsqueda de Sensaciones Sexuales
bidimensional presenta evidencias de validez basadas en la estructura interna (Escobedo et
al., 2016; Ruiz et al., 2010; Hooper et al., 2008).
Actividad
Actividad
Usar “Base de datos de conducta antisocial y delictiva” para procesar el AFC,
siguiendo el esquema propuesto en clase:

• Especificación
• Identificación
• Estimación (solo se menciona)
• Evaluación
• Re-especificación (solo si es necesario)

Datos básicos:

• Factor 1: Conducta antisocial: ítems A1 a A13 (A1-A13)


• Factor 2: Conducta delictiva: ítems V1 a V6 (V1-V6)

Usar el ppt: “Plantilla de análisis del caso” para realizar el ejercicio.


Referencias
Beaujean, A. A. (2014). Latent variable modeling using R: A step by step guide. Routledge/Taylor & Francis Group.

Brown, T. A. (2015). Confirmatory factor analysis for applied research (Second edition). The Guilford Press.

Epskamp, S., & Simon Stuber. (2017). SemPlot: Path diagrams and visual analysis of various sem packages’ output. https://CRAN.R-
project.org/package=semPlot

Holzinger, K., & Swineford, F. (1939). A study in factor analysis: The stability of a bifactor solution. Supplementary Educational Monograph,
48.

Jorgensen, T. D., Pornprasertmanit, S., Schoemann, A., & Rosseel, Y. (2018). SemTools: Useful tools for structural equation modeling.
https://CRAN.R-project.org/package=semTools

Korkmaz, S., Goksuluk, D., & Zararsiz, G. (2018). MVN: Multivariate normality tests. https://CRAN.R-project.org/package=MVN

R Core Team. (2018). R: A language and environment for statistical computing. R Foundation for Statistical Computing. https://www.R-
project.org/

Revelle, W. (2018). Psych: Procedures for psychological, psychometric, and personality research. https://CRAN.R-
project.org/package=psych

Rosseel, Y. (2018). Lavaan: Latent variable analysis. https://CRAN.R-project.org/package=lavaan

Xie, Y. (2018). Bookdown: Authoring books and technical documents with r markdown. https://github.com/rstudio/bookdown
Estadística Aplicada

Semana 13

Evidencias de Validez de estructura


interna: relación con otras variables.
Confiabilidad: Consistencia interna.
Profesores:
Mayte Casaño, Juan Kaneko, Johanna Kohler, Jhonatan Navarro,
Victor Paliza, Fernando Rosario, Sixto Salazar, y Ambrosio Tomás
Ciclo: 2023-2
Facultad de Psicología

Estadística Aplicada

Semana 13

2023-2
El estudiante identifica las evidencias de
validez de criterio y confiabilidad; desarrolla
LOGRO el procedimiento basado en la consistencia
interna.
• En grupos, busca dos artículos psicológicos de diseño de
investigación instrumental, identifica las evidencias
psicométricas de validez de criterio y confiabilidad.
• Tienes 10 minutos para hacerlo.
• Pasado los 10 minutos se realizarán las presentaciones.
Evidencias de validez, procedimiento y estadísticos
Recordando la clase anterior…

Evidencia Procedimiento Estadístico


Validez basada en el Juicio de expertos V de Aiken
contenido
Validez basada en la Análisis de Dimensionalidad Análisis Factorial
estructura Exploratorio (AFE)
Interna (constructo) Análisis Factorial
Confirmatorio (AFC)
Validez basada en Análisis de validez Correlaciones (Pearson o
relaciones con convergente y Spearman)
otras variables (criterio) discriminante
VALIDEZ DE CRITERIO
1.3. Fuente de evidencias externas (relaciones con otras
variables)

• El objetivo es establecer si las relaciones observadas entre las puntuaciones en el test


y otras variables externas relevantes son consistentes con la interpretación propuesta
para las puntuaciones.

• Por ejemplo: Si queremos validar las puntuaciones de una escala que mide
susceptibilidad al castigo (que mide el grado de evitación de situaciones aversivas),
ésta debe proporcionar puntuaciones relacionadas directamente con neuroticismo e
inversamente con estabilidad emocional.
ü Si las relaciones observadas son consonantes con lo predicho por el modelo teórico en el que
se inserta el constructo medido por el test, entonces hemos obtenido evidencia favorable a la
interpretación propuesta.
ü Si las relaciones observadas no son las esperadas hay que cuestionar la adecuación de la
prueba, la adecuación de las medidas de las otras variables o incluso el modelo teórico.
Fuente de evidencias externas
(relaciones con otras variables)
Las variables externa relevantes en este tipo de evidencia de validez pueden ser:

• La validez convergente: otras medidas del mismo constructo/variable obtenidas


con diferentes test.
• La validez discriminante: medidas de constructos diferentes pero que se insertan
en el modelo teórico donde se encuadra el constructo/variable de interés.
• La validez predictiva: algún tipo de variable (criterio) que pretendamos predecir a
partir de las puntuaciones en el test.

Se espera que la relación entre pruebas que midan el mismo constructo, sean
mayores (validación convergente) que entre test que miden constructos diferentes
(validación discriminante). Aunque en ambos casos se espera que sean
significativas.
Fuente de evidencias externas
(relaciones con otras variables)
Se realizará la validez convergente de Autoconcepto mediante su
relación con Autoeficacia
• Paso 1: ¿Existe relación entre Autoconcepto y Autoeficacia?
• Paso 2: 𝜌!" ≠ 0
• Paso 3.
• Ho = No existe relación estadísticamente significativas entre las variables
• H1 = Existe relación estadísticamente significativas entre las variables
• Paso 4. Nivel de significancia de p < 0.05
• Paso 5. Elección de la prueba
Usar la base de datos Semana 13.1
Fuente de evidencias externas
(relaciones con otras variables)
Para elegir la prueba es necesario verificar la normalidad
de las variables
p < 0.05 = Los datos
no se aproximan a
la DN.
p > 0.05 = Los datos
se aproximan a la
DN

Autoconcepto se aproxima a la
distribución normal, sin embargo,
Autoeficacia no se aproxima a la
distribución normal
Fuente de evidencias externas
(relaciones con otras variables)
Paso 5. La prueba a utilizar es Rho de Spearman En esta casilla van
*En caso ambas variables se aproximen a la D.N. se usa Pearson las variables
continuas

Click 1

Click 2
Marcar todas las
casillas en azul
de la imagen.
Paso 6 y 7. Interpretar y tomar una decisión

1. El valor p indica que se tiene que rechazar la Ho,


por lo tanto se puede afirmar que existe
correlación estadísticamente significativa entre las
variables.
2 2. La correlación es positiva y la fuerza es
moderada
1

-0.5 a 1 -0.3 a -0.49 -0.1 a -0.29 0 0.1 a 0.29 0.3 a 0.49 0.5 a 1
Grande Mediana Pequeña No hay Pequeña Mediana Grande
relación

Interpretación:
Existe relación estadísticamente significativa positiva de
magnitud moderada entre las variables.
Fuente de evidencias externas
(relaciones con otras variables)
Se realizará la validez convergente de Satisfacción laboral mediante su
relación con Engagement
• Paso 1: ¿Existe relación entre Satisfacción laboral y Engagement?
• Paso 2: 𝜌!" ≠ 0
• Paso 3.
• Ho = No existe relación estadísticamente significativas entre las variables
• H1 = Existe relación estadísticamente significativas entre las variables
• Paso 4. Nivel de significancia de p < 0.05
• Paso 5. Elección de la prueba
Usar la base de datos Semana 13.1
Fuente de evidencias externas
(relaciones con otras variables)
Para elegir la prueba es necesario verificar la normalidad
de las variables
p < 0.05 = Los datos
no se aproximan a
la DN.
p > 0.05 = Los datos
se aproximan a la
DN

Satisfacción laboral no se aproxima


a la distribución normal, sin
embargo, Engagement se aproxima
a la distribución normal
Fuente de evidencias externas
(relaciones con otras variables) En esta casilla van las
variables continuas
Paso 5. La prueba a utilizar es la Rho de Spearman
*En caso ambas variables se aproximen a la D.N. se usa Pearson

Click 1

Click 2
Marcar todas las
casillas en azul
de la imagen.
Paso 6 y 7. Interpretar y tomar una decisión

1. El valor p indica que se tiene que rechazar la Ho,


por lo tanto se puede afirmar que existe
correlación estadísticamente significativa entre las
variables.

2. La correlación es positiva y la fuerza es grande.


2
1
-0.5 a 1 -0.3 a -0.49 -0.1 a -0.29 0 0.1 a 0.29 0.3 a 0.49 0.5 a 1
Grande Mediana Pequeña No hay Pequeña Mediana Grande
relación

Interpretación:
Existe relación estadísticamente significativa positiva de
magnitud grande entre las variables.
Fuente de evidencias externas
(relaciones con otras variables)
Se realizará la validez predictiva considerando que Satisfacción laboral
predice Autoeficacia
Paso 1: ¿La Satisfacción laboral es un predictor estadísticamente significativo
de Autoeficacia?
Satisfacción
• Paso 2: β ≠ 0 laboral
Autoeficacia

• Paso 3.
• Ho=La satisfacción laboral no es un predictor estadísticamente significativo
• H1=La satisfacción laboral es un predictor estadísticamente significativo
• Paso 4. Nivel de significancia de p < 0.05
• Paso 5. Evaluación del cumplimiento de supuestos
Usar la base de datos Semana 13.1
El primer supuesto a evaluar es la existencia de: Relación lineal
entre las variables

Primero determinamos si la muestra Existe relación significativa entre ambas


es normal o no normal, para elegir el variables, siendo esta positiva y de magnitud
tipo de correlación a usar. En este mediana, por lo tanto, el supuesto de la
caso ambas variables no se aproximan relación lineal se confirma
a la DN (p<0.05)
Para confirmar los otros supuestos, hacer lo siguiente…

Clic 1

Clic 2
Acá tienes que agregar la
variable que se va a predecir
(criterio)

Acá tienes que agregar la(s)


variable(s) predictoras
Clic 1: Comprobación de supuestos

Marcar estas
casillas
Con el VIF, comprobaremos el segundo supuesto: Multicolinealidad
de los predictores

El valor del Factor de Inflación de la Varianza (VIF) se


encuentra entre 0.01 y 10; esto significa que no hay
multicolinealidad, es decir, no hay relación entre las
variables predictoras
Se cumple el segundo supuesto.
Con el test de Durbin-Watson, comprobaremos el tercer supuesto:
Independencia de errores

En este caso, el estadístico DW se encuentra en 1.5 y


2.5.
Se cumple con el tercer supuesto.

Si el DW esta entre 1.5 y 2.5, indica que los residuos no


están relacionados <> Son independientes
Con el Shapiro-Wilk, comprobaremos el cuarto supuesto:
distribución normal de los errores
Lo esperado es que la
distribución sea
normal, es decir, p
mayor a 0.05

Valor p > 0.05 que indica que los residuos se


aproximan a la distribución normal, por lo tanto, se
cumple con el cuarto supuesto.
Luego de cumplir
con los supuestos,
marca las siguientes
casillas
En este caso al ser p < 0.05
significa que el modelo es
aceptable y que las variables
predicen el criterio.

1. El valor p de la prueba F indica el


ajuste general del modelo.
Si la p es menor a 0.05 el modelo
es aceptable y las variables
predicen el criterio.
En este caso, se puede inferir que la Satisfacción laboral
explica el 19% de la varianza de autoeficacia. Ese valor de
varianza explicada es considerado bajo.

2. Coeficiente de determinación (R2) se analiza de la


siguiente manera:
0.04 a 0.24 = Varianza mínima necesaria (baja)
0.25 a 0.63 = moderada
0.64 a más = fuerte
3. Coeficientes de regresión estandarizados (β) se
analiza de la siguiente manera:
0.20 a 0.49 = influencia mínima necesaria (baja)
0.50 a 0.79 = moderada
0.80 a más = fuerte

En este caso, la Satisfacción laboral es un predictor


estadísticamente significativo, positivo de magnitud
baja (β=0.44).
Interpretación:
El ajuste del modelo indica que es adecuado F(1, 123) = 30.1; p < 0.05. La
satisfacción laboral predice de forma estadísticamente significativa
positiva y baja (β = 0.44; p < 0.05) y explica de forma moderada el 19% de
la variabilidad de autoeficacia (R2 = 0.318).
CONFIABILIDAD
Etapas del análisis de datos:

1. Análisis
5. Baremos preliminar de
ítems

4. Examinar la 2. Revisar la
correlación de estructura
las variables interna del
de estudio test (validez)

3. Examinar la
confiabilidad
de las
puntuaciones
del test
Confiabilidad
La fiabilidad se concibe como la consistencia o estabilidad de
las medidas cuando el proceso de medición se repite.

AERA, APA & NCME (2014)


Distintos métodos para estimar la confiabilidad

1. Test-retest: aplicación de un test a una muestra de personas en dos ocasiones


entre las que el atributo se mantiene estable. Coeficiente de correlación
intraclase (ICC), por ejemplo.
2. Formas paralelas: aplicación a una muestra de personas en la misma ocasión o
en distintas ocasiones de dos versiones del test (A y B) equivalentes en
contenido, dificultad, etc.
3. Consistencia interna: división del test en dos subconjuntos equivalentes de
ítems (pares e impares, mitades) o estimación a partir de las covarianzas entre
los ítems de la prueba. Alfa de Cronbach, por ejemplo.
4. Consistencia de las puntuaciones de distintos calificadores: evaluación de una
muestra de conducta por calificadores independientes.
Consideraciones para la interpretación de los
coeficientes de confiabilidad
¿Qué grado de fiabilidad deben tener las puntuaciones para que su uso sea aceptable?
Respuesta: Sin duda, la magnitud requerida depende de las consecuencias derivadas del
uso de las puntuaciones.
• Cuando las puntuaciones vayan a emplearse para tomar decisiones que impliquen
consecuencias relevantes para las personas (p. ej., aceptación o rechazo en una
selección de personal), el coeficiente de fiabilidad debería ser muy alto (al menos de
0.90).
• Sin embargo, si se trata de describir las diferencias individuales a nivel de grupo (como
en una investigación), bastaría con alcanzar valores más modestos (al menos 0.70).
IMPORTANTE: Los coeficientes de confiabilidad asumen valores que van de 0 a 1.
Mientras que cercano esté el valor a 1, la consistencia y/o estabilidad será más alta, por
el contrario mientras más cercano esté a 0 el error de la medición será mayor.
Prieto & Delgado, 2010.
En resumen:

Evidencia Procedimiento Estadístico


Confiabilidad por Test-retest Coeficiente de Correlación
estabilidad Intraclase (CCI)
Confiabilidad por Formas paralelas Correlación Pearson
equivalencia
Confiabilidad por Dos mitades Coeficiente de Guttman,
consistencia Coeficiente de Rulon
interna Covarianzas entre ítems Coeficiente alfa (α)
Coeficiente theta (θ)
Coeficiente omega (Ω)
CONFIABILIDAD POR CONSISTENCIA INTERNA:

ALFA DE CRONBACH
OMEGA DE MCDONALD
Coeficiente alfa de Cronbach:
El Alfa de Cronbach es un coeficiente usado para
saber cuál es la fiabilidad de una escala o test.
Se consideran aceptables coeficientes de
Requiere de una sola aplicación del test.
consistencia interna iguales o mayores a .70,
lo que significa que los puntajes obtenidos
Requisito para su uso: en el factor/dimensión analizado tienen
• La distribución debe ser normal. poco margen de error.
• El número de alternativas de la respuesta debe
ser de 5 a más (menores alternativas afectan los
resultados).
• Tamaño de la muestra mínimo de 200.
En este caso la consistencia interna de
esta dimensión (Integración social) ha sido
aceptable, pues supera el valor mínimo de 0.70.

Usar la base de datos Semana 13.2


Procedimiento:
1. Clic en Factor

2. Clic en Análisis de
Fiabilidad

4. Ingresar los ítems


del área

6. Analizar resultados
5. Clic en α de Cronbach
Coeficiente omega de McDonald:
El omega de McDonald es un estimador de la
consistencia interna de una escala o test. Requiere Se consideran aceptables coeficientes de
de una sola aplicación del test. consistencia interna iguales o mayores a .70,
lo que significa que los puntajes obtenidos
Requisito para su uso: en el factor/dimensión analizado tienen
poco margen de error.
• La distribución puede ser normal o no normal.
• El número de alternativas de las respuestas no es
relevante.
• Tamaño de la muestra no es relevante.

En este caso la consistencia interna de


esta dimensión (Integración social) ha sido
aceptable, pues supera el valor mínimo de 0.70.
Procedimiento:
1. Clic en Factor

2. Clic en Análisis de
Fiabilidad

4. Ingresar los ítems


del área

6. Analizar resultados

5. Clic en ω de McDonald
Actividad 1
Realizar la interpretación sobre la confiabilidad de las siguientes
dimensiones de una escala de Bienestar.
Actividad 12
• Realizar la interpretación de la confiabilidad de las siguientes
dimensiones, emplear la base de datos de la semana 13.2.
• Al finalizar subir el reporte al aula virtual.
Referencias
AERA, APA & NCME (2014). Standars for educational and psychological testing. American Educational Research
Association.
Campo-Arias, A., & Oviedo, H. C. (2008). Propiedades psicométricas de una escala: la consistencia interna.
Revista de Salud Pública, 10(5), 831-839.
Ramos, Z. (2018). Psicometría básica. Fundación Universitaria del Área Andina.
https://core.ac.uk/download/pdf/326425381.pdf

También podría gustarte