Validez del instrumento course Experience Questionnaire (CEQ) para
conocer la percepción de los estudiantes del curso de métodos estadisticos
en la Universidad Nacional Agraria La Molina
Validity of the instrument course Experience Questionnaire (CEQ) to know
the perception of students in the course of statistical methods in the
Universidad Nacional Agraria La Molina
DOI: http://dx.doi.org/10.21704/ac.v81i1.1552
Autor de correspondencia (*) Valencia, R.: Email:[email protected]
© Universidad Nacional Agraria La Molina, Lima, Perú.
Forma de citar el artículo: Valencia, R. 2020. Validez del instrumento course Experience Questionnaire (CEQ)
para conocer la percepcion de los estudiantes del curso de metodos estadisticos en la Univerisidad Nacional Agraria
La Molina. Anales Cientícos 81 (1): 25- (2020). http://dx.doi.org/10.21704/ac.v81i1.1552
Raphael Félix Valencia Chacón1*
1 Universidad Nacional Agraria La Molina, Lima, ´Perú. Email: [email protected]
Recepción: 13/05/2019; Aceptación: 15/04/2020
Resumen
El objetivo de este trabajo de investigación es analizar la validez del instrumento Course
Experience Questionnaire (CEQ), empleado para conocer la percepción de los estudiantes
sobre la calidad del aprendizaje en el curso de métodos estadísticos en la Universidad
Nacional Agraria La Molina. El instrumento consiste en 22 ítems, la metodología estadística
utilizada en el cuestionario fue el análisis factorial. Luego del análisis de la información
los ítems fueron agrupados en cinco factores: buena docencia, metas y objetivos claros,
evaluación apropiada, carga de trabajo apropiada y escala e-learning. Nuevas investigaciones
deberán continuar el proceso de validación e incorporar otras variables consideradas clave
para indagar la experiencia de aprendizaje de los estudiantes universitarios.
Palabras clave: validez del instrumento; course experience questionnaire; percepción de
estudiantes.
Abstract
The objective of this research work is to analyze the validity of the Course Experience
Questionnaire (CEQ) instrument, used to know the perception of students about the quality of
learning in the course of statistical methods at the Universidad Nacional Agraria La Molina.
The instrument consists of 22 items, the statistical methodology used in the questionnaire
was factor analysis. After analyzing the information, the items were grouped into ve factors:
good teaching, clear goals and objectives, appropriate evaluation, appropriate workload, and
e-learning scale. New research should continue the validation process and incorporate other
variables considered key to investigate the learning experience of university students.
Keywords: instrument validity; course experience questionnaire; student perception.
Anales Cientícos
ISSN 2519-7398 (Versión electrónica)
Website: http://revistas.lamolina.edu.pe/index.php/acu/index
Anales Cientícos 81(1):25-32(2020)
Validez del instrumento course Experience Questionnaire (CEQ) para conocer la percepcion de los estudiantes del
curso de metodos estadisticos en la Univerisidad Nacional Agraria La Molina
26
Enero - Junio 2020
1. Introducción
Obtener retroalimentación sobre las
experiencias de aprendizaje de los
estudiantes es considerado benecioso para
los profesores y responsables de la docencia
al interior de las universidades, pues permite:
1) generar información sobre la efectividad
de la enseñanza de los profesores, 2) entregar
información para la toma de decisiones
respecto de la docencia y 3) obtener datos
para ser usados en investigación sobre los
procesos de enseñanza. Por otro lado, esta
información también puede usarse como
evidencia en procesos de aseguramiento de
calidad (Richardson, 2009).
Un instrumento típicamente usado
con estos nes es el Course Experience
Questionnaire (CEQ). Este se originó con
el trabajo de Ramsden (1991; 1981), en
el contexto de una línea de investigación
conocida como Student Learning Research
(Biggs & Tang, 2007; Entwistle, 2007;
Prosser & Trigwell, 1999). Esta línea se ha
desarrollado a lo largo de aproximadamente
treinta años y ha entregado importantes
resultados sobre el aprendizaje y la docencia
a nivel universitario.
Los estudiantes son un grupo importante
de partes interesadas en el contexto de la
garantía de calidad en la educación superior.
Desde su perspectiva como aprendices,
las opiniones de los estudiantes sobre las
experiencias educativas se utilizan cada
vez más como un indicador de la calidad
educativa.
Los hallazgos encontrados con la
aplicación del CEQ son particularmente
importantes para que los formuladores de
políticas de educación superior optimicen
y asignen los recursos para mejorar la
enseñanza universitaria de calidad. Se debe
prestar más atención a cómo proporcionar al
personal docente de la universidad un alto
nivel de calidad docente que contribuya a las
habilidades genéricas de los estudiantes para
su empleo en el futuro (Thien & Ong, 2016)
Una fuente importante de evidencia sobre
la calidad de cualquier oferta educativa es la
retroalimentación de los propios alumnos.
Esto se puede obtener a través de reuniones
con los estudiantes, pero en los últimos
años ha habido un mayor interés en el uso
de cuestionarios formales para obtener
comentarios de los estudiantes (Chakrabarty
et al., 2016).
Algunos resultados resaltantes son
los siguientes: los estudiantes abordan su
aprendizaje de manera supercial o lo hacen
de manera profunda, los profesores abordan
su docencia centrándose en lo que ellos
hacen y el contenido o en el aprendizaje y
el estudiante; los estudiantes que abordan
el aprendizaje de manera profunda tienden
a presentar concepciones sosticadas y
percepciónes positivas sobre el contexto.
Es importante destacar que el CEQ es
parte integral del modelo que se emplea
en esta investigación (Student Learning
Research) que establece que la manera como
los estudiantes aprenden está relacionada
con la forma en que perciben la situación de
aprendizaje en que se encuentran.
Esto, además; permite armar que el
CEQ es distinto de otros cuestionarios
usados para evaluar como los estudiantes
perciben sus entornos de aprendizaje. Está
directamente relacionado con una teoría
pedagógica y no con medidas de satisfacción
asociadas a la teoría del consumidor.
El objetivo del presente trabajo de
investigación fue analizar la validez del
instrumento (CEQ), empleado para conocer
la percepción de los estudiantes sobre el
curso de métodos estadísticos en la UNALM.
2. Materiales y métodos
El cuestionario CEQ fue aplicado a
una muestra estudiantes de distintas
especialidades que llevan el curso de
27
Valencia, R. / Anales Cientícos 81(1):25-32(2020)
Enero - Junio 2020
métodos estadísticos y tanto los niveles de
conabilidad como los análisis de validez
mostraron resultados adecuados.
El cuestionario CEQ contiene 22 preguntas
las cuales han sido distribuidas en 5 escalas
o dimensiones: Buena docencia, metas y
objetivos claros, evaluación apropiada,
carga de trabajo apropiada y e-learning.
Para realizar el trabajo de investigación se
utilizó técnicas de muestreo estadístico para
la recolección de datos y dentro de estas
técnicas se utilizó el muestreo aleatorio
simple, siendo las unidades de muestreo los
alumnos del curso de métodos estadísticos,
posteriormente se recogió la información
aplicando el cuestionario a través de
encuestas de las variables de interés para la
evaluación del modelo de gestión de calidad
académica.
Se utilizó como técnica estadística, el
análisis estadístico multivariado de datos,
debido a que se trabajaran simultáneamente
varias variables de interés, ya que en la
encuesta se recogerá información de muchas
variables las cuales pueden o no estar
relacionadas entre sí y se busca analizar toda
la información que ha sido obtenida por la
muestra representativa de datos. Dentro del
análisis multivariado se escogió la técnica
del análisis factorial.
El Análisis Factorial es una técnica
estadística multivariada que consiste en
resumir la información contenida en una
matriz de datos de “n” observaciones con
“p” variables. Para ello se identica un
reducido número de factores F, siendo el
número de factores menor que el número
de variables. Los factores representaron a
las variables originales, con una mínima
pérdida de información.
Para la aplicación de esta técnica se
requirió que las variables en estudio estén
correlacionadas; para comprobar el grado
de asociación de las variables seleccionadas
se evaluó el determinante de la matriz de
correlaciones, el cual es un indicador del
grado de correlación entre las variables, y
cuando éstas están linealmente relacionadas,
el valor del determinante se aproximó a cero,
lo cual es un buen dato desde el punto de
vista de la idoneidad del análisis de factores.
Adicionalmente, se utilizó el estadístico
KMO (Kaiser Meyer Olkin), que es otra
medida usada para demostrar la adecuación
del uso del análisis de factores, el cual indica
si la muestra en su conjunto es adecuada para
el análisis, para que esto ocurra, el valor del
KMO deberá ser superior a 0,6
Para vericar la correlación entre las
variables se puede utilizar también la prueba
de esfericidad de Bartlett, en la cual la prueba
de hipótesis planteada indica que la matriz de
correlaciones es igual a la matriz identidad,
de ser cierta Ho se podría armar que las
variables no están intercorrelacionadas entre
sí, sin embargo; el requisito para realizar el
Análisis Factorial es la intercorrelacion entre
las variables.
En los resultados de la prueba de KMO
se obtuvo un valor bueno (KMO = 0,770),
el cual indica que la muestra en su conjunto
es adecuada para el análisis factorial. Por
otro lado, el resultado de la prueba de
esfericidad de Bartlett arrojo un valor de
chi cuadrado de 942,835 y un valor de sig
= 0,000, el cual indica que las variables
están correlacionadas entre sí. Esta prueba
es un requisito importante para el análisis
factorial, es decir se requiere que las
variables estén correlacionadas para poder
realizar el análisis factorial.
Asimismo, se utilizó el estadístico MSA,
el cual indica si cada una de las variables
es adecuada para el análisis, para que esto
ocurra el valor del MSA, debe ser superior
a 0,5
El procedimiento de análisis de abilidad,
engloba un conjunto de estadísticos que
permitieron valorar las propiedades métricas
de un instrumento de medición. La abilidad
es la capacidad del instrumento para medir
Validez del instrumento course Experience Questionnaire (CEQ) para conocer la percepcion de los estudiantes del
curso de metodos estadisticos en la Univerisidad Nacional Agraria La Molina
28
Enero - Junio 2020
de forma consistente, precisa y sin error
la característica que se desea medir. Para
determinar la abilidad del instrumento se
utiliza el coeciente alfa de cronbach, el cual
es el indicador más utilizado para evaluar la
consistencia interna de las variables de una
escala y el valor debe ser superior a 0,7
Para la obtención de los resultados se
utilizaron el software estadístico Minitab
17 y SPSS 21; los cuales permitirán realizar
un análisis completo de la información
recogida.
Al realizar el análisis factorial, se utilizó
el criterio de káiser para determinar el
número de factores que se podrían formar
con las variables originales, luego se debe
ver que variables están mejor representadas
en cada uno de los factores; si no se lograra
identicar a la mayor cantidad de las
variables en los factores, entonces se deberá
utilizar algún método de rotación: varimax,
quartimax, etc.
El objetivo de este estudio es analizar la
validez del instrumento Course Experience
Questionnaire (CEQ), empleado para
conocer la percepción de los estudiantes
sobre el curso de métodos estadísticos en
la UNALM. El cuestionario fue traducido y
aplicado a una muestra de 169 estudiantes
que llevan el curso de métodos estadísticos
de la UNALM.
Se generaron estadísticas descriptivas y
tanto los niveles de conabilidad como los
análisis de validez mostraron resultados
mayoritariamente adecuados. El instrumento
CEQ puede emplearse para medir la
calidad de la docencia en universidades
latinoamericanas y se sugiere su uso con
nes de investigación.
Nuevas investigaciones deben continuar
el proceso de validación e incorporar otras
variables consideradas clave por la línea
student learning research para indagar la
experiencia de aprendizaje de los estudiantes
universitarios.
3. Resultados y discusión
Se procedió a la validación del instrumento
Course Experience Questionnaire (CEQ),
empleado para conocer la percepción de los
estudiantes sobre la calidad del aprendizaje
en el curso de Métodos Estadísticos de la
Universidad Nacional Agraria La Molina.
El cuestionario fue aplicado inicialmente a
una muestra piloto de 169 estudiantes que
llevaron el curso de Métodos Estadísticos
en el semestre 2018-2. El instrumento CEQ
puede emplearse para medir la calidad de la
docencia en universidades latinoamericanas
y se sugiere su uso con nes de investigación.
El instrumento consiste en 22 ítems
(preguntas) los cuales son agrupados en
cinco escalas: “buena docencia”, “metas y
objetivos claros”, “evaluación apropiada”,
“carga de trabajo apropiada” y “escala
e-learning”. Es importante mencionar que
el CEQ es un instrumento típicamente usado
para evaluar la totalidad de la experiencia de
aprendizaje de estudiantes universitarios al
nal de un grado académico completo.
El análisis partió de estimar la
conabilidad del instrumento a través
del cálculo del Alfa de Cronbach, el cual
arrojo un valor de 0,731; el cual indica
que el instrumento utilizado es conable.
Posteriormente se procedió con el cálculo
del Alfa de Cronbach para cada una de las
escalas del instrumento. Los resultados se
muestran la Tabla 1.
Tabla 1. El Alfa Cronbach
Sub- escalas Número
de ítems Alfa de
Cronbach
Buena docencia 6 0,810
Metas y objetivos claros 4 0,188
Evaluación apropiada 3 0,693
Carga de trabajo 4 0,148
Escala e-learning 5 0,808
Según los criterios establecidos, los
resultados muestran que las escalas “buena
29
Valencia, R. / Anales Cientícos 81(1):25-32(2020)
Enero - Junio 2020
docencia” y “escala e-learning” presentan
un valor muy bueno, la escala “evaluación
apropiada” presenta un valor aceptable y las
escalas “metas y objetivos claros” y “carga
de trabajo”, presentan valores muy bajos.
La estimación de la validez del constructo
del instrumento se llevó a cabo a través de un
análisis factorial de componentes principales
que se presentan en la Tabla 2.
Tabla 2. Prueba de KMO y Bartlett
Prueba de KMO y Bartlett
Medida Kaiser-Meyer-Olkin de
adecuación de muestreo ,770
Prueba de
esfericidad
de Bartlett
Aprox. Chi-cuadrado 942,835
Gl 231
Sig. ,000
En los resultados de la prueba de KMO
se obtuvo un valor bueno (KMO = 0,770),
el cual indicó que la muestra en su conjunto
es adecuada para el análisis factorial. Por
otro lado, el resultado de la prueba de
esfericidad de Bartlett arrojo un valor de
chi cuadrado de 942,835 y un valor de sig
= 0,000, el cual indica que las variables
están correlacionadas entre sí. Esta prueba
es un requisito importante para el análisis
factorial, es decir se requiere que las
variables estén correlacionadas para poder
realizar el análisis factorial.
Luego de realizar el análisis factorial,
encontramos que según el criterio de
Kaiser los 22 ítems se clasicaron en siete
factores, sin embargo, no se encontraron
que la mayoría de las variables estuviesen
clasicadas en alguno de los 7 factores. Es
por esta razón se hizo el método de rotación
varimax. Luego de realizar la rotación
varimax y de los resultados obtenidos se
puede apreciar la siguiente distribución de
cada uno de los ítems en los siete factores
Tabla 3.
os ítems 16 y 18 no están representados
por ninguno de los factores.
Luego de eliminar las variables X16 y
X18, se volvió a realizar el análisis factorial
con las variables restantes, obteniéndose los
resultados que se muestran en la Tabla 4.
Tabla 3. Ítems de siete factores
Factores Ítems
1 X1, X2, X3, X4, X5, X9
2 X19, X20, X21, X22
3 X11, X12, X13
4 X6, X7, X8
5 X14, X15
6 X10
7 X17
Tabla 4. Ítems de seis factores
Factores Ítems
1 X1, X2, X3, X4, X5, X9
2 X19, X20, X21, X22
3 X11, X12, X13
4 X7, X8
5 X14, X15
6 X10
Los ítems 6 y 17 no están representados por
ninguno de los factores.
Luego de eliminar las variables X6 y X17,
se volvió a realizar el análisis factorial con
las variables restantes, obteniéndose los
resultados que se muestran en la Tabla 5.
Tabla 5. Ítems de cinco factores
Factores Ítems
1 X1, X2, X3, X4, X5, X9
2 X19, X20, X21, X22
3 X10, X11, X12, X13
4 X14, X15
5 X7, X8
Se procedio a calcular el Alfa de Cronbach
para los 18 ítems que quedaron en el análisis
y los resultados se muestran en las Tablas 6
y 7.
Validez del instrumento course Experience Questionnaire (CEQ) para conocer la percepcion de los estudiantes del
curso de metodos estadisticos en la Univerisidad Nacional Agraria La Molina
30
Enero - Junio 2020
Tabla 6. Resumen de procesamiento de casos
Resumen de procesamiento de casos
N %
Casos Válido 145 89,0
Excluidoa18 11,0
Total 163 100,0
a. La eliminación por lista se basa en todas las
variables del procedimiento.
Tabla 7. Estadísticas de abilidad
Estadísticas de abilidad
Alfa de Cronbach N de elementos
,671 18
Se procedió a calcular el Alfa de
Cronbach para cada una de los nuevos
factores, los resultados se muestran en la
Tabla 8.
Tabla 8. Alfa de Cronbach
Factores Número de
ítems Alfa de Cronbach
1 6 0,819
2 4 0,840
3 4 0,656
4 2 0,552
5 2 0,524
El nombre asignado a cada uno de
estos nuevos cinco factores son: Factor 1,
Docencia*; Factor 2, e-learning*; Factor
3, evaluación apropiada*; Factor 4, carga
de trabajo* ;y, Factor 5, metas y objetivos
claros*.
Factor 1: Docencia, está compuesta por
las habilidades duras y habilidades blandas
que debe tener el docente. Dentro de las
habilidades duras están el conocimiento
y dominio de los contenidos del curso
de métodos estadísticos. Dentro de las
habilidades blandas se encuentra el saber
motivar a los estudiantes, tener mucha
empatía en el aula, fomentar la participación
de los estudiantes. Se implementó cursos de
capacitación en habilidades blandas, dicha
capacitación fue desarrollada por psicólogos
especialistas en docencia universitaria.
Factor 2: e-learning, está compuesta
por los recursos de la página web de la
universidad (aula virtual del curso, intranet,
correo electrónico). Se implementó un
aula virtual para el curso de métodos
estadísticos, en la cual se presentó toda la
información que el alumno necesitaba para
el desarrollo de su aprendizaje: material
del curso, presentaciones o PPTs, normas
de clase, anuncios importantes, fechas de
evaluaciones.
Factor 3: Evaluación apropiada, está
compuesta por la forma como se evalúa
el aprendizaje de los estudiantes, en las
evaluaciones orales y evaluaciones prácticas.
Se implementó un sistema de evaluación,
el cual fomentaba la participación del
estudiante, en las evaluaciones se debe llevar
a que los alumnos piensen, reexionen,
interpreten y justiquen adecuadamente,
evitar las evaluaciones mecánicas.
Asimismo, se realiza retroalimentación de
las evaluaciones.
Factor 4: Carga de trabajo, está
compuesta por los trabajos que se les deje
a los estudiantes. Se implementó trabajo
colaborativo y grupal entre los estudiantes,
lo cual fomentaba el trabajo en equipo,
la Guía del curso fue más reexiva que
operativa, contenía casos prácticos de
artículos y papers.
Factor 5: Metas y objetivos claros, está
compuesta como el profesor desde el primer
día de clases, deja en claro los objetivos
del curso y como estos objetivos se van
midiendo a lo largo del desarrollo del curso.
Se implementó desde el primer día cuando
el docente explico detalladamente, los
contenidos del silabo del curso, se indicó a
los alumnos las fechas de las evaluaciones
(tanto practicas calicadas, examen parcial y
examen nal), se les indico que la puntualidad
y participación de los estudiantes formaban
31
Valencia, R. / Anales Cientícos 81(1):25-32(2020)
Enero - Junio 2020
parte de la evaluación del curso.
Estos resultados tienen implicaciones
para el futuro desarrollo de actividades de
investigación en esta área. En primer lugar,
es importante mencionar que los resultados
son auspiciadores y por lo tanto es razonable
continuar explorando las potencialidades
y el uso del CEQ en otras instituciones
de nivel superior. Es importante, obtener
datos para explorar el tipo de resultados
que se puede obtener con estudiantes de
otras áreas disciplinarias y en otro contexto
latinoamericano.
4. Conclusiones
En este artículo se presentaron los resultados
de la validez y conabilidad del Course
Experience Questionnaire (CEQ) realizada
a una muestra de estudiantes del curso de
métodos estadísticos en la UNALM. Los
resultados indicaron buenos valores de
conabilidad para todas las escalas. Por otro
lado, la estructura de los factores resultó
como se había hipotizado y el análisis de
validez concurrente fue coherente con los
resultados obtenidos, encontrándose los
siguientes factores: docencia, e-learning,
evaluación apropiada, carga de trabajo, metas
y objetivos claros. Estos resultados permiten
establecer que, en principio, el CEQ podría
emplearse como un indicador de calidad de
la docencia en el contexto de universidades
latinoamericanas y ser empleado con nes
de investigación. Nuevas investigaciones
deberán continuar el proceso de validación
e incorporar otras variables consideradas
clave por la línea Student Learning Research
para indagar la experiencia de aprendizaje
de los estudiantes universitarios. Se puede
concluir nalmente, que se ha demostrado
la validez validez del instrumento (CEQ),
empleado para conocer la percepción de
los estudiantes sobre el curso de métodos
estadísticos en la UNALM.
5. Literatura citada
Biggs, J.; Tang, C. 2007. Teaching for quality
learning at university : what the
student does (3nd ed.). Phildelphia,
Pa.: Society for Research into Higher
Education: Open University Press.
Chakrabarty, A.K.; Richardson, J.T.;
Sen, M.K. 2016. Validating the
course experience questionnaire
in West Bengal higher secondary
education. Studies in Educational
Evaluation 50:71-78.
Entwistle, N. 2007. Research into student
learning and university teaching.
BJEP Monograph Series II, Number
4 - Student Learning and University
Teaching. 1:1-18.
Prosser, M.; Trigwell, K. 1999. Understanding
learning and teaching: the experience
in higher education. Buckingham
[England]; Philadelphia, PA: Society
for Research into Higher Education
& Open University Press.
Ramsden, P. 1991. A performance indicator
of teaching quality in higher
education: the ‘Course Experience
Questionnaire’. Studies in Higher
Education 16:129-150.
Ramsden, P., & Entwistle, A. (1981). Eects
of academic departments on students’
approaches to studying. British
Journal of Educational Psychology
51:368-383.
Richardson, J.T.E. 2010. Perceived
Academic Quality and Approaches
to Studying in Higher Education:
Evidence from Danish Students of
Occupational Therapy. Scandinavian
Journal of Educational Research, 54
(2), 189-203.
Thien, L.M.; Ong, M.Y. 2016, “The
applicability of course experience
questionnaire for a Malaysian
Validez del instrumento course Experience Questionnaire (CEQ) para conocer la percepcion de los estudiantes del
curso de metodos estadisticos en la Univerisidad Nacional Agraria La Molina
32
Enero - Junio 2020
university context”, Quality
Assurance in Education, Vol. 24 No.
1, pp. 41-55
Twan Huybers (2017) Exploring the
use of best-worst scaling to elicit
course experience questionnaire
responses, Assessment & Evaluation
in Higher Education, 42:8, 1306-
1318
