Development of a Self-evaluation Questionnaire of Online Teaching Competence
Keywords:
Distance education, Formative evaluation, Faculty evaluation, Feedback, Quality of teaching
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 3.0 Unported License.
Abstract
One of privileged strategies in formative evaluation of teaching processes is self-evaluation. The objective of this article is to report the research process that allowed the development of a formative assessment questionnaire of on-line teaching based on self-evaluation. The participants were six experts on the design and implementation of on-line courses, and a total of 130 university teachers. The method consisted of two stages: 1) Development of the instrument through theoretical background regarding the elements of the on-line teaching competencies; construct operationalization; and matrix validation by expert’s judgment; 2) Contribution of confidence evidence and validity included the application of the questionnaire; descriptive statistical calculations; establishment of the scores reliability; exploratory factorial analysis. Two factors were identified: forecast and didactic interaction, and management of the teaching process and assessment of learning experience; 44 items, a total variance of 44.7% and alpha ordinal of 0.94. It was concluded that the results corroborated the instrument’s theoretical background so that its application is recommended in the feedback of online teaching practice.
Downloads
References
Akram, M., y Zepeda, S. (2015). Development and validation of a teacher self-assessment instrument. Journal of Research and Reflections in Education. 9(2), 134-148.
Bakieva, M., Jornet, J. M. y González, J. (2019). Evidencias de validez interna de un instrumento para evaluar la colegialidad docente. Revista Electrónica de Investigación Educativa, 21(e14), 1-12. https://doi.org/10.24320/redie.2019.21.e14.2127
Bandalos, D. L. y Finney, S. J. (2010). Factor analysis: Exploratory and confirmatory. En G. R. Hancock, R. O. Mueller y L. M. Stapleton (Eds.), The reviewer’s guide to quantitative methods in the social sciences (pp. 93-114). Routledge.
Benton, S. L. y Cashin, W. E. (2014). Student ratings of instruction in college and university courses. En M. B. Paulsen, (Ed.), Higher Education: Handbook of Theory and Research (pp. 279-326). Springer Science+Business. https://doi.org/10.1007/978-94-017-8005-6_7
Black, P. y Wiliam, D. (1998). Assessment and classroom learning. Assessment in Education, 5(1), 7-74.
Bloom, B. S. (1969). Some theoretical issues relating to educational evaluation. En R. W. Taylor (Ed.), Educational evaluation: New roles, new means: The 68th yearbook of the National Society for the Study of Evaluation, Part II (pp. 26-50). University of Chicago Press.
Brookhart, S. (2009). Editorial. Educational Measurement: Issues and Practice, 28(1), 1-2. https://doi.org/10.1111/j.1745-3992.2009.01131.x
Cano, E. (2014). Análisis de las investigaciones sobre feedback: Aportes para su mejora en el marco del EES. Bordón, 66(4), 9-24. https://doi.org/10.13042/Bordon.2014.66402
Cano, M. E. (2008). La evaluación por competencias en la educación superior. Revista de Currículum y Formación del Profesorado, 12(3), 1-17.
Centra, J. A. (1993). Reflective faculty evaluation: enhancing teaching and determining faculty effectiveness. The Jossey-Bass.
Cleveland-Innes, M. y Campbell, P. (2012). Emotional presence, learning, and the online learning environment. The International Review of Research in Open and Distributed Learning, 13(4), 269-292. https://doi.org/10.19173/irrodl.v13i4.1234
Costello, A. y Osborne, J. (2005). Best practices in exploratory factor analysis: four recommendations for getting the most from your analysis. Practical Assessment Research & Evaluation, 10(1), art 7.
De Diego, M. y Rueda, M. (2012). La evaluación docente en educación superior: uso de instrumentos de autoevaluación, planeación y evaluación por pares. Voces y Silencios: Revista Latinoamericana de Educación, 3(2), 59-76.
Denyer, M., Furnemont, J., Poulain, R. y Vanloubbeeck, G. (2007). Las competencias en la educación, un balance. Fondo de Cultura Económica.
Diggelen, M., Brok, P. y Beijaard, D. (2013) Teachers’ use of a self-assessment procedure: the role of criteria, standards, feedback and reflection. Teachers and Teaching: Theory and Practice, 19(2), 115-134. https://doi.org/10.1080/13540602.2013.741834
Ebel, R. L. y Frisbie, D. A. (1986). Essentials of Education Measurement. Prentice Hall.
Elosua, P. y Zumbo, B. (2008). Coeficientes de fiabilidad para escalas de respuesta categórica ordenada. Psicothema, 20(4), 896-901.
Frías-Navarro, D. y Pascual, M. (2012). Prácticas del análisis factorial exploratorio (AFE) en la investigación sobre conducta del consumidor y marketing. Suma Psicológica, 19(1).
García, M. R. (2014). Modelos de Evaluación Docente en el mundo e instrumentos utilizados para evaluar: Ventajas, desventajas y consideraciones para su elección. https://www.mideuc.cl/wp-content/uploads/2014/12/Informe_tecnico-_Maria_Rosa_Garcia1.pdf
García-Cabrero, B., Loredo, J., Luna, E. y Rueda, M. (2008). Modelo de evaluación de competencias docentes para la educación media y superior. Revista Iberoamericana de Evaluación Educativa, 1(13), 124-136.
García-Cabrero, B., Luna, E., Ponce, S., Cisneros-Cohemour, E., Cordero, G. y Espinoza, J. (2018). Las competencias docentes en entornos virtuales: un modelo para su evaluación. Revista Iberoamericana de Educación a Distancia, 21(1), 343-365. https://doi.org/10.5944/ried.21.1.18816
Garrison, D. R., Anderson, T. y Archer, W. (2000). Critical Inquiry in a Text-Based Environment: Computer Conferencing in Higher Education. The Internet and Higher Education, 2(2), 87-105.
Hattie, J. y Timperley, H. (2007). The power of feedback. Review of Education Research, 77(1), 81-112. https://doi.org/10.3102/003465430298487
Hernández, R., Fernández, C. y Baptista, P. (2010). Metodología de la investigación. McGraw Hill.
Ingvarson, L. (2013). Estándares de egreso y certificación inicial docente: la experiencia internacional. Calidad en la Educación, 38, 21-77. https://doi.org/10.4067/S0718-45652013000100010
Jornet, J., Perales, M. y González-Such, J. (2020). El concepto de validez de los procesos de evaluación de la docencia. Revista Española de Pedagogía, 78(276), 233-252. https://doi.org/10.22550/REP78-2-2020-01
Laurillard, D. (2002). Rethinking teaching for the knowledge society. EDUCAUSE Review, 37(1), 16-24.
Luna, E., Pedroza, L. H. y Córdova, P. L. (2019). Alineamiento entre estándares de desempeño docente y el programa de estudios de preescolar mexicano. Archivos Analíticos de Políticas Educativas, 27(17). https://doi.org/10.14507/epaa.27.3595
Marciniak, R. y Gairín, J. (2018). Dimensiones de evaluación de la calidad de educación virtual: revisión de modelos referentes. Revista Iberoamericana de Educación a Distancia, 21(1), 217-238. https://doi.org/10.5944/ried.21.1.16182
McClary, J. (2013). Factor in high quality distance learning courses. Online Journal of Distance Learning Administration, 16 (2), 230-256.
Narciss, S. (2008). Feedback strategies for interactive learning tasks. En J. M. Spector, M. D. Merrill, J. J. G. Van Merrienboer y M. P. Driscoll (Eds.), Handbook of Research on Educational Communications and Technology (pp. 125-143). Erlbaum.
Oon, P. T., Spencer, B. y Chun, S. K. (2017). Psychometric quality of a student evaluation of teaching survey in higher education. Asseessment & Evaluation in Higher Education, 42(5), 788-800. https://doi.org/10.1080/02602938.2016.1193119
Perrenoud, P. (2004). Diez nuevas competencias para enseñar. Graó.
Phillips, D. (2018). The many functions of evaluation in education. Education Policy Analysis Archives, 26(46), 205-245. https://doi.org/10.14507/epaa.26.3811
Popham, W. J. (2008). Transformative assessment. ASCD.
Red Iberoamericana de Investigadores sobre la Evaluación de la Docencia [RIIED]. (2008). Reflexiones sobre el diseño y puesta en marcha de programas de evaluación de la docencia. Revista Iberoamericana de Evaluación Educativa, 1(3e), 163-168.
Ross, J. y Bruce, C. (2007). Teacher self-assessment: A mechanism for facilitating professional growth. Teaching and Teacher Education, 23(2), 146-159.
Scriven, M. (1967). The methodology of evaluation, en R. W. Tyler, R. M. Gagne y M. Scriven (Eds.), Perspectives of curriculum evaluation (pp. 39-83). Rand McNally.
Scriven, M. (1991). Evaluation thesaurus. Sage.
Seldin, P. (1999). Cambiando prácticas en evaluación de la enseñanza. Anker Publishing Company.
Shulman, L. (2005). Conocimientos y enseñanza: fundamentos de la nueva reforma. Profesorado. Revista de Curriculum y Formación del Profesorado, 9(2), 1-30.
Sireci, S. y Faulkner-Bond, M. (2014). Validity evidence based on test content. Psicothema, 26(1), 100-107. https://doi.org/10.7334/psicothema2013.256
Vaillant, D. (2008). Algunos marcos referenciales en la evaluación del desempeño docente. Revista Iberoamericana de Evaluación Educativa 2(1), 8-22.