Trends in Teaching Evaluation Ratings in Medical Residencies: An Eight-Year Longitudinal Study
Keywords:
Teaching evaluation, Grades, Medical residencies, Trends, Mixture models
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 3.0 Unported License.
Abstract
The purpose of the study was to describe the trajectories of the score averages obtained on the teaching evaluations by the residents in a period of eight years. We analyzed the statistical evidence that demonstrates a positive effect trend of teaching evaluation on the score averages. Of 2,751 professors, 1,031 taught courses in three or more annual cycles. The averages were obtained from the teaching evaluation questionnaire responded by medical residents. To explore the possibility of clustering of longitudinal data with similar trajectory patterns, growth mixture models (GMM) with latent classes were used, the number of latent classes was chosen considering criteria based on likelihood (AIC, BIC) and entropy. Over the years, the averages were on the rise, except for the 2019-2020 cycle where a downward trend can be observed which recovers in subsequent years. The growth model found two latent classes, one with a growing trend that grouped 89% of teachers, and another decreasing trend of the remaining 11%. The averages decreased for women and increased for tenured professors. The results suggest that teacher evaluation can have positive effects over time, since the score given by residents when evaluating their teachers tends to increase.
Downloads
References
Bandiera, G., Fung, K., Iglar, K., Nousiainen, M., Tzanetos, K., Verma, A., Glover-Takahashi, V. W. S., Abner, E., Abrahams, C., Otchere, Y. y Ruetalo, M. (2010). Best practices in teacher assessment: Summary of recommendations. University of Toronto.
Barrionuevo Colombes N., Paglini de Olivo, P. A., Andreone C. y Yorio Nieto, M. A. (2019). La evaluación del desempeño docente en la Facultad de Ciencias Médicas, Universidad Nacional de Córdoba, Argentina. En L. Hamui-Sutton, A. Ortiz y F. Gatica (Eds.), Evaluación de las competencias docentes en ciencias de la salud (pp. 69-86). Manual Moderno.
Boerboom, T. B. B., Stalmeijer, R. E., Dolmans, D. H. J. M. y Jaarsma, D. A. D. C. (2015). How feedback can foster professional growth of teachers in the clinical workplace: A review of the literature. Studies in Educational Evaluation, 46, 47-52. https://doi.org/10.1016/j.stueduc.2015.02.001
Bowen, J. L. y Irby, D. M. (2002). Assessing quality and costs of education in the ambulatory setting: a review of the literature. Academic Medicine, 77(7), 621-80. https://doi.org/10.1097/00001888-200207000-00006
Camarero-Figuerola, M., Tierno-García, J. M., Iranzo-García, P. y Barrios-Arós, C. (2023). Desafíos para aumentar el uso de la investigación entre la comunidad educativa. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación 21(3), 61-84. https://doi.org/10.15366/reice2023.21.3.004
Elizalde Lora, L., Pérez López, C. G. y Olvera Larios, B. I. (2008). Metaevaluación del proceso de evaluación docente: Universidad Autónoma del Estado de Hidalgo. Reencuentro. Análisis de Problemas Universitarios, 53(9), 113-124.
Flores Fernández, F., Gatica, F., Sánchez Mendiola, M. y Martínez, A. (2017). Evolución de la evaluación del desempeño docente en la Facultad de Medicina, evidencia de validez y confiabilidad. Investigación en Educación Médica, 6(22), 96-103. http://doi.org/10.1016/j.riem.2016.06.004
García Cabrero, B., Serrano Luna E., Ponce Ceballos, S., Cisneros-Cohernour, E. J., Cordero Arroyo, G., Espinosa Díaz, Y. y García Vigil, M. H. (2018). Las competencias docentes en entornos virtuales: un modelo para su evaluación. RIED. Revista Iberoamericana de Educación a Distancia, 21(1), 343-365. https://doi.org/10.5944/ried.21.1.18816
Ginsburg, S. y Stroud, L. (2023). Necessary but insufficient and possibly counterproductive: the complex problem of teaching evaluations. Academic Medicine, 98(3), 300-303. https://doi.org/10.1097/acm.0000000000005006
Ginsburg, S., Watling, C. J., Schumacher, D. J., Gingerich, A. y Hatala, R. (2021). Numbers encapsulate, words elaborate: Towards the best use of comments for assessment and feedback on entrustment ratings. Academic Medicine, 96(7), 81-86. https://doi.org/10.1097/acm.0000000000004089
Gruppen, L. D., Stansfield, R. B., Zhao, Z. y Sen, S. (2015). Institution and specialty contribute to resident satisfaction with their learning environment and workload. Academic Medicine, 90(11), 77-82. https://doi.org/10.1097/acm.0000000000000898
Hammer, R., Peer, E. y Babad, E. (2018). Faculty attitudes about student evaluations and their relations to self-image as teacher. Social Psychology of Education: An International Journal, 21(3), 517-537. https://doi.org/10.1007/s11218-018-9426-1
Hamui-Sutton, A., Ortíz García, A., Cejudo Aparicio, L., Lavalle Montalvo, C. y Vilar Puig, P. (2017). La evaluación de los docentes desde la perspectiva de los médicos residentes del PUEM. Educación Médica, 18(2), 89-97. https://doi.org/10.1016/j.edumed.2016.06.010
Hamui-Sutton, L. y Halabe-Cherem, J. (2019). Evaluación docente en las especializaciones médicas. En L. Hamui-Sutton, A. Ortiz Montalvo y F. Gatica Lara (Eds.), Evaluación de las competencias docentes en las ciencias de la salud (pp. 67-78). Manual Moderno.
Harden, R. C. (2000). AMEE guide No 20: The good teacher is more than a lecturer. The twelve roles of the teacher. Medical Teacher, 22(4), 334-347. https://doi.org/10.1080/014215900409429
Hernández-Villafaña, A. D. y Luna, E. (2023). Meta-evaluation of the teaching evaluation system of a Mexican public university. Education Policy Analysis Archives, 31, art 7501. https://doi.org/10.14507/epaa.31.7501
Hornstein, H. A. (2017). Student evaluations of teaching are an inadequate assessment tool for evaluating faculty performance. Cogent Education, 4(1), 16-33. https://doi.org/10.1080/2331186X.2017.1304016
Hortigüela, D., Pérez-Pueyo, A. y González-Calvo, G. (2019). Pero… ¿A qué nos referimos realmente con la evaluación formativa y compartida?: Confusiones habituales y reflexiones prácticas. Revista Iberoamericana de Evaluación Educativa, 12(1), 11-27. https://doi.org/10.15366/riee2019.12.1.001
Jornet, J. M., Perales Montolío, M. J. y González-Such, J. (2020). El concepto de validez de los procesos de evaluación de la docencia. Revista Española de Pedagogía, 78(276), 233-252. https://doi.org/10.22550/REP78-2-2020-01
Ko, C. Y., Escarce, J. J., Baker, L., Sharp, J. y Guarino, C. (2005). Predictors of surgery resident satisfaction with teaching by attendings: A national survey. Annals of Surgery, 241(2), 373-80. https://doi.org/10.1097/01.sla.0000150257.04889.70
Lorin, S., Heffner, J. y Carson S. (2005). Attitudes and perceptions of internal medicine residents regarding pulmonary and critical care subspecialty training. Chest Journal, 127(2), 630-636. https://doi.org/10.1378/chest.127.2.630
Luna, E. (2019). Evaluación formativa del modelo educativo en instituciones de educación superior en México. Revista Mexicana de Investigación Educativa, 24(83), 997-1026.
Lyons, A. J., Davids, S. y Fletcher K. E. (2019). Response to factors affecting resident satisfaction in continuity clinic. Journal of General Internal Medicine, 34(8), 1370. https://doi.org/10.1007/s11606-019-04988-7
Muthén, B. O. (2002). Beyond SEM: General latent variable modeling. Behaviormetrika, 29(1), 81-117. https://doi.org/10.2333/bhmk.29.81
Muthén, B. O. (2004). Latent variable analysis: Growth mixture modeling and related techniques for longitudinal data. En D. Kaplan (Ed.), Handbook of quantitative methodology for the social sciences (pp. 345-368). SAGE.
Nasser-Abu, F. (2017). Teaching in higher education: Good teaching through students’ lens. Studies in Educational Evaluation, 54, 4-12. http://doi.org/10.1016/j.stueduc.2016.10.006
Parra Acosta, H., Hinojosa Gallardo, L. C. y López Loya, J. (2019). La evaluación docente desde el modelo de socioformación. En L. Hamui-Sutton, A. Ortiz y F. Gatica (Eds.), Evaluación de las competencias docentes en ciencias de la salud (pp. 317-332). Manual Moderno.
Proust-Lima, C., Philipps, V. y Liquet, B. (2017). Estimation of extended mixed models using latent classes and latent processes: The R package LCCM. Journal of Statistical Software, 78(2), 1-56. https://doi.org/10.18637/jss.v078.i02
PUEM. (2021). Plan Único de Especializaciones Médicas. División de Estudios de Posgrado. Facultad de Medicina UNAM.
Ramani, S., Könings, K. D., Mann, K. V. y Pisarski, E. E. (2018). About politeness, face, and feedback: Exploring resident and faculty perceptions of how institutional feedback culture influences feedback practices. Academic Medicine, 93(9), 1348-1358. https://doi.org/10.1097/acm.0000000000002193
Romero Lara, R. (2014). El modelo educativo y la evaluación docente como factores que influyen en la práctica docente en la Universidad Iberoamericana [Tesis de Doctorado]. Universidad Iberoamericana.
Rose, S. (2020). Medical student education in the time of COVID-19. Journal of the American Medical Association, 323(21), 2131-2132.
Rueda, M. (2021). Anotaciones para reorientar las prácticas de evaluación educativa. Revista Mexicana de Investigación Educativa, 26(88), 311-330.
Rueda, M. y Salazar Ascencio, J. (2022). Las condiciones institucionales de la docencia en universidades iberoamericanas. UFRO University Press.
Sánchez Rincón, R. (2019). Meta-evaluación. Una aproximación a la realidad. Atenas, 4(48), 127-143.
Scarff, C. E., Bearman, M., Chiavaroli, N. y Trumble S. (2019). Keeping mum in clinical supervision: Private thoughts and public judgements. Medical Education, 53(2), 133-142. https://doi.org/10.1111/medu.13728
Scheepers, R. A., Lombarts, K. M. J. M. H., Van Aken, M. A. G., Heineman, M. J. y Arah, O. A. (2014). Personality traits affect teaching performance of attending physicians: Results of a multi-center observational study. Plos One, 9(5), e98107. https://doi.org/10.1371/journal.pone.0098107
Servín Hernández, D., Rodríguez Schlogl, E. M., González del Rincón, M. L. y Obrador Vera, G. T. (2019). Proceso de evaluación docente en la escuela de medicina de la Universidad Panamericana. En L. Hamui-Sutton, A. Ortiz y F. Gatica (Eds.), Evaluación de las competencias docentes en ciencias de la salud (pp. 268-280). Manual Moderno.
Sisson, S. D., Boonyasai, R., Baker-Genaw, K. y Silverstein, J. (2007). Continuity clinic satisfaction and valuation in residency training. Journal of General Internal Medicine, 22(12), 1704-1710. https://doi.org/10.1007/s11606-007-0412-0
Smith, W. C. y Kubacka, K. (2017). The emphasis of student test scores in teacher appraisal systems. Education Policy Analysis Archives, 25, 89-102. https://doi.org/10.14507/epaa.25.2889
Spooren, P., Vandermoere, R. y Pepermans, K. (2017). Exploring high impact scholarship in research on student's evaluation of teaching (SET). Educational Research Review, 22, 129-141. https://doi.org/10.1016/j.edurev.2017.09.001
Stake, R. E. (2017). Metaevaluación de los sistemas de evaluación de la docencia. En E. Luna y M. Rueda (Eds.), Experiencias de evaluación de la docencia en Iberoamérica (pp. 248-256). RIIED.
Stark, P. B. y Freishtat, R. (2014). An evaluation of course evaluations. ScienceOpen Research, 1(1), 1-7. https://doi.org/10.14293/S2199-1006.1.SOR-EDU.AOFRQA.v1
Steinert, Y., Mann, K., Anderson, B., Maureen Barnett B., Centeno, A., Naismith, L., Prideaux, D., Spencer, J., Tullo, E., Viggiano, T., Ward, E. y Dolmans, D. (2016). A systematic review of faculty development initiatives designed to enhance teaching effectiveness: A 10-year update. Medical Teacher, 38(8), 769-786. https://doi.org/10.1080/0142159X.2016.1181851
Stepczynski, J., Holt, S. R., Ellman, M. S., Tobin, D. y Doolittle, B. R. (2018). Factors affecting resident satisfaction in continuity clinic-a systematic review. Journal of General Internal Medicine, 33(8), 1386-1393. https://doi.org/10.1007/s11606-018-4469-8
Stroebe, W. (2020). Student evaluations of teaching encourages poor teaching and contributes to grade inflation: A theoretical and empirical analysis. Basic and Applied Social Psychology, 42(4), 276-294. https://doi.org/10.1080/01973533.2020.1756817
Torquemada, D. y Jardínez, L. (2019). La formación de competencias docentes universitarias a partir de la evaluación del desempeño del tutor. Publicaciones, 49(1), 39-52. https://doi.org/10.30827/publicaciones.v49i1.985
Valdés García, J. E., López Cabrera, M. V., Olivares Olivares, S. L. y Domínguez Cuenca, A. (2019). De la evaluación centrada en el conocimiento a la evaluación del desempeño docente, caso del profesor clínico en la Escuela de Medicina y Ciencias de la Salud, tecnológico de Monterrey. En L. Hamui-Sutton, A. Ortiz y F. Gatica (Eds.), Evaluación de las competencias docentes en ciencias de la salud (pp. 254-267). Manual Moderno.
Varela Ruíz, M. (2019). La realimentación en la evaluación docente. En L. Hamui-Sutton, A. Ortiz y F. Gatica (Eds.), Evaluación de las competencias docentes en ciencias de la salud (pp. 159-166). Manual Moderno.
Villegas, N., Meraz, J. M., Madero, Y. N. y Parra, C. A. (2022). Incorporación de políticas de calidad en la educación superior como estrategia de fortalecimiento de cuerpos académicos en México. Revista Iberoamericana de Evaluación Educativa, 15(2), 47-65. https://doi.org/10.15366/riee2022.15.2.003
Yepes-Rios, M., Dudek, N., Duboyce, R., Curtis, J., Allard, R. J. y Varpio L. (2016). The failure to fail underperforming trainees in health professions education: A BEME systematic review: BEME Guide No. 42. Medical Teacher, 38(11), 1092-1099. https://doi.org/10.1080/0142159X.2016.1215414
Zabalza, M. A. (Coord.). (2007). Competencias docentes del profesorado universitario. Calidad y desarrollo profesional. Narcea.