Tendencias en las Calificaciones de la Evaluación Docente en las Residencias Médicas: Un Estudio Longitudinal de Ocho Años
Palabras clave:
Evaluación docente, Calificaciones, Residencias médicas, Trayectorias, Modelos mixtos
Esta obra está bajo una licencia internacional Creative Commons Reconocimiento-NoComercial-SinObraDerivada 3.0.
Resumen
El propósito del estudio fue describir las trayectorias de los promedios de las calificaciones obtenidas por los profesores evaluados por los residentes en un período de ocho años. Se analizó evidencia estadística que demuestra la tendencia de un efecto positivo de dicha evaluación. De 2.751 profesores, 1.031 impartieron curso en tres o más ciclos anuales. El promedio se obtuvo del cuestionario de evaluación docente en opinión de los residentes. Para explorar la posibilidad de agrupamiento con patrones de trayectoria similar, se utilizaron modelos de crecimiento mixto (GMM) con clases latentes tomando en cuenta criterios basados en verosimilitud (AIC, BIC) y entropía. Los promedios fueron en ascenso, excepto por el ciclo 2019-2020 donde se aprecia una tendencia a la baja que se recupera en años subsecuentes. El modelo de crecimiento mixto encontró dos clases latentes, una con tendencia creciente, 89 % de profesores, y otra decreciente del 11 % restante. Los promedios disminuyeron para las mujeres y aumentaron para profesores titulares. Los resultados estadísticos sugieren que la evaluación docente puede tener efectos positivos a través del tiempo, pues el puntaje otorgado por los residentes al evaluar a sus profesores tiende a incrementarse.
Descargas
Citas
Bandiera, G., Fung, K., Iglar, K., Nousiainen, M., Tzanetos, K., Verma, A., Glover-Takahashi, V. W. S., Abner, E., Abrahams, C., Otchere, Y. y Ruetalo, M. (2010). Best practices in teacher assessment: Summary of recommendations. University of Toronto.
Barrionuevo Colombes N., Paglini de Olivo, P. A., Andreone C. y Yorio Nieto, M. A. (2019). La evaluación del desempeño docente en la Facultad de Ciencias Médicas, Universidad Nacional de Córdoba, Argentina. En L. Hamui-Sutton, A. Ortiz y F. Gatica (Eds.), Evaluación de las competencias docentes en ciencias de la salud (pp. 69-86). Manual Moderno.
Boerboom, T. B. B., Stalmeijer, R. E., Dolmans, D. H. J. M. y Jaarsma, D. A. D. C. (2015). How feedback can foster professional growth of teachers in the clinical workplace: A review of the literature. Studies in Educational Evaluation, 46, 47-52. https://doi.org/10.1016/j.stueduc.2015.02.001
Bowen, J. L. y Irby, D. M. (2002). Assessing quality and costs of education in the ambulatory setting: a review of the literature. Academic Medicine, 77(7), 621-80. https://doi.org/10.1097/00001888-200207000-00006
Camarero-Figuerola, M., Tierno-García, J. M., Iranzo-García, P. y Barrios-Arós, C. (2023). Desafíos para aumentar el uso de la investigación entre la comunidad educativa. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación 21(3), 61-84. https://doi.org/10.15366/reice2023.21.3.004
Elizalde Lora, L., Pérez López, C. G. y Olvera Larios, B. I. (2008). Metaevaluación del proceso de evaluación docente: Universidad Autónoma del Estado de Hidalgo. Reencuentro. Análisis de Problemas Universitarios, 53(9), 113-124.
Flores Fernández, F., Gatica, F., Sánchez Mendiola, M. y Martínez, A. (2017). Evolución de la evaluación del desempeño docente en la Facultad de Medicina, evidencia de validez y confiabilidad. Investigación en Educación Médica, 6(22), 96-103. http://doi.org/10.1016/j.riem.2016.06.004
García Cabrero, B., Serrano Luna E., Ponce Ceballos, S., Cisneros-Cohernour, E. J., Cordero Arroyo, G., Espinosa Díaz, Y. y García Vigil, M. H. (2018). Las competencias docentes en entornos virtuales: un modelo para su evaluación. RIED. Revista Iberoamericana de Educación a Distancia, 21(1), 343-365. https://doi.org/10.5944/ried.21.1.18816
Ginsburg, S. y Stroud, L. (2023). Necessary but insufficient and possibly counterproductive: the complex problem of teaching evaluations. Academic Medicine, 98(3), 300-303. https://doi.org/10.1097/acm.0000000000005006
Ginsburg, S., Watling, C. J., Schumacher, D. J., Gingerich, A. y Hatala, R. (2021). Numbers encapsulate, words elaborate: Towards the best use of comments for assessment and feedback on entrustment ratings. Academic Medicine, 96(7), 81-86. https://doi.org/10.1097/acm.0000000000004089
Gruppen, L. D., Stansfield, R. B., Zhao, Z. y Sen, S. (2015). Institution and specialty contribute to resident satisfaction with their learning environment and workload. Academic Medicine, 90(11), 77-82. https://doi.org/10.1097/acm.0000000000000898
Hammer, R., Peer, E. y Babad, E. (2018). Faculty attitudes about student evaluations and their relations to self-image as teacher. Social Psychology of Education: An International Journal, 21(3), 517-537. https://doi.org/10.1007/s11218-018-9426-1
Hamui-Sutton, A., Ortíz García, A., Cejudo Aparicio, L., Lavalle Montalvo, C. y Vilar Puig, P. (2017). La evaluación de los docentes desde la perspectiva de los médicos residentes del PUEM. Educación Médica, 18(2), 89-97. https://doi.org/10.1016/j.edumed.2016.06.010
Hamui-Sutton, L. y Halabe-Cherem, J. (2019). Evaluación docente en las especializaciones médicas. En L. Hamui-Sutton, A. Ortiz Montalvo y F. Gatica Lara (Eds.), Evaluación de las competencias docentes en las ciencias de la salud (pp. 67-78). Manual Moderno.
Harden, R. C. (2000). AMEE guide No 20: The good teacher is more than a lecturer. The twelve roles of the teacher. Medical Teacher, 22(4), 334-347. https://doi.org/10.1080/014215900409429
Hernández-Villafaña, A. D. y Luna, E. (2023). Meta-evaluation of the teaching evaluation system of a Mexican public university. Education Policy Analysis Archives, 31, art 7501. https://doi.org/10.14507/epaa.31.7501
Hornstein, H. A. (2017). Student evaluations of teaching are an inadequate assessment tool for evaluating faculty performance. Cogent Education, 4(1), 16-33. https://doi.org/10.1080/2331186X.2017.1304016
Hortigüela, D., Pérez-Pueyo, A. y González-Calvo, G. (2019). Pero… ¿A qué nos referimos realmente con la evaluación formativa y compartida?: Confusiones habituales y reflexiones prácticas. Revista Iberoamericana de Evaluación Educativa, 12(1), 11-27. https://doi.org/10.15366/riee2019.12.1.001
Jornet, J. M., Perales Montolío, M. J. y González-Such, J. (2020). El concepto de validez de los procesos de evaluación de la docencia. Revista Española de Pedagogía, 78(276), 233-252. https://doi.org/10.22550/REP78-2-2020-01
Ko, C. Y., Escarce, J. J., Baker, L., Sharp, J. y Guarino, C. (2005). Predictors of surgery resident satisfaction with teaching by attendings: A national survey. Annals of Surgery, 241(2), 373-80. https://doi.org/10.1097/01.sla.0000150257.04889.70
Lorin, S., Heffner, J. y Carson S. (2005). Attitudes and perceptions of internal medicine residents regarding pulmonary and critical care subspecialty training. Chest Journal, 127(2), 630-636. https://doi.org/10.1378/chest.127.2.630
Luna, E. (2019). Evaluación formativa del modelo educativo en instituciones de educación superior en México. Revista Mexicana de Investigación Educativa, 24(83), 997-1026.
Lyons, A. J., Davids, S. y Fletcher K. E. (2019). Response to factors affecting resident satisfaction in continuity clinic. Journal of General Internal Medicine, 34(8), 1370. https://doi.org/10.1007/s11606-019-04988-7
Muthén, B. O. (2002). Beyond SEM: General latent variable modeling. Behaviormetrika, 29(1), 81-117. https://doi.org/10.2333/bhmk.29.81
Muthén, B. O. (2004). Latent variable analysis: Growth mixture modeling and related techniques for longitudinal data. En D. Kaplan (Ed.), Handbook of quantitative methodology for the social sciences (pp. 345-368). SAGE.
Nasser-Abu, F. (2017). Teaching in higher education: Good teaching through students’ lens. Studies in Educational Evaluation, 54, 4-12. http://doi.org/10.1016/j.stueduc.2016.10.006
Parra Acosta, H., Hinojosa Gallardo, L. C. y López Loya, J. (2019). La evaluación docente desde el modelo de socioformación. En L. Hamui-Sutton, A. Ortiz y F. Gatica (Eds.), Evaluación de las competencias docentes en ciencias de la salud (pp. 317-332). Manual Moderno.
Proust-Lima, C., Philipps, V. y Liquet, B. (2017). Estimation of extended mixed models using latent classes and latent processes: The R package LCCM. Journal of Statistical Software, 78(2), 1-56. https://doi.org/10.18637/jss.v078.i02
PUEM. (2021). Plan Único de Especializaciones Médicas. División de Estudios de Posgrado. Facultad de Medicina UNAM.
Ramani, S., Könings, K. D., Mann, K. V. y Pisarski, E. E. (2018). About politeness, face, and feedback: Exploring resident and faculty perceptions of how institutional feedback culture influences feedback practices. Academic Medicine, 93(9), 1348-1358. https://doi.org/10.1097/acm.0000000000002193
Romero Lara, R. (2014). El modelo educativo y la evaluación docente como factores que influyen en la práctica docente en la Universidad Iberoamericana [Tesis de Doctorado]. Universidad Iberoamericana.
Rose, S. (2020). Medical student education in the time of COVID-19. Journal of the American Medical Association, 323(21), 2131-2132.
Rueda, M. (2021). Anotaciones para reorientar las prácticas de evaluación educativa. Revista Mexicana de Investigación Educativa, 26(88), 311-330.
Rueda, M. y Salazar Ascencio, J. (2022). Las condiciones institucionales de la docencia en universidades iberoamericanas. UFRO University Press.
Sánchez Rincón, R. (2019). Meta-evaluación. Una aproximación a la realidad. Atenas, 4(48), 127-143.
Scarff, C. E., Bearman, M., Chiavaroli, N. y Trumble S. (2019). Keeping mum in clinical supervision: Private thoughts and public judgements. Medical Education, 53(2), 133-142. https://doi.org/10.1111/medu.13728
Scheepers, R. A., Lombarts, K. M. J. M. H., Van Aken, M. A. G., Heineman, M. J. y Arah, O. A. (2014). Personality traits affect teaching performance of attending physicians: Results of a multi-center observational study. Plos One, 9(5), e98107. https://doi.org/10.1371/journal.pone.0098107
Servín Hernández, D., Rodríguez Schlogl, E. M., González del Rincón, M. L. y Obrador Vera, G. T. (2019). Proceso de evaluación docente en la escuela de medicina de la Universidad Panamericana. En L. Hamui-Sutton, A. Ortiz y F. Gatica (Eds.), Evaluación de las competencias docentes en ciencias de la salud (pp. 268-280). Manual Moderno.
Sisson, S. D., Boonyasai, R., Baker-Genaw, K. y Silverstein, J. (2007). Continuity clinic satisfaction and valuation in residency training. Journal of General Internal Medicine, 22(12), 1704-1710. https://doi.org/10.1007/s11606-007-0412-0
Smith, W. C. y Kubacka, K. (2017). The emphasis of student test scores in teacher appraisal systems. Education Policy Analysis Archives, 25, 89-102. https://doi.org/10.14507/epaa.25.2889
Spooren, P., Vandermoere, R. y Pepermans, K. (2017). Exploring high impact scholarship in research on student's evaluation of teaching (SET). Educational Research Review, 22, 129-141. https://doi.org/10.1016/j.edurev.2017.09.001
Stake, R. E. (2017). Metaevaluación de los sistemas de evaluación de la docencia. En E. Luna y M. Rueda (Eds.), Experiencias de evaluación de la docencia en Iberoamérica (pp. 248-256). RIIED.
Stark, P. B. y Freishtat, R. (2014). An evaluation of course evaluations. ScienceOpen Research, 1(1), 1-7. https://doi.org/10.14293/S2199-1006.1.SOR-EDU.AOFRQA.v1
Steinert, Y., Mann, K., Anderson, B., Maureen Barnett B., Centeno, A., Naismith, L., Prideaux, D., Spencer, J., Tullo, E., Viggiano, T., Ward, E. y Dolmans, D. (2016). A systematic review of faculty development initiatives designed to enhance teaching effectiveness: A 10-year update. Medical Teacher, 38(8), 769-786. https://doi.org/10.1080/0142159X.2016.1181851
Stepczynski, J., Holt, S. R., Ellman, M. S., Tobin, D. y Doolittle, B. R. (2018). Factors affecting resident satisfaction in continuity clinic-a systematic review. Journal of General Internal Medicine, 33(8), 1386-1393. https://doi.org/10.1007/s11606-018-4469-8
Stroebe, W. (2020). Student evaluations of teaching encourages poor teaching and contributes to grade inflation: A theoretical and empirical analysis. Basic and Applied Social Psychology, 42(4), 276-294. https://doi.org/10.1080/01973533.2020.1756817
Torquemada, D. y Jardínez, L. (2019). La formación de competencias docentes universitarias a partir de la evaluación del desempeño del tutor. Publicaciones, 49(1), 39-52. https://doi.org/10.30827/publicaciones.v49i1.985
Valdés García, J. E., López Cabrera, M. V., Olivares Olivares, S. L. y Domínguez Cuenca, A. (2019). De la evaluación centrada en el conocimiento a la evaluación del desempeño docente, caso del profesor clínico en la Escuela de Medicina y Ciencias de la Salud, tecnológico de Monterrey. En L. Hamui-Sutton, A. Ortiz y F. Gatica (Eds.), Evaluación de las competencias docentes en ciencias de la salud (pp. 254-267). Manual Moderno.
Varela Ruíz, M. (2019). La realimentación en la evaluación docente. En L. Hamui-Sutton, A. Ortiz y F. Gatica (Eds.), Evaluación de las competencias docentes en ciencias de la salud (pp. 159-166). Manual Moderno.
Villegas, N., Meraz, J. M., Madero, Y. N. y Parra, C. A. (2022). Incorporación de políticas de calidad en la educación superior como estrategia de fortalecimiento de cuerpos académicos en México. Revista Iberoamericana de Evaluación Educativa, 15(2), 47-65. https://doi.org/10.15366/riee2022.15.2.003
Yepes-Rios, M., Dudek, N., Duboyce, R., Curtis, J., Allard, R. J. y Varpio L. (2016). The failure to fail underperforming trainees in health professions education: A BEME systematic review: BEME Guide No. 42. Medical Teacher, 38(11), 1092-1099. https://doi.org/10.1080/0142159X.2016.1215414
Zabalza, M. A. (Coord.). (2007). Competencias docentes del profesorado universitario. Calidad y desarrollo profesional. Narcea.