Tradução e Ferramenta de Validação de Conteúdo de Avaliação do Ensino pelos Alunos
Resumen
O Student Evaluation Educacional Quality (SEEQ) é um instrumento multidimensional de avaliação do ensino pelos alunos. O objetivo deste trabalho foi realizar o processo de tradução e validação de conteúdo do SEEQ para o Brasil. O trabalho foi desenvolvido em quatro etapas: 1. Tradução reversa (back translation); 2. Consolidação da revisão preliminar; 3. Validação de conteúdo da versão preliminar; 4. Teste piloto. Quatro tradutores participaram da primeira etapa, dois realizando a tradução do inglês para o português e dois do português para o inglês. Os itens foram analisados por um comitê para a obtenção de uma versão preliminar e, posteriormente, foram avaliado por especialistas quanto aos critérios de clareza de linguagem, pertinência prática, relevância teórica e dimensão. A versão preliminar apresentou muitos itens com coeficiente de validade de conteúdo (CVC) abaixo do ponto de corte, sendo, por isso, adaptado e reavaliado. Após as modificações, o instrumento apresentou CVC satisfatório (igual ou maior a 0,80) nos três critérios independentes e no instrumento como um todo. O coeficiente Kappa do critério dimensão foi moderado (0,544). Após o teste piloto, o instrumento está apto à aplicação em pesquisas. Futuramente, para sua aplicação prática, é necessário que sejam investigadas as características psicométricas da escala.
Palavras-chave: Avaliação de cursos, Métodos de avaliação, Avaliação institucional, Avaliação da atividade docente pelos estudantes.
Translation and Validation Content of Instrument for Students’ Evaluation of Teaching
Student Evaluation of Educational Quality (SEEQ) is a multidimensional instrument to evaluate the teaching quality. The aim of this study was the translation and content validation process of SEEQ for Brazil. The study was done in four steps: 1. Back translation; 2. Consolidation of the preliminary version; 3. Content validation of preliminary version; 4. Pilot test. Four translators participated in the first stage, two performing the translation from English to Portuguese language and two from Portuguese to English. Items were reviewed by a committee to obtain the preliminary version of the instrument and then they were evaluated by experts in clarity of language, practical relevance, theoretical relevance and dimension criteria. The preliminary version presented many items with content validity coefficient (CVC) below the cut-off value, and therefore it was adapted and re-evaluated. After the modifications, the instrument presented satisfactory CVC (?0.80) at both three criteria and the whole instrument. The Kappa coefficient dimension criteria was moderate (0.544). After the pilot test, the instrument is able to use in research. For practical application, however, it is necessary that the psychometric characteristics of the scale are still investigated.
Keywords: Course evaluation, Evaluation criteria, Evaluation method, Institutional evaluation, Student evaluation of teacher performance.
Descargas
Citas
Bobbio, N. (1992). A era dos direitos 11. São Paulo: Campus.
Cassep-Borges, V., Balbinotti, M. A. A. e Teodoro, M. L. M. (2010). Tradução e validação de conteúdo: Uma proposta para a adaptação de instrumentos. Em L. Pasquali (Ed.), Instrumentação psicológica: Fundamentos e prática (pp. 506-520). Porto Alegre: Artmed.
Chagas, A. T. R. (2000). O questionário na pesquisa científica. Administração online, 1(1). Disponível em http://www.fecap.br/adm_online/art11/anival.htm
Chonko, L. B., Tanner, J. F. e Davis, R. (2002). What are they thinking? Students' expectations and self-assessments. Journal of Education for Business, 77(5), 271-281. https://doi.org/10.1080/08832320209599676
Cohen, P. A. (1980). Effectiveness of student rating feedback for improving college instruction. A metaanalysis of multisection validity studies. Research in Higher Education, 13(4), 321-341. https://doi.org/10.1007/bf00976252
Darling-Hammond, L. (2007). Recognizing and enhancing teacher effectiveness: A policy maker’s guide. Em L. Darling-Hammond e C. D. Prince (Eds.), Strengthening teacher quality in high-need schools-policy and practice (pp. 1-26). Nova Iorque, NY: Council of Chief State School Officers.
Darling-Hammond, L., Amrein-Beardsley, A., Haertel, E. e Rothstein, J. (2012). Evaluating teacher evaluation. The Phi Delta Kappa, 93(6), 8-15. https://doi.org/10.1177/003172171209300603
Declaração de Bolonha. Declaração conjunta dos ministros da educação europeus, assinada em Bolonha, de 19 de Junho de 1999. Disponível em http://media.ehea.info/file/Ministerial_conferences/05/3/1999_Bologna_Declaration_Portuguese_553053.pdf
Depresbiteris, L. (2005). Auto-avaliação das instituições de ensino superior. Estudos em Avaliação Educacional, 16(32), 7-24. https://doi.org/10.18222/eae163220052133
Entwistle, N., McCune, V. e Hounsell, J. (2002). Approaches to studying and perceptions of university teaching-learning environments: Concepts, measures and preliminary findings. Enhancing Teaching and Learning Environments in Undergraduate Courses Occasional Report, 1.
Feldman, K. A. (2007). Identifying exemplary teachers and teaching: Evidence from student ratings. Em R. P. Perry e J. C. Smart (Eds.), The scholarship of teaching and learning in higher education: An evidence-based perspective (pp. 93-143). Dordrecht: Springer.
Fernandes, D. (2008). Avaliação do desempenho docente: Desafios, problemas e oportunidades. Lisboa: Texto Editores.
Fernández, J. M., Sánchez, J. F. e García, M. A. M. (1996). Valoración por parte del profesorado de la evaluación docente realizada por los alumnos. Psicothema, 8(1), 167-172.
Haynes, S. N., Richard, D. e Kubany, E. S. (1995). Content validity in psychological assessment: A functional approach to concepts and methods. Psychological assessment, 7(3), 238-247. https://doi.org/10.1037//1040-3590.7.3.238
Hernández-Nieto, R. A. (2002). Contribuciones al análisis estadístico. Mérida: Universidad de Los Andes/IESINFO.
Herrera, F., Cano, M. A, Hernáncez, L. e Morales, M. A. (2012). Sistema de evaluación del desempeño profesional docente para las licenciaturas del área de las ciencias biológicas y de la salud. Revista Iberoamericana de Evaluación Educativa, 5(2), 124-146.
Keane, E. e Labhrainn, I. M. (2005). Obtaining student feedback on teaching & course quality. Briefing paper, 2, 1-9.
Landis, J. R. e Koch, G. G. (1977) The measurement of observer agreement for categorical data. Biometrics, 33(1), 159-174. https://doi.org/10.2307/2529310
Lei nº 10.861, de 14 de Abril de 2004. Institui o Sistema Nacional de Avaliação da Educação Superior – SINAES. Diário Oficial da União, Seção 1, de 15 de abril de 2004, p. 3.
Lucas, L., Gibbs, G., Hughes, S., Jones, O. e Wisker, G. (1997). A study of the effects of course design features on student learning in large classes at three institutions: A comparative study. Em C. Rust e G. Gibbs (Eds.), Improving student learning: Improving student learning through course design (pp. 10-24). Oxford: Oxford Centre for Staff and Learning Development.
Marsh, H. W. e Hocevar, D. (1991). The multidimensionality of students' evaluations of teaching effectiveness: The generality of factor structures across academic discipline, instructor level, and course level. Teaching and Teacher Education, 7(1), 9-18. https://doi.org/10.1016/0742-051x(91)90054-s
Marsh, H. e Roche, L. (1992). The use of student evaluations of university teaching in different settings: The applicability paradigm. Australian Journal of Education, 36(3), 278-300. https://doi.org/10.1177/000494419203600305
Marsh, H. W. (1984). Student’s evaluations of university teaching: Dimensionality, reliability, validity, potential biases and utility. Journal of Educational Psychology, 76(5), 707-754. https://doi.org/10.1037//0022-0663.76.5.707
Marsh, H. W. (2007). Do university teachers become more effective with experience? A multilevel growth model of students' evaluations of teaching over 13 years. Journal of Educational Psychology, 99(4), 775-790. https://doi.org/10.1037/0022-0663.99.4.775
Mattar, F. e Motta, S. (1999). Pesquisa de marketing. São Paulo: Elsevier.
Mijic, D. (2010). Measuring teaching quality in higher education: Instrument for collecting student feedback. En M. Gusev (Ed.), ICT Innovations Web Proceedings (pp. 117-128). Disponível em http://ictinnovation.org
Morais, N., Almeida, L. e Montenegro, I. (2006). Percepções do ensino pelos alunos: Uma proposta de instrumento para o ensino Superior. Análise Psicológica, 1(24), 73-86.
Nash, J. L. (2012). Using student evaluations at a Cambodian University to improve teaching effectiveness (Dissertação). Lehigh University, Bethlehem.
Ramsden, P. (1991). A performance indicator of teaching quality in higher education: The course experience questionnaire. Studies in Higher Education, 16(2), 129-150. https://doi.org/10.1080/03075079112331382944
Richardson, J. T. (2005). Instruments for obtaining student feedback: A review of the literature. Assessment & Evaluation in Higher Education, 30(4), 387-415. https://doi.org/10.1080/02602930500099193
Sistema Nacional de Avaliação do Ensino Superior (SINAES). (2003). Bases para uma nova proposta de avaliação do ensino superior. São Paulo: Ministério da Educação.
Spooren, P., Brockx, B. e Mortelmans, D. (2013). On the validity of student evaluation of teaching the state of the art. Review of Educational Research, 83(4), 598-642. https://doi.org/10.3102/0034654313496870
Sobrinho, J. D. (2004). Avaliação ética e política em função da educação como direito público ou como mercadoria. Educação e Sociedade, 25(88), 703-725. https://doi.org/10.1590/s0101-73302004000300004
Sobrinho, J. D. (2010). Avaliação e transformações da educação superior brasileira (1995-2009): Do provão ao SINAES. Avaliação: Revista da Avaliação da Educação Superior, 15(1), 195-224. https://doi.org/10.1590/s1414-40772010000100011
Vallerand, R. J. (1989). Vers une méthodologie de validation transculturelle de questionnaires psychologiques: Implications pour la recherche en langue française. Psychologie Canadienne, 30(4), 662-680. https://doi.org/10.1037/h0079856