Monitoring the Scientific Production of a Research Unit through Referentialisation
Keywords:
Evaluation, Monitoring, Scientific production, Referentialisation , Education
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
Abstract
This case study was developed in an education research unit, the Research Centre on Didactics and Technology in the Education of Trainers (CIDTFF) based in a public Portuguese university (University of Aveiro) by a group specialised in evaluation and supervision, with the goal of monitoring the Unit itself in order to contribute to improving its performance and creating conditions for its self-regulation. Starting from a framework of research evaluation in general, and in the current Portuguese academic system in particular, the referential methodology is problematised in order to answer the following question: How to develop an internal monitoring strategy for the education Research Unit, in order to promote the quality and impact of its results? To this end, the methodological procedures adopted to implement the monitorisation, namely referentialisation, are described and grounded. These are materialised in a monitoring framework composed of five dimensions and applied to the analysis of the of the Research Unit’s 2019 scientific production. The potentialities and difficulties associated to the referentialisation and to the framework built are described. Suggestions for future work are also presented, with the intention that the monitoring approach implemented may become an example for other research units.
Downloads
References
Alkin, M. C. e Christie, C. A. (2004). An evaluation theory tree. Em M. C. Alkin (Ed.), Evaluation roots: Tracing Theorists’ views and influences (pp. 12-65). Thousand Oaks.
Andrade, A. I., Tomaz, C. F., Lopes, B., Costa, N. e Ferreira, C. (2020). Aprendizagens profissionais de atores educativos: um estudo de avaliação de percursos de formação contínua. UA Editora. http://dx.doi.org/10.34624/4ete-pd56.
André, P., Henriques, C. N. e Dias, N. (2021). Hastening Science: Reflectindo sobre o processo científico em tempos pandémicos. Em M. A. Gato e P. Guibentif (Eds.), Entre transições: Retrospetivas, transversalidadese e perspectivas (pp. 97-120). Dinâmia´Cet-Icste.
Bell, S. e Morse, S. (2010). Sustainability Indicators: Measuring the immesurable. Earthscan.
Besley, T. A. C. (2019). Assessing the quality of educational research in higher education: International perspectives. Brill.
Cabral, A. P., e Huet, I. (2014). Avaliação da qualidade da investigação em Educação: Conceptualização de um projeto de investigação. Indagatio Didactica, 6(4), 151-163. https://doi.org/10.34624/id.v6i4.3959
Comissão Europeia. (2020). Erasmus?+?programme guide. European Commission.
Comissão Europeia, Direção-Geral da Investigação e da Inovação. (2021). Towards a reform of the research assessment system: Scoping report. Publications Office.
Costa, N. e Guerra, C. (2021). Contribution of the book for future directions to advance the sustainability of pedagogical research and practice. Em C. Guerra, A. Franco, e M. Seabra (Eds.), Sustainable pedagogical research in higher education: The political, institutional and financial challenges (pp. 113-118). Routledge.
Costa, N., Lopes, B., Lucas, M., Cabrita, I., Gonçalves, M. e Diogo, S. (2017). Avaliação externa à reforma do Ensino Secundário em São Tomé e Príncipe (2009-2016): Relatório final. Universidade de Aveiro.
Creswell, J. W. (2014). Research design: Qualitative, quantitative and mixed methods approaches. Sage Publications Ltd.
Dessouky, N. F. (2016). Public policy evaluation theory: From first to fifth generation. EPRA International Journal of Economic and Business Review, 4(4), 15-25.
Esteves, J. F. C. (2015). Autoavaliação das escolas. Reflexão em torno da melhoria do sistema educativo. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 13(4), 93-111. https://doi.org/10.15366/reice2015.13.4.005
Fernandes, D. (2011). Avaliação de programas e projetos educacionais: Das questões teóricas às questões das práticas. Em D. Fernandes (Org.), Avaliação em educação: Olhares sobre uma prática social incontornável (pp. 185-208). Editora Melo.
Fundação para a Ciência e a Tecnologia. (2013). Diagnóstico do sistema de investigação e inovação. Desafios, forças e fraquezas rumo a 2020. FCT - Fundação para a Ciência e a Tecnologia, Ministério da Educação e Ciência.
Figari, G. (1996). Avaliar: que referencial? Porto Editora.
Figari, G. e Tourmen, C. (2006). La référentialisation: Une façon de modéliser l’évaluation de programme, entre théorie et pratique. Vers une comparaison des approches en France et au Québec. Mesure et Evaluation en Education, 29(3), 5-25. https://doi.org/10.7202/1086391ar
Goetsh, D. L. e Davis, S. P. (2014). Quality management for organizational excellence. Introduction to total quality management. Pearson.
Guerra, C. e Costa, N. (2016). Sustentabilidade da investigação educacional: Contributos da literatura sobre o conceito, fatores e ações. Revista Lusófona de Educação, 34, 13-25.
Guerreiro, H. L. (2015). A avaliação externa de escolas em Portugal. Da sustentabilidade no presente, aos desafios no futuro. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 13(4), 131-147. https://doi.org/10.15366/reice2015.13.4.008
Hadji, C. (1994). A avaliação, regras de jogo: Das intenções aos instrumentos. Porto Editora.
Hadji, C. (1995). A avaliação dos professores. Linhas directivas para uma metodologia pertinente. Em A. Estrela e P. Rodrigues (Orgs.), Para uma fundamentação da avaliação em educação (pp. 27-50). Edições Colibri.
Levin, B. (2011). Mobilising research knowledge in education. London Review of Education, 9(1), 15-26. https://doi.org/10.1080/14748460.2011.550431
Lopes, B. (Coord.), Ferreira, C., Guerra, C., Oliveira, D., Costa, N., e Piacentini, V. (2023). Monitorização de atividades do Centro de Investigação Didática e Tecnologia na Formação de Formadores (CIDTFF): Uma análise dos artigos científicos de 2019. CIDTFF.
Marar, Z. (2022). On measuring social science impact. Organization Studies, 43(5), 821-824. https://doi.org/10.1177/01708406221086703
Marques, M. (2021). Does ‘programmification’ foresee the sustainability of research results? Discussing the effects of thematic national programmes in pedagogical innovation in higher education. Em C. Guerra, A. Franco, e M. Seabra (Eds.), Sustainable pedagogical research in higher education: The political, institutional and financial challenges (pp. 29-40). Routledge.
Mendes, A. J. C. (2017). Implementação do Modelo de Excelência da EFQM no Centro de Investigação ALGORITIMI [Dissertação de Mestrado]. Universidade do Minho.
Mertens, D. (2010). Research and evaluation in education and psychology: Integrating diversity with quantitative, qualitative, and mixed methods (3.ª edição). Sage Publications Ltd.
Muñoz-Cuenca, G. A. e Mata-Toledo, R. A. (2017, junho 8-10). The fifth generation of evaluation: evaluating for quality [Comunicação]. Hawaii University International Conferences - Science, Technology & Engineering, Arts, Mathematics & Education. Honolulu, Hawaii, USA.
Oliveira, D. (2017). Qualidade da educação em Portugal: o papel da avaliação externa de escolas [Tese de Doutoramento]. Universidade de Aveiro.
Owen, R., Macnaghten, P. e Stilgoe, J. (2012). Responsible research and innovation: From science in society to science for society, with society. Science and Public Policy, 39(6), 751-760. https://doi.org/10.1093/scipol/scs093
Patton, M. Q. (2017). Pedagogical principles of evaluation: Interpreting Freire. New Directions for Evaluation, 155, 49-77. https://doi.org/10.1002/ev.20260
Saura, G. e Bolívar, A. (2019). Sujeto académico neoliberal: Cuantificado, digitalizado y bibliometrificado. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 17(4), 9-26. https://doi.org/10.15366/reice2019.17.4.001
Stufflebeam, D. L. (2000). Foundational models for 21st century program evaluation. Em D. L. Stufflebeam, G. F. Madaus e T. Kellaghan (Eds.), Evaluation models. Viewpoints on educational and human services evaluation (pp. 33-83). Kluwer Academic Publishers.
Stufflebeam, D. L. (2001). Evaluation models. New Directions for Evaluation, 89, 7-98. https://doi.org/10.1002/ev.3
United Nations Educational, Scientific and Cultural Organization. (2016). Education 2030: Incheon declaration and framework for action. UNESCO.
Vargas, A. C., Perez, T. e Diaz, P. (2019). Avaliação de projetos e desenvolvimento do pensar avaliativo: Relato de um percurso. Estudos Em Avaliação Educacional, 30(73), 138-168. https://doi.org/10.18222/eae.v30i73.5821
Watt, B. (2021). Funded higher educational research: sustainable and influential?. Em C. Guerra, A. Franco, e M. Seabra (Eds.), Sustainable pedagogical research in higher education: The political, institutional and financial challenges (pp. 20-29). Routledge.
Worthen, B. R., e Sanders, J. R. (2003). Avaliação versus pesquisa. Em J. R. Sanders (Ed.), Introdução à avaliação de programas sociais - Coletânea de textos (pp. 34-39). Instituto Fonte.
Zapp, M., Marques, M. e Powell, J. J. W. (2018). European educational research (re)constructed: institutional change in Germany, the United Kingdom, Norway, and the European Union. Symposium Books.