Comprehensive Evaluation of Educational Programs: A New Theoretical Paradigm?
Keywords:
Evaluation, Comprehensive evaluation, Comprehensive sociology, Educational programs, Methodological articulation
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 3.0 Unported License.
Abstract
In the 100th anniversary of Max Weber's death, this paper explores the possibility of translating the principles of "Comprehensive Sociology" to the evaluation of educational programs. To this end, we firstly review the literature on the evaluation of educational programs and establish the relationship between the comprehensive evaluation approach and other approaches. In the second part, we develop the theoretical contribution of this work in terms of the construction of the evaluation object. In particular, special attention is dedicated to the understanding of educational programmes as social relations and the evaluation of programs based on the analysis of their logical coherence and its causal correspondence. In the third part, we define the limits to value judgments in the evaluation practice. In line with Weber, we argue that, while evaluators should not make value judgements, it does not mean that participants' value judgements cannot be evaluated. In fact, they are a central element in the evaluation approach that we present. Finally, the articulation of qualitative and quantitative techniques is proposed as the most appropriate methodological strategy given the theoretical prerogatives of comprehensive evaluation.
Downloads
References
Abellán, J. (2010). Estudio preliminar. En M. Weber (Ed.), Por qué no se deben hacer juicios de valor en la sociología y en la economía (pp. 11-55). Alianza Editorial.
Abellán, J. (2014). Estudio preliminar. En M. Weber (Ed.), Conceptos sociológicos fundamentales (pp. 11-71). Alianza Editorial.
Blanco, N. y Pirela, J. (2016). La complementariedad metodológica: Estrategia de integración de enfoques en la investigación social. Espacios Públicos, 19(45), 97-111.
Blumer, H. (1969). Symbolic interactionism. Perspective and method. University of California Press.
Bourdieu, P. (2002). El oficio de socio?logo: Presupuestos epistemolo?gicos. Siglo XXI Editores.
Burke, R., Onwuegbuzie, A. J. y Turner, L. A. (2007). Toward a definition of mixed methods research. Journal of Mixed Methods Research, 1(2), 112-133. https://doi.org/10.1177/1558689806298224
Chen, H.-T. (1990). Theory-Driven Evaluation: A Comprehensive Perspective. Sage.
Chen, H.-T. y Rossi, P. (1980). The Multi-Goal, Theory-Driven Approach to Evaluation: A Model Linking Basic and Applied Social Science. Social Forces, 59(1), 106-122. https://doi.org/10.2307/2577835
Cronbach, L. J. (1982). Designing evaluations of educational and social programs. Jossey-Bass.
Cousins, J. B. y Whitmore, E. (1998). Framing participatory evaluation. En E. Whitmore (Ed.), Understanding and practicing participatory evaluation (pp. 5-23). Jossey-Bass. https://doi.org/10.1002/ev.1114
Denzin, N. K. (1970). Sociological methods: A sourcebook. Watterworth.
Denzin, N. K. y Lincoln, Y. S. (1994). Handbook of qualitative research. Sage.
Fereday, J. y Muir-Cochrane, E. (2008). Demonstrating rigor using thematic analysis: A hybrid approach of inductive and deductive coding and theme development. International Journal of Qualitative Methods, 5(1), 80-92. https://doi.org/10.1177/160940690600500107
Fitz-Gibbon, C. T. y Morris, L. L. (1975). Theory-based evaluation. Evaluation Comment, 5(l), 1-4.
Flick, U. (2004) Introducción a la investigación cualitativa. Morata.
Guba, E. G. (1978). Toward a methodology of naturalistic inquiry in educational evaluation. University of California Press.
Howe, K. R. (2012). Mixed methods, triangulation, and causal explanation. Journal of Mixed Methods Research, 6(2), 89-96. https://doi.org/10.1177/1558689812437187
Ibáñez, J. (1986). Cuantitativo/cualitativo. En R. Reyes (Ed.), Terminología científico-social. Aproximación crítica (pp. 218-233). Anthropos.
Imbens, G. W. y Rubin, D. B. (2015). Causal Inference for Statistics, Social, and Biomedical Sciences: An Introduction. Cambridge University Press. https://doi.org/10.1017/CBO9781139025751
Kuhn, T. S. (2005). La estructura de las revoluciones científicas. Fondo de Cultura Económica de España.
Ligero, J. A. (2011). Dos métodos de evaluación: criterios y teoría del programa. Documento de Trabajo, Serie CECOD Nº15. CEU Ediciones.
Löffler, E. (1996). La modernización del Sector Público desde una perspectiva comparativa. Conceptos y métodos para evaluar y premiar. La calidad en el sector público en los países de la OCDE. Documentos INAP.
Martínez, M. (2005). El paradigma emergente: Hacia una nueva teoría de la racionalidad científica. Trillas.
Mertens, D. M. y Hesse-Biber, S. (2012). Triangulation and mixed methods research: Provocative positions. Journal of Mixed Methods Research, 6(2), 75-79. https://doi.org/10.1177/1558689812437100.
Murillo, F. J., Hidalgo, N. y Flores, S. (2016). Incidencia del contexto socio-económico en las concepciones docentes sobre evaluación. Profesorado: Revista de Curriculum y Formación del Profesorado, 20(3), 251-281.
Ortí, A. (1995). La confrontación de modelos y niveles epistemológicos en la génesis e historia de la investigación social. En J. M. Delgado y J. Gutiérrez (Eds.), Métodos y técnicas cualitativas de investigación en ciencias sociales (pp. 87-99). Síntesis.
Pratt, D. D. (1992). Conceptions of teaching. Adult Education Quarterly, 42(4), 203-220. https://doi.org/10.1177/074171369204200401
Pérez Juste, R. (2017). Evaluación de programas educativos. La Muralla.
Pérez Díaz, V. (1980). Introducción a la sociología: Concepto y método de la ciencia social en su historia. Alianza Editorial.
Remesal, A. (2011). Primary and secondary teachers’ conceptions of assessment: A qualitative study. Teaching and Teacher Education, 27(2), 472-482. https://doi.org/10.1016/j.tate.2010.09.017
Rogers, P. (2014). La teoría del cambio. Centro de Investigaciones Innocenti de Unicef.
Ruiz, C. (2008). El enfoque multimétodo en la investigación social y educativa: Una mirada desde el paradigma de la complejidad. Upel.
Scriven, M. (1998). Minimalist theory: The least theory that practice requires. American Journal of Evaluation, 19, 57–70. https://doi.org/10.1177/109821409801900105
Serrano, A., Blanco, F., Ligero, J. A., Alvira, F., Escobar, M. y Saén, A. (2009). La investigación multimétodo. Recuperado de https://eprints.ucm.es/30034/1/araceli%20serrano%20articulacion_metodologica._serrano_blanco_alvira.pdf
Shadish, W. R. (1998). Evaluation theory is who we are. American Journal of Evaluation, 19, 1-19. https://doi.org/10.1177/109821409801900102
Shadish, W. R., Cook, T. D. y Leviton, L. C. (1991). Foundations of program evaluation: Theories of practice. Sage. https://doi.org/10.1177/109821409801900102
Shadish, W. R., Cook, T. D. y Campbell, D. T. (2002). Experimental and quasi-experimental designs for generalized causal inference. Houghton Mifflin.
Shavelson, R. J. y Towne, L. (2002). Scientific research in education. National Research Council.
Suchman, E. (1967). Evaluative research. Russell Sage Foundation.
Stake, R. E. (1976). A theoretical statement of responsive evaluation. Studies in Educational Evaluation, 2, 19–22. https://doi.org/10.1016/0191-491X(76)90004-3
Stake, R. E. (1994). Case studies. En N. K. Denzin y Y. S. Lincoln (Eds.), Handbook of qualitative research (pp. 236–247). Sage.
Stake, R. E. (1995). The art of case study research. Sage.
Stake, R. E. (2006). Evaluación comprensiva y evaluación basada en estándares. Graó.
Stufflebeam, D. L. (2003). The CIPP model for evaluation. En T. Kellaghan y D. L. Stufflebeam (Eds.), International handbook of educational evaluation (pp. 31-62). Kluwer. https://doi.org/10.1007/978-94-010-0309-4_4
Stufflebeam, D. L. y Coryn, C. L. S. (2014). Evaluation theory, models, and applications. Jossey Bass.
Thompson, A. G. (1992). Teachers' beliefs and conceptions: A synthesis of the research. En D.A. Grouws (Ed.), Handbook of research on mathematics teaching and learning (pp. 127-146). Macmillan.
Weber, M. (2009). La "objetividad" del conocimiento en la ciencia social y en la política social. Alianza Editorial.
Weber, M. (2010). Por qué no se deben hacer juicios de valor en la sociología y en la economía. Alianza Editorial
Weber, M. (2014). Conceptos sociológicos fundamentales. Alianza Editorial.
Weiss, C. H. (1972). Evaluation research: Methods for assessing program eflectiveness. Prentice Hall.
Weiss, C.H. (1997). Theory-Based Evaluation: Past, Present and Future. Jossey-Bass Publishers. https://doi.org/10.1002/ev.1086