Creación, Desarrollo y Resultados de la Aplicación de Pruebas de Evaluación basadas en Estándares para Diagnosticar Competencias en Matemática y Lectura al ingreso a la Universidad
Resumen
El artículo presenta el proceso de creación y desarrollo de pruebas de evaluación de las competencias en Matemática y Lectura para el nivel de ingreso a la Universidad y su aplicación a los ingresantes a los Centros Universitarios Regionales de la Universidad de la República (Uruguay) que atraen a un perfil de estudiantes con vulnerabilidad social y académica. La metodología utilizada para el desarrollo de las pruebas implicó la creación y establecimiento de estándares de contenido a través de grupos de expertos. La clasificación en los estándares de desempeño se obtuvo a través de un método nuevo propuesto por García et al. (2013) basado en la Teoría de Respuesta al Ítem (TRI). Se obtuvieron dos pruebas unidimensionales, con muy buena consistencia interna, validadas y calibradas mediante TRI que clasificaron a los estudiantes en tres niveles de desempeño (insuficiente, suficiente y avanzado). El 22% superó la suficiencia en la prueba de Matemática y el 53% lo logró en la prueba de Lectura. Aunque la proporción de estudiantes que alcanzaron la suficiencia es baja, estos resultados son coherentes con otras investigaciones e impulsaron líneas de acción que incluyeron la creación de grupos académicos en Lectura y Matemática para el diseño de programas de apoyo.
Palabras clave: Pruebas diagnósticas, prueba de matemática, prueba de lectura, ingreso a la Universidad, estándares académicos.
Creation, Development and Assessment Tests Standards-based Application Results to Diagnose Math and Reading Skills to University Entrance
The article presents the process of creation and development of assessment tests in Math and Reading skills for entry level to university and its application to entrants to Regional University Centers of the University of the Republic (Uruguay) that attract a profile of students with social and academic vulnerability . Methodology used for tests development involved creation and establishment of content standards through expert groups. Performance standards’ classification was obtained through a new method proposed by Garcia et al. (2013) based on the Item Response Theory (IRT). Two one-dimensional tests were obtained, with very good internal consistency, validated and calibrated by IRT that classified students in three performance levels (insufficient, sufficient and advanced). The 22% overcame the sufficiency in Math test and 53% it reached in Reading test. Although students’ proportion of achieving proficiency is low, these results are consistent with other research and it promoted action lines that included the creation of academic groups in Reading and Mathematics for the design of support programs.
Keywords: Diagnostic tests, mathematics tests, reading tests, college admission, academic standards.
Descargas
Citas
Abad, F., Olea, J., Ponsoda, V., García, C. (2011). Medición en Ciencias Sociales y de la Salud. Madrid: Síntesis.
Altmark, S., Castrillejo, A., Debera, L. y Nalbarte, L. (2006). Elaboración de pruebas diagnósticas al ingreso a la Facultad de Ciencias Económicas y Administración DT (06/02). Recuperado de http://www.iesta.edu.uy/wp-content/uploads/2010/03/0602.pdf
ANEP. (2011). Pautas de referencias sobre niveles de lectura en español como primera lengua. Montevideo: PROLEE, Administración Nacional de Educación Pública.
Attewell, P., Heil, S. y Reisel, L. (2012). What is academic momentum? And does it matter? Educational Evaluation and Policy Analysis, 34(1), 27-44. doi:10.3102/0162373711421958
Bertoni, E. (2005). El estudiante universitario: Una aproximación al perfil de ingreso. Documento de trabajo No. 3. Montevideo: Unidad Académica, Comisión Sectorial de Enseñanza.
Bettinger, E. P. y Long, B. T. (2009). Addressing the needs of under-prepared students in higher education: Does college remediation work? The Journal of Human Resources, 44, 736-771. doi:10.1353/jhr.2009.0033
Black, P. y Wiliam, D. (1998). Inside the black box: Raising standards through classroom assessment. Phi Delta Kappan, 80(2), 139-148.
Boado, M. y Fernández, T. (2010). Trayectorias académicas y laborales de los jóvenes en Uruguay. El panel PISA 2003-2007. Montevideo: FCS-UDELAR.
Burton, N. W. (1978). Societal standards. Journal of Educational Measurement, 15(4), 263-271. doi:10.1111/j.1745-3984.1978.tb00073.x
Cizek, G. J. y Bunch, M. B. (2007). Standard setting. A guide to establishing and evaluating performance standards on tests. Thousand Oak, CA: Sage Publications.
Cizek, G. J., Bunch, M. B. y Koons, H. (2004). Setting performance standards: Contemporary methods. Educational Measurement: Issues and Practice, 23(4), 31-31. doi:10.1111/j.1745-3992.2004.tb00166.x
CollegeBoard. (2014). SAT Practice Questions Math. Recuperado de http://sat.collegeboard.org/practice/
Comisión Coordinadora del Interior. (2016a). Resolución No. 28 del 10/02/2016. Recuperado de http://www.expe.edu.uy/expe/resoluci.nsf/ed0853334a4fde3c83257c8d007f3233/426a58292b473fb503257f73004431bd?OpenDocument
Comisión Coordinadora del Interior. (2016b). Resolución No. 704 del 29/08/2016). Recuperado de http://www.expe.edu.uy/expe/resoluci.nsf/ed0853334a4fde3c83257c8d007f3233/5696d1b256ae8a15032580360052db19?OpenDocument
Comisión Coordinadora del Interior. (2016c). Resoluciones 132 y 133 del 07/03/2016). Recuperado de http://www.expe.edu.uy/expe/resoluci.nsf/ed0853334a4fde3c83257c8d007f3233/a586a2373f0d542b03257f9600608060?OpenDocument
Comisión Coordinadora del Interior. (2016d). Resolución No. 1069 del 12/12/2016. Recuperado de http://www.expe.edu.uy/expe/resoluci.nsf/ed0853334a4fde3c83257c8d007f3233/b1d92c14f5bf21ea0325808b006734eb?OpenDocument
Drasgow, F., Levine, M. V., Williams, B., McLaughlin, M. E. y Candell, G. L. (1989). Modeling incorrect responses to multiple-choice items with multilinear formula score theory. Applied Psychological Measurement, 13(3), 285-299. doi:10.1177/014662168901300309
Enrich, H., Míguez, M., Rodríguez Ayán, M. N. y Leymonié, J. (2006). Evaluación diagnóstica de las habilidades matemáticas al ingreso en las facultades del área científico-tecnológica. Montevideo: CSE, Udelar.
Ferrer, G. (2006). Estándares en educación. Implicancias en América Latina. Santiago de Chile: PREAL.
Ferrer, J. G., Valverde, G. y Esquivel, J. M. (2006). Aspectos del currículo prescrito en América Latina: Revisión de tendencias contemporáneas en currículo, indicadores de logro, estándares y otros instrumentos. Informe de trabajo. Chile: PREAL.
García, P. E., Abad, F. J., Olea, J. y Aguado, D. (2013). A new IRT-based standard setting method: Application to elath-listening. Psicothema, 25(2), 238-244.
Gil Pascual, J. A. (2016). Técnicas e instrumentos para la recogida de información. Madrid: UNED.
Gitomer, D. H., Steinber, L. S. y Mislevy, R. J. (2009). Diagnostic assessment and troubleshooting skill in an intelligent tutoring system. En P. D. Nichols, S. F. Chipman y R. L. Brennan (Eds.), Cognitively Diagnostic Assessment (pp. 73-102). Mahwah, NJ: Lawrence Erlbaum Associates.
Glaser, R. (1963). Instructional technology and the measurement of learning outcomes: Some questions. American psychologist, 18(8), 519-521. doi:10.1037/h0049294
Glass, G. V. (1978). Standards and criteria. Journal of Educational Measurement, 15(4), 237-261. doi:10.1111/j.1745-3984.1978.tb00072.x
Hambleton, R. K. (2001). Setting performance standards on educational assessments and criteria for evaluating the process. En G. J. Cizek (Ed.), Setting performance standards: Concepts, methods, and perspectives (pp. 89-116). Nueva York, NY: Lawrence Erlbaum.
Hambleton, R., Swaminathan, H. y Rogers, H. (1991). Fundamentals of Item Response Theory. Thousand Oaks, CA: Sage Publications.
Hamilton, L. S., Stecher, B. M. y Yuan, K. (2008). Standards-based reform in the United States: History, research and future directions. Los Ángeles, CA: RAND Corporation.
Hillock, P. W., Jennings, M., Roberts, A. y Scharaschkin, V. (2013). A Mathematics support programme for first-year engineering students. International Journal of Mathematical Education in Science and Technology, 44(7), 1030-1044. doi:10.1080/0020739x.2013.823251
Jornet Meliá, J. y González Such, J. (2009). Evaluación criterial: Determinación de estándares de interpretación (EE) para pruebas de rendimiento educativo. Estudios sobre Educación, 16, 103-121.
Jornet Meliá, J., González Such, J. y Suárez Rodríguez, J. (2010). Validación de los procesos de determinación de estándares de interpretación (EE) para pruebas de rendimiento educativo. Estudios sobre Educación, 19, 11-29.
Levine, M. V. y Rubin, D. B. (1979). Measuring the appropriateness of multiple-choice test scores. Journal of Educational and Behavioral Statistics, 4(4), 269-290. doi:10.2307/1164595
Lewis, D. M. y Green, D. R. (junio, 1997). The validity of performance level descriptors. Comunicación presentada en el Annual CCSSO Conference on Large Scale Assessment, Universidad de Colorado, Springs, CO.
Linn, R. (2003). Performance standards: Utility for different uses of assessments. Education Policy Analysis Archives, 11(31). Recuperado de http://epaa.asu.edu/epaa/v11n31/
Linn, R. L. y Gronlund, N. E. (2000). Measurement and assessment in teaching. Upper Saddle River, NJ: Prentice-Hall.
Míguez, M., Blasina, L. y Loureiro, S. (septiembre, 2013). Diagnóstico al ingreso en la Facultad de Ingeniería de la Universidad de la República: Matemática y variables no tradicionales. Comunicación presentada en el VII Congreso Iberoamericano de Educación Matemática, Montevideo. Recuperado de http://www.cibem7.semur.edu.uy/7/actas/pdfs/873.pdf
Mills, C. N. y Jaeger, R. M. (1988). Creating descriptions of desired student achievement when setting performance standards. En L. Hansche (Ed.), Handbook for the development of performance standards (pp. 73-86). Washington D. C.: Council of Chief State School Officers.
Muñiz, J. (1997). Introducción a la Teoría de Respuesta a los Ítems. Madrid: Pirámide.
Muñiz, J. (1998). Teoría Clásica de los Tests. Madrid: Pirámide.
Mussio, I. y Martinotti, L. (2013). Informe sobre prueba diagnóstica aplicada a estudiantes que ingresan a la Facultad de Ciencias Sociales. Recuperado de http://cienciassociales.edu.uy/departamentodeeconomia/wp-content/uploads/sites/2/2013/archivos/1213.pdf
O’Shea, M. (2005). From standards to success. Alexandria, VA: Association for Supervision and Curriculum Development.
Pérez Juste, R. (2006). Evaluación de programas educativos. Madrid: La Muralla.
Perkin, G. y Bamforth, S. (2011). A variety of approaches to the provision of mathematics help for first-year engineering undergraduates. International Journal of Electrical Engineering Education, 48(1), 80-91. doi:10.7227/ijeee.48.1.7
Prieto, G. y Delgado, A. (1996). Construcción de ítems. En J. Muñiz (Coord.), Psicometría (pp. 105-138). Madrid: Universitas.
Ravitch, D. (1996). Estándares Nacionales en Educación. Santiago de Chile: PREAL.
Reckase, M. D. (1979). Unifactor latent trait models applied to multifactor tests: Results and implications. Journal of Educational and Behavioral Statistics, 4(3), 207-230. doi:10.2307/1164671
Rodríguez, P. (2014). Oportunidades y riesgos en el acceso a la Educación Superior en el marco del Centro Universitario de la Región Este. En T. Fernández y A. Ríos (Eds.), El tránsito entre ciclos en el Educación Media y Superior de Uruguay (pp. 165-181). Montevideo: CSIC.
Rodríguez, P. (2016). Creación y establecimiento de estándares para la evaluación de la calidad de la educación superior: Un modelo adaptado a los centros universitarios de la Udelar (Tesis doctoral). Universidad Nacional de Educación a Distancia, Madrid.
Rodríguez, P. y Correa, A. (2011). Informe de las Evaluaciones Estudiantiles 2011. Evaluaciones de centro, docente y asignaturas. Maldonado: CURE.
Rodríguez, P., Correa, A. y Díaz, M. (2012). Informe sobre Evaluación Diagnóstica 2012. Maldonado: CURE.
Rodríguez, P., Díaz, M. y Correa, A. (2013). Resultados de la Evaluación Diagnóstica 2013. Maldonado: CURE.
Rodríguez, P., Díaz, M. y Correa, A. (2014). Los aprendizajes al ingreso en un Centro Universitario Regional. Intercambios, 2(1), 91-100.
Rodríguez, P., Carreño, G., Fernández, T., Figueroa, V. y Lorda, N. (2015). Evaluación diagnóstica 2015 en Matemática y Lectura. Primer informe de resultados. Montevideo: CCI.
Rodríguez, P., Figueroa, V. y Fernández, T. (2016). Evaluación de competencias al ingreso a la Universidad. Temas de Educación, 22(1).
Rupp, A., Templin, J. y Henson, R. (2010). Diagnostic measurement. Theory, methods and applications. Nueva York, NY: The Guilford Press.
Schmeiser, C. B. y Welch, C. J. (2006). Test development. En R. L. Brennan (Ed.), Educational measurement (pp. 307-353). Westport, CT: Praeger Publishers.
Sotomayor, C. y Gysling, J. (2011). Estándares y regulación de calidad de la formación de profesores: Discusión del caso chileno desde una perspectiva comparada. Calidad en la Educación. (35), 91-129. doi:10.4067/s0718-45652011000200004
Tourón, J. (2009). El establecimiento de estándares de rendimiento en los sistemas educativos. Estudios sobre Educación, 16, 127-146.
Unidad de Enseñanza de Facultad de Ciencias. (2005). Evaluación Diagnóstica de Conocimientos y Habilidades al Ingreso. Recuperado de http://ue.fcien.edu.uy/Documentos/Edich2005.pdf
Unidad de Enseñanza de Facultad de Ciencias. (2010). Evaluación Diagnóstica de Conocimientos y Habilidades al Ingreso. Recuperado de http://ue.fcien.edu.uy/Documentos/EDICH_2010_primer_informe.pdf
Unidad de Enseñanza de Facultad de Ingeniería. (UEFI). (2012). Informe de la Herramienta Diagnóstica al Ingreso. Recuperado de https://www.fing.edu.uy/sites/default/files/noticias/2012/7/5793/Informe%20final%20%20HDI2012.pdf
Zalba, M. E., Gómez de Erice, M. V., Alfonso, V., Deamici, C., Erice, X., Gutiérrez, N. B., … Sayavedra, C. (2005). Competencias para el ingreso y permanencia en la universidad: Una propuesta de articulación curricular entre el nivel superior y el nivel medio de enseñanza: La experiencia de la Universidad Nacional de Cuyo. Recuperado de http://www.cinda.cl/download/libros/Curr%C3%ADculo%20Universitario%20Basado%20en%20Competencias.pdf