Resumen
La objetividad es un atributo necesario que debe detallarse claramente para satisfacer los propósitos científicos de todo proyecto de evaluación en ciencias de la salud, ciencias sociales y educación, así como en cada una de las etapas de producción y uso de las pruebas estandarizadas. El valor de la objetividad para el desarrollo de las pruebas se refuerza al emplearse como herramienta de vigilancia que garantiza la neutralidad en los estímulos presentados. Se detallan cinco propiedades principales distintivas: especificidad, neutralidad, independencia, imparcialidad e impersonalidad, fundamentales para interpretar los resultados, eliminar o reducir los sesgos inducidos por la influencia de estereotipos y preferencias en el diseño del instrumento o en la apreciación de jueces, entre otros factores que pueden afectar el uso ético de los resultados de las pruebas. Se muestra que la objetividad es el primer atributo que debe definirse en una prueba estandarizada, distinguiendo las cualidades que le son propias para evitar asociarlas incorrectamente con la validez o la confiabilidad.
Palabras Claves: Objetividad, Pruebas estandarizadas, Validez, Confiabilidad.
Objectivity in Standardized Tests
Objectivity is a needed attribute of standardized tests in different areas, such as health, social sciences and education, and in each one of the phases of the development of a test, from its initial definition to the interpretation of outcomes. Objectivity ensures fairness of the test from its design up to the appraisal of the judges or evaluators and on the treatment of results, grounded on five main properties: specificity, neutrality, independence, impartiality and impersonality. Objectivity is fundamental for the interpretation of the outcomes, eliminating or reducing the presence of stereotypes and preferences that produce several types of bias that may affect the ethical use of the results of the test. Objectivity should be the first attribute to consider in a standardized test, as it improves the definition of the traits to evaluate permitting the distinction of characteristics that are mistakenly associated with validity and reliability.
Keywords: Objectivity, Standardized tests, Validity, Reliability.
Descargas
Citas
American Educational Research Association, American Psychological Association, National Council on Measurement in Educational and Psychological Testing. (2014). Standards for Educational and Psychological Testing. Washington D. C.: Autor.
American Psychological Association. (1954). Technical recommendations for psychological test and diagnostic techniques. Washington D. C.: Autor.
American Psychological Association. (1966). Standards for Educational and Psychological Test and Manual. Washington D. C.: Autor.
American Psychological Association. (2010). Ethical Principles for Psychologists and Code of Conduct. Washington D. C.: Autor.
André, N. y Loye, N. (2015). La validité psychologique: Un regard global sur le concept centenaire sa genése ses avatars. Mesure et Évaluation en Éducation, 37(3), 125-148. doi: 10.7202/1036330ar
Argibay, J. (2006). Técnicas psicométricas: Cuestiones de validez y confiabilidad. Subjetividad y Procesos Cognitivos, 8, 15-33.
Binet, A. (1910). Qu´est-ce qu´une émotion? Qu´est-ce qu´un acte intellectuel? L´Année Psycologique, 17, 1-47.
Blanco-Villaseñor, Á. (1991). La teoría de la generalizabilidad aplicada a los diseños observacionales. Revista Mexicana de Análisis de la Conducta, 17(3), 23-53.
Bond, T. y Fox, C. (2015). Applying the Rasch model: Fundamental measurement in the human sciences. Mahwah, NJ: Lawrence Erlbaum Associates.
Borsboom, D., Mellenbergh, G. J. y Heerden, J. (2004). The concept of validity. Psychological Review, 111(4), 1061-1071.
Bowen, W. G. y Bok, D. (1998). The shape of the river. Princeton, NJ: Princeton University Press.
Campbell, D. (1960). Recommendations for APA test standards regarding construct, trait or discriminate validity. American Psychologist, 15(8), 546-553.
Carvajal-Carrascal, G. (2012). Medición de fenómenos de enfermería: El reto de la validez y la confiabilidad en la investigación cuantitativa. Aquichan, 12(1).
Céspedes, V. (2009). Modelo conceptual del manejo del síntoma: Clasificación por percepción, evaluación y respuesta de mujeres con síndrome coronario agudo; originada por la construcción de un instrumento validado en Bogotá, Colombia (Tesis doctoral, Universidad Nacional de Colombia, Bogotá).
Chan, E. (2014). Standards and guidelines for validation practices: Development and evaluation of measurement instruments. En B. Zumbo y E. Chan (Eds.), Validity and validation in social, behavioral and health sciences (pp. 9-24). Nueva York, NY: Springer.
Cupani, A. (2011). Acerca de la objetividad científica. Scientiae Studia, 9(3), 501-525. doi: 10.1590/S1678-31662011000300004
Educational Testing Service. (1987). Standards for quality and fairness. Adopted by the Board of Trustees. Princeton, NJ: Autor.
Embretson, S. (2007). Construct validity: A universal validity system or just another test evaluation procedure. Educational Researcher, 36(8), 449-455. doi: 10.3102/0013189X07311600
Fox, J. y Glas, C. (2001). Bayesian estimation of a multilevel in model using Gibbs sampling. Psychometrika, 66(2), 271-288. doi: 10.1007/BF02294839
Fox, J. y Glas, C. (2003). Bayesian modeling of measurement error in predictor variables using item response theory. Psychometrika, 68(2), 169-191. doi: 10.1007/BF02294796
Froese-Germain, B. (1999). Standardized testing: Undermining equity in education. Report prepared for the National Issues in Education Initiative. Ottawa: Canadian Teachers’ Federation.
García, M. (1955). Objetividad en el conocimiento científico. Revista Cubana de Filosofía, 3(12), 21-26.
Gaukroger, S. (2012). Objectivity. A very short introduction. Oxford: Oxford University Press.
Gómez, J. e Hidalgo, M. (2003). Desarrollos recientes en Psicometría. Avances en Medición, 1(1), 17-36.
Gómez, J. e Hidalgo, M. (2005). La validez de los test, escalas y cuestionarios. La Sociología en sus Escenarios, 12, 1-14.
Gómez, J., Hidalgo, D. y Guilera, G. (2010). El sesgo de los instrumentos de medición. Test justos. Papeles del Psicólogo, 31(1), 75-84.
Guilford, J. P. (1987). Validity of measurements. En J. P. Guilford (Ed.), Fundamental statistics in psychology and education (pp. 424-458). Tokyo: McGraw-Hill - Kogakusha.
Herrenstein, R. J. y Murray, G. (1994). The Bell Curve. Intelligence and class structure in American life. Nueva York, NY: Simon y Schuster.
International Test Commission. (2014). International guidelines on the security of tests, examinations, and other assessments. Recuperado de www.intestcom.org
International Test Commission. (2016). The ITC guidelines for translating and adapting tests. Recuperado de www.intestcom.org
Jeffrey, M. (2003). Test validation: A literature review, 1-46. Florida, CA: University of Florida.
Jiménez, K. y Montero, E. (2013). Aplicación del modelo de Rasch, en el análisis psicométrico de una prueba de diagnóstico en matemáticas. Revista Digital Matemáticas, Educación e Internet, 13(1), 1-24. doi: 10.18845/rdmei.v13i1.1628
Jornet, J. y Suarez, R. (1996). Pruebas estandarizadas y evaluación del rendimiento: Usos y características métricas. Revista de Investigación Educativa, 14(2), 141-163.
Kane, M. (2008). Terminology, emphasis, and utility in validation. Educational Researcher, 37(2), 76-82. doi: 10.3102/0013189X08315390
Kelley, T. L. (1927). Proposes served by educational test. En T. Kelley (Ed.), Interpretation of educational measurements (págs. 18-43). Nueva York, NY: World Book Company Yorkers on Hudson.
Kerlinger, F. y Howard, L. (2008a). Confiabilidad. En F. Kerlinger y L. Howard (Eds.), Investigación del comportamiento. Métodos de investigación en ciencias sociales (pp. 581-602). Ciudad de México: McGraw Hill.
Kerlinger, F. y Howard, L. (2008b). Validez. En F. Kerlinger y L. Howard (Eds.), Investigación del comportamiento. Métodos de investigación en ciencias sociales (pp. 603-628). Ciudad de México: McGraw Hill.
Kimberlin, C. y Winterstein, A. (2008). Validity and reliability of measurement instruments used in research. American Journal Health-System Pharmacy, 65(1), 2276-2284. doi: 10.2146/ajhp070364
Kovač-Šebart, M. y Krek, J. (2009). Justice in the assessment of knowledge: The opinions of teachers and parents. Cracovia: AFM Publishing House.
Lane, R. (1999). Validity evidence for assessments. Reidy interactive lecture series. Pittsburgh, PA: University Pittsburgh.
Larroyo, F. (1968). El positivismo lógico. Pro y contra. Ciudad de México: Editorial Porrúa.
Linacre, J. y Wright, B. (1995). How do Rasch and 3P differ? MESA Laboratory. Chicago, IL: Kimbark.
Linacre, J. (1994). Many-facet, Rasch measurement, MESA Press. Chicago, IL: Kimbark.
Lissittz, R. y Samuelsen, K. (2007). Dialogue on validity. A suggested change in terminology and emphasis regarding validity and education. Educational Researcher, 36(8), 437-448. doi: 10.3102/0013189X07311286
Messick, S. (1993, abril). Foundation of validity: Meaning and consequences in psychological assessment. Comunicación presentada en el Second Conference of the European Association of Psychological Assessment, Groningen, Netherlands.
Messick, S. (1995). Standards of validity and the validity of standards in performance assessment. Educational Measurement: Issues and Practice, 14(4), 1-8.
Mislevy, R. (2007). Validity by design. Educational Researcher, 36(8), 463-469. Doi: 10.3102/0013189X07311660
Morales de Barbenza, C. (2001). Consideraciones acerca de la objetividad en evaluación psicológica. Interdisciplinaria, 18(2), 169-178.
Moss, P. (2007). Reconstructing validity. Educational Researcher, 36(8), 470-476.
Muñiz, J. (2010). Las teorías de los test: Teoría clásica y teoría de respuesta a los ítems. Papeles del Psicólogo, 31(1), 57-66.
Muñiz, L., Elosua, P. y Hambleton, R. (2013). Directrices para la traducción y adaptación de los test: Segunda edición. Psicothema, 25(2), 151-157.
Myers, A. y Hansen, C. H. (2002). Experimental psychology. Belmont, CA: Wadsworth Thomson Learning.
Newton, P. y Baird, J. (2016). The great validity debate. Assessment in Education: Principles, Policy & Practice, 23(2), 173-177. doi: 10.1080/0969594X.2016.1172871
Nunnally, J. y Bernstein, I. (1995). Teoría psicométrica. Ciudad de México: McGraw-Hill.
Organización para la Cooperación y el Desarrollo Económicos. (2005). PISA 2003 technical report. París: OECD Publishing.
Organización para la Cooperación y el Desarrollo Económicos. (2009). PISA 2006 technical report. París: OECD Publishing.
Organización para la Cooperación y el Desarrollo Económicos. (2010). PISA 2009 results: Learning to learn – Student engagement, strategies and practices (Volume III). París: OECD Publishing. doi:10.1787/9789264083943-en
Organización para la Cooperación y el Desarrollo Económicos. (2016). Equations and inequalities: Making mathematics accessible to all. París: OECD Publishing. doi:10.1787/9789264258495-en.
Organización para la Cooperación y el Desarrollo Económicos. (2016). Low-performing students: Why they fall behind and how to help them succeed. París: OECD Publishing. doi:10.1787/9789264250246-en.
Padilla, J., Gómez, J., Hidalgo, M. y Muñiz, J. (2006). La evaluación de las consecuencias del uso de los test en la teoría de la validez. Psicothema, 18(2), 307-312.
Phelps, R. P. (2005). Defending standardized testing. Mahwah, NJ: Lawrence Erlbaum Associates.
Prieto, G. y Delgado, A. (2003). Análisis de un test mediante el modelo de Rasch. Psicothema, 15(1), 94-100.
Prieto, G. y Delgado, A. (2010). Fiabilidad y validez. Papeles del Psicólogo, 31(1), 67-74.
Rasch, G. (1980). Probabilistic models for some intelligence and attainment tests. Chicago, IL: MESA Press.
Real Academia Española. (2016). Diccionario de la Lengua Española. Recuperado de http://dle.rae.es/?id=QmvS5XH
Ritter, N. (February, 2010). Understanding a widely misunderstood statistic: Cronbach´s alpha. Comunicación presentada en el Annual Meeting of the Southwest Educational Research Association, Nueva Orleans. Recuperado de http://files.eric.ed.gov/fulltext/ED526237.pdf
Sánchez-Meca, J., López-Pina, J. y López, J. (2009). Generalización de la fiabilidad: Un enfoque meta analítico aplicado a la fiabilidad. Fisioterapia, 31(6), 262-270.
Santiago, P., Halász, G., Levacíc, R. y Shewbridge, C. (2016) Reviews of school resources: Slovak Republic. París: OECD Publishing. doi:10.1787/9789264247567-en
Sattler, J. (2010). Niños de minorías étnicas. En J. Sattler (Ed.), Evaluación infantil. Fundamentos cognitivos (pp. 134-181). Ciudad de México: Manual Moderno.
Shavelson, R. y Webb, N. (2005). Generalizability theory. Newbury Park, CA: Sage Publications.
Shewbridge, C., Herczyński, J., Radinger, T. y Sonnemann, J. (2016). OECD reviews of school resources: Czech Republic 2016. París: OECD Publishing. doi:10.1787/9789264262379-en
Sijtsma, K. (2009). Correcting fallacies in validity, reliability, and classification. International Journal of Testing, 9, 167-194. doi: 10.1080/15305050903106883
Sireci, S. (2007). On validity theory and test validation. Educational Research, 36(8), 477-481. doi: 10.1002/9781118445112.stat06403
Sireci, S. y Padilla, J. (2014). Validating assessment: Introduction to the special section. Psicothema, 26(1), 97-99. doi: 10.7334/psicothema2013.255
Tristán, A. (1996). Nota 5: Contribución al estudio del error de medida. Kalt Criterial. Un programa de la familia Kalt. Versión 2. Guía de usuario. San Luis Potosí: IEIA.
Tristán, A. (2010). Theoretical Alpha values for objective test. Recuperado de https://www.coreprojects.org/PROMIS/PROMIS2/Sandbox/Presentations/Tristan-AlphaPresentation.pdf
Wright, B. y Mok, M. (2000). Rasch models overview. Journal of Applied Measurement, 1(1), 84-106.
Wright, B. y Stone, M. (1999). Measurement essential. Wilmington, DE: Wide Range.
Zamora, E. (2007). Evaluación objetiva de la calidad sensorial de los alimentos procesados. La Habana: Editorial Universitaria.
Zumbo, B. (2009). Validity as contextualized and pragmatic explanation, and implication for validation practice. En R. Lissitz (Ed), The concept of validity, revisions, new directions and applications (pp. 65-82). Charlotte, NC: Information Age Publishing.
Zúñiga, M. y Montero, E. (2007). Teoría G. Un futuro paradigma para el análisis de pruebas psicométricas. Anualidades en Psicología, 21(108), 117-144. doi: 10.15517/ap.v21i108.29