Constructing and validating an instrument for comparing national criminal justice policies
DOI:
https://doi.org/10.47741/17943108.313Keywords:
Criminal justice, law enforcement, Comparative analysis, research methods, indicators, questionnairesAbstract
The social exclusion generated by criminal justice policies adopted by some countries regarding certain individuals (offenders, ex-offenders, defendants, or suspects) places these individuals in worse individual and social conditions pursuant to their contact with penal institutions. Measuring social exclusion is useful for comparing different national crime control systems and for estimating how exclusionary a country is. However, traditional comparisons of criminal justice policies have focused on the level of punitiveness exerted by each national criminal justice system referring to the incarceration rate per 100.000 inhabitants. As pointed out by Díez-Ripollés y GarcíaEspaña (2019), constituting all comparisons around one indicator marginalises others with stronger measurement capacity. For this reason, an instrument of 39 indicators was created by the authors using expert judgments (Díez-Ripollés & García-España, 2019). This article discusses the development of the tool in detail and how its validity and reliability were established. To validate the instrument, we surveyed 99 international experts and applied Aiken V as the main statistical procedure. Our findings suggest this instrument is valid and reliable for international comparison.
Downloads
References
Aiken, L. (1980). Content validity and reliability of single items or questionnaire. Educational and Psychological Measurement, 40, 955-959.
Aiken, L. (1985). Three coefficients for analyzing the reliability and validity of ratings. Educational and Psychological Measurement, 45, 131-142.
Blasco, J. E., López, A., & Mengual, S. (2010). Validación mediante método Delphi de un cuestionario para conocer las experiencias e interés hacia las actividades acuáticas con especial atención al windsurf. Ágora para la Educación Física y el Deporte, 12(1), 75-96.
Cabero Almenara, J., & Barroso Osuna, J. (2013). La utilización del juicio experto para la evaluación de TIC: el coeficiente de competencia experta. Bordón, 65(2), 1-14.
Casas, F. (1989). Técnicas de investigación social: los indicadores sociales y psicosociales (teoría y práctica). PPU.
Cordón, J. (2015). Analizando la V de Aiken usando el método score con hojas de cálculo. https://www.researchgate.net/publication/277556053_Analizando_la_V_de_Aiken_Usando_el_Metodo_Score_con_Hojas_de_Calculo
Crespo, T. (2007). Respuestas a 16 preguntas sobre el empleo de expertos en la investigación pedagógica. Editorial San Marcos.
Cruz, M. (2009). El método Delphi en las investigaciones educacionales. Editorial Academia.
Díez-Ripollés, J. L., & García-España, E. (2019). RIMES: An instrument to compare national criminal justice policies from the social exclusion dimension. International E-Journal of Criminal Sciences, 1(13), 1-27. https://www.ehu.eus/ojs/index.php/inecs/article/view/20866
Díez-Ripollés, J. L. (2011). La dimensión inclusión / exclusión social como guía de la política criminal comparada. Revista Electrónica de Ciencia Penal y Criminología (RECPC), 1312, 1-36. http://criminet.ugr.es/recpc/13/recpc13-12.pdf
Díez-Ripollés, J. L. (2013). Social inclusion and comparative criminal justice policy. Journal of Scandinavian Studies in Criminology and Crime Prevention, 14, 62-78.
Ding, C. S., & Hershberger, S. L. (2002). Assessing content validity and content equivalence using structural equation modeling. Structural Equation Modeling: A Multidisciplinary Journal, 9(2), 283-297.
Dunn, J. G., Bouffard, M., & Rogers, W. T. (1999). Assessing item content-relevance in sport psychology scale-construction research: Issues and recommendations. Measurement in Physical Education and Exercise Science, 3(1), 15-36.
Escobar-Pérez, J., & Cuervo-Martínez, A. (2008). Validez de contenido y juicio de expertos: una aproximación a su utilización. Avances en Medición, 6, 27-37.
Escurra, L. (1988) Cuantificación de la validez de contenido por criterio de jueces. Revista de Psicología, 6(1-2), 103-111. http://revistas.pucp.edu.pe/index.php/psicologia/article/view/4555
Estévez-García, J., & Pérez-García, M. J. (2007). Sistema de indicadores para el diagnóstico y seguimiento de la educación superior en México. Asociación Nacional de Universidades e Instituciones de Educación Superior.
Fowler, F. (1993). Survey research methods. Applied social research methods series (2nd ed.). Sage Publications.
Gable, R. K., & Wolf, M. B. (1993). Instrument development in the affective domain: Measuring attitudes and values in corporate and school settings. Kluwer Academic Publishers.
García-España, E., & Díez-Ripollés, J. L. (2021). La exclusión social generada por el sistema penal español: aplicación del instrumento RIMES. In-Dret, 1, 259-281.
García, L., & Fernández, S. (2008). Procedimiento de aplicación del trabajo creativo en grupo de expertos. Energética, XXIX (2), 46-50.
González Blasco, P. (1994). Medir en las ciencias sociales. In M. García Ferrando et al. (comps.), El análisis de la realidad social. Métodos y técnicas de investigación (pp. 335-364). Alianza.
Grant, J. S., & Davis, L. L. (1997). Selection and use of content experts for instrument development. Research in Nursing and Health, 20(3), 269-274.
Hernández-Sampieri, H., Fernández-Collado, C., & Baptista Lucio, P. (2006). Metodología de la investigación (4th ed.). McGraw-Hill.
Hyrkas, K., Appelqvist-Schmidlechner, K., & Oksa, L. (2003). Validating an instrument for clinical supervision using an expert panel. International Journal of Nursing Studies, 40, 619-625.
Lappi-Seppälä, T. (2007). Penal policy in Scandinavia. In Tonry (ed.), Crime, punishment and politics in comparative perspective. crime and justice (n. 36). University of Chicago Press.
Lazarsfeld, P. (1985.) De los conceptos a los índices empírico. In R. Boudon & P. Lazarsfeld (ed.), Metodología de las ciencias sociales. Laia.
López, A. (2008). La moderación de la habilidad diagnóstico patológico desde el enfoque histórico cultural para la asignatura Patología Veterinaria. Revista Pedagógica Universitaria, 13(5), 51-71.
López-Roldan, P., & Fachelli, S. (2015). Metodología de la investigación social cuantitativa. Universidad Autónoma de Cataluña.
Mehrens, W., & Lehmann, I. (1982). Medición y evaluación en la educación y en la psicología. Editorial CECSA.
Merino-Soto, C., & Livia-Segovia, J. (2009). Intervalos de confianza asimétricos para el índice la validez de contenido: un programa Visual Basic para la V de Aiken. Anales de Psicología, 25(1), 169-171.
Messick, S. (1989). Validity. In R. L. Linn (ed.), Educational measurement (pp. 13-103). American Council on Education.
Nelken, D. (2009). Comparative criminal justice: Beyond ethnocentrism and relativism. European Journal of Criminology, 6(4), 291-311.
Nunnally, J. (1973). Introducción a la Medición Psicológica. Buenos Aires: Paidós.
Oñate, M. (2001). Utilización del método Delphy en la pronosticación: una experiencia inicial. Aplicación del Método Delphy. www.rieoei.org/deloslectores/804Bravo
Penfield, R. D., & Miller, J.M. (2004). Improving content validation studies using an asymmetric confidence interval for the mean of expert ratings. Applied Measurement in Education, 77(4), 359-370.
Prieto, G., & Delgado, A. R. (2010). Fiabilidad y validez. Papeles del psicólogo, 31(1), 67-74.
Rey del Castillo, P. (2004). Nota metodológica sobre los indicadores del barómetro del CIS. REIS, 108, 151-178.
Sierra-Bravo, R. (2008). Técnicas de investigación social: teoría y ejercicios (14th ed.). Thomson Editores.
Skjong, R., & Wentworth, B. (2000). Expert judgement and risk perception. https://www.researchgate.net/publication/265032303_Expert_Judgment_and_Risk_Perception
Wacquant, L. (2000). Las cárceles de la miseria. Alianza Editorial.
Young, J. (1998). From Inclusive to Exclusive Society. In Ruggiero / South / Taylor (eds.), The new European criminology. Crime and social order in Europe. Routledge.
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2021 Revista Criminalidad
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
Licencia creative commons CC BY NC ND https://creativecommons.org/licenses/by-nc-nd/2.0/
