Validación del California Bullying Victimization Scale en una muestra de universitarios mexicanos
Validation of the California Bullying Victimization Scale in a sample of Mexican university students
Validação da Escala de Vitimização de Bullying da Califórnia em uma amostra de estudantes universitários mexicanos
Fecha de recepción: 2021/01/04 1 Fecha de evaluación: 2022/05/24 1 Fecha de aprobación: 2022/06/17
Julio Isaac Vega-Cauich
Doctor(c) en Psicodidáctica
Profesor asociado, Facultad de Educación
Universidad Autónoma de Yucatán
Mérida, México
https://orcid.org/0000-0001-9190-3720
Edith Cisneros-Cohernour
Doctora en Ciencias
Jefe, Unidad de Posgrado e Investigación, Facultad de Educación
Universidad Autónoma de Yucatán
Mérida, México
https://orcid.org/0000-0003-2319-1519
Para citar este artículo / To reference this article / Para citar este artigo: Vega-Cauich, J., & Cisneros-Cohernour, E. (2022). Validación del California Bullying Victimization Scale en una muestra de universitarios mexicanos. Revista Criminalidad, 64(3), 9-22. https://doi.org/10.47741/17943108.363
Resumen
Muchos instrumentos de bullying no evalúan los tres componentes teóricos que lo conforman; y solo algunos instrumentos abordan el desbalance de poder. México no es la excepción. Es por ello que el propósito de este estudio es validar el California Bullying Victimization Scale (CBVS) en una muestra de estudiantes universitarios de México, al ser un instrumento que sí contempla todos sus componentes. Participaron 1116 estudiantes universitarios mayores de 18 años. Se aplicó la versión en español del CBVS junto al cuestionario de agresión reactiva y proactiva, el Inventario de Depresión de Beck y la Escala de Malestar Psicológico de Kessler. Se analizó la confiabilidad, y su estructura, así como pruebas de asociación entre el CBVS y las otras escalas. El instrumento presentó una confiabilidad alta según el alfa de Cronbach y omega de McDonald. Se encontró una estructura bifactorial, que agrupa los reactivos en violencia directa e indirecta. El instrumento presentó evidencia de validez de constructo al tener asociaciones con la agresión, la satisfacción académica, la ansiedad y el malestar psicológico. El instrumento presentó propiedades psicométricas adecuadas tanto de confiabilidad como de validez, y la estructura del test es consistente con la teoría de agresión directa e indirecta del bullying.
Palabras clave:
Violencia escolar, estudiantes universitarios (fuente: Tesauro Criminológico - Instituto Interregional de las Naciones Unidas para Investigaciones sobre la Delincuencia y la Justicia - UNICRI). Educación superior, pruebas y medición, CBVS (fuente: autores).
Abstract
Many bullying instruments do not assess the three theoretical components of bullying, and only a few instruments address the imbalance of power. Mexico is no exception. Therefore, the purpose of this study is to validate the California Bullying Victimization Scale (CBVS) in a sample of Mexican university students, as it is an instrument that does address all its components. A total of 1116 university students over 18 years of age participated. The Spanish version of the CBVS was administered together with the reactive and proactive aggression questionnaire, the Beck Depression Inventory and the Kessler Psychological Distress Scale. Reliability and structure were analyzed, as well as tests of association between the CBVS and the other scales. The instrument presented high reliability according to Cronbach’s alpha and McDonald’s omega. A bifactor structure was found, grouping the items into direct and indirect violence. The instrument presented evidence of construct validity by having associations with aggression, academic satisfaction, anxiety and psychological distress. The instrument presented adequate psychometric properties of reliability and validity, and the structure of the test is consistent with the direct and indirect aggression theory of bullying.
Keywords
School violence, university students (source: Criminological Thesaurus - United Nations Interregional Crime and Justice Research Institute- UNICRI). Higher education, testing and measurement, CBVS (source: authors).
Resumo
Muitos instrumentos de bullying não avaliam os três componentes teóricos do bullying; e apenas alguns poucos instrumentos abordam o desequilíbrio de poder. O México não é exceção. Portanto, o objetivo deste estudo é validar a Escala de Vítima de Bullying da Califórnia (CBVS) em uma amostra de estudantes universitários mexicanos, pois trata-se de um instrumento que trata de todos os seus componentes. Um total de 1116 estudantes universitários com mais de 18 anos de idade participaram. A versão espanhola da CBVS foi administrada juntamente com o questionário de agressão reativo e proativo, o Inventário de Depressão Beck e a Escala de Angústia Psicológica Kessler. Foram analisadas a confiabilidade e a estrutura, bem como os testes de associação entre a CBVS e as outras escalas. O instrumento demonstrou alta confiabilidade de acordo com o alfa do Cronbach e o ômega do McDonald›s. Foi encontrada uma estrutura de bifator, agrupando os itens em violência direta e indireta. O instrumento mostrou evidência de validade construtiva por ter associações com agressão, satisfação acadêmica, ansiedade e angústia psicológica. O instrumento apresentou propriedades psicométricas adequadas tanto de confiabilidade quanto de validade, e a estrutura do teste é consistente com a teoria de agressão direta e indireta do bullying.
Palavras-chave
Violência escolar, estudantes universitarios (fonte: Thesaurus Criminológico - United Nations Interregional Crime and Justice Research Institute - UNICRI). Ensino superior, testes e medições, CBVS (fonte: autores).
Introducción
El acoso escolar o bullying es definido como:
Cualquier comportamiento agresivo indeseado realizado por otro joven o grupo de jóvenes que no son hermanos o parejas actuales, y que involucra un desbalance de poder observado o percibido y que se repite en múltiples ocasiones o es altamente probable que se repita. El acoso escolar puede infringir daño en la víctima incluyendo daño físico, psicológico, social o educativo (Gladden et al., 2014, p. 7).
Esta definición, al igual que muchas otras, considera al menos tres componentes: una intencionalidad de hacer daño, la repetición de las conductas y el contexto de un desbalance de poder entre los involucrados (Vivolo-Kantor et al., 2014; Volk et al., 2014; Ybarra et al., 2014).
La violencia ejercida en el bullying suele ser dividida en al menos dos grandes tipos: agresión directa y agresión indirecta; esta última también conocida como agresión relacional o social (Marini et al., 2006). La agresión directa hace referencia a experiencias de bullying que ocurren de forma personal, en una interacción cara a cara, razón por la que recibe el nombre de “directa” (Harbin et al., 2019). En el caso de la agresión indirecta, está se realiza a través de otras personas o medios (p. ej. el internet), donde la agresión no necesariamente se lleva a cabo en la presencia de la víctima (Archer, 2010; Harbin et al., 2019) y donde suele emprenderse de manera encubierta y disimulada (Marini et al., 2006). Algunos autores clasifican el bullying en agresión física y verbal, sin embargo, esta distinción si bien es un eje de análisis válido, no encapsula la complejidad de la manifestación de los diversos tipos de violencia. Por ejemplo, en el caso de la agresión verbal, tanto los chismes o rumores como las insultos y amenazas integran esta categoría; pero en el caso de los chismes y rumores su expresión es más bien de tipo indirecto o relacional, pues busca incidir en las relaciones interpersonales a través de medios indirectos (como esparcir rumores para dañar la reputación de la víctima); mientras que los insultos y amenazas son más bien expresiones verbales de tipo directo que suelen ser manifestadas en interacciones cara a cara. Además de que la clasificación directa o indirecta ha sido respaldada por varios estudios empíricos (Björkqvist et al., 1992; Harbin et al., 2019), y esta clasificación pone de manifiesto cómo el tipo de violencia indirecta se percibe como más preocupante por parte de las víctimas, debido a que esta no es fácilmente identificada por la autoridad escolar (Nelson et al., 2018), por lo que puede tener efectos a más largo plazo (Marini et al., 2006).
El problema del bullying afecta a uno de cada tres estudiantes según las estimaciones mundiales (Modecki et al., 2014), y a uno de cada cinco estudiantes en México (Vega-Cauich, 2019), además de que puede ocasionar una serie de problemas tan diversos que pueden ir desde efectos negativos en el área académica como una baja en el aprovechamiento académico (Nakamoto & Schwartz, 2010) o la portación de armas en la escuela (Van Geel et al., 2014a) hasta consecuencias en la salud mental como problemas psicosomáticos (Gini & Pozzoli, 2013) e incluso, la ideación suicida (Van Geel et al., 2014b). En este sentido, algunos estudios señalan que estas víctimas tienen hasta 2.53 veces más posibilidades de acudir a servicios de salud mental en la adolescencia, y hasta 1.3 veces más en la adultez; lo que representa un costo a los servicios de salud que puede ser prevenible a tiempo.
En el sector educativo el impacto del bullying puede generar costos para las escuelas, pues las asignaciones presupuestales de estas muchas veces dependen de indicadores del alumnado como el desempeño o asistencia, siendo variables que se ven afectadas por el acoso escolar. Algunos estudios estiman que las escuelas de ciertos distritos de California (Estados Unidos) pueden perder hasta 276 millones de dólares al año debido al absentismo escolar cuando los estudiantes no se sienten seguros en su escuela (Baams et al., 2017). Por lo anterior, contar con instrumentos que permitan un correcto diagnóstico del acoso escolar resulta primordial, pues ello ayudará a diseñar mejores estrategias de prevención y atención, ya que toda buena intervención debe ser precedida por una adecuado diagnóstico (Crothers & Levinson, 2004).
En general, existen diversas formas de evaluar el acoso escolar que incluyen las observaciones, evaluaciones por maestros, nominaciones por pares o sociometría, y las encuestas autoinformadas (Cornell & Bandyopadhyay, 2010; Crothers & Levinson, 2004); siendo estas últimas las más utilizadas. Las encuestas autoinformadas además suelen dividirse en dos grandes categorías: los autoinformes que brindan una definición del bullying, conocido como estrategia de autorreporte basada en definición; y aquellos que buscan la operacionalización del constructo en una serie de indicadores que reflejen el acoso escolar, conocido como autorreporte basado en conductas (Felix et al., 2011; Vivolo-Kantor et al., 2014). Sin embargo, los primeros métodos tienden a tener un efecto negativo sobre el cálculo de la prevalencia, especialmente al usar el término bullying como parte del método (Felix et al., 2011; Furlong et al., 2010; Modecki et al., 2014). Con respecto al método de conductas, algunas revisiones sugieren que es frecuente que los instrumentos no incluyan el componente de desbalance de poder (Vivolo-Kantor et al., 2014), y esto ha sido también una situación presente en los estudios del bullying en México (Vega-Cauich, 2019). Lo que no representa un problema menor, pues varias investigaciones teóricas y empíricas respaldan el desbalance de poder como un elemento característico del bullying, que lo diferencia de otros tipos de violencia escolar, y que exacerba las consecuencias de este en la salud mental de quien lo padece (Ybarra et al., 2014).
El California Bullying Victimization Scale (CBVS) en contraste con otros, es un instrumento corto, libre, previamente validado en población hispanohablante de Estados Unidos y que evalúa los tres componentes del acoso escolar (Felix et al., 2011; Vivolo-Kantor et al., 2014). Fue desarrollado en la Universidad de California, en Santa Bárbara por Felix et al. (2011) con la finalidad de brindar una medida de autorreporte que evalúe diferentes modalidades de bullying, que puedan ser distinguidas del concepto de victimización por pares sin la necesidad de brindar una definición a los participantes. De igual forma, el instrumento evita el uso del término bullying en los reactivos, bajo el supuesto de que al ser un término emocionalmente cargado puede influir en el reporte o no de las conductas de acoso escolar (Modecki et al., 2014).
El instrumento evalúa los tres componentes del acoso escolar. La intencionalidad de hacer daño se contempla en la formulación de los reactivos al incluir esta intencionalidad en cada oración (p. ej.: ¿han esparcido chismes o rumores sobre ti de forma cruel y dañina?). Por su parte, la cronicidad del acoso se evalúa en la escala de respuesta, donde se brinda al estudiante cinco opciones: 1 = no durante el mes pasado; 2 = una vez el mes pasado; 3 = dos o tres veces el mes pasado; 4 = una vez a la semana; 5 = muchas veces a la semana. Finalmente, el desbalance del poder es evaluado de forma similar a como lo aborda el Swearer Bully Survey (2001), donde al estudiante se le pide compararse con su agresor en una serie de aspectos relevantes (como fuerza, tamaño, inteligencia), y responder si se considera mayor, igual o menor que su agresor en estos aspectos. El CBVS permite determinar si un alumno experimenta o expresa conductas de acoso escolar al responder que experimenta al menos algún tipo de agresión de dos a tres veces al mes o más; y que manifiesta al menos un tipo de desbalance de poder con su agresor o víctima. Este punto de corte de dos a tres veces al mes o superior es utilizado por otras pruebas como el Olweus Bully/Victim Questionnaire (Felix et al., 2011; Olweus, 2010), por lo que se considera un estándar internacional, y se encuentra validado por medio de estudios empíricos (Solberg & Olweus, 2003). Por último, la presencia de al menos un tipo de desbalance de poder se considera necesaria para poder ser valorado como acoso escolar y no otra forma de agresión (Volk et al., 2017; Ybarra et al., 2014).
Según el estudio original (Felix et al., 2011), el CBVS presenta una confiabilidad test-retest, con coeficientes de Kappa que van de 0.46 a 0.64 para la presencia de los diferentes tipos de agresión; y con una tasa de concordancia del 89.6% entre aplicaciones. La validez concurrente se evaluó con el Swearer Bully Survey, con una tasa de concordancia estadísticamente significativa del 84.5% entre los dos instrumentos. La validez predictiva se evaluó con el diagnóstico ofrecido por el CBVS y su asociación prospectiva con otras escalas como satisfacción en la vida, apego escolar y la escala de esperanza en niños, señalando una relación significativa entre el diagnóstico de acoso escolar previo, y una posterior disminución de la satisfacción con la vida, apego escolar y las puntuaciones de la escala de esperanza para niños.
Los resultados anteriores ponen de manifiesto la pertinencia de este instrumento por varias razones: (i) evalúa los tres elementos que componen al acoso escolar; (ii) es rápido y fácil de aplicar; (iii) no requiere de criterios normativos dado que se basa en criterios internacionalmente aceptados para el diagnóstico del acoso escolar; (iv) evalúa agresión sexual, que típicamente no es evaluada en otras escalas y que resulta especialmente relevante para niveles educativos superiores; (v) entrega resultados adecuados de confiabilidad; y (vi) provee niveles adecuados de validez con otros criterios externos y con variables relacionadas con el acoso escolar.
Si bien, como ya se mencionó, el CBVS cuenta con evidencia adecuada de validez y confiabilidad, hacen falta algunos elementos adicionales que brinden más información al respecto: su consistencia interna y la validez de constructo de la estructura de los ítems.
En primera instancia se tiene evidencia de confiabilidad test-retest, y aunque Atik y Guneri (2012) han proporcionado evidencia de confiabilidad por medio de la consistencia interna, lo hicieron a través del alfa de Cronbach, un índice que en la actualidad no se considera la mejor opción para determinar la confiabilidad de un instrumento debido a los rigurosos supuestos que requiere, como la Tau-equivalencia (McNeish, 2018); por lo que hoy por hoy se recomienda el uso de otros índices de confiabilidad compuesta como el omega de McDonald, el Greatest Lower Bound (GLB), o bien la varianza media extraída. A diferencia del alfa de Cronbach, estos índices no requieren que los ítems tengan varianzas iguales, y por tanto permiten considerar la aportación de cada ítem en la confiabilidad total de la escala.
En segundo lugar, es importante tener en cuenta la estructura teórica de la escala dado que los estudios previos no han hecho este análisis (Atik & Guneri, 2012; Felix et al., 2011). Los estudios clásicos (Björkqvist et al., 1992) y los más recientes (Harbin et al., 2019) indican que los instrumentos de bullying suelen tener un estructura bifactorial dividida en indicadores de agresión directa e indirecta, por lo que resultaría necesario conocer si el CBVS es consistente con esta estructura empírica, pues se ha visto que los diversos tipos de violencia suelen estar asociados a diferentes mecanismos de desconexión moral, es decir, razonamientos que justifican el uso de la violencia (Bjärehed et al., 2020).
Es por todo lo anterior que el presente trabajo busca adaptar y validar este cuestionario para su uso con población de estudiantes mexicanos, a través del análisis de confiabilidad y de validez de la estructura y de constructo.
Método
Diseño
Se llevó a cabo un estudio analítico, de alcance correlacional, de corte transversal y retrospectivo.
Muestra
La muestra total estuvo conformada por 1.116 estudiantes de nivel superior mayores de 18 años y sin límite de edad para su participación. La muestra fue seleccionada en tres fases a través de muestreos no probabilísticos de tipo intencional, recogiendo en cada una de ellas información adicional con los otros instrumentos para la validación del CBVS. En la primera fase se seleccionaron 200 alumnos, en la segunda 339, y en la tercera y última fase 577 alumnos. Los criterios de inclusión fueron ser estudiante de nivel superior actualmente inscrito, de segundo ciclo (semestre o cuatrimestre) o más y tener 18 años o más. De todos estos, 505 participantes fueron mujeres (45.5%), y 605 hombres (54.5%), con un promedio de edad de 19.82 (± 2) años, con un rango que va desde los 18 años hasta los 39 años. 503 estudiantes eran de escuelas públicas (46.7%) y 574 de escuelas privadas (53.3%).
Variables e instrumentos
Acoso escolar: para evaluar el bullying se utilizó el CBVS. Este instrumento evalúa el constructo de acoso escolar, al identificar los tres elementos que lo componen: la intención u objetivo de causar un daño, las agresiones por un periodo prolongado de tiempo y la existencia de un desbalance de poder entre víctima y agresor (Felix et al., 2011). El instrumento evalúa la intención de hacer daño al incluirlo en la redacción de cada uno de los reactivos, evitando utilizar términos sensibles como acoso o bullying. El CBVS incluye ocho reactivos que evalúan ser golpeado, esparcir rumores, ser ignorado, entre otros, tanto en su forma de victimización como en agresión. Se proveen opciones de respuesta en una escala ordinal de cinco puntos (0 = nunca; 1 = una vez el mes pasado; 2 = dos o tres veces el mes pasado; 3 = una vez a la semana; 4 = varias veces a la semana). Para evaluar el componente del desbalance de poder, el CBVS también les pregunta a los estudiantes qué tan populares, inteligentes, y fuertes son (entre otras características relevantes) al compararse con el agresor o la víctima. El CBVS permite determinar el bullying al identificar aquellos casos que respondieron haber experimentado algún tipo de agresión al menos dos o tres veces durante el último mes (Solberg & Olweus, 2003), y que además manifiestan al menos un tipo de desbalance de poder entre la víctima y el agresor. En estudios previos, el CBVS reportó tener una confiabilidad test-retest de 0.71 (Felix et al., 2011) y una consistencia interna que va de 0.72 a 0.83 (Atik & Guneri, 2012; You et al., 2008).
Agresión: para evaluar la agresión se utilizó el Cuestionario de Agresión Reactiva y Proactiva (Andreu et al., 2009; Raine et al., 2006), un instrumento de 23 reactivos que evalúa la motivación instrumental (proactiva) y hostil (reactiva) de la agresión, utilizando una escala tipo Likert de tres opciones de respuesta. En su versión original presenta una consistencia interna que va de 0.81 hasta 0.91; mientras que en su versión en español va de 0.84 hasta 0.91. Para este estudio, se reportan niveles de consistencia adecuados, con una α = 0.87 y un Ω = 0.88.
Calificaciones: el desempeño escolar se midió a partir del uso de las calificaciones de los alumnos en el ciclo escolar inmediato anterior al momento de la aplicación del CBVS. Las calificaciones han sido consideradas de manera ampliamente aceptadas como un indicador del desempeño escolar. Se ha visto que incluso se asocia con otros indicadores de desempeño escolar como las pruebas de aprovechamiento (Tuñón & Poy, 2016).
Satisfacción escolar: se considera a esta variable la evaluación cognitivo-afectiva de la satisfacción con la experiencias escolar; y fue evaluada a partir del instrumento propuesto por Luna-Soca (2012) en su estudio sobre satisfacción escolar. La escala propuesta por el autor tiene en cuenta cinco preguntas que evalúan la satisfacción de los estudiantes con respecto a su relación con los compañeros de clase, con el profesor, con su vida como estudiante, con el centro escolar y con las calificaciones. Las preguntas se responden con una escala que va de 0 (totalmente en desacuerdo) hasta 10 (totalmente de acuerdo). En su adaptación al español reporta una consistencia interna satisfactoria de 0.75. Para este estudio, su consistencia interna también fue satisfactoria con un valor de 0.84.
Ansiedad: para medir la ansiedad se utilizó el Inventario de Ansiedad de Beck (Beck et al., 1988), unos de los instrumentos más empleados para evaluar la ansiedad. El instrumento está compuesto por 21 reactivos de escala tipo Likert que mide constructo unidimensional. Los estudios previos señalan que tiene una confiabilidad de test-retest de 0.75, y una consistencia interna de 0.92, y que puede discriminar adecuadamente entre pacientes clínicos con trastornos de ansiedad y muestras no clínicas. El instrumento ha sido previamente validado y adaptado en México (Robles et al., 2001) donde reportó niveles de consistencia adecuados, con una α = 0.92 y un Ω = 0.92.
Malestar psicológico: se utilizó la Escala de Malestar Psicológico de Kessler K10 (Kessler et al., 2002), que ofrece una medida general y unidimensional del malestar psicológico a partir de diez ítems, con cinco opciones de respuesta tipo Likert que van de nunca hasta siempre. Estudios previos indican una consistencia interna de 0.88, y evidencia de validez al correlacionarse de manera directa y fuerte con otros constructos como la depresión (0.89) y la ansiedad (0.89). La escala ya ha sido utilizada antes en México, en su versión adaptada para España y México por el grupo Lisis, mostrando una consistencia interna de 0.90 (Romero-Abrio et al., 2019). Para este estudio se reportan niveles de consistencia adecuados, con una α = 0.75 y un Ω = 0.76.
Procedimiento
La información fue recolectada por medio de encuestas en su modalidad de lápiz y papel en los centros escolares de los participantes. Previamente se les explicó el propósito del estudio y posterior a ello, únicamente los estudiantes que firmaron el consentimiento informado respondieron la encuesta. En promedio, los participantes tardaron 25 minutos en responder.
Para el análisis de la información primero se realizaron estadísticos descriptivos para estimar las prevalencias de victimización y agresión general, así como por tipo de violencia. Luego se estimó la confiabilidad de la prueba a partir de medidas de consistencia interna como el alfa de Cronbach. También se utilizaron otros estadísticos de confiabilidad compuesta menos restrictivos en los supuestos como el omega de McDonald o el GLB; reportando tanto estimaciones puntuales como estimaciones por intervalos de confianza del 95%.
Después se analizó la validez interna y de constructo de la escala a través de análisis factorial exploratorio (AFE) y análisis factorial confirmatorio (AFC), así como mediante modelos de regresión logística. En el caso del AFE se ejecutó el AFE siguiendo las recomendaciones más recientes para ello (Lloret-Segura et al., 2014), realizando la extracción mediante mínimos cuadrados no ponderados (en específico la técnica de ejes principales), con rotación oblicua (oblimin) y reteniendo aquellos factores con la técnica de análisis paralelo.
Para el AFC se exploró una estructura bidimensional entre agresión directa e indirecta/relacional estimando de los parámetros con la matriz policórica, en vista de que los ítems tienen una escala ordinal. Esto fue realizado al aplicar el método de mínimos cuadrados ponderados diagonalizados (Li, 2016) y el método de bootstrapping con 1.000 submuestreos para las estimaciones de los intervalos de confianza del 95%.
Por último, para analizar la validez de constructo se examinó la asociación entre el resultado obtenido por el CBVS y otros constructos relacionados como la agresión, las calificaciones, la satisfacción escolar, la ansiedad y el malestar psicológico, a partir de una regresión logística binaria usando como variable de respuesta el diagnóstico de ser víctima o agresor. Se hicieron cuatro modelos, dos para la victimización y dos para la agresión, en ambos casos un modelo con asociaciones sin ajuste, y otro ajustando para controlar el efecto a la edad y el sexo de los participantes. Para todos los análisis se consideró utilizar un alfa de 0.05, empleando el software Jamovi en su versión 2.0 (The Jamovi Project, 2021).
Resultados
Se obtuvo la prevalencia de víctimas y agresores obtenidos por el instrumento. Los resultados señalan que un 15.1% (n = 169) de los participantes fueron víctimas y un 9.2% (n = 101) agresores. De forma general, en la Figura 1 se puede observar que el principal tipo de victimización que ocurre son los chismes y rumores seguidos de los insultos o burlas, la exclusión social y los comentarios sexuales; mientras que el tipo de agresión más reportado son los insultos y burlas, seguidos por los comentarios sexuales. En contraste, las amenazas y la violencia física fueron el menor tipo de violencia reportado tanto por agresores como por víctimas.
Figura 1.
Tipos de victimización y agresión específicos experimentados dos a tres veces o más en el último mes.
Confiabilidad
Se ejecutó un análisis de la confiabilidad de la escala utilizando el alfa de Cronbach, el omega de McDonald y el GLB. Los resultados muestran que se obtuvieron niveles de consistencia interna buena en ambos estadísticos tanto para la sección de victimización
(α = 0.78 [IC 95%: 0.76-0.80]; ω = 0.79 [IC 95%: 0.78-0.81]; GLB = 0.84 [IC 95%: 0.82-0.88]) como para la sección de agresión (α = 0.79 [IC 95%: 0.77-0.81];
ω = 0.80 [IC 95%: 0.73-0.85]; GLB = 0.85 [IC 95%: 0.81-0.90]); lo que sugiere que la escala reporta valores consistentes y confiables.
Validez de constructo
Validez factorial
Se analizó la estructura factorial de la escala considerando la sección de víctimas y de agresores como secciones diferentes. En ambos casos, la prueba de esfericidad de Bartlett rechazó la hipótesis de que la matriz de correlaciones es la matriz de identidad (p < 0.001), lo que sugiere la existencia de factores subyacentes. Además, la prueba de adecuación de Kaiser-Meyer-Olkin señaló un tamaño de muestra adecuado tanto para el análisis de víctimas (0.819) como para el de agresores (0.850). Los resultados de ambos modelos factoriales pueden apreciarse en la Tabla 1.
Tabla 1.
Estructura factorial de las secciones de victimización y agresión del California Bullying Victimization Scale
|
Ítem |
Modelo 1. Víctimas |
Modelo 2. Agresores |
|||
|
Factor 1 |
Factor 2 |
Factor 1 |
Factor 2 |
Factor 3 |
|
|
1. Insultos y burlas |
0.799 |
– 0.119 |
0.059 |
0.805 |
– 0.019 |
|
2. Chismes y rumores |
0.646 |
0.109 |
– 0.048 |
0.277 |
0.550 |
|
3. Exclusión social |
0.591 |
0.031 |
0.183 |
0.341 |
0.163 |
|
4. Violencia física |
0.185 |
0.316 |
0.451 |
0.117 |
0.112 |
|
5. Amenazas |
– 0.057 |
0.767 |
0.171 |
– 0.129 |
0.662 |
|
6. Comentarios sexuales |
0.529 |
0.146 |
0.750 |
0.063 |
– 0.033 |
|
7. Robo y destrucción |
0.164 |
0.436 |
0.633 |
– 0.053 |
0.072 |
|
8. Cyberbullying |
0.397 |
0.372 |
0.017 |
0.352 |
0.339 |
|
Descriptivos |
|||||
|
Autovalor |
2.56 |
0.36 |
2.77 |
0.32 |
0.12 |
|
Varianza explicada |
25.5 |
15.1 |
18.0 |
14.4 |
14.0 |
|
Varianza acumulada |
15.1 |
40.6 |
18.0 |
32.3 |
46.3 |
Tal como se observa en la Tabla 1, el modelo de victimización estuvo conformado por dos factores que explicaban hasta el 40.6% de la varianza. El primer factor de la escala de victimización hace referencia a la agresión indirecta/relacional, donde se agruparon conductas como insultos y burlas, chismes y rumores, exclusión social, comentarios sexuales y cyberbullying. El segundo factor alude a la agresión directa, incluyendo conductas como la violencia física, amenazas, robo y destrucción de pertenencias, aunque también se incluyó el ciberacoso en esta dimensión. Por su parte, el modelo de agresión estuvo conformado por tres factores: violencia directa (violencia física, comentarios sexuales, robo y destrucción de pertenencias), violencia relacional (insultos y burlas, exclusión social y cyberbullying) y violencia indirecta (chismes y rumores, amenazas y cyberbullying); todos ellos explicando hasta un 46.3% de la varianza de la agresión.
Posteriormente se realizó un AFC, planteando un modelo de dos dimensiones tanto para víctimas como para agresores (Ver Figura 2), considerando como dimensiones en ambos casos a la agresión directa e indirecta. El resultado revela un ajuste del modelo considerado bueno tanto para el caso de las víctimas (χ2 = 26.38; gl = 19; p = 0.120;
CFI = 0.986; TLI = 0.979; GFI = 0.974; RMSEA = 0.019 [IC 95%: 0.000-0.035]; SRMR = 0.071) como para el caso de los agresores (χ2 = 9.66; gl = 19; p = 0.961;
CFI = 1.00; TLI = 1.00; GFI = 0.984; RMSEA = 0.000 [IC 95%: 0.000-0.000]; SRMR = 0.056); siendo que el modelo de los agresores consideró a los insultos parte de la agresión indirecta para un mejor ajuste.
Figura 2.
Análisis factorial confirmatorio del modelo de A) víctimas y B) agresores
Nota: se reportan parámetros estandarizados, y en todos los casos las estimaciones fueron significativas con p < 0.05.
Tabla 2.
Asociación entre el diagnóstico de víctima, agresor y la agresión calificaciones, satisfacción escolar, ansiedad y distrés o malestar psicológico
|
Variable |
Modelo para víctimas |
Modelo para agresores |
||||||
|
OR |
IC 95% |
AOR |
IC 95% |
OR |
IC 95% |
AOR |
IC 95% |
|
|
Agresión |
||||||||
|
Reactiva |
1.26*** |
[1.17-1.35] |
1.26*** |
[1.18-1-35] |
1.35*** |
[1.24-1.47] |
1.35*** |
[1.24-1.47] |
|
Proactiva |
1.44*** |
[1.30-1.61] |
1.46*** |
[1.31-1.64] |
1.57*** |
[1.39-1.77] |
1.57*** |
[1.38-1.78] |
|
Académicos |
||||||||
|
Calificaciones |
0.99 |
[0.96-1.02] |
0.99 |
[0.96-1.02] |
0.97 |
[0.94-1.00] |
0.97 |
[0.94-1.01] |
|
Satisfacción |
0.81*** |
[0.71-0.91] |
0.83** |
[0.72-0.94] |
0.76*** |
[0.66-0.87] |
0.74*** |
[0.64-0.86] |
|
Salud Mental |
||||||||
|
Ansiedad |
1.05*** |
[1.03-1.08] |
1.06*** |
[1.04-1.09] |
1.04*** |
[1.02-1.07] |
1.06*** |
[1.03-1.09] |
|
Distrés |
1.09*** |
[1.07-1.12] |
1.10*** |
[1.07-1.13] |
1.07*** |
[1.04-1.10] |
1.08*** |
[1.05-1.12] |
Nota: OR = odds ratio sin ajuste; AOR = odds ratio ajustados por el efecto de la edad y el sexo de los participantes. *p < 0.05; **p < 0.01; ***p < 0.001.
Validez convergente y divergente
Tal como se aprecia en la Tabla 2, en todos los casos todas las variables estuvieron asociadas de manera significativa con el diagnóstico, a excepción de las calificaciones de los estudiantes. Es posible que esto último se deba a que no se recolectaron calificaciones a partir de registros académicos, sino a partir de la evocación que los sujetos reportaron. Todas las demás variables estuvieron asociadas tanto al ser víctima como agresor, siendo que la agresión y los problemas de salud mental estuvieron directamente asociados con el ser víctima y agresor, mientras que la satisfacción escolar estuvo inversamente asociada.
Discusión
Este estudio pudo encontrar que el CBVS es un instrumento válido y confiable. Los resultados en general fueron consistentes con otros estudios de validación y con los estudios que abordan el acoso escolar en el nivel superior de educación. Estos resultados han sido consistentes con otras investigaciones similares que encontraron que el CBVS se vincula con otros constructos similares y que por lo tanto presenta evidencia de validez de constructo.
Este estudio encontró evidencia de confiabilidad, de validez de constructo interna del instrumento, de validez de constructo con otras variables teóricamente asociadas y de validez convergente al asociarse con la escala de agresión proactiva y reactiva.
La estructura encontrada en el instrumento es similar a lo hallado en los estudios que analizan la interrelación entre los diferentes tipos de violencia que ocurren en el acoso escolar. De forma general se encuentra que la violencia directa se agrupa por sí misma, y la violencia indirecta o relacional también formó un propio grupo de conductas de agresión. Eso es similar a lo que identifican otros autores con aproximaciones parecidas que han descubierto que algunos tipos de violencia, como la violencia física, los gritos, los empujones, los golpes o las patadas suelen relacionarse entre sí; mientras que otras expresiones, como la exclusión social, el esparcir rumores, los apodos y las burlas suelen formar otro grupo (Björkqvist et al., 1992; Buelga et al., 2020; Harbin et al., 2019; Olweus, 2010; Rivers & Smith, 1994).
Por su parte, los hallazgos de las prevalencias de los diferentes tipos de conductas agresivas manifestadas por los estudiantes también son consistentes con lo reportado por la literatura en este nivel educativo. En específico se ha encontrado que los tipos de violencia indirecta y relacional son más prevalentes a medida que se avanza en el nivel superior (Hoyos de los Ríos et al., 2012; Mukhtar, 2011; Prieto-Quezada et al., 2015), mientras que son los estudiantes más jóvenes en los niveles educativos básicos los que suelen presentar violencia directa (Juvonen & Graham, 2014). En el caso de este estudio, los resultados coinciden; pues se evidenció que los insultos y burlas, así como los rumores y la exclusión social son tanto el tipo de victimización más frecuente como de agresión. Sin embargo, las prevalencias fueron menores a las encontradas en otros estudios metaanalíticos como el de Modecki et al. (2014). Es posible que ello se deba a que estas revisiones se han realizado con estudios compuestos por muestras de estudiantes en niveles educativos inferiores al superior. De hecho, esto es más similar a lo que observan Jadambaa et al. (2019) cuando toman en consideración el tipo de bullying y el tiempo de evocación después de un mes de los eventos.
El instrumento tiene adecuados niveles de consistencia interna. Similares a los encontrados en otros estudios (Atik & Guneri, 2012; Felix et al., 2011). Lo que muestra que el CBVS es un instrumento que presenta una alta confiabilidad, por lo que sus resultados pueden ser considerados consistentes. No obstante, este instrumento evalúa la presencia de acoso escolar en un margen de un mes, por lo que hay que tener en cuenta esta limitación el evaluar el constructo de forma longitudinal. Sin embargo, esto lo hace ideal para evaluar el cambio en las conductas de acoso debido a las intervenciones preventivas, por lo que se sugiere el uso de este instrumento para este propósito y no solamente para la detección del acoso escolar (Cornell & Bandyopadhyay, 2010).
Con respecto a la asociación con otros constructos, se encontró que el CBVS presentó una relación con la agresión, con la satisfacción escolar y con la salud mental de víctimas y agresores. Estas asociaciones han sido consistentes con lo que la investigación halló (Moore et al., 2017; Reijntjes et al., 2011; Varela et al., 2018), por lo que existe una evidencia más de que este instrumento sí se encuentra evaluando el acoso escolar.
Las conclusiones de este trabajo implican que ahora se cuenta con un instrumento más para evaluar el acoso escolar, y del que sabemos con certeza que evalúa los tres componentes que lo conforman. Si bien otros instrumentos en el mundo y en México ya se encargan de evaluar el concepto del acoso escolar, la realidad es que no todos examinan el desbalance de poder (Vega-Cauich, 2019; Vivolo-Kantor et al., 2014), por lo que este nuevo instrumento presenta una mayor validez de contenido que otros; especialmente al considerar el desbalance de poder como un componente importante para diferenciar el bullying de otros tipos de violencia que pueden ocurrir en los contextos escolares (Kaufman et al., 2020; Nelson et al., 2018; Ybarra et al., 2014; Younan, 2019).
Una limitación de la presente investigación es que no se trabajó con una muestra probabilística, lo que no permite la generalización de la información a toda la población, sino más bien a contextos similares a los que pertenecen los participantes. Se recomienda que para futuras investigaciones se busque la ampliación de la representatividad de este instrumento, y que se evalúe su validez convergente al aplicarse con otros instrumentos diseñados para medir el acoso escolar y la violencia que se da en los centros escolares.
Referencias
Andreu, J., Peña, E., & Ramírez, J. (2009). Cuestionario de agresión reactiva y proactiva: un instrumento de medida de la agresión en adolescentes. Revista de Psicopatología y Psicología Clínica, 14(1), 37-49.
Archer, J. (2010). What is indirect aggression in adults? En K. Österman (Ed.), Indirect and Direct Aggression (pp. 3-16). Peter Lang.
Atik, G., & Guneri, O. Y. (2012). California bullying victimization Scale: validity and reliability evidence for the Turkish middle school children. Procedia - Social and Behavioral Sciences, 46, 1237-1241. https://doi.org/10.1016/j.sbspro.2012.05.281
Baams, L., Talmage, C. A., & Russell, S. T. (2017). Economic costs of bias-based bullying. School Psychology Quarterly, 32(3), 422-433. https://doi.org/10.1037/spq0000211
Beck, A. T., Epstein, N., Brown, G., & Steer, R. A. (1988). An inventory for measuring clinical anxiety: psychometric properties. Journal of Consulting and Clinical Psychology, 56(6), 893-897. https://doi.org/10.1037/0022-006X.56.6.893
Bjärehed, M., Thornberg, R., Wänström, L., & Gini, G. (2020). Mechanisms of moral disengagement and their associations with indirect bullying, direct bullying, and pro-aggressive bystander behavior. Journal of Early Adolescence, 40(1), 28-55.
https://doi.org/10.1177/0272431618824745
Björkqvist, K., Lagerspetz, K. M. J., & Kaukiainen, A. (1992). Do girls manipulate and boys fight? Developmental trends in regard to direct and indirect aggression. Aggressive Behavior, 18(2), 117-127.
Buelga, S., Postigo, J., Martínez-Ferrer, B., Cava, M. J., & Ortega-Barón, J. (2020). Cyberbullying among adolescents: psychometric properties of the CYB-AGS cyber-aggressor scale. International Journal of Environmental Research and Public Health, 17(9). https://doi.org/10.3390/ijerph17093090
Cornell, D. G., & Bandyopadhyay, S. (2010). The assessment of bullying. En S. R. Jimerson, S. M. Swearer & D. L. Espelage (Eds.), Handbook of Bullying in Schools: An International Perspective (pp. 265-276). Routledge.
Crothers, L. M., & Levinson, E. M. (2004). Assessment of bullying: a review of methods and instruments. Journal of Counseling & Development, 82(4), 496-503. https://doi.org/10.1002/j.1556-6678.2004.tb00338.x
Felix, E. D., Sharkey, J. D., Green, J. G., Furlong, M. J., & Tanigawa, D. (2011). Getting precise and pragmatic about the assessment of bullying: the development of the California bullying victimization scale. Aggressive Behavior, 37(3), 234-247. https://doi.org/10.1002/ab.20389
Furlong, M. J., Sharkey, J. D., Felix, E. D., Tanigawa, D., & Green, J. G. (2010). Bullying assessment: a call for increased precision of self-reporting procedures. En S. R. Jimerson, S. M. Swearer & D. L. Espelage (Eds.), Handbook of Bullying in Schools: An International Perspective (pp. 329-346). Routledge.
Gini, G., & Pozzoli, T. (2013). Bullied children and psychosomatic problems: a meta-analysis. Pediatrics, 132(4), 720-729. https://doi.org/10.1542/peds.2013-0614
Gladden, R. M., Vivolo-Kantor, A., Hamburger, M. E., & Lumpkin, C. D. (comps.). (2014). Bullying surveillance among youths: uniform definitions for public health and recommended data elements. Version 1.0. Centers for Disease Control and Prevention. http://www.cdc.gov/violenceprevention/pdf/bullying-definitions-final-a.pdf
Harbin, S. M., Kelley, M. L., Piscitello, J., & Walker, S. J. (2019). Multidimensional bullying victimization scale: development and validation. Journal of School Violence, 18(1), 146-161. https://doi.org/10.1080/15388220.2017.1423491
Hoyos de los Ríos, O. L., Llanos-Martínez, M., & Valega-Mackenzie, S. J. (2012). El maltrato entre iguales por abuso de poder en el contexto universitario: incidencia, manifestaciones y estrategias de solución. Universitas Psychologica, 11(3), 793-802.
Jadambaa, A., Thomas, H. J., Scott, J. G., Graves, N., Brain, D., & Pacella, R. (2019). Prevalence of traditional bullying and cyberbullying among children and adolescents in Australia: a systematic review and meta-analysis. Australian and New Zealand Journal of Psychiatry, 53(9), 878-888. https://doi.org/10.1177/0004867419846393
Juvonen, J., & Graham, S. (2014). Bullying in schools: the power of bullies and the plight of victims. Annual Review of Psychology, 65, 159-185. https://doi.org/10.1146/annurev-psych-010213-115030
Kaufman, T. M. L., Huitsing, G., & Veenstra, R. (2020). Refining victims’ self-reports on bullying: assessing frequency, intensity, power imbalance, and goal-directedness. Social Development, 29(2), 375-390. https://doi.org/10.1111/sode.12441
Kessler, R. C., Andrews, G., Colpe, L. J., Hiripi, E., Mroczek, D. K., Normand, S.-L. T., Walters, E. E., & Zaslavsky, A. M. (2002). Short screening scales to monitor population prevalences and trends in non-specific psychological distress. Psychological Medicine, 32(6), 959-976. https://doi.org/10.1017/S0033291702006074
Li, C.-H. (2016). Confirmatory factor analysis with ordinal data: comparing robust maximum likelihood and diagonally weighted least squares. Behavior Research Methods, 48(3), 936-949. https://doi.org/10.3758/s13428-015-0619-7
Lloret-Segura, S., Ferreres-Traver, A., Hernández-Baeza, A., & Tomás-Marco, I. (2014). El análisis factorial exploratorio de los ítems: una guía práctica, revisada y actualizada. Anales de Psicología, 30(3), 1151-1169. https://doi.org/10.6018/analesps.30.3.199361
Luna-Soca, F. J. (2012). Bienestar subjetivo y satisfacción escolar en la adolescencia. Universitat de Girona.
Marini, Z. A., Dane, A. V., Bosacki, S. L., & Cura, Y. L. C. (2006). Direct and indirect bully-victims: differential psychosocial risk factors associated with adolescents involved in bullying and victimization. Aggressive Behavior, 32(6), 551-569. https://doi.org/10.1002/ab.20155
McNeish, D. (2018). Thanks coefficient alpha, We’ll take it from here. Psychological Methods, 23(3), 412-433. https://doi.org/10.1037/met0000144
Modecki, K. L., Minchin, J., Harbaugh, A. G., Guerra, N. G., & Runions, K. C. (2014). Bullying prevalence across contexts: a meta-analysis measuring cyber and traditional bullying. Journal of Adolescent Health, 55(5), 602-611. https://doi.org/10.1016/j.jadohealth.2014.06.007
Moore, S. E., Norman, R. E., Suetani, S., Thomas, H. J., Sly, P. D., & Scott, J. G. (2017). Consequences of bullying victimization in childhood and adolescence: a systematic review and meta-analysis. World Journal of Psychiatry, 7(1), 60-76. https://doi.org/10.5498/wjp.v7.i1.60
Mukhtar. (2011). Bullying of medical students. Journal of the College of Physicians and Surgeons Pakistan, 21(9), 579. https://jcpsp.pk/archive/2011/Sep2011/20.pdf
Nakamoto, J., & Schwartz, D. (2010). Is peer victimization associated with academic achievement? A meta-analytic review. Social Development, 19(2), 221-242. https://doi.org/10.1111/j.1467-9507.2009.00539.x
Nelson, H. J., Burns, S. K., Kendall, G. E., & Schonert-Reichl, K. A. (2018). The factors that influence and protect against power imbalance in covert bullying among preadolescent children at school: a thematic analysis. Journal of School Nursing, 34(4), 281-291. https://doi.org/10.1177/1059840517748417
Olweus, D. (2010). Understanding and researching bullying: some critical issues. En S. R. Jimerson, S. M. Swearer & D. L. Espelage (Eds.), Handbook of Bullying in Schools: An International Perspective (pp. 9-34). Routledge.
Prieto-Quezada, M. T., Carrillo-Navarro, J. C., & Lucio-López, L. A. (2015). Violencia virtual y acoso escolar entre estudiantes universitarios: el lado oscuro de las redes sociales. Innovación Educativa, 15(68), 33-47.
Raine, A., Dodge, K., Loeber, R., Gatzke-Kopp, L., Lynam, D., Reynolds, C., Stouthamer-Loeber, M., & Liu, J. (2006). The reactive–proactive aggression questionnaire: differential correlates of reactive and proactive aggression in adolescent boys. Aggressive Behavior, 32(2), 159-171. https://doi.org/10.1002/ab.20115
Reijntjes, A., Kamphuis, J. H., Prinzie, P., Boelen, P. A., Van Der Schoot, M., & Telch, M. J. (2011). Prospective linkages between peer victimization and externalizing problems in children: a meta-analysis. Aggressive Behavior, 37(3), 215-222. https://doi.org/10.1002/ab.20374
Rivers, I., & Smith, P. K. (1994). Types of bullying behaviour and their correlates. Aggressive Behavior, 20(5), 359-368. https://doi.org/10.1002/1098-2337(1994)20:5<359::AID-AB2480200503>3.0.CO;2-J
Robles, R., Varela, R., Jurado, S., & Páez, F. (2001). Versión mexicana del Inventario de Ansiedad de Beck: propiedades psicométricas. Revista Mexicana de Psicología, 18(2), 211-218.
Romero-Abrio, A., Martínez-Ferrer, B., Sánchez-Sosa, J. C., & Musitu, G. (2019). A psychosocial analysis of relational aggression in Mexican adolescents based on sex and age. Psicothema, 31(1), 88-93. https://doi.org/10.7334/psicothema2018.151
Solberg, M. E., & Olweus, D. (2003). Prevalence estimation of school bullying with the Olweus bully/victim questionnaire. Aggressive Behavior, 29(3), 239-268. https://doi.org/10.1002/ab.10047
Swearer, S. M. (2001). Bully Survey. Unpublished. https://cehs.unl.edu/bullyingprevention/swearer-bully-survey/
The Jamovi Project. (2021). Jamovi (2.0). [Software]. https://www.jamovi.org
Tuñón, I., & Poy, S. (2016). Factores asociados a las calificaciones escolares como proxy del rendimiento educativo. Revista Electrónica de Investigación Educativa, 18(1), 98-111.
Van Geel, M., Vedder, P., & Tanilon, J. (2014a). Bullying and weapon carrying: a meta-analysis. JAMA Pediatrics, 168(8), 714-720. https://doi.org/10.1001/jamapediatrics.2014.213
Van Geel, M., Vedder, P., & Tanilon, J. (2014b). Relationship between peer victimization, cyberbullying, and suicide in children and adolescents: a meta-analysis. JAMA Pediatrics, 168(5), 435-442. https://doi.org/10.1001/jamapediatrics.2013.4143
Varela, J. J., Zimmerman, M. A., Ryan, A. M., Stoddard, S. A., Heinze, J. E., & Alfaro, J. (2018). Life satisfaction, school satisfaction, and school violence: a mediation analysis for Chilean adolescent victims and perpetrators. Child Indicators Research, 11(2), 487-505. https://doi.org/10.1007/s12187-016-9442-7
Vega-Cauich, J. I. (2019). Prevalencia del bullying en México: un meta-análisis del bullying tradicional y cyberbullying. Diversitas: Perspectivas en Psicología, 15(1), 113-129. https://doi.org/10.15332/22563067.4020
Vivolo-Kantor, A. M., Martell, B. N., Holland, K. M., & Westby, R. (2014). A systematic review and content analysis of bullying and cyber-bullying measurement strategies. Aggression and Violent Behavior, 19(4), 423-434. https://doi.org/10.1016/j.avb.2014.06.008
Volk, A. A., Dane, A. V., & Marini, Z. A. (2014). What is bullying? A theoretical redefinition. Developmental Review, 34(4), 327-343. https://doi.org/10.1016/j.dr.2014.09.001
Volk, A. A., Veenstra, R., & Espelage, D. L. (2017). So you want to study bullying? Recommendations to enhance the validity, transparency, and compatibility of bullying research. Aggression and Violent Behavior, 36(July), 34-43. https://doi.org/10.1016/j.avb.2017.07.003
Ybarra, M. L., Espelage, D. L., & Mitchell, K. J. (2014). Differentiating youth who are bullied from other victims of peer-aggression: the importance of differential power and repetition. Journal of Adolescent Health, 55(2), 293-300. https://doi.org/10.1016/j.jadohealth.2014.02.009
You, S., Furlong, M. J., Felix, E. D., Sharkey, J. D., Tanigawa, D., & Green, J. G. (2008). Relations among school connectedness, hope, life satisfaction, and bully victimization. Psychology in the Schools, 45(5), 446-460. https://doi.org/10.1002/pits.20308
Younan, B. (2019). A systematic review of bullying definitions: how definition and format affect study outcome. Journal of Aggression, Conflict and Peace Research, 11(2), 109-115. https://doi.org/10.1108/JACPR-02-2018-0347