El odio en internet es un fenómeno complejo y extendido que abarca gran cantidad de comportamientos, víctimas y consecuencias. Sin contemplación proliferan las frases y los comentarios despectivos e hirientes contra mujeres, homosexuales, inmigrantes, así como también por el color de la piel, la religión, la sexualidad, los rasgos físicos, la discapacidad y la clase social, entre otros.
Ciberodio es la difusión de ideas, lemas, actitudes e incluso conductas por medio de la red que menosprecian, agreden o humillan a otras personas y a colectivos específicos como niños y adolescentes que empiezan a usar las redes sociales sin control ni educación previa.
Las redes sociales son la plataforma ideal para que el discurso del odio aflore y se multiplique como la espuma: como si se tratara de un espejo, el rencor prevaleciente en el mundo real y concreto se refleja en el espacio virtual de un modo más cínico, cruel y despiadado gracias a que los agresores se escudan en el anonimato para actuar con impunidad. Además muchos de sus comentarios ofensivos son aplaudidos y celebrados por la gente que mantiene la misma opinión.
El problema es tan grande y grave que gigantes de internet como Google, Facebook y Twitter (una de las redes sociales en la que es más palpable la presencia del encono) tomaron cartas en el asunto e implementan estrategias que van desde algoritmos de identificación automática de odio en internet, pasando por filtros para acotar el anonimato y el mejoramiento de mecanismos para la denuncia, hasta establecer normas comunitarias y sanciones asociadas.
En relación con esto el profesor e investigador Alexander Gelbukh y el estudiante de doctorado Segun Taofeek Aroyehun, del Instituto Politécnico Nacional (IPN), fueron reconocidos por parte de Google con el Premio de Investigación para América Latina 2020, máximo galardón que otorga esta compañía multinacional, por el desarrollo de un sistema de algoritmo que permite detectar lenguaje abusivo y de ira en internet y redes sociales.
En entrevista para Vértigo el matemático de origen ruso explica: “Es un buen logro porque se superó a investigaciones de 22 países en América Latina y se obtuvo el beneficio de una beca para continuar el desarrollo de la herramienta de detección de las expresiones inapropiadas que invaden y contaminan la red”.
Luego de casi un año de confinamiento el catedrático politécnico también ha tenido la satisfacción de que su alumno Taofeek recibiera de Microsoft el Premio de Doctorado 2020 para América Latina por esta misma investigación sobre comportamientos tóxicos en las redes sociales, en la cual el nigeriano ha tenido una determinante participación.
Para el jefe del Laboratorio de Procesamiento del Lenguaje Natural del Centro de Investigación en Computación (CIC) los premios de Microsoft y Google se lograron por la línea de investigación de su equipo, que tiene un alto impacto social y permite la detección del lenguaje improcedente y de inquina en internet y las redes sociales. “Puede ser lenguaje de odio racial o abusivo contra mujeres, homosexuales, migrantes o practicantes de alguna religión”.
Experto en Inteligencia Artificial considera que a Google le gustó la propuesta del IPN por su capacidad de acierto en la ubicación de expresiones de asedio y repugnancia en la red. “Seguramente evaluó también la trayectoria de nuestro equipo en ámbitos más amplios. Somos buenos en el procesamiento y detección de emociones, en el análisis de sentimientos en el lenguaje”.
Apagar el ciberodio
Explica que la propagación de este tipo de lenguaje y de estereotipos causa problemas sociales y para frenar este fenómeno se necesita una solución técnica: esa es la aportación que se realiza en el laboratorio de computación avanzada que él dirige.
“Para lograr una herramienta tecnológica de estas dimensiones hay que hacer muchas tareas. La detección de manifestaciones de hostilidad implica efectuar un correcto procesamiento del lenguaje. Seguimos algunos principios de la lingüística pero nosotros necesitamos procesar cientos de miles de palabras para encontrar las estructuras profundas del lenguaje relacionadas con nuestra búsqueda. Y para hacer bien el procesamiento del lenguaje hay que saber Inteligencia Artificial porque hay que verlo de manera inteligente”, puntualiza.
Convencido de que el lenguaje es algo muy humano, “creado por los humanos para los humanos”, comparte que utiliza redes neuronales porque “remotamente” son parecidas a las estructuras del cerebro humano y resultan buenas para revelar entre grandes masas de datos las expresiones agresivas o cargadas de rabia.
Dice que su trabajo es hacer un algoritmo que pueda aprender aunque después no sepa qué aprendió. Para que cumpla su tarea le da una arquitectura, una estructura y cierto número de memorias. Al algoritmo le toca definir el lugar correcto del coeficiente en la fórmula. Cuál es el lugar correcto, solo el algoritmo lo sabe. Son estadísticas puras que prueban millones de variables entre sumas, multiplicaciones y paréntesis. Todo el arte está en poner estos paréntesis, que no los pone el científico sino que los pone el algoritmo.
El docente subraya que “en la academia descubrimos las ideas, los fenómenos, los métodos y regalamos este conocimiento al mundo. La condición de ambos premios es que el conocimiento generado será del dominio público. La implementación práctica de nuestro conocimiento lo harán los ingenieros especializados de Google y Microsoft. Cómo van a usar nuestro conocimiento es un secreto comercial. Lo importante es que nuestras concepciones teóricas se convierten en cosas prácticas”.
Confiado en que se pondrá en práctica su sistema de algoritmo de identificación de expresiones de odio, cita el ejemplo de Twitter que filtra los mensajes inapropiados y pone una etiqueta a ciertos mensajes para que si alguien lo lee se dé cuenta: ojo, te manipulan; te dicen cosas inapropiadas; no las voy a prohibir porque hay libertad de expresión pero sí te voy a advertir que uses tu cabeza ante ciertos mensajes.
Sobre el futuro de esta innovación considera que “nunca será un producto terminado porque este proceso continúa. Cuando nosotros encontramos una manera de detectar que están diciendo algo inconveniente de inmediato los generadores del resentimiento encuentran la forma de decirlo de otra manera. Es como el spam. Es algo normal, como cualquier conflicto humano. Vamos a seguir porque es la línea principal de investigación de este laboratorio. Es el plan de vida de Taofeek porque el tema le apasiona y le interesa darle continuidad a este trabajo”.
Reflexiona: “Este desafecto viene en gran medida de internet; no podemos erradicarlo pero tenemos la posibilidad de suavizarlo. Tal y como hacemos con el coronavirus, nos confinamos en casa y ganamos tiempo para la llegada de vacunas y tratamientos. Apagar estas interacciones de animosidad en internet hará más lento el proceso, en el entretanto, de alcanzar una solución definitiva”.
Odio: agente supercontagioso
Según el estudio realizado en 2019 por Binny Mathew, investigador del Departamento de Ciencias de la Computación e Ingeniería del Instituto Indio de Tecnología Kharagpur, el discurso de odio en línea culmina en escenarios tan espantosos como el genocidio rohingya en Myanmar, la violencia de la mafia antimusulmana en Sri Lanka y el tiroteo en la sinagoga de Pittsburgh, entre otros.
Luego de recopilar un conjunto de datos masivos de 341 mil usuarios con 21 millones de publicaciones e investigar la difusión de las publicaciones generadas por usuarios que odian y no odian, Mathew y sus investigadores concluyeron: “Observamos que el contenido generado por los usuarios que odian tiende a extenderse más rápido, más lejos y llegar a una audiencia mucho más amplia en comparación con el contenido generado por los usuarios normales. Un hallazgo importante es que los usuarios que odian están mucho más densamente conectados entre ellos”.