La inteligencia artificial ha llegado definitivamente al corazón del debate público. El Gobierno de España ha presentado la plataforma HODIO (Huella del Odio y la Polarización), un sistema destinado a medir el discurso de odio en redes sociales mediante algoritmos de análisis automático.
La iniciativa, impulsada por el Ejecutivo presidido por Pedro Sánchez y desarrollada a través del Observatorio Español del Racismo y la Xenofobia (OBERAXE), pretende analizar millones de mensajes publicados en redes sociales para detectar tendencias de polarización y contenido discriminatorio.
En apariencia, el objetivo es incuestionable: combatir el discurso de odio en internet.
Sin embargo, la puesta en marcha de esta herramienta abre un debate que va mucho más allá de la tecnología.
La cuestión no es si el odio debe combatirse.
La cuestión es quién define qué es odio, cómo se define y bajo qué garantías jurídicas se analiza el discurso público.
Porque el sistema que pretende medir el debate social funciona mediante algoritmos cuyo funcionamiento no ha sido publicado.
Y en una democracia constitucional, la opacidad tecnológica del poder público no es un detalle menor.
Es un problema político, jurídico y democrático.
UN ALGORITMO PÚBLICO… PERO OPACO
Según la información oficial, HODIO analizará mensajes publicados en plataformas como X, Instagram, TikTok, YouTube o Facebook.
La herramienta utiliza inteligencia artificial combinada con supervisión humana para clasificar los mensajes y elaborar informes periódicos sobre el nivel de discurso de odio detectado en internet.
Además, el sistema pretende generar indicadores comparativos que permitirán evaluar el comportamiento de las plataformas digitales frente a este fenómeno.
Sin embargo, existe un aspecto fundamental que permanece sin respuesta.
El Gobierno no ha publicado:
– el modelo de inteligencia artificial utilizado
– los datos con los que se ha entrenado el sistema
– ni los criterios técnicos que determinan cuándo un mensaje es clasificado como discurso de odio
Esto significa que el algoritmo que pretende evaluar el discurso público no puede ser examinado por investigadores, periodistas o ciudadanos.
La paradoja es evidente.
Mientras las instituciones europeas exigen cada vez más transparencia a las plataformas tecnológicas, el algoritmo estatal que pretende analizar el debate social permanece fuera del escrutinio público.
INTELIGENCIA ARTIFICIAL Y LIBERTAD DE EXPRESIÓN
Este punto adquiere especial relevancia si se analiza desde la perspectiva constitucional.
La libertad de expresión está protegida en España por el artículo 20 de la Constitución, que reconoce el derecho a expresar libremente pensamientos e ideas y prohíbe expresamente la censura previa.
La jurisprudencia constitucional ha interpretado este derecho de manera amplia, porque constituye uno de los pilares del pluralismo político.
El surgimiento de sistemas algorítmicos capaces de clasificar el discurso público introduce una dimensión completamente nueva en este debate.
Cuando una inteligencia artificial categoriza mensajes como “odio”, “polarización” o “contenido problemático”, está introduciendo una capa tecnológica de interpretación del discurso social.
El algoritmo no prohíbe el mensaje.
Pero sí puede influir en cómo se interpreta ese mensaje y en cómo se gestiona el ecosistema comunicativo donde circula.
En otras palabras, el poder público puede terminar influyendo en el debate social sin intervenir directamente en el contenido del discurso.
DE LA CENSURA DIRECTA A LA INFLUENCIA ESTADÍSTICA
Las democracias contemporáneas abandonaron hace décadas los mecanismos clásicos de censura directa.
Pero la tecnología introduce una forma más sofisticada de intervención institucional en el debate público.
Un sistema que mide el nivel de odio en plataformas digitales puede generar efectos reales:
– presión institucional sobre determinadas redes sociales
– cambios en políticas de moderación de contenidos
– redefinición de lo que se considera discurso aceptable en el entorno digital
Algunos investigadores describen este fenómeno como censura estadística.
No se prohíbe un mensaje concreto.
Pero se crea una infraestructura que condiciona el ecosistema donde ese mensaje circula.
La influencia no se ejerce mediante prohibiciones, sino mediante clasificaciones algorítmicas del discurso social.
EL DESAFÍO EUROPEO: TRANSPARENCIA ALGORÍTMICA
Este problema ya ha sido identificado por las instituciones europeas.
La Unión Europea ha aprobado recientemente el Artificial Intelligence Act, el primer marco regulatorio integral sobre inteligencia artificial.
Este reglamento introduce requisitos de transparencia para los sistemas de IA que pueden afectar a derechos fundamentales.
Entre ellos:
– documentación técnica del sistema
– evaluación de riesgos
– supervisión humana efectiva
– posibilidad de auditorías independientes
Un sistema que analiza el discurso social en internet podría encajar dentro de los sistemas de alto impacto social, especialmente si sus resultados influyen en políticas públicas.
En ese caso, el funcionamiento del algoritmo debería ser auditable y verificable.
EL PROBLEMA DE LOS DATOS PERSONALES
Además de la dimensión constitucional, existe otro frente jurídico relevante: la protección de datos.
El análisis automatizado de mensajes publicados en redes sociales puede implicar tratamiento de datos personales, incluso cuando esos mensajes son públicos.
El marco jurídico aplicable es el Reglamento General de Protección de Datos (RGPD).
Este reglamento establece principios estrictos:
– limitación de finalidad
– minimización de datos
– transparencia en el tratamiento
– base jurídica clara
Un sistema que recopila y analiza grandes volúmenes de mensajes digitales debe justificar qué datos recoge, con qué finalidad y durante cuánto tiempo se almacenan.
El RGPD también impone restricciones cuando el tratamiento puede revelar opiniones políticas o ideológicas, consideradas categorías especialmente protegidas.
Un algoritmo que clasifica discursos sociales podría terminar realizando perfilado indirecto de posiciones ideológicas, lo que exige garantías jurídicas adicionales.
EL PROBLEMA TÉCNICO: LOS SESGOS DEL ALGORITMO
La detección automática del discurso de odio es uno de los desafíos más complejos de la inteligencia artificial.
Los sistemas actuales presentan varios problemas conocidos:
– dificultad para interpretar ironía o sarcasmo
– confusión entre debate político intenso y agresión verbal
– sesgos culturales o lingüísticos en los datos de entrenamiento
Esto significa que los algoritmos pueden cometer errores al clasificar mensajes.
Cuando esos errores se producen en sistemas de moderación de plataformas digitales, las consecuencias suelen limitarse al funcionamiento de una empresa.
Pero cuando se producen en sistemas públicos de análisis del discurso social, el impacto puede ser mucho mayor.
LA VIGILANCIA ALGORÍTMICA DEL DEBATE SOCIAL
El desarrollo de herramientas como HODIO introduce un fenómeno nuevo en las democracias digitales.
La observación sistemática del discurso público mediante inteligencia artificial estatal.
Este fenómeno empieza a denominarse vigilancia algorítmica del discurso.
No se trata de vigilancia individual.
Pero sí de una infraestructura tecnológica que permite medir el comportamiento comunicativo de comunidades digitales y detectar tendencias ideológicas en tiempo real.
El riesgo no necesariamente está en el uso actual del sistema.
El riesgo está en su potencial evolución futura.
EL NUEVO DESAFÍO CONSTITUCIONAL
Durante décadas, las constituciones democráticas se diseñaron pensando en decisiones humanas del poder público.
Hoy aparece un fenómeno completamente nuevo: las decisiones algorítmicas del Estado.
Cuando una administración utiliza inteligencia artificial para analizar comportamientos sociales, surge una pregunta jurídica inevitable.
¿Deben los algoritmos públicos estar sometidos al mismo nivel de control que cualquier otra actuación del poder público?
El Tribunal Constitucional ha insistido reiteradamente en que las restricciones a derechos fundamentales deben cumplir tres requisitos:
– base legal clara
– proporcionalidad
– control judicial
La inteligencia artificial introduce un nuevo desafío: cómo aplicar estos principios a sistemas tecnológicos complejos y opacos.
EL PRINCIPIO QUE DEBERÍA GUIAR EL FUTURO
Existe una regla básica en cualquier democracia constitucional.
Cuanto mayor es el poder del Estado, mayor debe ser la transparencia con la que se ejerce ese poder.
Si los gobiernos empiezan a utilizar inteligencia artificial para analizar el debate público, ese principio debería traducirse en una regla clara.
Cuanto mayor sea el impacto social del algoritmo, mayor debe ser su transparencia y control democrático.
Porque cuando los algoritmos del Estado empiezan a medir el discurso de la sociedad, la cuestión ya no es únicamente tecnológica.
Es una cuestión de libertad, derecho y democracia.
