La tecnología que nos rodea, la que acompaña nuestro café de cada mañana y a la que recurrimos tantas veces a lo largo del día, que en principio pensamos que puede facilitarnos la vida, también puede demostrarnos que utilizada sin una regulación efectiva puede incrementar la desigualdad social, racial, económica y, desde hace unas décadas, la digital.
Con la excusa de prevenir el fraude o agilizar la prestación de servicios sociales, hay Estados que acuden a fórmulas matemáticas -algoritmos – para tomar estas decisiones pero, en contra de lo que en principio pudiera parecer, muchos de estos algoritmos ni son objetivos ni justos y muchos reproducen los estereotipos y las discriminaciones que ya existen en el mundo no digital.
¿Y en el ámbito laboral? Tampoco en este ámbito estamos a salvo de la desigualdad digital. La introducción de cámaras de vigilancia, rastreadores portátiles, sensores o cualquier herramienta que monitorice nuestro rendimiento o implante “sistemas de ranking” para localizar salarios más bajos, pueden convertirse en armas que atacan directamente derechos tan importantes como la privacidad, la protección de datos o la no discriminación.
Algoritmos y desigualdad. Subvenciones basadas en perfiles raciales. © Pexels Cottonbro Studio
1. Xenofobia en los Países Bajos: cómo un algoritmo denegó subvenciones para cuidados infantiles basándose en perfiles raciales
En el año 2013 las autoridades neerlandesas introdujeron un sistema algorítmico con el fin de detectar si las solicitudes de subvención para cuidados infantiles eran potencialmente fraudulentas. Para diseñar este sistema se incluyó el parámetro de la nacionalidad, lo que derivó en una clasificación basada en perfiles raciales, de forma que las personas que no tenían la nacionalidad neerlandesa eran automáticamente señaladas como potenciales defraudadoras. El resultado de esta práctica fue un bucle discriminatorio que suspendió las ayudas a miles de personas y las sometió a hostiles investigaciones y políticas agresivas de recuperación de los subsidios, con el consecuente daño económico, familiar y de salud mental que esto les generó.
Este hecho fue tan escandaloso, que el gobierno neerlandés se vio obligado a dimitir en pleno en enero de 2021.
En el informe “Máquinas de xenofobia” Amnistía Internacional explica el funcionamiento de este sistema discriminatorio en detalle y pone de manifiesto cómo se reforzó una latente discriminación basándose únicamente en el origen y nacionalidad de la población.
En Serbia introdujeron un sistema que automatizaba el proceso de decisión de qué personas podían acceder a asistencia social.© Pexels Godfrey Atima
2. Pobreza y discriminación en Serbia: cómo la automatización de decisiones puede discriminar a grupos vulnerables
Para recibir asistencia social en Serbia debes contar con un umbral de ingresos extremadamente bajo, que está incluso por debajo del nivel de pobreza absoluta (unos 106€ mensuales). Como si esto no fuera suficiente, en marzo de 2022 entró en vigor una ley que introdujo un sistema que automatizaba el proceso de decisión de qué personas podían acceder a asistencia social.
Esto suena tentador y puede ser considerado incluso eficiente si las decisiones tomadas de forma automática fueran siempre objetivas y justas. Pero ya sabemos que, desafortunadamente, esto no es así.
Los datos en los que se basan estas decisiones no siempre son correctos, tergiversan la situación de ingresos e incluso llegan a atribuir ingresos a personas que nunca los han tenido. Como consecuencia de esta automatización, se está perjudicando a grupos y poblaciones en situación de vulnerabilidad como la romaní o personas con discapacidad, que vieron perder de forma arbitraria estas prestaciones en Serbia por la decisión discriminatoria de un algoritmo.
El informe elaborado por Amnistía Internacional“La trampa de la automatización”, explica con mayor detalle esta nueva forma de discriminación digital.
¿Es lícito someter a las personas a vigilancia masiva indiscriminada? © Pexels Possessed Photography
3. Actuación policial predictiva: las predicciones que mostró la película Minority Report emergen en los Países Bajos
Puede sonar a una realidad lejana, futurista y distópica pero está pasando y cada vez con más frecuencia. Cada vez más, los cuerpos policiales de todo el mundo acuden a programas informáticos que usan datos y modelos algorítmicos para evaluar el riesgo y predecir si un delito va a ser cometido.
En el informe “We sense trouble”, Amnistía Internacional documenta los peligros para los derechos humanos que suponen estos proyectos emergentes de actuación policial predictiva.
En Roermond, una pequeña ciudad de los Países Bajos, se lanzó en 2019 un proyecto que tiene por finalidad prevenir delitos contra la propiedad cometidos por personas que encajan en un determinado perfil. El problema es que el perfil trazado por las autoridades neerlandesas se enfocó únicamente en personas provenientes de países de Europa del este.
La policía neerlandesa vigiló masiva e indiscriminadamente a todos los vehículos que circulaban por esta ciudad. A través de cámaras y otros sensores, se reconocían los números de matrícula de los coches y el número de ocupantes. Posteriormente, era un algoritmo el “encargado” de calcular la probabilidad de que quien conducía y/o los pasajeros del vehículo fueran potenciales ladrones o carteristas. Esta probabilidad aumentaba si la nacionalidad de estas personas se correspondía con países del este de Europa.
Se asume de forma general que el uso de estos sistemas predictivos es positivo ya que benefician la lucha contra el crimen, que redunda en una sociedad más segura. Pero, ¿es lícito usar a personas como conejillos de indias, someterlas a vigilancia masiva indiscriminada, discriminar a aquellas personas que proceden de determinados países, vulnerar sus derechos a la privacidad, la igualdad y la protección de datos, y todo ello sin ser sospechosos de ningún delito?
Los cuerpos policiales de todo el mundo recurren a programas informáticos que emplean datos y modelos algorítmicos para evaluar el riesgo y anticipar la probabilidad de que se cometa un delito. © Pexels Cottonbro Studio
¿Qué pedimos desde Amnistía Internacional?
Desde Amnistía Internacional pedimos a los Gobiernos y entidades públicas y privadas que, ante la introducción de nuevas tecnologías, incluida la inteligencia artificial en algunos sistemas de seguridad social y policial:
- Se lleven a cabo evaluaciones exhaustivas sobre el impacto que tienen en los derechos humanos estos sistemas de algoritmos e inteligencia artificial desde su diseño, hasta su despliegue y de forma continua durante su existencia.
- Se eliminen expresamente todo tipo de criterios de elegibilidad restrictivos y discriminatorios que puedan vulnerar el derecho a la no discriminación.
- Se preste una adecuada formación a las comunidades que se ven afectadas por estas nuevas tecnologías, de forma que no solo conozcan su funcionamiento, sino también las herramientas de las que disponen para evitar posibles perjuicios.
- Se establezcan protocolos o procesos de responsabilidad, rendición de cuentas y reparación de los daños a derechos humanos relacionados con el uso de sistemas algorítmicos e inteligencia artificial.
