Visualicemos un escenario donde no solo los delincuentes o las personas consideradas peligrosas son objeto de monitoreo, sino que todos nosotros somos parte de un sistema de control constante. Lo que inicialmente fue una herramienta bélica utilizada para detectar y neutralizar amenazas en zonas de conflicto 27 Pac. McGeorge Global Bus. Y desarrollo. L.J. 17 (2014) Mátalos y arrégalo más tarde: ataques de drones de firma y derecho internacional humanitario , hoy se ha expandido para abarcar múltiples aspectos de nuestra vida cotidiana. Desde drones que registran los patrones de nuestros hábitos hasta sistemas de calificación social que evalúan nuestras acciones. La tecnología para observar y clasificar a los individuos ha dejado atrás los campos de batalla y se ha infiltrado en cada aspecto de nuestra existencia diaria.
Son indicios de los comienzos de un nuevo tipo de gobernanza, la de las empresas tecnológicas que van más allá de las fronteras (o pueden entrar en alianza con los Estados), pero que de hecho están más acá registrándonos, controlándonos, persuadiéndonos o manipulándonos desde cada dispositivo que utilizamos -lo sepamos o no. Un poder invisible y omnipresente: la IAcracia, el gobierno planetario de los gestores y dueños de la IA.
El cambio no solo transforma la naturaleza de la guerra, sino que también está reconfigurando profundamente la sociedad. Nos vemos obligados a hacer una pregunta existencial alarmante: ¿qué sacrificios estamos dispuestos a hacer por la seguridad y quién tiene el control de los datos que determinan nuestras vidas?
Hace algunos años, la CIA y otras agencias de inteligencia comenzaron a implementar una táctica denominada “ataques por firma”. En lugar de apuntar a una persona específica, estos ataques dirigidos por drones se centraban en patrones de conducta que los sistemas consideraban sospechosos. Los algoritmos analizaban metadatos como la actividad de un celular, la ubicación de un dispositivo o el uso de una tarjeta SIM. Si alguien mostraba coincidencias con estos patrones, era marcado como una amenaza y eliminado. El problema es que este método, en lugar de ser exacto, provocó miles de bajas colaterales.
La inteligencia detrás de los ataques con drones ha evolucionado desde la identificación precisa de objetivos hasta la utilización de patrones de comportamiento bajo sospecha. La estrategia, basada en probabilidades en lugar de certezas, ha resultado en un gran número de víctimas civiles inocentes. Paralelamente, la misma lógica de vigilancia y clasificación se ha trasladado a los sistemas de puntuación social, donde los algoritmos evalúan y categorizan a los ciudadanos basándose en su comportamiento, lo que pone en riesgo sus derechos y libertades.
Esta lógica de vigilancia y clasificación ha allanado el camino hacia lo que hoy conocemos como “sistemas de calificación social”. En países como China, estas herramientas tecnológicas ya están siendo utilizadas para monitorear el comportamiento de los ciudadanos. El historial financiero, las relaciones sociales e incluso las opiniones pueden ser examinados, evaluados y puntuados. En este contexto, que parece extraído de una novela distópica, las decisiones cotidianas no solo afectan la reputación de la persona, sino que también pueden limitar su acceso a derechos y servicios básicos.
Así, lo que comenzó como una táctica militar para identificar terroristas, se ha transformado en un mecanismo para evaluar la “valía” de una persona. El impacto de estos sistemas es profundo: ¿en quiénes nos convertimos cuando un algoritmo decide sobre nuestras vidas? Desde la eliminación de “sospechosos”, basada en patrones de conducta, hasta la evaluación social constante, la tecnología que alguna vez prometió mayor seguridad ahora parece estar guiándonos hacia un futuro donde la privacidad y la libertad podrían volverse cosas del pasado.
La inteligencia artificial (IA) está transformando rápidamente nuestra sociedad, pero como advierte Meredith Broussard, científica de datos y autora de “More than a Glitch”, debemos ser cautelosos al aplicar esta tecnología a problemas sociales complejos. Broussard destaca los peligros del sesgo algorítmico, la necesidad de auditorías transparentes y la importancia de no tratar a la IA como una solución mágica para problemas sociales intrincados. Su experiencia personal con un diagnóstico de cáncer asistido por IA la llevó a cuestionar la fiabilidad y la opacidad de la tecnología, mientras que su análisis del uso del reconocimiento facial por la policía revela los riesgos de vigilancia desproporcionada en comunidades vulnerables.
En última instancia, Broussard nos insta a un enfoque crítico y responsable en el desarrollo y la aplicación de la IA. Debemos recordar que la tecnología no es neutral y que sus decisiones pueden tener un impacto profundo en nuestras vidas. Para evitar perpetuar las desigualdades existentes, es crucial comprender cómo funcionan los algoritmos, identificar y mitigar sus sesgos, y priorizar la transparencia y la rendición de cuentas.
Al reflexionar sobre el uso de los algoritmos de vigilancia predictiva, Will Douglas Heaven, en su Alegato para acabar con los algoritmos de vigilancia predictivos en la policía y la justicia, pone en evidencia que resulta imposible ignorar su impacto devastador en las comunidades más vulnerables. Estos sistemas, presentados como soluciones objetivas y neutras, están lejos de ser imparciales. Aunque podrían no utilizar la raza y otros factores de calificación explícitos, emplean como variables antecedentes socioeconómicos, la educación e inclusive el código postal, que actúan como proxies que perpetúan un racismo sistémico que aún constituye una realidad determinante en nuestro mundo.
Lo más preocupante es la falta de transparencia que rodea a estas tecnologías. Sin una comprensión clara de cómo funcionan, ¿cómo podemos confiar en su capacidad para ser justas? La evidencia sugiere que, en lugar de corregir los prejuicios humanos, estos algoritmos los ocultan tras una capa de complejidad técnica. Las promesas de neutralidad se derrumban cuando examinamos más de cerca los resultados: comunidades ya marginadas son las que pagan el precio más alto, viéndose aún más vigiladas y criminalizadas.
Frente a esta realidad, nos preguntamos: ¿es ético seguir utilizando estas herramientas? Si no podemos eliminar el racismo que está arraigado en los datos con los que se entrenan, entonces la única respuesta responsable sería dejar de usarlas. Pero la solución no es tan simple como apagar un sistema. Por un lado, esa decisión radical de eliminar la tecnología, por la persistencia de sus dimensiones “oscuras”, implicaría un retroceso en los enormes avances que en otros campos ha desarrollado y continuará acrecentando en el futuro próximo. El fondo del problema no está en la tecnología – como quieren ciertas visiones apocalípticas- sino en quiénes las definen en un mercado de poder y en sus políticas de ocultamiento de datos y estrategias de entrenamiento de los algoritmos. Pero, si vamos más allá, los sesgos tecnológicos son el reflejo de ideologías y políticas de jerarquización, calificación y discriminación que perduran, bajo diferentes apariencias, desde hace milenios y que como humanidad hasta el presente no hemos logrado resolver.
Necesitamos entonces una reflexión y un cambio profundo en nuestras concepciones y políticas socioculturales que nos involucre a todos en el tipo de sociedad y gobernanza que queremos y, muy particularmente, dé lugar a las comunidades que están siendo afectadas por estas prácticas para que tengan una voz activa en las reformas necesarias. Por lo tanto, el interrogante inicial es: ¿qué tipo de sociedad aspiramos a construir en el tercer milenio con el aporte exponencial de la tecnología que tenemos a nuestro alcance?
La justicia no puede construirse sobre la base de algoritmos sesgados pero para eso -insistimos- tenemos que poner en la lupa las representaciones sociales que los alimentan. Los datos emergen de la Web e internet y son el reflejo de concepciones autocráticas que siguen vigentes en la mirada que miles de personas tienen sobre la diversidad, la diferencia y la otredad, a pesar de las tantas declaraciones universales de derechos humanos, sociales, culturales. Para que los sistemas tecnológicos de calificación social se transformen, debemos modificar críticamente los sistemas sociales de calificación. Y ello reclama, autoconciencia: cómo pensamos y “calificamos” a los otros. La educación cumple un rol central en este camino para la justicia tecnológica. Para reconocer los fallos de estas tecnologías, tenemos que reconocer nuestras limitaciones y sesgos. En el “mientras tanto”, resulta urgente implementar estrategias y prácticas para corregirlos. Sólo así, podremos aspirar a un sistema más justo, donde la IAcracia no quede en las manos de unos pocos poderosos. Y esa responsabilidad nos pertenece a todos en todos los niveles: desde las acciones individuales y colectivas hasta los organismos que arbitran las políticas nacionales e internacionales.