La tecnología de Inteligencia Artificial (IA) existe desde hace décadas y la utilizamos intensamente desde hace años: en nuestros teléfonos inteligentes, cuando hacemos búsquedas o compras en internet, cuando escogemos qué ver en Netflix o hacemos traducciones automáticas, programamos un termostato o utilizamos el navegador de un vehículo. Pero hace poco la IA dio un gran salto adelante: adquirió la capacidad de producir un discurso notablemente similar al humano. Fue recién entonces cuando comenzó a llamar nuestra atención.

La sociedad civil, en cambio, llevaba cierto tiempo investigando y advirtiendo sobre los riesgos –para los procesos democráticos, la privacidad, la protección de datos y los derechos humanos fundamentales– causados por algoritmos opacos que reproducen estereotipos y prejuicios y el abuso liso y llano de herramientas basadas en la IA, así como por una serie de complicados problemas adicionales vinculados con la seguridad y la asignación de responsabilidades.

Impulsada por estas preocupaciones, en 2021 la Unión Europea (UE) puso en marcha un proceso para desarrollar un conjunto de normas para abordar los desafíos asociados a las tecnologías de IA y regular su desarrollo, despliegue y uso en todos sus Estados miembros. Fue cuando este proceso ya estaba en marcha que se lanzó ChatGPT, en noviembre de 2022. El avance de la IA generativa, es decir, la IA que es capaz de producir y manipular contenidos de texto, imágenes, audio y video, presentó dificultades adicionales para los negociadores, dejando en evidencia la gran delantera que lleva la tecnología en relación con los esfuerzos de regulación.

El instrumento jurídico resultante de este proceso, la Ley de IA de la UE, sigue mayormente los lineamientos defendidos por la sociedad civil en lo que respecta a basar la regulación en una clasificación por nivel de riesgo. Pero las organizaciones involucradas en el proceso manifiestan preocupación en relación con la versión actual, casi final, de la Ley de IA. Con el proceso entrando en su fase final, continúan reclamando que se completen los vacíos legales y se refuerce la protección de los derechos humanos.

Usos y riesgos

Según la definición de la Ley de IA de la UE, un sistema de IA es un tipo de software que “puede, para un conjunto determinado de objetivos definidos por el ser humano, generar resultados tales como contenidos, predicciones, recomendaciones o decisiones que influyan en los entornos con los que interactúan”. Estos sistemas incluyen piezas de software tales como motores de búsqueda, asistentes virtuales y sistemas de reconocimiento facial y de voz, así como software “incorporado” en objetos como drones, robots, vehículos y otros dispositivos.

Mucho se ha discutido sobre si “IA” es o no una designación adecuada para estos sistemas. Hay quienes afirman que tal inteligencia no es realmente artificial, sino humana, ya que depende de la producción continua de pensamiento y arte por parte de seres humanos creativos y de carne y hueso. Afirman, asimismo, tampoco es realmente inteligente, al menos no todavía y hasta donde es posible prever, ya que la inteligencia humana no puede reducirse a la mera identificación de patrones.

En cualquier caso, como ha ocurrido en el pasado con todas las tecnologías que se impusieron con éxito, la IA se está extendiendo rápidamente a causa de sus numerosos usos benignos. Gracias a su capacidad para procesar y sistematizar grandes cantidades de datos, identificar patrones y hacer predicciones, la IA está siendo utilizada en ámbitos que van desde la manufactura y el mercadeo, la producción de alimentos y energía, la agricultura y el transporte, hasta la investigación en salud, la atención médica, la administración pública, la preparación para emergencias y la mitigación de catástrofes. En la esfera de internet se la utiliza para detectar desinformación e identificar y combatir amenazas cibernéticas, entre muchas otras cosas.

Pero el punto es que los usos positivos de la IA son difícilmente inseparables de sus usos negativos. La IA puede utilizarse para repeler ataques contra los procesos democráticos y preservar la integridad de las elecciones, pero también para crear cajas de resonancia en línea, polarizar a la opinión pública, crear y difundir deepfakes, destruir reputaciones, distorsionar la toma de decisiones, manipular a los votantes, cometer fraude y reprimir a quienes se movilizan por sus derechos. Las más recientes tecnologías que los gobiernos están utilizando para identificar, acosar e intimidar manifestantes están basadas en IA.

Algunas de las posibles repercusiones negativas de la IA –como la reducción de algunas profesiones a la irrelevancia y la eliminación de categorías completas de puestos de trabajo – son similares a las que tuvieron otras tecnologías que la precedieron. Otras, sin embargo, son propias y específicas de l IA.

A la cabeza de la lista, la organización de derechos digitales Access Now destaca las violaciones de derechos humanos, que afectan de forma desproporcionada a personas de grupos excluidos, como consecuencia de sesgos de los algoritmos y falta de transparencia en la programación. Al alimentarse con datos históricos que contienen inequidades y desigualdades, la IA suele reforzar aún más el sesgo occidental y los estereotipos basados en características tales como la edad, el sexo y la clase social. Las tecnologías biométricas suelen estar diseñadas para funcionar con lo que se supone que es un cuerpo “normal”, lo cual perpetúa los prejuicios contra las personas con discapacidad, así como prejuicios raciales que pueden conducir a resultados lamentables.

Las tecnologías biométricas físicas y de comportamiento basadas en IA, como por ejemplo los sistemas de reconocimiento facial y de voz que se utilizan para identificar a las personas y hacer predicciones sobre ellas, a menudo no son tan precisas y fiables como se supone, y se prestan especialmente a usos que exceden sus aparentemente inocuos objetivos originales. Por ejemplo, un sistema biométrico de reconocimiento de voz diseñado para que el personal de salud pueda detectar trastornos mentales podría fácilmente ser utilizado por las autoridades migratorias como detector de mentiras.

Regulación

En 2021, la Comisión Europea propuso el establecimiento de un conjunto amplio de reglas para abordar los desafíos éticos y jurídicos que presentan las tecnologías de IA y regular su desarrollo, despliegue y uso en todos los Estados de la UE. El Parlamento Europeo aprobó una primera versión de la Ley de IA de la UE en junio de 2023, tras lo cual se celebró una ronda final de debates –conocida como “triálogo”– entre la Comisión, el Consejo y el Parlamento europeos.

La Comisión estaba bajo presión para concluir el proceso antes de fines de 2023, de modo que la ley pudiera someterse a votación parlamentaria antes de las elecciones para el Parlamento Europeo de 2024, previstas para junio. Aunque algunas cuestiones seguían siendo objeto de controversia, el 8 de diciembre se alcanzó un acuerdo político provisorio en torno de lo que será la primera legislación del mundo sobre IA.

El texto, aún no definitivo, fue profusamente alabado en Bruselas por supuestamente lograr el mejor equilibrio posible entre empresas y personas, aplicación de la ley y libertades, innovación y protección de derechos. Pero la sociedad civil no está de acuerdo.

En vísperas del acuerdo de la UE, una coalición global de más de 50 organizaciones de la sociedad civil y de derechos humanos de más de 30 países publicó un “Manifiesto de la sociedad civil por una IA ética”, una iniciativa para orientar las políticas de IA hacia la salvaguarda de derechos y descolonizar el discurso sobre IA. El manifiesto exigía la inclusión de la voz de la gente –y, por lo tanto, de la sociedad civil– en el proceso de elaboración de unos estándares que sean verdaderamente globales, inclusivos y responsables.

Un enfoque basado en el riesgo

La Ley de IA establece normas y obligaciones tanto más estrictas cuanto mayor sea el riesgo, tanto para las personas como para la sociedad en su conjunto. Mientras que los sistemas de IA con niveles de riesgo considerados “inaceptables” son directamente prohibidos, aquellos que son considerados de riesgo limitado solamente están sujetos a requisitos de transparencia.

Los modelos de IA generativa son considerados de riesgo limitado y, por consiguiente, deben satisfacer requisitos mínimos de transparencia para que sus usuarios puedan tomar decisiones con conocimiento de causa. Por ejemplo, los usuarios deben saber que están interactuando con IA y no con una persona real o que un determinado contenido ha sido generado por IA de modo de poder decidir si quieren interactuar con o acceder a él. Los modelos deben diseñarse de forma tal que no generen contenidos ilegales, y deben publicarse resúmenes de los datos protegidos por derechos de autor que sean utilizados para entrenar a la IA.

La Ley reconoce que el de la IA es un campo en rápida evolución y admite que los modelos de IA de propósito general de alto impacto, como el modelo más avanzado GPT-4, podrían plantear un riesgo sistémico, por lo que deberían someterse a una evaluación exhaustiva y todo incidente grave debería ser notificado.

Un peldaño más arriba en la escala de riesgo, los sistemas de IA que plantean riesgos potenciales para la salud, la seguridad, los derechos fundamentales, el medio ambiente, la democracia o el estado de derecho se califican como de alto riesgo y, por tanto, están sujetos a obligaciones más estrictas, que incluyen evaluaciones obligatorias de impacto sobre los derechos fundamentales y evaluaciones de conformidad, así como los requisitos de gobernanza de datos, registro, gestión de riesgos, gestión de calidad y transparencia, entre otros.

Esto se aplica a dos categorías de sistemas de IA: los utilizados en productos ya cubiertos por la legislación de la UE en materia de seguridad, como juguetes, automóviles y dispositivos médicos, y los que se aplican en ámbitos específicos, que deben registrarse en bases de datos separadas. Esos incluyen los que se emplean en gestión de infraestructuras críticas, educación y formación profesional, recursos humanos, contratación y gestión de trabajadores, acceso a servicios y prestaciones públicas, aplicación de la ley y migración, asilo y control de fronteras. Los sistemas de IA de alto riesgo deben ser evaluados antes de ser comercializados y a lo largo de todo su ciclo de vida.

Entre los sistemas de IA que serían prohibidos a causa de sus niveles de riesgo inaceptables figuran los que involucran manipulación cognitivo-conductual de personas o grupos vulnerables específicos, explotan las vulnerabilidades de las personas, asignan puntajes sobre la base de comportamientos sociales o características personales, reconocen emociones sobre la base de la interpretación de expresiones faciales e identifican y clasifican a las personas en función de sus datos biométricos.

Pero incluso en el caso de los sistemas de IA prohibidos por presentar riesgos inaceptables, la Ley de IA permitiría excepciones para propósitos de aplicación de la ley. La identificación biométrica remota en tiempo real, por ejemplo, podría permitirse en un número limitado de casos especialmente graves, mientras que la identificación biométrica en tiempo no real podría habilitarse con aprobación judicial para perseguir delitos graves.

El diablo en los detalles

El hecho de que el acuerdo político alcanzado el 8 de diciembre no incluyera un texto definitivo ha elevado las apuestas de las reuniones técnicas subsiguientes. Mientras continúa el proceso de definición de los detalles y preparación del texto que será sometido al Parlamento y eventualmente adoptado por el Consejo, la sociedad civil trabaja contrarreloj para lograr que se eliminen o reduzcan las excepciones y se incorporen mayores protecciones para los derechos humanos.

Las mayores preocupaciones de la sociedad civil se centran en la vigilancia masiva y el reconocimiento de emociones, así como en el uso de estos y otros sistemas basados en IA contra personas migrantes y refugiadas y personas de color.

Uno de los puntos polémicos es que la prohibición del uso de tecnologías de reconocimiento de emociones, que en un principio iba a regir en los ámbitos de la educación, el empleo, la aplicación de la ley y el sistema migratorio, acabó excluyendo a los sistemas migratorio y de aplicación de la ley. El proyecto también parece contener un peligroso vacío legal, ya que permitiría el uso de tecnologías de reconocimiento de emociones con fines médicos o de seguridad: los sistemas de “detección de agresividad” que ya están en el mercado se caracterizan por asignar a las imágenes de hombres negros un mayor nivel de agresividad que a las de hombres blancos.

También podrían producirse violaciones de derechos humanos si se modifica la intención original de prohibir incondicionalmente el uso del reconocimiento facial en vivo. Aunque el proyecto permite un uso limitado del reconocimiento facial y lo somete a salvaguardias, los grupos de derechos humanos han argumentado que debería prohibirse totalmente su uso en espacios públicos y en las fronteras, porque ninguna salvaguardia estaría en condiciones de impedir los daños a los derechos humanos, el espacio cívico y el estado de derecho que el reconocimiento facial podría llegar a infligir. La sociedad civil también critica el doble rasero implícito en el hecho de que la Ley de IA no prohíba la exportación de tecnologías de IA perjudiciales, como las utilizadas en sistemas de puntuación social, que serán ilegales en la UE.

#ProtectNotSurveil (“proteger, no vigilar”), una coalición de grupos de la sociedad civil, activistas, investigadores y otras personas que trabajan para garantizar que la Ley de IA de la UE proteja a las personas migrantes y refugiadas de los perjuicios derivados de la IA, ha advertido que éstas, así como las minorías raciales europeas, son el terreno de prueba de herramientas de vigilancia y seguimiento basadas en IA, pero que una vez que las tecnologías estén implantadas, todos nos veremos afectados. Y las implicaciones no acaban ahí, ya que la legislación europea podría tener influencia sobre la producción de un eventual régimen regulatorio a nivel global.

Para prevenir este daño, la coalición exige varios cambios en la Ley de IA de la UE. Entre ellos se cuenta la regulación estricta de todos los sistemas de IA de alto riesgo utilizados en el ámbito de la migración, y en particular de las tecnologías de vigilancia utilizadas para el control fronterizo y los controles de identidad, de modo que queden sujetos a supervisión y rendición de cuentas. Otro cambio refiere a la prohibición de sistemas de IA perjudiciales en el terreno migratorio, como los sistemas de análisis predictivo utilizados para prevenir la migración, las evaluaciones de riesgo automatizadas y los sistemas de elaboración de perfiles que afianzan el racismo y los prejuicios, los “detectores de mentiras” y otras tecnologías pseudocientíficas que pretenden inferir emociones de datos biométricos, y la identificación biométrica remota que permite la vigilancia masiva en fronteras y centros de detención.

Para la sociedad civil, la conclusión es clara: los sistemas de IA que planteen riesgos inaceptables para los derechos fundamentales y que no sean susceptibles de correcciones técnicas o salvaguardias de procedimiento deben ser lisa y llanamente prohibidos. Es demasiado que está en juego.