En Gaza, los sistemas algorítmicos han generado listas de objetivos a eliminar con hasta 37.000 personas, y máquinas sin conciencia están tomando decisiones de vida o muerte en fracciones de segundo. No se trata de ciencia ficción: los sistemas de armas letales autónomas, más conocidos como “robots asesinos”, forman parte de la realidad actual. También se están utilizando en Ucrania y fueron presentados en el reciente desfile militar en China. Los Estados los están utilizando para obtener una ventaja competitiva en la guerra y, a medida que los integran en sus cadenas militares de destrucción, parecen mostrar una confianza excesiva en su capacidad para mantener un control total. La sociedad civil exige la prohibición de las armas que presentan los riesgos más elevados, así como una regulación estricta de todas las demás.

La tecnología y su despliegue

Los sistemas de armas autónomas son armas que, una vez activadas por un ser humano, seleccionan y atacan objetivos sin ninguna intervención humana adicional. A diferencia de los drones, operados por un ser humano que aprieta el gatillo, estos sistemas toman decisiones de vida o muerte mediante algoritmos, procesando datos procedentes de sensores como el reconocimiento facial, las firmas térmicas y los patrones de movimiento, para identificar perfiles de objetivos preprogramados y disparar automáticamente cuando se detecta una coincidencia.

Los sistemas de armas autónomas pueden operar en el aire, en tierra, en el agua y en el espacio, y pueden desplegarse en conflictos armados, control de fronteras y operaciones policiales. Sus efectos ya son visibles. La campaña militar de Israel ha sido escenario del primer caso de genocidio asistido por IA. Las fuerzas armadas israelíes han desplegado múltiples sistemas algorítmicos de selección de objetivos, entre ellos The Gospel y Lavender, que generan listas de objetivos humanos e identifican infraestructuras para bombardear, y Where’s Daddy (“Dónde está papá”) que rastrea a presuntas figuras de Hamás para matarlas cuando se encuentran en casa con sus familias.

Los sistemas de IA carecen de emociones y de cualquier barrera psicológica que limite el comportamiento humano, como la vacilación, la reflexión moral y la preocupación por las consecuencias. No pueden aproximarse al juicio humano, interpretar situaciones complejas ni comprender el contexto, e ignoran el valor de la vida humana.

Como no dudan y toman decisiones a una velocidad asombrosa, los sistemas de IA tienen el potencial de agravar los conflictos. Y como basan sus decisiones en el reconocimiento de patrones y en probabilidades estadísticas, presentan un riesgo muy alto de errores. Los responsables de inteligencia israelíes reconocieron que Lavender tiene una tasa de error de alrededor del 10%, pero esto no impidió su despliegue a gran escala. Israel simplemente integró el fracaso como un costo aceptable. Durante las primeras semanas de su ofensiva contra Gaza, las políticas militares israelíes consideraron aceptable la muerte de entre 15 y 20 civiles por cada miembro subalterno de Hamás identificado por el algoritmo. Para los comandantes de alto rango, el costo aceptable podía superar el centenar de vidas civiles.

Una consecuencia importante de la despersonalización de la violencia es la pérdida de responsabilidad, lo que dificulta determinar quién podría ser legalmente responsable cuando las decisiones dan lugar a violaciones del derecho internacional humanitario o de los derechos humanos.

Las preocupaciones relacionadas con las armas autónomas se enmarcan en un contexto más amplio de dudas sobre la evolución de la IA, especialmente sus posibles repercusiones en el espacio cívico y los derechos humanos. A medida que la tecnología se vuelve menos costosa, se expande a todos los ámbitos, desde los campos de batalla hasta el control de fronteras y las operaciones policiales, lo que genera preocupaciones sobre su proliferación entre los gobiernos y otros actores, así como en los grupos criminales. Mientras tanto, la integración de la IA en los sistemas de vigilancia, incluidas las tecnologías de reconocimiento facial, está ampliando su alcance y eficacia. La vigilancia masiva, que se ha vuelto necesaria para desarrollar y entrenar estos sistemas, afecta el derecho a la privacidad. Los sesgos incorporados en los algoritmos también perpetúan formas de exclusión por motivos de género, raza y otras características.

Un vacío normativo

Aunque se acepta comúnmente que el derecho internacional humanitario vigente —en particular las normas sobre la distinción, la proporcionalidad y las precauciones en los ataques— se aplica a todos los sistemas de armas, existe un vacío normativo, ya que no existe ningún tratado internacional específico que prohíba o regule los sistemas de armas autónomos.

Las discusiones sobre un posible tratado llevan mucho tiempo en curso en el marco de la Convención sobre Ciertas Armas Convencionales (CAC) de la ONU. En 2013, los Estados que ratificaron la CAC acordaron iniciar debates sobre los sistemas de armas autónomos. Entre 2014 y 2016, celebraron reuniones informales de expertos y, en 2017, crearon un órgano, el Grupo de Expertos Gubernamentales sobre Sistemas de Armas Letales Autónomas, que se reúne periódicamente.

Este grupo ofrece un espacio en el que representantes gubernamentales, expertos jurídicos, especialistas militares y organizaciones de la sociedad civil (OSC) pueden presentar sus puntos de vista y debatir cuestiones jurídicas y técnicas, con el objetivo de crear un nuevo protocolo de la CAC para regular los sistemas de armas autónomas, similar a los que regulan armas como las minas terrestres. Por ejemplo, el Protocolo II Enmendado regula el uso de las minas terrestres restringiéndolas de manera significativa en lugar de prohibirlas por completo. Es importante señalar que, al margen del marco de la CAC, existe otro tratado más amplio, la Convención sobre la Prohibición de las Minas Antipersona, también conocida como Tratado de Ottawa, que prohíbe las minas antipersona.

La regulación de los sistemas de armas autónomas parece seguir una trayectoria similar. El hecho de que la CAC requiera consenso para tomar decisiones permite a cualquier Estado bloquear las propuestas, y las principales potencias militares, entre ellas India, Israel, Rusia y Estados Unidos, lo han hecho de forma persistente para impedir cualquier avance. En la última sesión del Grupo de Expertos Gubernamentales, celebrada en septiembre, 42 Estados emitieron una declaración conjunta en la que afirmaban su disposición a seguir adelante. Se trató de un gran avance tras más de una década de negociaciones estancadas, pero el camino a seguir quedaba bloqueado por las principales potencias.

Para sortear estos obstáculos, la comunidad internacional recurrió a un mecanismo paralelo. En diciembre de 2023, la Asamblea General de la ONU aprobó la resolución 78/241, la primera dedicada a los sistemas de armas letales autónomas, con 152 votos a favor, cuatro en contra (Bielorrusia, India, Malí y Rusia) y 11 abstenciones. La resolución solicitaba al secretario general de la ONU que recabara las opiniones de los Estados y de otras partes interesadas sobre cómo abordar las cuestiones éticas, humanitarias, jurídicas, de seguridad y tecnológicas que plantean los sistemas de armas autónomas.

En diciembre de 2024, la Asamblea General de la ONU aprobó la resolución 79/62, con 166 votos a favor, tres en contra (Bielorrusia, Corea del Norte y Rusia) y 15 abstenciones. Esta resolución preveía la celebración de consultas informales entre los Estados miembros de la ONU. Estas consultas se llevaron a cabo en Nueva York en mayo y estaban abiertas a todos los Estados miembros y observadores de la ONU, así como a las OSC, al Comité Internacional de la Cruz Roja (CICR), a la comunidad científica y a la industria armamentística. Los debates fueron más allá del marco exclusivo del derecho internacional humanitario que caracterizaba el proceso de Ginebra, abordando dilemas éticos, implicaciones en materia de derechos humanos, amenazas a la seguridad y riesgos tecnológicos. El secretario general de la ONU, el CICR y numerosas OSC, entre ellas la campaña Stop Killer Robots, han instado a concluir las negociaciones antes de finales de 2026, dada la rapidez con la que se desarrolla la IA militar.

La campaña de la sociedad civil

Stop Killer Robots, una coalición mundial que agrupa a más de 270 OSC internacionales, regionales y nacionales, así como a socios académicos en más de 70 países, lidera la lucha por la regulación desde 2012. La campaña ha desempeñado un papel crucial en la orientación del debate, destacando los numerosos riesgos que presentan los sistemas de armas autónomas y produciendo investigaciones pertinentes sobre su evolución. La campaña se dirige a todos los tomadores de decisiones que pueden influir en esta agenda, desde el ámbito local hasta el mundial, reconociendo que la presión de la opinión pública es clave para impulsar a los líderes políticos hacia un tratado.

La campaña promueve un enfoque de dos niveles para los sistemas de armas autónomas, una propuesta que actualmente cuenta con el apoyo de más de 120 Estados. Este enfoque combina la prohibición de los tipos de sistemas de armas autónomas más problemáticos con la regulación de los demás. Si se aplicara, se prohibirían los sistemas que apuntan directamente a seres humanos, los que operan sin un control humano significativo o cuyos efectos no pueden preverse ni controlarse de manera adecuada.

Los sistemas no prohibidos serían autorizados bajo estrictas restricciones y requisitos para garantizar la rendición de cuentas, la supervisión humana, la previsibilidad y la fiabilidad. Las regulaciones podrían incluir límites en los tipos de objetivos —por ejemplo, restringirlos a objetos militares en lugar de personas— así como límites respecto a las condiciones, lugares y duración de su uso. También podrían imponer requisitos de supervisión humana y de capacidad humana para intervenir y desactivar los sistemas, así como pruebas y revisiones obligatorias antes de su despliegue.

Un momento decisivo

Ante el rápido desarrollo de la tecnología, la ONU ha pedido que se celebren negociaciones sobre un tratado jurídicamente vinculante para regular o prohibir estas armas, que debería concluirse en 2026. Esto significa que la comunidad internacional solo tiene un año para alcanzar un acuerdo que diez años de discusiones no han logrado concretar hasta ahora.

La cuestión fundamental es si se debe permitir que las máquinas tomen decisiones letales sin un control humano significativo. Los Estados que apoyan la regulación argumentan que algunas decisiones sobre el uso de la fuerza simplemente no pueden delegarse a los algoritmos. Por el contrario, los Estados que se oponen sostienen que el derecho internacional humanitario vigente es suficiente.

La tecnología no se puede desinventar, pero sí se puede controlar. Una vez que los sistemas de armas autónomas se hayan desplegado ampliamente y se haya normalizado la idea de que las máquinas decidan quién vive y quién muere, será mucho más difícil imponer restricciones. Las decisiones que se tomen (o se eviten tomar) en los próximos dos años determinarán si todavía es posible establecer límites significativos.

Para entrevistas o más información, póngase en contacto con research@civicus.org