Robots asesinos sin líneas rojas: la ONU define las armas autónomas pero diluye su control

Entre el 31 de agosto y el 4 de septiembre tuvo lugar la reunión del Grupo de Expertos Gubernamentales (GGE) de la ONU sobre los sistemas de armas autónomas letales (LAWS en inglés). Tras cinco días de discusión, 168 Estados -incluida España- establecieron la primera definición conjunta de las armas autónomas o con IA, lo que coloquialmente se viene llamando "robots asesinos". Según el documento final de la reunión, las LAWS se caracterizan "como la combinación de una o más armas y componentes tecnológicos que, al operar juntos, pueden identificar, seleccionar y atacar un objetivo con fuerza, sin la intervención de un ser humano que opere el sistema".

Esto último, aclaran los expertos, no excluye de la definición aquellos sistemas programados por personas o cuyos objetivos también hayan sido determinados por seres humanos. Tampoco importa si estos generan daños no letales en personas o en objetos, siguen considerándose armas autónomas letales.

Para los más críticos, el documento del GGE es más llamativo por lo que omite que por lo que trata

Si bien este texto no es el definitivo -todavía debe ser ratificado por los Estados parte de la Convención sobre Ciertas Armas Convencionales (CCW)  en noviembre-, es un primer paso para avanzar hacia una normativa internacional sobre los "robots asesinos", confirma a este periódico Pere Brunet, investigador del Centre Delàs d'Estudis per la Pau. Pese al avance, Brunet no se muestra muy esperanzado con el proceso. "El interés [en regular las LAWS] que existe por parte de los Estados que fabrican, compran o utilizan sistemas autónomos o casi autónomos, es muy bajo", como evidencia "la reducción de las expectativas del informe final".

Para los más críticos, el documento aprobado por el GGE tras la reunión de septiembre es más llamativo por lo que omite que por lo que realmente aborda. Además de una definición conjunta sobre las armas con IA, en la reunión de principios de septiembre, los expertos de la ONU discutieron sobre cuáles debían ser los límites de estas armas, así como los mecanismos para vigilar que no se transgredan estas líneas rojas.

Estos debates estuvieron condicionados por desencuentros que vienen de años atrás y que conllevaron la desaparición de ciertas cuestiones éticas del debate. Por ejemplo, la necesidad de que hubiera un control humano significativo -Meaningful human control- sobre estas armas o de transparencia y fiscalización.

Estos puntos comenzaron a desdibujarse en 2021, cuando los miembros del Grupo de Expertos Gubernamentales (GGE), creado para poner las bases de una regularización sobre las armas con IA, cristalizaron la existencia de dos corrientes opuestas.

Un texto vinculante vs. voluntario

La primera perspectiva, impulsada por Austria, Pakistán, Costa Rica y otros estados latinoamericanos, buscaba avanzar en un tratado de armas restrictivo y jurídicamente vinculante. La segunda tenía a la cabeza a EEUU, Rusia e Israel, quienes presionaban para lograr que el texto final fuera no vinculante -es decir, voluntario- y no incluyera prohibiciones específicas para las armas con IA, sino que se apoyara en las prohibiciones generales establecidas en el Derecho Internacional Humanitario. 

Como evidencia el texto publicado este septiembre, la perspectiva de los segundos logró imponerse sobre los primeros. Con ello, triunfó la apuesta por una regulación laxa que favoreciera la simbiosis entre ciertos Estados y las tecnológicas que crecen al calor de ellos. Como explica Ekaitz Cancela, investigador de la Universidad Complutense de Madrid (UCM) y autor de Utopías digitales (Verso Libros), "no hay un Estado belicista al que unas empresas capturan desde fuera: el capital tecnológico está plenamente integrado en el Estado y ocupa algunos de los cargos más importantes de este".

Cancela pone como ejemplo al actual subsecretario del Ejército estadounidense, Michael Obadal, que hasta la llegada de Donald Trump al poder se desempeñaba como ejecutivo en Anduril, una empresa estadounidense de tecnología de defensa especializada en el desarrollo de sistemas autónomos avanzados. No es el único. En junio de 2025, juraron como oficiales del Ejército estadounidense Shyam Sankar, Andrew Boz Bosworth, Kevin Weil y Bob McGrew, ejecutivos de Palantir, Meta y OpenAI. La lista es inmensa en EEUU, en Israel y en otros tantos Estados.

Prohibirlas no es una opción

En 2024, el texto sobre el que trabajaba el GGE de la ONU incluía los conceptos de "dignidad humana" y "derecho internacional de los derechos humanos" como criterio normativos independientes. La protección de estos podía condicionar la regulación de las armas con IA, lo que dejaba la puerta abierta a que pudieran prohibirse o restringirse el uso de las LAWS que atentaran contra ambos conceptos.

El texto publicado este mes de septiembre omite ambos conceptos. En su lugar, sólo hay una referencia al respeto al Derecho Internacional Humanitario (DIH). Lo que parece un detalle menor encierra una enorme complejidad. 

Mientras que el "derecho internacional de los derechos humanos" hace referencia a normas que van más allá de los conflictos armados, como la protección de la vida, la integridad física o la dignidad de las personas, el DIH establece las normas dentro de la guerra. Lo que, en palabras de Brunet, lo convierte en "un mecanismo para justificar las guerras".

Desde el punto de vista del investigador del Centre Delàs, al mantener únicamente la referencia al DIH en el borrador de la regulación sobre "robots asesinos", se apela al buen uso de estas armas dentro de la guerra y se elimina la posibilidad de que se restringiera su uso por atentar contra la "dignidad humana".

Este cambio de dirección era, también, una oportunidad para que la industria tecnológica continuara creciendo en "una escalada sin fin". Pere Brunet la describe así: "Los sistemas de ataque, por ejemplo los drones autónomos, son cada vez más sofisticados, lo que a su vez hace que los sistemas de defensa, [los sistemas anti-drones] también sean más sofisticados". Todo ello convierte la innovación militar en "una espiral a la que no se le ve el final".

Detrás de esta dinámica no habría "una pulsión guerrera, ni codicia individual, sino un problema de rentabilidad: el gasto militar es el único programa de demanda garantizado para las empresas", explica Ekaitz Cancela. En este negocio "no hay condicionalidad, ni riesgo, y está políticamente blindado". Para Pere Brunet, esta interdependencia entre Estados y tecnológicas esconde un riesgo de bancarrota que los obliga a continuar inmersos en "la espiral".

"El 5 % de la OTAN es esto", apunta Cancela. "Lo denomino neoliberalismo militar: el desplazamiento del gasto público hacia empresas tecnológicas clave para la seguridad nacional, en la intervención del Estado exclusivamente en el ámbito de Defensa y en presentar el sector militar como la única forma de alcanzar la prosperidad económica nacional o derrotar al enemigo occidental"

"Meaningful human control"

Uno de los puntos que más preocupa a los expertos en tecnología y armamento es la desaparición del concepto de "control humano significativo" del texto del GGE. Este término hace referencia a la necesidad de implicar a los seres humanos en las decisiones finales de las armas autónomas letales. En lugar de "control humano significativo" el borrador incluye ahora el concepto "juicio y control humano" -human judgement and control-. ¿Cuáles son las diferencias?

Para entenderlo, es necesario empezar por los tres tipos de control de la tecnología por parte de los humanos. Este puede situarse dentro del sistema -human in the loop-, en la frontera del sistema -human on the loop- o fuera de él -human out of the loop-. En el primero de ellos, el humano debe tomar la decisión de si un arma autónoma letal debe atacar o no a su objetivo cuando lo encuentre. En el segundo, se establece un límite de tiempo para que el humano decida si atacar o no. Si no toma ninguna decisión, el sistema podría atacar o no, en función de su diseño. En el tercer tipo de control -human out of the loop-, la decisión de atacar depende completamente del algoritmo de la IA.

Cuando los primeros borradores del documento del GGE incluían la necesidad de un "control humano significativo", hacían referencia al primer modelo -human in the loop-. Esta forma de control acaba con la posibilidad de que la IA tome la decisión de atacar o no. Sin embargo, fue eliminada del texto. Ahora la futura regulación habla únicamente de armas que tengan en cuenta el "juicio y control humano". Es decir, de las armas on y out of the loop: aquellas que pueden tomar la decisión de atacar un objetivo sin que los humanos participen activamente en dicha decisión.

La programadora y analista alemana Aya Jaff, presente en la reunión de Ginebra del GGE, recogió en sus redes sociales algunas de las preocupaciones que la Nobel de la Paz Beatrice Fihn, le trasladó sobre esta cuestión. Según Jaff, Fihn afirmó que "los estados estarían usando el concepto de human judgement and control para no ser lo suficientemente específicos", de forma que "nadie pudiera demostrar que se ha infringido una norma". Para Fihn, esta sería, precisamente, la cuestión central del debate sobre las armas autónomas letales, que realmente "nunca fue sobre las armas", sino "sobre la implicación humana en ellas".