Contenidos
Charla «Daniel Suarez: La decisión de matar no la debe tomar un robot» de TEDGlobal 2013 en español.
Como novelista, Daniel Suarez cuenta distopías del futuro. Pero en el escenario de TED Global, nos habla de una situación de la vida real de la que todos necesitamos saber más: el aumento de las armas robóticas autónomas de guerra. Los aviones no tripulados avanzados o ‘drones’, las armas automáticas y las herramientas de inteligencia artificial, sugiere, podrían tomar la decisión de hacer la guerra sin la intervención de los seres humanos.
- Autor/a de la charla: Daniel Suarez
- Fecha de grabación: 2013-06-11
- Fecha de publicación: 2013-06-13
- Duración de «Daniel Suarez: La decisión de matar no la debe tomar un robot»: 800 segundos
Traducción de «Daniel Suarez: La decisión de matar no la debe tomar un robot» en español.
Escribo novelas de suspenso de ciencia ficción, así que si digo «robots asesinos», probablemente podrían pensar en algo así.
Pero en realidad no estoy aquí para hablar de ficción.
Estoy aquí para hablar de robots asesinos muy reales, «drones» de combate autónomos.
Y no me refiero a robots depredadores ni exterminadores, que tienen a un humano tomando decisiones de sus objetivos.
Estoy hablando de armas robóticas totalmente autónomas que toman decisiones letales sobre seres humanos por su propia cuenta.
De hecho existe un término técnico para esto: autonomía letal.
Ahora, los robots asesinos letales autónomos pueden actuar de muchas formas: volando, conduciendo, o simplemente esperando al acecho.
Y la verdad es que se están convirtiendo rápidamente en una realidad.
Estas son dos estaciones automáticas de disparo desplegadas actualmente en la zona desmilitarizada entre Corea del Norte y del Sur Ambas máquinas son capaces de identificar automáticamente un objetivo humano y disparar contra él, la de la izquierda a una distancia de más de un kilómetro.
En ambos casos, todavía hay un ser humano en el proceso para tomar esa decisión de disparo letal pero no es un requisito tecnológico, es una opción.
Y es en esa opción en la que quiero centrarme, porque cuando desplazamos la toma de decisiones letales de los humanos al software, corremos el riesgo no sólo de sacar a la humanidad de la guerra, sino también el de cambiar nuestro panorama social completamente, lejos del campo de batalla.
Eso es porque la manera en que los humanos resolvemos los conflictos moldea nuestro panorama social.
Y así ha sido siempre a lo largo de la historia.
Por ejemplo, estos eran los sistemas de armamento más avanzados en 1400 D.C.
El costo de la construcción y el mantenimiento de ambos era muy elevados, pero con ellos se podía dominar a la población, y eso se reflejaba en la distribución del poder político en la sociedad feudal.
El poder ocupó un lugar primordial.
Y ¿qué cambió? La innovación tecnológica.
Pólvora, cañón.
Y muy pronto, la armadura y los castillos fueron obsoletos, e importó menos a quién se traía al campo de batalla versus cuánta gente se traía al campo de batalla.
Y conforme los ejércitos crecieron en tamaño, los Estado-naciones surgieron como un requisito político y logístico de defensa.
Y conforme los líderes tuvieron que depender más de su población, empezaron a compartir el poder.
Se comenzó a formar el gobierno representativo.
Repito, las herramientas que utilizamos para resolver conflictos dan forma a nuestro panorama social.
Las armas robóticas autónomas son esas herramientas, salvo que, al exigir que muy pocas personas vayan a la guerra, se corre el riesgo de re-centralizar el poder en muy pocas manos, posiblemente revirtiendo una tendencia de cinco siglos hacia la democracia.
Creo que, sabiendo esto, podemos tomar medidas decisivas para preservar nuestras instituciones democráticas, para hacer lo que los seres humanos saben hacer mejor, que es adaptarse.
Pero el tiempo es un factor.
Setenta naciones están desarrollando sus propios robots de combate controlados a distancia y como veremos, los drones de combate controlados remotamente son los precursores de las armas robóticas autónomas.
Eso es porque una vez se han desplegado drones piloteados remotamente hay tres factores poderosos que influyen en la toma de decisiones lejos de los humanos y en la misma plataforma del arma.
El primero de ellos es el diluvio de vídeos que producen los robots.
Por ejemplo, en 2004, la flota de drones de los Estados Unidos produjo un total de 71 horas de vigilancia con video para el análisis.
En el 2011, ésta se había elevado a 300 mil horas, superando la capacidad humana para revisarla toda, y aun ese número está a punto de subir drásticamente.
El Gorgon Stare y los programas Argus del Pentágono pondrán hasta 65 cámaras que operan independientemente en cada plataforma de los drones, y esto superaría enormemente la capacidad humana para revisarlas.
Y eso significa que se necesitará software de inteligencia visual para escanear elementos de interés.
Y eso significa que muy pronto los drones dirán a los humanos qué mirar, y no al revés.
Pero hay un segundo incentivo poderoso que aleja la toma de decisiones de los humanos y la acerca a las máquinas, y es la interferencia electromagnética, cortando la conexión entre el robot y su operador.
Vimos un ejemplo de esto en 2011 Cuando un dron RQ-170 Sentinel norteamericano se confundió en Irán debido a un ataque de «suplantación» de GPS, pero cualquier robot controlado remotamente es susceptible a este tipo de ataques, y eso significa que los drones tendrán que asumir más la toma de decisiones.
Sabrán el objetivo de la misión, y reaccionarán a nuevas circunstancias sin ayuda humana.
Ignorarán las señales de radio externas y enviarán muy pocas suyas.
Lo que nos lleva, realmente, al tercer y más poderoso incentivo de llevar la toma de decisiones de los seres humanos a las armas: negación plausible.
Vivimos en una economía global.
La fabricación de alta tecnología ocurre en la mayoría de los continentes.
El ciberespionaje está impulsando diseños muy avanzados a lugares desconocidos, y en ese ambiente, es muy probable que un diseño exitoso de drones se reproduzca en fábricas contratadas, y prolifere en el mercado negro.
Y en esa situación, al investigar en los restos de un ataque suicida de drone, será muy difícil decir quién envió esa arma.
Esto plantea la posibilidad muy real de una guerra anónima.
Esto podría poner el equilibrio geopolítico de cabeza, y que a una nación le resulte muy difícil activar su potencia de ataque contra un atacante, lo cual podría inclinar la balanza en el siglo XXI de la defensa hacia la ofensiva.
Podría hacer de la acción militar una opción viable no sólo para las naciones pequeñas, sino para las organizaciones criminales, las empresas privadas, e incluso para individuos poderosos.
Podría crear un paisaje de caudillos rivales socavando el estado de derecho y la sociedad civil.
Si la responsabilidad y la transparencia son dos de los pilares del gobierno representativo, las armas robóticas autónomas podrían socavar a ambos.
Pueden estar pensando que los ciudadanos de naciones con alta tecnología tendrían la ventaja en cualquier guerra robótica, que los ciudadanos de esas naciones serían menos vulnerables, particularmente contra los países en desarrollo.
Pero creo que en realidad es exactamente lo contrario.
Creo que los ciudadanos de las sociedades de alta tecnología son más vulnerables a las armas robóticas, y la razón puede resumirse en una palabra: datos.
Los datos empoderan a las sociedades de alta tecnología.
Geolocalización por teléfono celular, metadatos de telecomunicaciones, redes sociales, correo electrónico, mensajes de texto, datos de transacciones financieras, datos de transporte, es una riqueza de datos en tiempo real sobre los movimientos y las interacciones sociales de las personas.
En resumen, somos más visibles para las máquinas que ninguna otra persona en la historia, y esto se adapta perfectamente a las necesidades de selección de las armas autónomas.
Lo que están viendo aquí es un mapa de análisis de los vínculos de un grupo social.
Las líneas indican la conectividad social entre individuos.
Y estos tipos de mapas se pueden generar automáticamente basados en la la estela de datos que la gente moderna deja.
Esto se utiliza normalmente para el mercadeo de bienes y servicios a un grupo objetivo específico, pero esta es una tecnología de doble uso, porque se define un grupo objetivo en otro contexto.
Tenga en cuenta que ciertos individuos sobresalen.
Estos son los ejes de las redes sociales.
Estos son los organizadores, los creadores de opinión, los líderes, y a estas personas también se les puede identificar automáticamente por sus patrones de comunicación.
En el caso de un vendedor, este podría seleccionarlos con muestras de productos, intentando difundir su marca a través de su grupo social.
Pero un gobierno represivo buscando enemigos políticos podría en cambio removerlos, eliminarlos, destruir su grupo social, y aquellos que queden perderían cohesión social y organización.
En un mundo en que proliferan las armas robóticas baratas, las fronteras ofrecerían muy poca protección a los críticos de los gobiernos distantes o de organizaciones criminales transnacionales.
Los movimientos populares que buscan el cambio puede detectarse tempranamente para eliminar a sus líderes antes de que sus ideas adquieran masa crítica.
Y de lo que se trata en un gobierno popular es que las ideas alcancen masa critica.
Las armas letales anónimas podrían hacer de la acción letal una opción fácil para todo tipo de intereses en juego.
Y esto pondría en jaque a la libertad de expresión y a la acción política popular, la esencia de la democracia.
Y por esta razón necesitamos un tratado internacional sobre las armas robóticas y en particular una prohibición mundial sobre el desarrollo y el despliegue de robots asesinos.
Ya tenemos tratados internacionales sobre armas nucleares y biológicas, que aunque imperfectos, han funcionado en gran medida.
Pero las armas robóticas pueden ser igual de peligrosas, porque muy seguramente se utilizarán, y también serían dañinas para nuestras instituciones democráticas.
En noviembre de 2012, el Departamento de Defensa de los Estados Unidos emitió una directiva que exige que un ser humano esté presente en todas las decisiones letales.
Esto prohibió efectiva aunque temporalmente las armas autónomas en el ejército estadounidense, pero dicha directiva debe hacerse permanente.
Y podría sentar las bases para la acción global.
Porque necesitamos un marco jurídico internacional sobre armas robóticas.
Y lo necesitamos ahora, antes de un ataque devastador o un incidente terrorista que haga que las naciones del mundo se vean obligadas a adoptar estas armas antes de pensar en las consecuencias.
Las armas robóticas autónomas concentran demasiado poder en muy pocas manos y pondría en peligro la propia democracia.
No me malinterpreten, creo que hay toneladas de aplicaciones geniales para los drones civiles desarmados: control ambiental, búsqueda y rescate, logística.
Si tenemos un tratado internacional sobre armas robóticas, ¿cómo obtenemos los beneficios de los drones y vehículos autónomos y al mismo tiempo nos protegernos contra las armas robóticas ilegales? Creo que el secreto será la transparencia.
No debería existir una expectativa de privacidad de un robot en un lugar público.
(Aplausos) Cada robot y drone deben tener una identificación de fábrica firmada criptográficamente que pueda utilizarse para seguir sus movimientos en los espacios públicos.
Tenemos placas en los coches, números de matricula en los aviones.
Esto no es diferente.
Y todos los ciudadanos deberían poder descargar una aplicación que muestre la población de drones y vehículos autónomos moviéndose a través de espacios públicos alrededor de ellos, tanto en ese momento como en un histórico.
Y los líderes civiles deben desplegar sensores y drones civiles para detectar los drones no autorizados, y en lugar de enviar drones asesinos propios para derribarlos, deben notificar a los humanos de su presencia.
Y en ciertas áreas de muy alta seguridad, tal vez los drones civiles deban capturarlos y arrastrarlos a una instalación de eliminación de explosivos.
Pero tengan en cuenta que esto es más un sistema inmunológico que un sistema de armas.
Esto nos permitiría valernos del uso de drones y vehículos autónomos y al mismo tiempo salvaguardar nuestra abierta sociedad civil.
Hay que prohibir el despliegue y desarrollo de robots asesinos.
No caigamos en la tentación de automatizar la guerra.
Los gobiernos autocráticos y las organizaciones criminales sin duda lo harán, pero nosotros no.
Las armas robóticas autónomas concentrarían demasiado poder en muy pocas manos invisibles, y eso sería corrosivo para un gobierno representativo.
Asegurémonos de que al menos para las democracias, los robots asesinos sigan siendo ficción.
Gracias.
(Aplausos) Gracias.
(Aplausos)
https://www.ted.com/talks/daniel_suarez_the_kill_decision_shouldn_t_belong_to_a_robot/