Contenidos
Charla «Cómo la civilización se puede autodestruir y cuatro maneras de evitarlo» de TED2019 en español.
La humanidad está en camino de crear una «bola negra»: un avance tecnológico que podría destruirnos a todos, según el filósofo Nick Bostrom. En esta conversación incisiva y sorprendentemente alegre con Chris Anderson, director de TED, Bostrom esboza las vulnerabilidades a las que podríamos enfrentarnos en el caso de que (o cuando) nuestra espiral de invenciones se salga de nuestro control, y explora cómo podemos prevenir nuestra futura desaparición.
- Autor/a de la charla: Nick Bostrom
- Fecha de grabación: 2019-04-15
- Fecha de publicación: 2019-12-19
- Duración de «Cómo la civilización se puede autodestruir y cuatro maneras de evitarlo»: 1269 segundos
Traducción de «Cómo la civilización se puede autodestruir y cuatro maneras de evitarlo» en español.
Chris Anderson: Nick Bostrom.
Nos has dado muchas ideas locas.
Creo que hace un par de décadas, defendías que estaríamos viviendo una simulación, o que, probablemente, vivíamos en una.
Recientemente, has dado ejemplos muy claros de cómo la inteligencia artificial general podría generar resultados terribles.
Y este año estás a punto de publicar un ensayo sobre algo denominado la hipótesis del mundo vulnerable.
Nuestro trabajo esta tarde consiste en ofrecer una guía ilustrada sobre eso.
Así que empecemos.
¿En qué consiste esa hipótesis?
Nick Bostrom: Se trata de pensar en una especie de característica estructural de la actual condición humana.
Como te gusta la metáfora de la urna, voy a utilizarla para explicarlo.
Imagínate una gran urna llena de bolas que representan ideas, métodos, posibles tecnologías.
Puedes pensar en la historia de la creatividad humana como el proceso de extraer de esta urna una bola tras otra, y el efecto neto hasta la fecha ha sido muy beneficioso,
¿verdad?
Hemos extraído una gran cantidad de bolas blancas, de varias tonalidades de gris, con pros y contras.
Hasta ahora no hemos sacado la bola negra: una tecnología que invariablemente destruye la civilización que la descubre.
Mi ensayo trata de pensar qué podría ser esa bola negra.
CA: Así que defines la bola negra como una que llevará inevitablemente a la destrucción de la civilización.
NB: Salvo que salgamos de lo que denomino condición semianárquica por defecto.
Bueno, más o menos por defecto.
CA: Haces que este caso adquiera carácter de urgencia al mostrar contraejemplos que crees que demuestran que hasta ahora hemos tenido suerte, que puede que hayamos sacado la bola de la muerte, sin habernos siquiera dado cuenta.
Hay una cita al respecto,
¿cuál es?
NB: Bueno, imagino que solo trato de ilustrar la dificultad de prever hacia dónde llevarán los descubrimientos básicos, simplemente no tenemos esa capacidad.
Porque nos hemos hecho bastante hábiles extrayendo bolas, pero realmente no tenemos la capacidad de devolver la bola a la urna.
Podemos inventar, pero no desinventar.
Así que nuestra estrategia, en realidad, es confiar en que no haya una bola negra en la urna.
CA: Así que una vez que está fuera, no se puede devolver a la urna, y crees que hemos tenido suerte.
Cuéntanos un par de ejemplos.
Hablas de diferentes tipos de vulnerabilidad.
NB: El tipo más fácil de comprender es una tecnología que hace muy fácil producir una enorme destrucción.
La biología sintética podría ser una fuente abundante de ese tipo de bola negra, pero hay muchas otras cosas en las que podríamos pensar, como la geoingeniería, realmente genial,
¿verdad?
Podríamos combatir el calentamiento global, pero tampoco queremos que sea demasiado sencillo, que cualquier persona y su abuela tengan la capacidad de alterar radicalmente el clima de la Tierra.
O tal vez producir en masa drones autónomos letales, enjambres de robots asesinos del tamaño de un mosquito.
Nanotecnología, inteligencia artificial general.
CA: Tú argumentas en el ensayo que fue una cuestión de suerte que el descubrimiento de la energía nuclear pudiera crear una bomba; podría haber sido el caso de que fuera posible crear una bomba con recursos mucho menores, accesibles a cualquiera.
NB: Sí, creo que allá por los años 30, cuando por primera vez hicimos grandes avances en física nuclear, algunas figuras insignes expusieron que era posible crear reacciones nucleares en cadena para luego caer en la cuenta de que eso podría llevar a crear una bomba.
Investigamos y descubrimos que para hacer una bomba nuclear se necesita uranio enriquecido o plutonio, que son materiales muy difíciles de conseguir.
Se precisan ultracentrifugadoras, reactores para gigantescas cantidades de energía.
Pero imagínate que en lugar de eso, hubiera habido una manera fácil de liberar la energía del átomo.
Que tal vez calentando arena en el microondas o algo así se hubiese podido crear una detonación nuclear.
Sabemos que es físicamente imposible.
Pero antes de desarrollar esa física relevante,
¿cómo se podría haber sabido cómo acabaría?
CA: A pesar de eso,
¿no se podría alegar que para que la vida evolucionara en la Tierra se necesitaría cierto entorno estable, y que si fuera tan fácil crear reacciones nucleares masivas la Tierra nunca habría sido estable, y por tanto no podríamos estar aquí.
NB: Sí, salvo que hubiera algo fácil de hacer a propósito, pero que no ocurriría solo por azar.
Es decir, cosas que podemos hacer con facilidad, podemos apilar 10 bloques uno sobre otro, pero en la naturaleza, no se da una pila de 10 bloques.
CA: De acuerdo, quizá esto es lo que más nos preocupa a la mayoría, y sí, la biología sintética es tal vez la vía más rápida que podemos prever en nuestro futuro cercano para llegar hasta aquí.
NB: Sí, imagínate lo que eso habría supuesto, si, digamos, cualquiera trabajando en su cocina por la tarde pudiera destruir una ciudad.
Cuesta entender que la civilización moderna, tal como la conocemos, haya podido sobrevivir a eso, porque en cualquier población de un millón de personas siempre habrá alguien que, por algún motivo, quiera utilizar ese poder de destrucción.
Así que si ese residuo apocalíptico eligiera destruir una ciudad, o peor aún, las ciudades podrían ser destruidas.
CA: Hay otra clase de vulnerabilidad, hábleme de ella.
NB: Sí, además de estos tipos evidentes de bolas negras que podrían hacer que muchas cosas volaran por los aires, hay otros tipos que pueden crear malos incentivos para que los humanos hagamos cosas dañinas.
El Tipo 2a, podríamos llamarlo, serían tecnologías que posibilitan a los grandes poderes usar su enorme fuerza para crear destrucción.
Las armas nucleares están muy cerca de esto,
¿verdad?
Hemos gastado más de USD 10 billones para construir 70 000 cabezas nucleares que están en estado de alerta instantánea.
Hubo varios momentos durante la Guerra Fría en los que casi nos volamos por los aires.
No es que muchos pensaran que era una gran idea gastarnos USD 10 billones para volarnos por los aires, pero los incentivos eran tales que nos encontrábamos…
podría haber sido mucho peor.
Imagina que hubiera habido un primer ataque seguro.
Habría sido muy difícil, en una situación de crisis, reprimir el lanzamiento de todos los misiles nucleares, aunque solo fuera por el temor a que lo hiciera el otro.
CA: De acuerdo, la destrucción mutua asegurada mantuvo la Guerra Fría relativamente estable, porque sin eso, podríamos no estar hoy aquí.
NB: Pudo haber sido más inestable, y pudo haber otras propiedades de la tecnología, pudo haber sido más difícil lograr tratados armamentísticos, si en vez de cabezas nucleares, hubiera habido cosas más pequeñas o menos distintivas.
CA: Al igual que los malos incentivos para los actores del poder, también te preocupan los malos incentivos para todos nosotros, en este Tipo 2a.
NB: Sí, podemos poner el caso del calentamiento global.
Hay muchos pequeños inconvenientes que nos llevan a hacer cosas que individualmente no tienen efecto,
¿verdad?
Pero si miles de millones de personas lo hacen, acumulativamente, tiene un efecto perjudicial.
El calentamiento global podría haber sido mucho peor.
Tenemos el parámetro de la sensibilidad climática.
Se trata de un parámetro que indica cuánto se calentaría si emitieras cierta cantidad de gases de efecto invernadero.
Pero, suponiendo que fuera el caso de que con la cantidad de gases de efecto invernadero que hemos emitido en lugar de que la temperatura subiera, entre 3 y 4.5 º C hasta 2100, imagina que hubieran sido 15 o 20 ºC, entonces estaríamos en una situación muy mala.
O que la energía renovable fuera más difícil de producir.
o que hubiera más combustibles fósiles en el subsuelo.
CA: No se podría argumentar que, si lo que hacemos hoy hubiera producido 10 º C de diferencia en un periodo que pudiéramos ver, la humanidad ya se habría puesto las pilas para hacer algo al respecto.
Somos estúpidos, pero quizá no tanto.
O tal vez sí.
NB: No apostaría por ello.
(Risas)
Puedes imaginarte otras características.
En estos momentos es algo difícil cambiar a las renovables y todo eso, de acuerdo, pero se puede hacer.
Pero podría haber sucedido que, con una física algo diferente, hubiera sido mucho más difícil hacer estas cosas.
CA:
¿Qué opinas, Nick, crees que, teniendo en cuenta todo esto, este planeta, nosotros como humanidad, conformamos un mundo vulnerable, que hay una bola de muerte en nuestro futuro?
NB: Es difícil de decir, creo que también hay algunas bolas doradas en la urna, o eso parece.
Puede que haya algunas bolas doradas que nos puedan proteger de las bolas negras.
Y no sé en qué orden van a salir.
CA: Una posible crítica filosófica a esta idea es que implica la visión de que el futuro está básicamente determinado.
De que o bien está esa bola ahí o no está.
Y de alguna manera, no es una visión del futuro en la que quiero creer.
Quiero creer que el futuro es indeterminado, que nuestras decisiones de hoy determinarán qué tipos de bolas sacamos.
NB: Si seguimos inventando, al final acabaremos sacando todas las bolas.
Creo que hay una forma débil de determinismo tecnológico que es bastante plausible, como que es bastante improbable que encontremos una sociedad que use hachas de pedernal y aviones tipo jet.
Pero casi puedes pensar en una tecnología como un conjunto de posibilidades.
La tecnología nos permite hacer varias cosas y conseguir diversos efectos en el mundo.
Cómo la usemos depende de nuestra elección como humanos.
Pero si pensamos en estos tres tipos de vulnerabilidades, hacen unas asunciones bastante débiles sobre cómo podríamos elegir utilizarla.
En el Tipo 1 de vulnerabilidad, con su poder destructor masivo, es una asunción bastante débil suponer que en una población de millones de personas haya alguno que elija usarlo de manera destructiva.
CA: Para mí, el argumento más inquietante es que puede que tengamos cierta visión de la urna, que hace pensar que muy posiblemente estemos condenados.
Por ejemplo, si crees en el poder de la aceleración, esa tecnología inherentemente se acelera, y si creamos la herramientas que nos den más poder llegaremos a un punto en el que un solo individuo pueda acabar con todo, y eso nos lleva a pensar que estamos apañados.
¿No es un argumento bastante alarmante?
NB: Ah, sí…
(Risas)
Creo que…
Sí, tenemos más y más poder, y es cada vez más sencillo utilizarlo, pero también podemos inventar tecnologías que nos ayuden a controlar cómo las personas utilizan ese poder.
CA: Hablemos de eso, de la respuesta.
Imagina todas las posibilidades que tenemos ahora, no es solo la biología sintética, sino cosas como la ciberguerra, la inteligencia artificial, etc., que indican que nuestro futuro puede estar seriamente condenado.
¿Cuáles son las posibles respuestas?
Has hablado de cuatro posibles respuestas.
NB: Restringir el desarrollo tecnológico no parece prometedor, si hablamos de un parón general del progreso tecnológico, no creo que sea ni factible ni deseable, aunque lo pudiéramos hacer.
Creo que hay áreas muy limitadas en las que tal vez desees un progreso tecnológico más lento.
No creo que quieras un progreso mayor en bioarmamento, o en separación isotópica, que facilitaría la creación de armas nucleares.
CA: Antes solía estar totalmente de acuerdo en eso.
Pero me gustaría retroceder un paso un momento.
Antes de nada, si ves la historia de hace un par de décadas, ha sido una continua aceleración a toda velocidad, está bien, pero es nuestra elección, pero si te fijas en la globalización y su rápida aceleración, si te fijas en la estrategia de «muévete rápido y rompe cosas» y lo que ha producido, y luego te fijas en el potencia de la biología sintética, no creo que debamos avanzar rápidamente sin ningún tipo de restricción hacia un mundo en el que pueda haber una impresora de ADN en cada casa en cada laboratorio de secundaria.
Hay algunas restricciones,
¿verdad?
NB: Posiblemente en la primera parte, en la no factibilidad, si crees que sería deseable pararla, aparece el problema de la factibilidad.
No ayudaría que un país…
CA: No, no ayudaría que un país lo hiciera, pero hemos tenido tratados con anterioridad.
Así es como hemos sobrevivido a la amenaza nuclear, gracias a que hemos salido y hemos pasado por el penoso proceso de negociación.
Me pregunto si la lógica no es acaso que nosotros, como prioridad global, no deberíamos salir e intentar negociar normas muy duras sobre dónde se hace la investigación en biología sintética, porque no es algo que quieras democratizar,
¿no?
NB: Estoy totalmente de acuerdo con eso, sería deseable, por ejemplo, tener máquinas para sintetizar ADN, no de manera en la que cada laboratorio sea el dueño de su propio dispositivo, sino como un servicio.
Podría haber cuatro o cinco lugares en el mundo a los que enviar el modelo digital y recibir el ADN de vuelta,
¿verdad?
Entonces, tendrías la habilidad, si un día fuera necesario, tendríamos un número finito de cuellos de botella.
Creo que tienes que fijarte en ciertos tipos de oportunidades sobre las que quieres tener control.
CA: Crees, fundamentalmente, que no vamos a conseguir retenerlo.
Que alguien, en algún lugar como Corea del Norte, va a descubrir este conocimiento, si es que es posible descubrirlo.
NB: Parece posible en las condiciones actuales.
No es solo la biología sintética, sino que cualquier cambio nuevo y profundo en el mundo puede convertirse en una bola negra.
CA: Vamos a ver otra posible respuesta.
NB: Creo que esto también tiene un potencial limitado.
Con el Tipo 1 de vulnerabilidad, si puedes reducir el número de personas motivadas a destruir el mundo, si solo ellos tuvieran acceso a los medios, eso estaría bien.
CA: En esta imagen que nos muestras, imaginas esos drones de reconocimiento facial volando alrededor del mundo.
Cuando detectan a alguien con signos de comportamiento sociopático, lo cubren de amor y lo curan.
NB: Creo que es una imagen híbrida.
Eliminar puede significar encarcelar o matar, o persuadir de una visión más optimista del mundo.
Pero el asunto es, imagina que tuvieras éxito y redujeras el número de esos individuos a la mitad.
Si lo quieres hacer mediante la persuasión, estás compitiendo contra otras fuerzas poderosas que tratan de persuadir a la gente: partidos políticos, religión o el sistema educativo.
Pero imagina que lo reduces a la mitad; no creo que el riesgo se redujera a la mitad, sino a un 5 o 10 %.
CA: No recomiendas que nos juguemos el futuro de la humanidad a la respuesta 2.
NB: Creo que está muy bien tratar de disuadir a las personas, pero no deberíamos considerarlo nuestro único salvavidas.
CA:
¿Y la tercera?
NB: Creo que hay tres métodos generales con los que que podemos tener la habilidad de estabilizar el mundo contra todo el espectro de posibles vulnerabilidades.
Y probablemente necesitamos las dos.
Una es una habilidad extremadamente efectiva de crear políticas preventivas, pensadas para interceptar.
Si todos empezaran a hacer esto tan peligroso, podrías interceptarlos en tiempo real y detenerlos.
Esto requeriría vigilancia ubicua, todo el mundo estaría monitorizado todo el tiempo.
CA: Esto es «Minority Report», en esencia.
NB: Tal vez tendrías algoritmos de IA, grandes centros de libertad que estarían revisándolos, etc.
CA:
¿Sabes que la vigilancia masiva no es un término muy popular en este momento?
(Risas)
NB: Sí, ese pequeño dispositivo, imagina un tipo de collar que tuvieras que llevar todo el tiempo con cámaras multidireccionales.
Pero para hacerlo más llevadero, imagínate llamarlo «etiqueta de libertad» o algo así.
(Risas)
CA: De acuerdo.
Esta es la conversación, amigos, esta es la razón por la que es una conversación alucinante.
NB: De hecho, ya hay una gran conversación sobre de esto, obviamente.
Entraña grandes problemas y riesgos,
¿verdad?
Tal vez volvamos a eso.
Así que última, la otra capacidad de estabilización general es llenar otro vacío de gobernanza.
De modo que la vigilancia sería un vacío de gobernanza a nivel micro, como impedir que cualquiera haga algo altamente ilegal.
Pero hay un vacío de gobernanza a nivel macro, global.
Necesitarías la habilidad, de manera fiable, de prevenir los mayores fallos de coordinación global, para evitar guerras entre grandes poderes, guerras armamentísticas, problemas cataclísmicos de los bienes comunes, para poder lidiar con las vulnerabilidades del Tipo 2a.
CA: La gobernanza global es un término totalmente en desuso ahora, pero se podría argumentar que a lo largo de la historia de la humanidad, en cada fase del aumento del poder tecnológico, la gente se ha reorganizado para centralizar el poder, por así decir, Por ejemplo, cuando una banda errante de criminales podía conquistar una sociedad, se respondía con el Estado nación, y se centralizaba la fuerza, policial o militar, así que «no, no puedes hacer eso».
La lógica de que una sola persona o grupo pueda conquistar la humanidad tal vez signifique que en algún momento tendremos que tomar este camino, al menos en cierta manera,
¿no?
NB: Es cierto que la escala de la organización política ha aumentado a lo largo de la historia de la humanidad.
Solíamos ser grupos de cazadores-recolectores, luego liderados por jefes, Estados naciones, naciones, y ahora hay organizaciones internacionales y todo eso.
De nuevo, solo quiero asegurarme de que remarco que obviamente hay enormes desventajas, y desde luego, riesgos descomunales, tanto en la vigilancia masiva como en la gobernanza global.
Solo estoy destacando que, si tenemos suerte, el mundo puede llegar a un punto en el que solo así podamos sobrevivir a la bola negra.
CA: La lógica de esta teoría, me parece, es que tenemos que asumir que no podemos tenerlo todo.
Que el sueño inocente, por así decir, que muchos de nosotros teníamos de que esa tecnología siempre va a ser una fuerza positiva, sigue adelante, no pares, ve tan rápido como puedas y no te fijes en las consecuencias, ya no es una opción.
Podemos tenerlo.
Si podemos tenerlo, tendremos que aceptar algunos aspectos muy incómodos que conlleva, y entrar esta carrera armamentística con nosotros mismos, de modo que si quieres poder tienes que limitarlo, y más te vale averiguar cómo.
NB: Creo que es una opción, una opción muy tentadora, diría que la más sencilla, y podría funcionar, pero significa que somos fundamentalmente vulnerables a extraer la bola negra.
Pero pienso que con un poco de coordinación, pongamos que has resuelto el problema de la macrogobernanza y el de la microgobernanza, podríamos extraer todas las bolas de la urna y beneficiarnos enormemente.
CA: Y si estamos viviendo en una simulación,
¿qué más da?
Simplemente nos reiniciamos.
(Risas)
NB: Entonces…
(Risas)
Eso no me lo esperaba.
CA:
¿Cuál es tu opinión?
Si juntamos todas las piezas, qué posibilidades tenemos de estar condenados?
(Risas)
Me encanta que la gente se ría cuando hago esa pregunta.
NB: A nivel individual, parece que ya estamos condenados, solo con el cronograma, nos pudrimos y envejecemos y todo eso,
¿verdad?
(Risas)
La verdad es que es un poco complicado.
Si quieres hacerte una idea para obtener una probabilidad, antes de nada,
¿quiénes somos?
Si eres muy mayor, seguramente morirás de causas naturales, si eres muy joven, tal vez vivas 100 años; la probabilidad dependerá de a quién preguntes.
Luego está el umbral:
¿Qué se considera como devastación de la humanidad?
Sobre el papel, no necesito una catástrofe existencial para que la considere como tal.
Es cuestión de definición: si digo mil millones de muertos, o la reducción del PIB al 50 %, así que dependiendo de dónde pongas el umbral, obtienes una estimación de probabilidad diferente.
Supongo que me podrías catalogar como un optimista asustado.
(Risas)
CA: Eres un optimista asustado, y creo que acabas de crear una gran cantidad de personas asustadas…
(Risas)
NB: En la simulación.
CA: En una simulación.
Nick Bostrom, tu mente me fascina, muchas gracias por asustarnos hasta la médula.
(Aplausos)
https://www.ted.com/talks/nick_bostrom_how_civilization_could_destroy_itself_and_4_ways_we_could_prevent_it/