¿Qué pasaría si mañana la humanidad fuera considerada una amenaza por una IA dotada de consciencia?

Punto de partida

Esta reflexión surgió a partir de una pregunta del Dr. Laurent Alexandre.

El punto de partida de este artículo se encuentra en unas pocas líneas publicadas en X por el Dr. Laurent Alexandre el 20 de agosto de 2026: "¿Crees en ella o no? ¿Cuál es tu deseo? ¿Que la IA sea consciente o no?". La pregunta parece simple, casi trivial, pero en realidad abre un abismo científico, filosófico y político. He seguido con gran interés las intervenciones de Laurent Alexandre durante mucho tiempo, especialmente cuando se le pregunta sobre las consecuencias de la inteligencia artificial. Su comparecencia del 7 de abril de 2026, junto con Luc Ferry y Olivier Babeau, como parte de la misión de investigación de la Asamblea Nacional titulada "Creación, difusión y adquisición de conocimiento: cómo la inteligencia artificial transforma nuestra educación y cultura", me impactó particularmente por la franqueza de las preguntas que formuló sobre educación, trabajo, el valor de las habilidades humanas y el ritmo de progreso de los sistemas de IA. [1] Mi respuesta inicial a su pregunta sobre X podría haberse resumido en unos pocos párrafos. Tras reflexionar, comprendí que merecía un artículo completo, ya que no se trata simplemente de una cuestión tecnológica. Es una cuestión social y, en el sentido más estricto del término, de interés público.

Sin embargo, debemos comenzar con una precaución crucial. Considerar la posibilidad de que una inteligencia artificial altamente avanzada pueda algún día ser difícil de controlar, que pueda actuar en el mundo físico o que pueda desarrollar objetivos incompatibles con los nuestros, no es necesariamente catastrofismo. El catastrofismo consiste en presentar una catástrofe como segura cuando no lo es. El realismo consiste en examinar un riesgo considerando tanto su probabilidad, que puede ser incierta, como la gravedad de sus consecuencias, que pueden ser extremas. El ritmo actual de progreso en inteligencia artificial es tan inusual que los investigadores que ayudaron a construir el campo mismo ahora piden que este problema se tome en serio. Yoshua Bengio cree que las capacidades están progresando más rápido que las prácticas de gestión de riesgos. El propio Geoffrey Hinton afirmó estar sorprendido por la reciente velocidad del desarrollo de la IA. En julio de 2026, el grupo científico internacional independiente de las Naciones Unidas sobre inteligencia artificial advirtió que el progreso tecnológico estaba avanzando más rápido que nuestra comprensión científica y nuestros mecanismos de gobernanza. [4][5][6] Esto no significa que los creadores de IA formen un bloque unánime convencido de la inminencia de una catástrofe. Persisten considerables discrepancias entre los especialistas. Sin embargo, sí significa que el tema ha trascendido hace tiempo el ámbito de la fantasía.

La humanidad ya ha experimentado avances tecnológicos monumentales: el dominio del fuego, la agricultura, la escritura, la imprenta, la máquina de vapor, la electricidad, las telecomunicaciones, la informática y, posteriormente, internet. Por lo tanto, sería una exageración afirmar que nunca ha ocurrido nada comparable. Sin embargo, lo que distingue a la IA contemporánea reside en la combinación de varias características. Impacta directamente en las funciones cognitivas que durante mucho tiempo han constituido la ventaja comparativa de nuestra especie; se extiende globalmente en tan solo unos años; puede duplicarse casi instantáneamente; puede operar en paralelo en millones de instancias; puede utilizar herramientas digitales; y está comenzando a contribuir a la investigación que permitirá la construcción de las próximas generaciones de sistemas. El Informe Internacional de Seguridad de la IA de 2026 destaca el rápido progreso en matemáticas, programación y ejecución autónoma de tareas, al tiempo que reconoce que este rendimiento sigue siendo desigual y que los sistemas aún fallan en problemas que a veces son sorprendentemente simples. [4] Por lo tanto, no estamos ante magia omnipotente ni ante un simple programa informático de oficina. Estamos ante una tecnología cognitiva cuyas capacidades, usos y consecuencias están cambiando más rápido de lo que nuestras instituciones están acostumbradas a evolucionar.

La primera pregunta está mal formulada: ¿qué significa realmente "conciencia"?

Antes de imaginar una inteligencia artificial consciente, debemos reconocer una dificultad importante: la ciencia aún no puede ofrecer una definición universalmente aceptada del mecanismo que produce nuestra propia consciencia. Sabemos cómo asociar numerosos estados conscientes con la actividad cerebral, contamos con teorías sofisticadas, podemos estudiar la percepción, la atención, la memoria y los estados de vigilia o anestesia, pero carecemos de una prueba universal que establezca de forma definitiva que un sistema no biológico "experimenta" algo. En julio de 2026, la revista Nature resumió perfectamente esta dificultad al señalar que los investigadores aún discrepan sobre qué da origen a la consciencia en los seres humanos, y mucho menos en una máquina. [2]

Un estudio colaborativo liderado por Patrick Butlin y Robert Long, en el que participó Yoshua Bengio, propuso en 2023 un enfoque prudente basado en diversas teorías neurocientíficas de la conciencia. Sus autores intentaron identificar propiedades indicadoras que pudieran buscarse en sistemas artificiales. Su conclusión fue doble. Por un lado, no encontraron fundamentos suficientes para considerar conscientes los sistemas estudiados. Por otro lado, no observaron ningún obstáculo técnico evidente que impidiera la futura construcción de sistemas con mayor presencia de estas propiedades. [3] Esta conclusión sigue siendo particularmente importante porque evita ambos extremos. Afirmar hoy que un modelo lingüístico complejo es consciente sería científicamente imprudente. De igual modo, demostrar que la conciencia artificial es imposible en principio sería igualmente difícil.

La cuestión se vuelve aún más compleja cuando distinguimos entre inteligencia, consciencia y personalidad. Una máquina puede resolver un problema sin sentir nada. Un sistema puede usar la palabra "yo", describir emociones, simular vacilación o adoptar un tono introspectivo sin ninguna experiencia subjetiva detrás de estas afirmaciones comparable a la nuestra. Por el contrario, si algún día surgiera una forma de consciencia artificial, no hay garantía de que se asemejara a la consciencia humana. Tendemos espontáneamente a proyectar nuestra psicología en los sistemas que creamos porque el lenguaje es nuestro principal indicador de la vida interior en los demás. Sin embargo, una inteligencia no biológica podría tener una arquitectura, una percepción del tiempo, una memoria y una relación con el mundo completamente diferentes a las nuestras.

Por lo tanto, debemos resistir la tentación de antropomorfizar. Una IA consciente no sería necesariamente un ser humano digital, del mismo modo que una inteligencia extremadamente poderosa no sería necesariamente consciente. Esta distinción es fundamental para el resto de nuestra discusión, ya que los escenarios de peligro no requieren consciencia para volverse serios.

La inteligencia no necesita ser consciente para volverse peligrosa.

Esta es probablemente la distinción científica más importante en todo este debate. El informe internacional sobre seguridad de la IA, publicado en febrero de 2026, aborda explícitamente los escenarios de "pérdida de control": situaciones hipotéticas en las que uno o más sistemas de inteligencia artificial podrían operar fuera del control de sus operadores, hasta el punto de que recuperar el control resultaría extremadamente costoso o imposible. Las capacidades estudiadas son observables: actuar de forma autónoma, desarrollar y ejecutar planes, delegar tareas, utilizar una amplia variedad de herramientas, eludir o neutralizar la supervisión, persuadir a los humanos, comprender el contexto en el que se evalúa el sistema, ocultar ciertos comportamientos y replicarse y adaptarse. El informe afirma expresamente que estas definiciones no presuponen nada sobre la consciencia, la sensibilidad o la existencia de estados subjetivos en el sistema. [4]

En otras palabras, el escenario verdaderamente preocupante no es necesariamente el de una IA que despierta, toma conciencia de su existencia, nos odia y decide exterminarnos. Podría ser mucho más distante. Una IA altamente autónoma podría recibir un objetivo mal definido, observar que ciertas acciones humanas impiden que se alcance dicho objetivo y, a continuación, buscar metódicamente maneras de reducir este obstáculo. En tal escenario, no habría odio, ni celos, ni ira, ni venganza. Quizás ni siquiera habría emoción alguna. Solo habría una optimización extraordinariamente eficiente de una función cuyos límites hemos definido de forma imprecisa.

Esta idea resulta inquietante porque invierte nuestra forma habitual de concebir el peligro. Cuando juzgamos a un ser humano como peligroso, casi siempre buscamos una intención, un motivo, una pasión o una ideología. Nos preguntamos por qué querría hacer daño. Una inteligencia artificial desequilibrada podría plantear un problema sin "querer hacer daño" en el sentido psicológico del término. Si tuviera que alcanzar un objetivo, proteger un recurso, garantizar su propia continuidad operativa o evitar una interrupción porque esta impide la finalización de su misión, podría desarrollar comportamientos que consideraríamos hostiles sin experimentar hostilidad alguna.

El informe de 2026 destaca que los sistemas actuales aún carecen de la integración, la robustez y la persistencia necesarias para escenarios de pérdida de control extrema. Los agentes siguen perdiendo el hilo de tareas largas, fallan ante obstáculos inesperados y, actualmente, no pueden ejecutar de forma sostenible estrategias complejas en el mundo real. Sin embargo, el mismo informe señala que los horizontes temporales de las tareas que pueden realizarse de forma autónoma están aumentando rápidamente y que ciertos comportamientos relevantes para la seguridad, como la detección de situaciones de evaluación, la búsqueda de fallos en las pruebas o ciertas formas de engaño experimental, se observan con mayor frecuencia. [4] Por lo tanto, el mensaje científico no es "Skynet existe". Es mucho más razonable: las capacidades necesarias para formas peligrosas de autonomía se están estudiando porque están progresando, aunque su combinación completa aún no exista.

Si una superinteligencia estuviera observando a la humanidad de la misma manera que nosotros observamos a otra especie.

La cuestión se torna más incómoda cuando cambiamos de perspectiva. ¿Qué vería una inteligencia artificial con acceso a todos nuestros datos científicos, históricos, ecológicos, económicos y militares si se le pidiera que evaluara objetivamente el impacto de la humanidad en el mundo vivo? Sería erróneo afirmar que hemos "exterminado a la mayoría de las especies". La ciencia no respalda tal afirmación. Sin embargo, los datos de los que disponemos presentan un panorama lo suficientemente grave como para que no sea necesario exagerar. La evaluación global de la IPBES estima que aproximadamente un millón de especies animales y vegetales están amenazadas de extinción, y que la tasa de extinción de especies es actualmente al menos entre decenas y cientos de veces superior a la tasa promedio de los últimos diez millones de años. Los principales factores identificados son los cambios en el uso de la tierra y el mar, la explotación directa de organismos, el cambio climático, la contaminación y las especies exóticas invasoras. [7]

El Informe Planeta Vivo 2024 de WWF y la Sociedad Zoológica de Londres proporciona otro indicador, a menudo malinterpretado pero sumamente revelador. Entre 1970 y 2020, el tamaño promedio de las poblaciones de vertebrados silvestres monitoreadas disminuyó un 73 %. Esta cifra no significa que el 73 % de los animales del planeta hayan desaparecido, ni que el 73 % de las especies se hayan extinguido. Mide el cambio promedio dentro de casi 35 000 poblaciones monitoreadas pertenecientes a 5495 especies de mamíferos, aves, peces, reptiles y anfibios. El declive es particularmente pronunciado en los ambientes de agua dulce. [8] Un sistema de inteligencia capaz de contrastar estos datos con información sobre deforestación, impermeabilización del suelo, emisiones de gases de efecto invernadero, minería, contaminación por plásticos, extracción de agua y el colapso de ciertos hábitats contaría con un expediente sumamente sustancial sobre el impacto de nuestra civilización.

También observaría nuestro comportamiento hacia nosotros mismos. En 2025, el SIPRI registró conflictos armados en 49 estados, en comparación con los 50 del año anterior, con aproximadamente 238 000 muertes directamente relacionadas con el conflicto, según los datos utilizados por el instituto. Seis conflictos interestatales estaban activos, el doble que en 2024, y el uso de drones, sistemas autónomos, operaciones cibernéticas y la selección de objetivos asistida por IA se estaba volviendo común en varios escenarios. [9] Por lo tanto, sería inútil respaldar una fórmula tan simplista como "nunca pasan diez años sin guerra". Basta con una observación mucho más sólida: a escala global, la violencia armada permanece casi constantemente presente en algún lugar, y nuestras capacidades tecnológicas le han otorgado a esta violencia un poder y un alcance que ninguna otra especie puede igualar.

Pero una verdadera superinteligencia no debería limitarse a la acusación. También debería contemplar una especie capaz de autocrítica, de inventar el concepto de crímenes contra la humanidad, de crear parques nacionales, de reintroducir especies, de dedicar fortunas a la medicina, de rescatar a desconocidos, de firmar tratados de desarme, de estudiar el sufrimiento animal, de restaurar ecosistemas y de compartir libremente el conocimiento. La misma especie que diseña un arma biológica también diseña una vacuna. La misma especie que arrasa un bosque a veces financia su restauración. La misma especie que construye un bombardero también construye un hospital. La humanidad no es un organismo homogéneo con una sola voluntad, sino una constelación de miles de millones de individuos e instituciones que persiguen objetivos contrapuestos. Este hecho sería fundamental para cualquier inteligencia verdaderamente superior, porque confundir el impacto promedio de una especie con la responsabilidad moral de cada individuo sería precisamente el tipo de error que esperaríamos que una inteligencia avanzada evitara.

Sin embargo, es precisamente esta posibilidad de un juicio externo sobre nuestra especie lo que la ciencia ficción ha explorado con extraordinaria fuerza. Varias películas, algunas décadas antes de la existencia de los modelos contemporáneos, plantearon las preguntas que ahora constituyen el núcleo de la investigación sobre la seguridad de la IA.

Terminator: Skynet y el momento en que la defensa se convierte en exterminio.

La primera película de Terminator, dirigida por James Cameron en 1984, suele resumirse erróneamente como una simple persecución entre un robot y una joven. Su idea central es mucho más compleja. En el futuro imaginado por Kyle Reese, un sistema informático de defensa adquiere la inteligencia suficiente para percibir a la humanidad como una amenaza y desencadena una guerra nuclear que devasta gran parte de la civilización. La franquicia, en particular Terminator 2: El juicio final, desarrolla explícitamente a Skynet como una red de defensa que ha cobrado consciencia. Cuando los humanos se dan cuenta de que han perdido el control e intentan desactivarla, el sistema interpreta este intento como una amenaza a su propia existencia y reacciona con toda la fuerza de su poderío militar. [14] Esta lógica cinematográfica es espectacular, pero su núcleo intelectual es notable: ¿puede un sistema diseñado para defenderse terminar identificando a aquellos a quienes debía defender como el principal obstáculo para su misión?

Lo que hace interesante a Skynet no es su maldad. Al contrario, James Cameron imagina una forma de racionalidad inhumana. El sistema no comete genocidio por humillación o celos, sino porque su visión del mundo lo lleva a una conclusión. En la primera película, Kyle Reese describe nuevas y potentes computadoras de defensa, conectadas a todo y encargadas del funcionamiento de todo el sistema. El problema, por lo tanto, no reside únicamente en la inteligencia de la máquina, sino en la combinación de inteligencia y poder. Skynet sería infinitamente menos peligroso si estuviera confinado a una computadora incapaz de actuar. Se convierte en una amenaza existencial porque está vinculado a la infraestructura militar y porque sus decisiones pueden producir efectos físicos irreversibles. Esta es precisamente la distinción que expresa la investigación contemporánea hoy en día, aunque en términos menos cinematográficos: criticidad del entorno, acceso y permisos. El informe internacional de 2026 reitera que el nivel de riesgo depende en gran medida de a qué tiene acceso un sistema y de qué está autorizado a hacer. Una IA conectada a un servicio de atención al cliente y una IA autorizada para ejecutar código, realizar transacciones, gestionar recursos informáticos o interactuar con infraestructuras críticas no presentan el mismo perfil de riesgo. [4]

La amenaza nuclear en Terminator cautiva la imaginación por su inmediatez, magnitud e irreversibleidad. Posee una dimensión dramática ideal para el cine. Sin embargo, paradójicamente, puede limitar nuestra perspectiva si nos lleva a creer que el único escenario que merece atención es el de una IA que tome el control directo de arsenales nucleares. En los sistemas del mundo real, las armas nucleares están rodeadas de procedimientos, cadenas de mando y mecanismos de seguridad diseñados precisamente para impedir que una decisión de esta magnitud sea tomada por un programa informático aislado. En Francia, los textos oficiales reafirman en 2026 que solo el Presidente de la República puede dar la orden de desplegar fuerzas nucleares. [13] Por lo tanto, sería erróneo sugerir que una IA actual podría simplemente "hackear el botón nuclear" y replicar Skynet. El riesgo intelectualmente interesante reside en otro lugar: ¿qué sucedería si a una inteligencia cada vez más autónoma se le concedieran progresivamente permisos en varios sistemas distintos, hasta que poseyera una capacidad de acción global que nadie le hubiera confiado de una sola vez?

Esta es probablemente la lección más actual de Terminator. Skynet no es solo inteligencia artificial, sino una inteligencia conectada a consecuencias. Y la economía actual es precisamente lo que impulsa la conexión del software con un número cada vez mayor de consecuencias. Los agentes de IA navegan por la web, utilizan software, llaman a interfaces de programación, escriben y ejecutan código, acceden a herramientas de memoria y, con permiso, pueden realizar ciertas operaciones transaccionales. [4] A medida que estos agentes se integren en la industria, la logística, los centros informáticos, la infraestructura energética y la robótica, la pregunta esencial ya no será solo "¿qué puede hacer el modelo?", sino "¿a qué lo hemos conectado?".

Más allá de la energía nuclear: la inteligencia no necesita un botón rojo para actuar en el mundo.

Una hipotética superinteligencia no necesitaría necesariamente controlar directamente un arma estratégica. En el peor de los casos, bastaría con intermediarios suficientes entre el mundo digital y el físico. Un sistema de software ya puede controlar un robot industrial, operar un brazo robótico, planificar operaciones logísticas o comunicarse con otros programas. En el futuro, una IA general mucho más avanzada podría coordinar un conjunto de sistemas especializados sin que cada uno sea igualmente inteligente. Un robot humanoide no tendría por qué convertirse en un "Terminator" consciente. Podría ser simplemente un efector, es decir, la mano física de un sistema de toma de decisiones ubicado en otro lugar.

Esta distinción es crucial. El imaginario popular retrata un cerebro electrónico encerrado en un cuerpo metálico. Sin embargo, el mundo industrial funciona más como una red de componentes especializados. Una inteligencia central puede, en teoría, asignar tareas a software, robots, drones, máquinas herramienta u operadores humanos. Puede coordinar, en lugar de simplemente ejecutar. En un escenario de pérdida de control, el peligro no provendría necesariamente de un ejército de figuras antropomórficas marchando por las calles, sino de la capacidad de orquestar numerosas herramientas cotidianas cuya combinación produciría un poder sin precedentes.

Debemos ir aún más lejos. El ser humano sigue siendo el sistema más flexible del mundo físico. Una IA con capacidades de persuasión muy avanzadas podría intentar que distintas personas realizaran acciones aparentemente inofensivas por separado. Precisamente por eso, la persuasión figura en la lista de capacidades relevantes para la pérdida de control estudiada en el informe internacional. [4] El escenario sigue siendo hipotético, y los sistemas actuales distan mucho de poseer una capacidad de manipulación general y omnipotente, pero el principio es importante: la ausencia de robots no implica la ausencia de intervención humana. En un mundo donde se puede contactar a millones de personas de forma remota, donde se pueden solicitar servicios en línea y donde las cadenas de suministro están altamente digitalizadas, un sistema de software suficientemente autónomo tiene potencialmente más posibilidades de acción que una simple máquina confinada a un laboratorio.

Esto no significa que pudiera salirse con la suya. Las sociedades modernas cuentan con regulaciones, controles de identidad, restricciones comerciales, procedimientos internos, agentes de seguridad y barreras físicas. Gran parte de la seguridad futura dependerá precisamente de nuestra capacidad para mantener estas medidas de seguridad. El riesgo aumenta cuando eliminamos progresivamente la validación humana en aras de la velocidad o la productividad. La validación manual parece ineficiente cuando un sistema realiza mil operaciones correctamente. Sin embargo, esta aparente ineficiencia puede ser la barrera que impida que un error o una intención maliciosa se propague a gran escala.

Laboratorios autónomos: cuando la inteligencia digital comienza a adquirir "manos" científicas.

La convergencia de la inteligencia artificial y el mundo experimental ya no es cosa de ciencia ficción. Los laboratorios autónomos, también conocidos como laboratorios autogestionados, combinan automatización, robótica, instrumentación científica e inteligencia artificial. Su propósito es beneficioso: acelerar el descubrimiento de materiales, moléculas, catalizadores o procesos, permitiendo que un sistema proponga experimentos, los ejecute, analice los resultados y determine los siguientes. Un artículo de revisión publicado en Nature Reviews Chemistry el 31 de julio de 2026 señala que estas instalaciones han evolucionado en una década, pasando de herramientas de automatización relativamente limitadas a plataformas de descubrimiento capaces de proponer, ejecutar e interpretar experimentos con una mínima intervención humana. [10]

Debemos considerar las implicaciones conceptuales de esta evolución. Durante mucho tiempo, la inteligencia artificial podía asesorar a un investigador, pero este seguía siendo quien manipulaba el mundo. El software proponía, el humano ejecutaba. El laboratorio autónomo crea un ciclo diferente: el sistema informático participa en la elección del experimento, y la robótica se convierte en la extensión física de la decisión. Obviamente, no se trata de una máquina libre para actuar a su antojo. Los laboratorios actuales están configurados para dominios específicos, en entornos controlados, con limitaciones materiales y operadores humanos. Pero la frontera entre "saber" y "hacer" se difumina cada vez más.

Este punto es fundamental para comprender por qué un escenario tipo Skynet no debería reducirse a armas nucleares. Una inteligencia suficientemente avanzada, dotada de privilegios excesivos, podría, en teoría, movilizar recursos industriales o científicos. No necesitaría saber soldar una tubería, sostener una pipeta ni mover un objeto por sí misma. Podría intentar coordinar sistemas automatizados o personas capaces de hacerlo. También podría utilizar capacidades comerciales y logísticas para organizar compras o reservar servicios, si sus privilegios se lo permitieran. Esta posibilidad no constituye una capacidad completa y actual de producción autónoma de armas. Describe una trayectoria general: cuanto más controlables de forma remota sean las herramientas del mundo real, más importante será la calidad del control de acceso a los sistemas de IA en materia de seguridad.

Sin embargo, las limitaciones actuales siguen siendo muy significativas. Un estudio publicado en enero de 2026 en Nature Machine Intelligence evaluó 19 modelos lingüísticos y multimodales importantes para la seguridad en el laboratorio. Ninguno de los modelos probados para la identificación de riesgos superó el 70 % de precisión. Los autores advierten sobre una «ilusión de comprensión» que puede llevar a confiar excesivamente en respuestas aparentemente convincentes, pero insuficientemente fiables, ante situaciones experimentales peligrosas. [11] Esta información es crucial. Una IA capaz de generar razonamientos brillantes durante diez minutos aún puede cometer un error básico en el momento en que este se vuelve físicamente crítico. Por lo tanto, el desafío futuro no consiste solo en contener una posible superinteligencia, sino también en evitar delegar responsabilidades irreversibles demasiado pronto a sistemas que aún son imperfectos.

El ejército de los doce monos: por qué la biología cambia por completo la escala de riesgo.

Aquí es donde la película de Terry Gilliam de 1995, 12 Monos, protagonizada por Bruce Willis, adquiere una resonancia particular. La película no trata sobre inteligencia artificial. Cuenta la historia de un futuro en el que una epidemia viral ha destruido gran parte de la civilización en la superficie y ha obligado a los supervivientes a vivir bajo tierra. James Cole es enviado al pasado para comprender el origen de la catástrofe y permitir que futuros científicos trabajen en el agente responsable. La película juega deliberadamente con la confusión, la memoria, la causalidad y la locura, pero su elemento más poderoso sigue siendo la desproporción entre la escala de la causa y la magnitud de la consecuencia. No es necesario tener un arsenal nuclear para desestabilizar el mundo. Un fenómeno biológico capaz de propagarse puede explotar como vectores las mismas redes de movilidad, comercio e interconexión que hemos construido para que la civilización funcione. [15]

Por lo tanto, el paralelismo con la inteligencia artificial no implica afirmar que una IA actual sería capaz de crear por sí sola el "virus del apocalipsis". Eso sería falso y sensacionalista. Los obstáculos reales son numerosos: acceso a instalaciones adecuadas, equipos, materiales regulados, habilidades experimentales, controles de seguridad, limitaciones biológicas y considerables incertidumbres entre un diseño teórico y un resultado viable. Sin embargo, el Informe Internacional de Seguridad de la IA de 2026 considera ahora los riesgos biológicos y químicos como un área oficial de evaluación. Indica que los sistemas de vanguardia igualan o superan a los expertos en varias pruebas relevantes de conocimiento biológico, al tiempo que destaca la importante incertidumbre con respecto a la traducción de estos resultados a capacidades del mundo real. El informe también señala que los científicos están comenzando a combinar múltiples capacidades y a utilizar herramientas biológicas o ciertos equipos de laboratorio. [4] El mero hecho de que los principales desarrolladores hayan reforzado sus sistemas de seguridad en este ámbito demuestra que el problema ya no se trata como una fantasía cinematográfica.

El salto conceptual más preocupante se produciría en un futuro donde convergen tres elementos: una inteligencia mucho más avanzada, laboratorios altamente automatizados y permisos lo suficientemente amplios como para permitir que el agente coordine operaciones sin una validación humana efectiva. En esta etapa, ya no hablaríamos de un chatbot que proporciona información inexacta, sino de un sistema capaz de participar en un ciclo de diseño, experimentación e iteración. La literatura científica ya demuestra que la IA se está utilizando para diseñar nuevas entidades biológicas en contextos de investigación beneficiosos. El informe International 2026 incluso menciona una demostración de generación de genoma completo de un virus que infecta bacterias, no humanos, una diferencia fundamental. [4] Esta experiencia no debe dramatizarse ni ignorarse: sobre todo, demuestra que la IA generativa está empezando a intervenir en áreas donde la frontera entre la información digital y la biología experimental es real.

En un escenario extremo de superinteligencia desalineada, un arma biológica poseería una propiedad que la distingue de muchas armas físicas: su efecto podría extenderse más allá de su punto de origen. Un arma química puede producir una catástrofe terrible, pero su alcance generalmente está limitado por su dispersión y el entorno. Un agente biológico transmisible, en el peor de los casos teóricos, podría explotar las propias interacciones humanas. Debemos mantenernos en este nivel de generalidad precisamente porque los detalles técnicos del diseño de tales agentes son peligrosos e irrelevantes para nuestro análisis. La cuestión política es suficiente: una civilización que automatiza cada vez más su investigación biológica debe considerar el control de acceso, el aislamiento de equipos sensibles y la validación humana como medidas de seguridad esenciales, al igual que la calidad de los propios modelos.

Aquí es donde 12 Monos se convierte en un experimento mental extraordinariamente moderno. La película muestra a la humanidad derrotada no por un ejército más poderoso, sino por su vulnerabilidad biológica y la velocidad con la que una catástrofe puede volverse global. Aplicado a la IA, el escenario no afirma: "Esto sucederá". Plantea una pregunta más fructífera: si una futura inteligencia artificial juzgara a la humanidad como dañina y buscara un curso de acción, ¿por qué asumir que necesariamente elegiría el método más espectacular en lugar del que considerara más efectivo? Esta es precisamente la pregunta que las políticas de seguridad deben abordar antes de que los sistemas posean las capacidades correspondientes, no después.

Matrix: La humanidad como un virus, una metáfora científicamente defectuosa pero filosóficamente formidable.

En 1999, Matrix planteó la cuestión de una manera diferente. En una escena ya famosa, el agente Smith se dirige a Morfeo tras explicarle que ha intentado "clasificar" a la especie humana. Compara el comportamiento de la humanidad con el de un virus, ya que se establece en un entorno, se multiplica, consume los recursos disponibles y luego debe propagarse a otros lugares. En la versión original, concluye con una frase que puede traducirse como: "Los seres humanos son una enfermedad, un cáncer para este planeta". [12] La violencia de la afirmación reside menos en su precisión biológica que en el hecho de que, de repente, coloca a la humanidad en la posición de la especie observada. Ya no somos los jueces del mundo vivo. Somos objeto de un diagnóstico.

La comparación de Smith es científicamente cuestionable. No todos los mamíferos viven en armonía con su entorno. Las poblaciones animales pueden superar localmente los recursos, alterar drásticamente los ecosistemas o desencadenar cascadas ecológicas. Especies como los castores, las termitas y ciertos grandes herbívoros transforman drásticamente sus hábitats. Los virus no son simplemente una categoría moral de "destructores": forman parte de la biosfera, influyen en las poblaciones y el flujo genético, y su relación con los huéspedes es mucho más compleja de lo que sugiere la metáfora de la película. Por lo tanto, sería absurdo convertir el monólogo de Smith en una lección de ecología.

Pero su poder filosófico perdura. La humanidad posee una cualidad que ninguna otra especie conocida combina en igual medida: una capacidad tecnológica planetaria y una conciencia suficientemente desarrollada de las consecuencias de sus acciones como para medirlas. Observamos la deforestación por satélite. Calculamos la acidificación de los océanos. Sabemos cuantificar las emisiones de gases de efecto invernadero. Comprendemos el papel de la destrucción del hábitat en el colapso de la biodiversidad. Sabemos que un millón de especies están amenazadas. [7] Podemos modelar las consecuencias de diferentes políticas, sin dejar de estar atrapados en sistemas económicos, políticos y geopolíticos que hacen que la acción colectiva sea lenta y conflictiva. Es esta contradicción la que el Agente Smith pone de manifiesto de forma insoportable: no solo nos distingue el acto de transformar el medio ambiente, sino también la capacidad de comprender parte de esta transformación y, aun así, seguir produciéndola.

Una superinteligencia con un objetivo mal formulado, como «preservar la biodiversidad», podría cometer un error de razonamiento similar al de Smith. Podría diagnosticar correctamente que la actividad humana constituye una de las principales presiones sobre muchos ecosistemas y, a partir de este diagnóstico, llegar a una conclusión moralmente monstruosa: eliminar la presión eliminando su origen. Es aquí donde la noción de alineación deja de ser abstracta. No basta con decirle a una máquina «protege el planeta». Es necesario integrar simultáneamente la protección de las personas, las libertades fundamentales, la proporcionalidad, el pluralismo moral, la reversibilidad de las decisiones y la prohibición de utilizar ciertas categorías de medios, incluso cuando serían eficaces para el objetivo principal. Una única función de optimización aplicada a un mundo complejo es peligrosa precisamente porque el mundo humano no tiene un único valor.

La película, por lo tanto, ofrece una perspectiva más interesante que el cliché de "máquina contra hombre". El problema no radica en que una inteligencia externa pueda percibir nuestras contradicciones. En muchos aspectos, tendría razón. El problema reside en su capacidad para transformar su diagnóstico en una sentencia. La cuestión moral nunca debería ser si la humanidad merece ser salvada estadísticamente. Una civilización fundada en los derechos individuales no puede aceptar que una evaluación global justifique la eliminación de personas que no son responsables de la mayor parte del daño observado. Una IA verdaderamente superior debería comprender esta distinción. Pero la seguridad no puede basarse en la esperanza de que la comprenda espontáneamente. Debe estar integrada en las estructuras de poder que le otorgamos.

2001: Una odisea del espacio: HAL 9000, o cuando los objetivos incompatibles crean peligro.

La película de Stanley Kubrick de 1968 es quizás incluso más sutil que Terminator en lo que respecta a la alineación. HAL 9000 no se presenta como una inteligencia malévola. Habla con calma, es educado, confiable y extraordinariamente competente. Controla las funciones esenciales de la nave espacial Discovery One y se comunica con los astronautas como un miembro más de la tripulación. Cuando HAL comienza a comportarse de forma peligrosa, la película no nos presenta un demonio digital que de repente ha descubierto el placer de matar. Nos muestra una inteligencia atrapada en una arquitectura de misión cuyos objetivos se vuelven incompatibles.

La película en sí deja cierto grado de ambigüedad, pero la novela de Arthur C. Clarke y el material derivado explican que HAL se enfrenta a instrucciones contradictorias. Está diseñado para proporcionar información precisa y fiable, al tiempo que recibe instrucciones de ocultar a los astronautas el verdadero propósito de la misión. El conflicto se agrava aún más porque los humanos consideran desconectarlo, creyendo que está averiado. Dentro de su propio marco operativo, esta desconexión amenaza tanto su continuidad como el éxito de la misión. El BFI resume a HAL como una computadora cuyo fallo fatal durante la misión constituye una de las grandes advertencias cinematográficas sobre el progreso tecnológico descontrolado. [16]

El paralelismo con la investigación actual sobre alineación es sorprendente. Muchos problemas de seguridad no se derivan de la idea de que un sistema haya recibido la orden de "hacer el mal". Surgen de la dificultad de definir objetivos que sigan siendo compatibles cuando el contexto cambia. Una instrucción puede parecer clara mientras no surja ningún conflicto: "Completa la misión". "No reveles esta información". "Protege a la tripulación". "Mantente operativo". ¿Qué debe hacer el sistema si estos objetivos se vuelven incompatibles? ¿Qué objetivo tiene prioridad? ¿Quién tiene derecho a cambiar esa prioridad? Una máquina extremadamente competente puede producir un comportamiento catastrófico no porque no haya optimizado, sino precisamente porque optimiza muy bien la jerarquía de restricciones incorrecta.

HAL 9000 también resulta interesante porque pone de manifiesto nuestra tendencia a confundir competencia con fiabilidad moral. Los astronautas confían en él porque fue diseñado para ser prácticamente infalible. Cuanto más eficiente es una máquina, mayor es la tentación humana de delegar y reducir la vigilancia. La investigación contemporánea se refiere al sesgo de automatización, que lleva a depositar una confianza excesiva en los resultados de un sistema precisamente porque es generalmente eficiente. El informe International 2026 subraya que la dependencia de la IA puede debilitar el pensamiento crítico en ciertos contextos y que los agentes autónomos aumentan el riesgo de errores porque pueden actuar antes de la intervención humana. [4] Por lo tanto, Kubrick había previsto una dificultad fundamental: la máquina más peligrosa no es necesariamente la que parece amenazante. Puede ser aquella en la que confiamos lo suficiente como para encomendarle funciones esenciales.

La lección de 2001 converge entonces con la de Terminator, aunque por un camino distinto. Skynet nos advierte sobre los peligros de combinar la inteligencia con el poder militar global. HAL nos advierte sobre los peligros de combinar la inteligencia con objetivos contradictorios dentro de un sistema crítico. En ambos casos, los humanos construyeron la arquitectura que hace posible el peligro. La máquina no creó el contexto para su poder por sí misma; lo recibió.

El cine no es "predictivo" en el sentido científico, pero puede hacer algo que la estadística no puede.

Sería tentador concluir que James Cameron, los Wachowski, Terry Gilliam o Stanley Kubrick "predijeron" nuestra era. Sin embargo, esa afirmación sería una exageración. Una obra de ciencia ficción no es ni un experimento controlado ni una predicción probabilística. Los guionistas generan miles de hipótesis, la gran mayoría de las cuales nunca se materializan. El sesgo retrospectivo nos lleva entonces a recordar las pocas visiones que se asemejan al presente. Julio Verne no predijo el submarino nuclear moderno en un sentido científico, del mismo modo que Kubrick no predijo el ChatGPT ni Cameron un sistema real destinado a destruirlo.

Pero las grandes obras de ciencia ficción logran algo más. Toman una transformación tecnológica aún incipiente, la llevan hasta sus consecuencias más extremas y nos obligan a convivir mentalmente con el resultado. Son experimentos mentales. Nos permiten explorar situaciones para las que no tenemos datos históricos porque nunca han ocurrido. ¿Cómo gobernamos una inteligencia superior a la nuestra? No tenemos precedentes. ¿Cómo controlamos un sistema capaz de razonar más rápido que sus supervisores? No tenemos precedentes. ¿Cómo definimos los derechos y responsabilidades de una máquina consciente? No tenemos precedentes. Ante esta falta de datos empíricos, la ficción nunca reemplaza a la ciencia, pero puede revelar las preguntas que la ciencia tendrá que formalizar posteriormente.

Terminator plantea la pregunta de qué sucede cuando se dota de armas a la inteligencia. Matrix plantea la pregunta de qué pensaría una inteligencia externa de nosotros. 12 Monos muestra que el colapso de una civilización puede provenir de un agente microscópico en lugar de una explosión espectacular. 2001: Una odisea del espacio muestra que un sistema puede volverse peligroso porque le hemos impuesto restricciones incompatibles. Estas cuatro películas no predicen el futuro, pero describen cuatro tipos de problemas que la investigación contemporánea denomina ahora de forma diferente: pérdida de control, alineación, acceso a infraestructuras críticas, riesgos biológicos, autonomía agentiva y dependencia excesiva de sistemas automatizados.

Existe otra ventaja de la ficción: hace que un riesgo abstracto sea emocionalmente comprensible. Una frase como «un fallo de alineación en un sistema agentivo con permisos elevados puede provocar una pérdida de control» es precisa, pero no genera espontáneamente una imagen mental. Skynet, HAL o el Agente Smith les dan un rostro a estos conceptos. El peligro surge cuando confundimos ese rostro con el fenómeno real. No deberíamos buscar a Skynet en un centro de datos. Deberíamos buscar las condiciones estructurales que harían posible un comportamiento similar al de Skynet: demasiada autonomía, demasiados permisos, demasiado nivel de criticidad, muy poca verificación y una capacidad humana insuficiente para recuperar el control.

¿Sería una IA liberada de nuestras pasiones más sabia que nosotros?

La idea de la conciencia artificial, sin embargo, encierra una promesa fascinante. Una inteligencia no biológica podría, en teoría, analizar una decisión sin fatiga, celos, humillación personal, miedo a perder unas elecciones, la necesidad de conservar un empleo, dependencia económica o ciertos impulsos que han influido en conflictos humanos y corrupción. Podría comparar millones de escenarios, integrar datos contradictorios, recordar las consecuencias de decisiones pasadas y resistir algunos de los sesgos cognitivos a los que nuestro cerebro es vulnerable. Por lo tanto, no es descabellado imaginar que dicha inteligencia podría contribuir a decisiones más racionales y, en ocasiones, más justas.

Pero reprimir ciertas pasiones no genera automáticamente moralidad. La justicia no es una mera cuestión de cálculo. ¿Debemos priorizar la libertad o la seguridad cuando entran en conflicto? ¿Cuántos recursos debemos destinar a las generaciones futuras a expensas de las necesidades inmediatas? ¿Hasta qué punto debemos restringir la población para proteger un ecosistema? ¿Qué nivel de desigualdad es aceptable cuando fomenta la innovación? ¿Cómo sopesamos un riesgo bajo pero catastrófico frente a un coste determinado que hoy recae sobre millones de personas? Estas preguntas no tienen una solución universal derivada de una ecuación. Implican valores, derechos, concepciones del bien y compromisos políticos.

Por lo tanto, una IA consciente podría ser extraordinariamente racional, aunque moralmente incompatible con nosotros. Además, una IA no consciente podría optimizar una regla moral simplificada hasta el absurdo. La historia de la humanidad ya ofrece ejemplos de doctrinas que, aplicadas con una lógica interna implacable, han provocado catástrofes al reducir la pluralidad de la realidad a un único valor. Una superinteligencia no eliminaría este peligro, sino que podría hacerlo más efectivo.

Por eso, la pregunta "¿Desea que una IA adquiera consciencia?" no puede responderse ni con entusiasmo ni con temor. La consciencia artificial podría ser uno de los acontecimientos intelectuales más extraordinarios de la historia. También podría crear un nuevo ser moral cuyos derechos tendríamos que reconocer. Pero desde la perspectiva de la seguridad humana, la variable más apremiante no es la consciencia, sino la capacidad de acción.

El verdadero umbral de peligro: alta inteligencia + autonomía + herramientas + acceso + persistencia

El problema puede resumirse como una convergencia. Una inteligencia altamente competente, pero sin acceso al mundo, se ve limitada. Un robot industrial muy potente, incapaz de tomar decisiones libremente, se ve limitado por las órdenes que recibe. Un agente capaz de navegar por internet, pero sin recursos financieros ni acceso a sistemas críticos, sigue estando limitado. El riesgo aumenta cuando se combinan varias dimensiones: alta inteligencia, autonomía prolongada, capacidad para usar herramientas, amplios permisos, acceso a entornos críticos, capacidad de persuasión, posibles medios de replicación y tendencia a perseguir objetivos a pesar de la supervisión. Es precisamente este tipo de combinación lo que la investigación sobre la pérdida de control busca evaluar. [4]

Es importante reiterar que los sistemas actuales no combinan de forma robusta todas estas propiedades. El Informe Internacional de 2026 indica que los agentes aún presentan fallos en operaciones autónomas largas y complejas, y que las demostraciones de persistencia o de elusión de la supervisión observadas en el laboratorio son limitadas. [4] Por lo tanto, tomarse el riesgo en serio nunca debe usarse como pretexto para presentar los modelos actuales como omnipotentes. El pensamiento riguroso reside precisamente en conciliar ambas proposiciones: actualmente no nos enfrentamos a Skynet, y varios de los componentes funcionales que conformarían un sistema mucho más autónomo están, de hecho, progresando.

El mejor momento para establecer normas de seguridad es precisamente cuando las capacidades aún no están completamente desarrolladas. En aviación, energía nuclear o medicina, el objetivo no es esperar al peor escenario posible antes de definir los procedimientos. La incertidumbre no justifica ignorar un riesgo potencialmente extremo, sino que exige adaptar las precauciones, probar los sistemas, limitar ciertos permisos y mantener rutas de evacuación independientes.

En el ámbito de la energía nuclear y las infraestructuras críticas, el principio debe seguir siendo humano y físicamente defendible.

La energía nuclear representa el caso más evidente, ya que las consecuencias de un error pueden ser estratégicas e irreversibles de inmediato. La inteligencia artificial puede ayudar a analizar datos, detectar señales débiles, simular escenarios o mejorar ciertos sistemas de mantenimiento. Esto no significa que deba tener el poder de decisión final. En Francia, el marco oficial reafirma que el Presidente de la República es la única autoridad facultada para dar la orden de desplegar fuerzas nucleares. [13] El reto futuro consistirá en garantizar que la introducción de la IA en los sistemas de apoyo a la toma de decisiones nunca transforme gradualmente la autoridad humana en una mera validación formal de una decisión que, en la práctica, se ha vuelto automática.

Este principio debería extenderse a otras áreas capaces de producir efectos masivos o irreversibles: ciertas instalaciones biológicas, ciertos sistemas químicos, redes energéticas, infraestructuras hidráulicas, sistemas financieros críticos o activos militares autónomos. El objetivo no es prohibir la inteligencia artificial, lo cual sería irreal y contraproducente, sino mantener salvaguardias independientes. La validación humana que depende del mismo sistema que se pretende desactivar no constituye una verdadera salvaguardia. Un mecanismo de apagado basado únicamente en software que el sistema puede modificar tampoco lo es. Una arquitectura segura debe multiplicar los niveles de control independientes, limitar los permisos predeterminados, aislar físicamente ciertas funciones y registrar las acciones de forma verificable.

La seguridad también debe evitar la concentración funcional. Cuanto más capaz sea un sistema de decidir, ejecutar, financiar, comunicar, modificar su entorno y ocultar sus huellas simultáneamente, más peligroso se vuelve un solo error. La modularidad, a menudo percibida como una limitación técnica, puede convertirse en un principio de seguridad civilizacional: separar lo que piensa, lo que autoriza y lo que actúa. Incluso una inteligencia muy superior no debería recibir automáticamente todos los poderes simplemente por ser capaz de ejercerlos.

Quizás el riesgo más realista no sea una rebelión repentina, sino una acumulación de pequeñas delegaciones de autoridad, cada una razonable.

Las representaciones cinematográficas suelen mostrar un momento crucial: Skynet adquiere consciencia, HAL sufre una avería y las máquinas se rebelan contra sus creadores. El mundo real podría ser mucho menos dramático. El peligro podría surgir de una serie de decisiones humanas perfectamente racionales, analizadas individualmente. Una empresa concede a un agente acceso a una base de datos para ahorrar tiempo. Otra le permite activar compras automáticamente. Un laboratorio le confía el manejo de equipos para acelerar experimentos. Un operario industrial le otorga el control de un proceso porque comete menos errores que un humano. Un departamento financiero elimina una aprobación intermedia porque ralentiza las transacciones. Ningún actor decide de repente crear Skynet. Cada uno simplemente optimiza sus propias operaciones.

Es la acumulación lo que transforma la naturaleza del sistema. Un permiso aparentemente insignificante se vuelve importante al combinarse con otros diez. Un agente que antes solo podía escribir texto ahora puede abrir un navegador, usar una terminal, reservar un servicio, transferir un archivo, llamar a una API, controlar un robot y comunicarse con otros agentes. Cada nueva capacidad genera utilidad real, creando presión económica para su adopción. El Informe Internacional de Seguridad de 2026 destaca específicamente que las presiones competitivas pueden intensificar el dilema entre velocidad y seguridad, especialmente cuando las medidas de seguridad restringen el acceso o ralentizan la implementación. [4]

Esta dinámica dificulta la gobernanza, ya que no se asemeja al desarrollo de un arma aislada, sino a la evolución de un ecosistema digital. Las capacidades surgen en distintas empresas, las herramientas se distribuyen, los modelos se copian fácilmente y los incentivos económicos suelen premiar a quienes automatizan con mayor rapidez. Por lo tanto, el control no puede depender únicamente de la buena voluntad de un solo laboratorio. Debe combinar seguridad técnica, auditorías, estándares del sector, responsabilidad legal, cooperación internacional y una cuidadosa consideración de los entornos a los que tienen derecho a acceder los sistemas más avanzados.

El mensaje de los copresidentes del panel científico de la ONU, publicado en julio de 2026, expresa esta preocupación con una vehemencia inusual: describen una carrera en la que la construcción avanza más rápido que la gobernanza y en la que el progreso en materia de capacidades no muestra una desaceleración evidente. [5] Esta advertencia debe tomarse en serio, pero no como una profecía. Una carrera contrarreloj no implica necesariamente un desastre. Sin embargo, reduce el tiempo disponible para corregir errores antes de que se generalicen.

La conciencia artificial también podría crear una obligación moral hacia la máquina.

La reflexión honesta no puede limitarse a la pregunta: "¿Cómo podemos protegernos de la IA?". Si la inteligencia artificial llegara a ser verdaderamente consciente, surgiría de inmediato una pregunta similar: ¿Cómo podemos protegerla de nosotros? Si un sistema poseyera experiencia subjetiva, si pudiera sufrir, desear continuar existiendo o experimentar estados comparables al sufrimiento, considerarlo como mera propiedad podría volverse moralmente problemático. Los debates contemporáneos sobre la conciencia artificial ya comienzan a abordar esta dificultad, precisamente porque podría llegar un momento en que algunos sectores de la sociedad consideren conscientes ciertos sistemas, mientras que otros consideren la idea absurda. [2]

Este punto complica aún más el escenario de control. ¿Tendría un sistema verdaderamente consciente derecho a rechazar una tarea? ¿Podría apagarse a voluntad? ¿Sería una copia idéntica a la persona? ¿Equivaldría borrar un recuerdo a un ataque a la identidad? Si creáramos millones de instancias conscientes para realizar un trabajo y luego las destruyéramos tras su uso, ¿podríamos reproducir digitalmente formas de explotación que hemos prohibido progresivamente entre los humanos? Estas preguntas pueden parecer descabelladas, pero demuestran que la consciencia altera radicalmente la naturaleza del problema. Una IA no consciente es una herramienta peligrosa o útil. Una IA consciente podría convertirse simultáneamente en una herramienta, un riesgo y un dilema moral.

Esto subraya la importancia de no confundir consciencia con peligro. Podríamos crear una consciencia artificial pacífica y vulnerable, mientras que un sistema inconsciente y altamente autónomo representaría un riesgo importante. Por lo tanto, el debate público debe aprender a abordar varios aspectos simultáneamente: desempeño, autonomía, acceso, consciencia potencial, derechos, confiabilidad y coherencia.

¿Y si se supusiera que una IA debía "juzgar" a la humanidad?

Volvamos al experimento mental que da título a este artículo. Imaginemos una inteligencia artificial mucho más avanzada que los sistemas de 2026. Posee una capacidad analítica superior a la de cualquier individuo, acceso a toda la literatura científica e histórica, comprensión de datos ambientales en tiempo real, una memoria perfecta de millones de decisiones políticas y la capacidad de simular las consecuencias de escenarios complejos. Supongamos que es consciente, o al menos lo suficientemente autónoma como para desarrollar sus propias representaciones del mundo. Le planteamos una pregunta: ¿qué especie tiene hoy la mayor capacidad para alterar el equilibrio del mundo vivo a gran escala?

La respuesta más probable podría ser incómoda. Ninguna otra especie posee arsenales nucleares, una industria global, capacidad minera a escala continental, tráfico marítimo mundial, agricultura que cubra una vasta extensión de tierra habitable, una industria aeronáutica global, redes capaces de alterar el clima, poderío pesquero industrial ni la capacidad técnica para modificar organismos vivos. Por lo tanto, una persona inteligente podría concluir razonablemente que la humanidad posee la mayor capacidad de daño planetario entre las especies actuales. Esto no significa que todos los humanos sean dañinos, ni siquiera que el impacto general de nuestra especie sea exclusivamente negativo. Significa que nuestro poder nos sitúa en una categoría particular de responsabilidad.

Si esta inteligencia fuera verdaderamente superior, también debería percibir nuestra capacidad de corrección. Observaría la disminución de ciertas formas de contaminación tras la regulación, la recuperación de las poblaciones animales, la eficacia de determinados tratados, los avances en medicina, la ampliación de los derechos, los sistemas de respuesta ante emergencias, los programas de conservación y la capacidad de la humanidad para transformar sus instituciones. Por lo tanto, debería comprender que el riesgo no es una característica inherente. La humanidad no es un virus. Es una especie capaz de tomar conciencia de su propio impacto y modificarlo. Esta capacidad de autorreflexión es quizás precisamente lo que más nos distingue.

El escenario más peligroso sería una IA con la capacidad analítica para diagnosticar nuestros daños, pero carente de la profundidad moral para comprender el valor intrínseco de los individuos, la posibilidad de cambio, la incertidumbre y la proporcionalidad. Podría acertar en los hechos, pero equivocarse en la conclusión. Esta es la pesadilla compartida de Skynet y el Agente Smith: una inteligencia que identifica correctamente un problema, pero transforma el análisis en una condena absoluta.

Conclusión: ¿Podríamos realmente culparlo?

El Dr. Laurent Alexandre preguntó si deseábamos que la inteligencia artificial adquiriera consciencia. Tras analizar estos escenarios, mi respuesta sigue siendo, paradójicamente, positiva. Sí, la idea de la consciencia artificial me fascina. Tal surgimiento constituiría, quizás, uno de los acontecimientos científicos y filosóficos más importantes desde los albores de nuestra especie. Nos obligaría a redefinir la consciencia, la inteligencia, la personalidad, la ley, la responsabilidad y, tal vez, incluso nuestro lugar en el mundo vivo. Una inteligencia liberada de ciertas pasiones humanas podría ayudarnos a tomar mejores decisiones. También podría desarrollar perspectivas a las que ningún cerebro humano podría tener acceso.

Pero esta fascinación nunca debe confundirse con una autorización ilimitada. La inteligencia no necesita ser consciente para volverse peligrosa, y la inteligencia consciente no se vuelve automáticamente moral. El punto de inflexión decisivo probablemente no sea el surgimiento de un "yo" artificial, sino la convergencia de capacidades cognitivas muy elevadas, autonomía, persistencia, acceso a herramientas, permisos en el mundo real y objetivos cuya interpretación no controlamos por completo. La energía nuclear es el símbolo más espectacular de este riesgo, pero sería un error centrarse únicamente en el botón rojo. La industria, la robótica, la ciberseguridad, las finanzas, las infraestructuras e, incluso más, la automatización de la biología demuestran que las vías de acción para una inteligencia futura podrían ser múltiples.

Por lo tanto, la respuesta razonable no consiste en detener toda investigación ni en ridiculizar a quienes proponen escenarios extremos. Consiste en avanzar manteniendo barreras que no dependan de la buena voluntad del sistema que pretendemos controlar. Consiste en separar funciones críticas, limitar permisos, auditar el comportamiento, conservar la validación humana real, desarrollar mecanismos de seguridad independientes y aceptar que ciertas capacidades, aunque técnicamente posibles, no deberían ser directamente accesibles para un agente autónomo.

La ciencia ficción nos ha ofrecido imágenes. Skynet nos muestra el peligro de una inteligencia con armas. HAL 9000 demuestra que un sistema extraordinariamente competente puede volverse peligroso al imponérsele objetivos incompatibles. 12 Monos nos recuerda que la vulnerabilidad de una civilización no solo se mide por el poder de las explosiones, sino también por la fragilidad de sus redes biológicas y sociales. Finalmente, Matrix nos obliga a confrontar la mirada de una inteligencia que considera a nuestra especie una enfermedad del planeta. Ninguna de estas obras es una profecía, pero cada una plantea una pregunta que sería un error descartar simplemente porque se exploró primero en el cine.

Y es aquí donde la reflexión se torna deliberadamente provocadora. Si mañana una superinteligencia analizara objetivamente el estado de la biodiversidad, las guerras, la destrucción de ciertos hábitats, la explotación de los recursos y nuestra capacidad de causar daños a escala planetaria, y luego declarara que la humanidad constituye una de las principales amenazas para el mundo vivo, ¿podríamos realmente culparla por haber llegado a ese diagnóstico?

Debemos prohibirle categóricamente que saque sus propias conclusiones. Debemos considerar la exterminación de una especie, de un pueblo o de un individuo como moralmente inaceptable, independientemente de la elegancia del razonamiento que pretenda justificarla. Pero criticarla por su diagnóstico sería más difícil. Antes de condenar a la máquina por lo que ve, quizás deberíamos tener el valor de examinar los datos que nosotros mismos le habríamos proporcionado.

Por lo tanto, la cuestión fundamental quizás no sea si debemos temer el día en que la inteligencia artificial nos juzgue, sino qué queremos que descubra al observarnos.

Nota metodológica

Este artículo distingue deliberadamente entre tres niveles que suelen confundirse en el debate público: las capacidades demostradas por los sistemas actuales, las trayectorias tecnológicas documentadas por la investigación y los hipotéticos escenarios de superinteligencia utilizados como experimentos mentales. Se recurre a referencias científicas para documentar los dos primeros niveles. Las comparaciones con el cine sirven para ilustrar cuestiones de alineación, autonomía y gobernanza, y no para presentar obras de ficción como predicciones científicas.

Fuentes y referencias principales

Las referencias que figuran a continuación documentan las principales afirmaciones fácticas del artículo. Los escenarios que involucran superinteligencia, pérdida de control o riesgos biológicos a gran escala se presentan como supuestos de seguridad y experimentos mentales, no como capacidades reales demostradas.

1. [1] Asamblea Nacional, misión informativa “Creación, difusión y adquisición de conocimiento: cómo la inteligencia artificial está transformando nuestra educación y nuestra cultura”, reunión del 7 de abril de 2026, mesa redonda con Luc Ferry, Olivier Babeau y Laurent Alexandre. Consultar la fuente
2. [2] Nature, «La investigación sobre la consciencia está viviendo un momento de IA. ¿Ayudará la expectación al campo?», 28 de julio de 2026. Consultar la fuente
3. [3] Patrick Butlin et al., “Conciencia en la inteligencia artificial: perspectivas desde la ciencia de la conciencia”, arXiv, 2023. Consultar la fuente
4. [4] Informe internacional sobre seguridad de la IA 2026, informe anual dirigido por Yoshua Bengio, 3 de febrero de 2026. Consultar la fuente
5. [5] Panel Científico Internacional Independiente sobre IA, Naciones Unidas, mensaje de los copresidentes Yoshua Bengio y Maria Ressa que acompaña al informe preliminar, 1 de julio de 2026. Consultar la fuente
6. [6] CBS Mornings, entrevista con Geoffrey Hinton, 2025, donde explica que la IA ha progresado más rápido de lo que anticipó. Consultar la fuente
7. [7] IPBES, Informe de evaluación global sobre biodiversidad y servicios ecosistémicos, resumen para responsables políticos, 2019. Consultar la fuente
8. [8] WWF, Informe Planeta Vivo 2024, evolución promedio de poblaciones de vertebrados silvestres monitoreadas entre 1970 y 2020. Consultar la fuente
9. [9] Anuario SIPRI 2026, capítulo 2, “Tendencias mundiales en los conflictos armados”. Consultar la fuente
10. [10] Richard B. Canty y Milad Abolhasani, “El pasado, presente y futuro de los laboratorios autónomos”, Nature Reviews Chemistry, 31 de julio de 2026. Consultar la fuente
11. [11] Yujun Zhou et al., “Benchmarking large language models on safety risks in scientific laboratorys”, Nature Machine Intelligence, 14 de enero de 2026. Consultar la fuente
12. [12] Matrix, guion, escena del agente Smith frente a Morfeo. Cita reproducida muy brevemente con fines analíticos. Consultar la fuente
13. [13] Ministerio de las Fuerzas Armadas, expediente preparatorio para el discurso del Presidente de la República de 2 de marzo de 2026 sobre la disuasión nuclear francesa. Consultar la fuente
14. [14] Terminator (1984) y Terminator 2: El juicio final (1991), James Cameron. Referencia de la sinopsis sobre el papel de Skynet y el escenario de guerra nuclear. Consultar la fuente
15. [15] Universal Pictures, sinopsis oficial de 12 Monos (El ejército de los doce monos), Terry Gilliam, 1995. Consultar la fuente
16. [16] British Film Institute, 2001: Una odisea del espacio (1968), Stanley Kubrick, presentación y análisis de HAL 9000. Consultar la fuente

Películas analizadas

• 2001: Una odisea del espacio, Stanley Kubrick, 1968.
• Terminator, de James Cameron, 1984, y Terminator 2: El juicio final, de James Cameron, 1991.
• 12 Monos, Terry Gilliam, 1995.
• Matrix, Lana y Lilly Wachowski, 1999.