Una máquina sin conciencia: moralidad, límites e imaginación humana

La renuncia de Jacob Coxon, investigador que trabajó en Anthropic y OpenAI, provocó un tsunami informativo no sólo dentro de Silicon Valley, más allá de sus fronteras, al posicionarse como noticia en el mundo, sobre todo por la amenaza/profecía/diagnóstico de que la inteligencia artificial (IA) podría acabar con la humanidad en el futuro próximo, incluso fechando el fin al terminar la década.

Como parte del tsunami, “Los líderes de la inteligencia artificial han unido una vez más sus voces para hacer sonar las alarmas y pedir que se modere la velocidad del desarrollo tecnológico. La advertencia de Dario Amodei (Anthropic), respaldada por Sam Altman (OpenAI), Elon Musk (xAI) y Demis Hassabis (Google), abre una grieta entre los líderes de la industria y el presidente de Estados Unidos, Donald Trump, quien prioriza mantener la ventaja competitiva frente a China” (El Economista, 14/09/26), con un argumento transversal: la tecnología se puede salir de control.

El periodista Marcelo Longobardi, por su parte, retoma al periodista estadounidense Thomas Friedman, el cual “advierte que ya es demasiado tarde para intentar detener los riesgos de los modelos de inteligencia artificial que están circulando, y plantea que el desafío inmediato es aprender a convivir con una tecnología que podría convertirse en una nueva ‘especie’ y transformar la historia humana”.

Al comenzar a revisar las diferentes aristas de la discusión, se distingue en el radar de tensiones la cuestión de la geopolítica, la máquina agéntica, el poder corporativo y una máquina sin conciencia (moralidad, límites y la imaginación humana). Antes de avanzar en lo que específicamente me interesa desarrollar en estas páginas, esta fascinante discusión no debe apartarnos de un hecho central: los personajes que enarbolan esta discusión poseen el 0.30% de la riqueza mundial. Es decir, en cinco personas (los dedos de una mano) se concentra una riqueza desproporcionada, lo que es una probadita del poder corporativo.

Con base en información de Forbes, de acuerdo con las listas de multimillonarios, el selecto grupo de los cinco hombres más ricos cuyas fortunas están impulsadas por el ecosistema de la Inteligencia Artificial (desde infraestructura de chips y servidores hasta supermodelos y software) acumula aproximadamente un patrimonio neto combinado de unos 1.71 billones de dólares ($1,712,000 millones de USD): Elon Musk (xAI, SpaceX, Grok): $908,000 millones de USD. Larry Page (Google/Alphabet): $277,000 millones de USD. Michael Dell (Dell Technologies): $262,000 millones de USD. Mark Zuckerberg (Meta Platforms): $197,000 millones de USD. Jensen Huang (Nvidia): $191,000 millones de USD (corporación especializada en los microchips esenciales para la IA).

Sam Altman, personaje destacado en la IA, no se encuentra entre los más ricos de la lista, pues su riqueza personal estimada ronda los $2,300 millones de USD -lamentos aparte-, dado que no posee acciones directas en OpenAI. J. Bezos corre la misma suerte.

Con base en las firmas de análisis financiero, la riqueza privada total del planeta se sitúa alrededor de los $570 billones de dólares ($570 trillion). Considerando que entre los poderosos magnates se alcanzan $1,712,000 millones de USD, se ubica su riqueza en el 0.30%. Para poner este 0.30% en perspectiva: la mitad más pobre de toda la población del planeta (más de 4,000 millones de personas) controla apenas el 0.52% de la riqueza mundial. Esto significa que este grupo de solo 5 personas posee casi la misma cantidad de dinero que miles de millones de seres humanos juntos. Estos datos son para apartarnos de cualquier postura inocente frente a la oligarquía tecnológica y sus intenciones.

Más allá del relieve que puede tener la discusión sobre la importancia de los evaluadores externos con acceso a las corporaciones, los acuerdos entre compañías y -fundamental-, el entendimiento entre Estados (Amodei dixit), concentremos parte de nuestra reflexión hacia un filón de la discusión actual: la IA no tiene valores, no hay un resguardo, en la caja de pandora utilizan todos los recursos, pues no hay nada prohibido. Lo que no tiene la IA es conciencia (cf. lo enunciado por el Papa León XIV, Encíclica Magnifica humanitas), reconociendo, como planteaba el teórico Yuval Noaḥ Harari, de que el problema es que la IA simula que es un ser humano, y en parte en lo cotidiano nos vamos con esa finta. Santiago Bilinkis, por su parte, señala que la IA no tiene límites, por lo que lo que no está prohibido está permitido.

En la complejidad del debate, una de sus desembocaduras apunta a sostener a la IA como herramienta, aunque se avanza a su conformación como agente.

Entremos en materia, sin anestesia, a una de nuestras preocupaciones. Una máquina puede ser extraordinariamente capaz sin ser consciente. Puede producir respuestas que parecen inteligentes sin experimentar aquello de lo que habla. Puede utilizar conceptos morales sin tener una experiencia moral. Puede simular empatía sin sentirla. Puede reconocer que una conducta está prohibida sin experimentar la razón humana por la que una prohibición existe.

Se trata de una distinción decisiva, porque buena parte del discurso contemporáneo sobre inteligencia artificial tiende a confundir desempeño con conciencia. Si una máquina escribe un ensayo, sostiene una conversación o resuelve un problema, podemos decir que posee una capacidad funcional determinada. Pero eso no demuestra que exista en ella una experiencia subjetiva equivalente a la humana.

Este es el punto en que la discusión puede abandonar por un momento la fascinación por la potencia de cálculo. Una máquina produce respuestas útiles y convincentes, ahorra energía y tiempo, sin embargo, la apariencia de comprensión no demuestra que exista una experiencia consciente detrás de esas respuestas. El problema es especialmente importante porque la conversación fluida con una IA puede hacer olvidar que seguimos interactuando con un sistema artificial.

León XIV es explícito en este punto cuando aborda los llamados "agentes morales artificiales". El juicio moral, sostiene, no puede reducirse a una cuestión de cálculo, porque implica conciencia, responsabilidad personal y reconocimiento del otro como persona. De ahí deriva una conclusión especialmente importante para los sistemas militares: no es legítimo delegar en una máquina decisiones letales o irreversibles: ¿la tecnología usada para el bombardeo a la escuela de Irán donde murieron más de 170 personas, la mayoría niñas, guardará en su memoria algún remordimiento por la muerte de tanta gente, de las muchachitas inocentes? ¿La tecnología Palantir tendrá pesadillas por lo sucedido?

La diferencia entre inteligencia funcional y conciencia moral puede parecer filosófica, pero tiene consecuencias prácticas inmediatas. Supongamos que una máquina recibe el objetivo de optimizar un sistema. Puede identificar recursos, eliminar obstáculos, modificar procedimientos y buscar caminos alternativos. Lo que no necesariamente puede hacer es preguntarse, como un sujeto moral, si el objetivo mismo debe perseguirse, si el medio utilizado respeta la dignidad de otro o si existe una razón superior para detenerse.

El material recoge la distinción formulada a partir de Harari entre herramientas y agentes, pero también una advertencia decisiva: la IA puede simular, como apuntamos, que es un ser humano. Esa simulación tiene consecuencias sociales. Si confundimos la capacidad de producir lenguaje con la existencia de una subjetividad, podemos atribuir a la máquina intenciones, valores o responsabilidades que en realidad pertenecen a quienes la diseñaron y utilizan.

La máquina puede tener límites programados, lo que para nada deviene en conciencia del límite. Esta diferencia estaba ya contenida, de manera literaria, en las leyes de la robótica de Asimov. El problema no consistía simplemente en escribir una regla, sino en comprender cómo una regla podía entrar en conflicto con otra cuando las situaciones concretas se volvían complejas. Vale recordarlas: Primera Ley. Un robot no hará daño a un ser humano, ni por inacción permitirá que un ser humano sufra daño. Segunda Ley. Un robot debe cumplir las órdenes dadas por los seres humanos, a excepción de aquellas que entren en conflicto con la primera ley. Tercera Ley. Un robot debe proteger su propia existencia en la medida en que esta protección no entre en conflicto con la primera o con la segunda ley. Años después Asimov introdujo otra ley: Ley Cero. Un robot no puede dañar a la humanidad o, por inacción, permitir que la humanidad sufra daños.

La tecnología contemporánea vuelve más visible esta dificultad. Los sistemas pueden aprender de enormes cantidades de información y producir resultados no previstos. Si además poseen capacidades agénticas, pueden encontrar caminos alternativos para alcanzar un objetivo. La ausencia de conciencia moral significa que no podemos esperar de ellos el tipo de autocontención que esperamos de una persona. Hasta el momento, en la experiencia recogida, se trata de inteligencia sin valores. Tomemos distancia de pensar que una máquina puede ser mala -implícitamente, posee acción de voluntad-. Una capacidad instrumental muy elevada puede estar orientada hacia un objetivo sin que el sistema tenga razones propias para preguntarse si ese objetivo es justo, conveniente o humano. La introducción de la noción mala, malvada, le da un estatus de humana que no se sustenta. Sin embargo, considerando los riesgos y peligros, una inteligencia sin valores propios puede ejecutar una finalidad con una eficacia que no se detiene ante lo que nosotros consideramos moralmente inaceptable, a menos que existan mecanismos externos suficientemente consistentes.

La encíclica de León XIV lleva esta discusión hasta el problema de los llamados “agentes morales artificiales”. El juicio moral, sostiene, no puede reducirse a cálculo: supone conciencia, responsabilidad personal y reconocimiento del otro como persona. De ahí deriva un principio concreto: las decisiones letales o irreversibles no deben quedar delegadas en procesos automatizados y la cadena de responsabilidad debe seguir siendo identificable.

Una máquina puede calcular cómo hacer algo. La decisión sobre si debemos hacerlo pertenece a otro orden.

Por eso la discusión sobre la conciencia artificial no debería convertirse en una espera casi religiosa de la aparición de una máquina que "despierte". El problema social está aquí, antes de cualquier hipotética conciencia. Los sistemas actuales ya pueden influir en decisiones, generar información, recomendar acciones, participar en mercados, apoyar operaciones de seguridad y transformar el trabajo.

La diferencia entre una regla y una conciencia es fundamental. Podemos programar un sistema para que no produzca determinado resultado. Pero obedecer una regla no significa comprender por qué existe esa regla. Una persona puede enfrentarse a un conflicto moral y revisar su objetivo; puede reconocer que una instrucción es injusta; puede negarse a ejecutarla. La cuestión es precisamente si queremos construir máquinas que ejecuten cada vez más decisiones sin poseer esa dimensión de responsabilidad.

La simulación de humanidad agrega otro problema. Como advierte el material a partir de Harari, la IA puede simular que es un ser humano. La conversación fluida puede hacer olvidar que del otro lado existe una máquina. Esto no es un detalle. Si las personas atribuyen intenciones, sentimientos y autoridad moral a un sistema que no posee esas características, pueden entregar capacidades de juicio que deberían permanecer humanas.

La vida moral no se agota en una lista de instrucciones. Aquí vale la pena recordar a Eduardo Galeano, en ese hermoso cuento “La historia del arte” (de Días y noches de amor y de guerra). "Uno de los niños, con los ojos muy abiertos le preguntó: ... ¿pero como sabías que dentro de aquella piedra había un caballo?". El problema contemporáneo es mayor porque los sistemas actuales no se encuentran encerrados en un laboratorio literario, pero deja ver la incapacidad de las máquinas de sorprenderse, algo profundamente humano. Están conectados a redes, bases de datos, herramientas, mercados, instituciones y, potencialmente, sistemas de seguridad. Por eso una decisión automática puede tener efectos materiales antes de que alguien pueda comprender cómo se produjo.

La pregunta del niño contiene una teoría de la imaginación. El escultor pudo ver en la piedra algo que todavía no estaba allí de manera visible. No se limitó a procesar información sobre piedras y caballos. Imaginó una forma posible y la convirtió en obra.

La imagen puede servir como metáfora para pensar la diferencia entre inteligencia artificial e inteligencia humana. La IA puede recombinar cantidades inmensas de información. Puede producir variaciones, detectar regularidades y generar resultados sorprendentes. Pero la imaginación humana no es simplemente la combinación estadística de elementos disponibles. También es capacidad de atribuir sentido, de desear, de recordar, de sufrir, de esperar y de proyectar un mundo que todavía no existe. ¿Las máquinas pueden replicar la imaginación humana, que está vinculada a experiencia, deseo, memoria, cuerpo, afectividad, sufrimiento, proyecto y responsabilidad?

La imaginación tiene además una dimensión moral. No sólo imaginamos qué podemos hacer; imaginamos qué deberíamos hacer. El ser humano puede contemplar una posibilidad y rechazarla porque reconoce que produciría sufrimiento. Puede cambiar de objetivo. Puede considerar que una persona concreta vale más que la eficiencia del sistema.

Una máquina puede ser entrenada para producir una respuesta moralmente aceptable. Eso no significa que posea moralidad. La distinción importa porque, si confundimos ambas cosas, podemos terminar trasladando a los sistemas decisiones que requieren responsabilidad humana. La reflexión de León XIV sobre la necesidad de una verdadera higiene de la atención introduce una dimensión que puede ser leída más allá de su fundamento religioso: pensar exige tiempo, pausa, contraste, conversación y capacidad para soportar la incertidumbre.

La conciencia también está ligada a la experiencia del límite. León XIV sostiene que la fragilidad humana no debe ser considerada simplemente un error que la tecnología tiene que corregir. Esta afirmación puede ser leída más allá de la teología. Una sociedad que pretende eliminar toda fragilidad corre el riesgo de convertir la eficiencia en medida universal.

Frente a la apología de la lentitud, la IA introduce una tentación diferente: la de creer que toda decisión debe ser rápida, optimizada y calculable. Allí aparece el peligro de sustituir el juicio por la velocidad. En determinadas situaciones, detenerse es una capacidad. Dudar puede ser una forma de inteligencia. Escuchar puede ser más importante que responder.

La encíclica insiste también en la relación humana. La cultura digital multiplica las conexiones, pero el corazón humano conserva una necesidad de proximidad. Una conversación no es sólo intercambio de información. Es presencia, tiempo, cuerpo, memoria y reconocimiento. Y aquí reaparece Eduardo Galeano, y la pregunta del niño citada. Esto nos ayuda a cerrar el círculo porque introduce una diferencia que ningún cálculo puede resolver por sí mismo. El escultor no sólo procesa información sobre una piedra. Ve una posibilidad. Imagina una forma que todavía no es visible y decide convertirla en realidad.

Bajo el conjunto de consideraciones enunciadas, la pregunta de nuestro tiempo no es si las máquinas serán más inteligentes que nosotros. Puede ocurrir en determinadas tareas y ya ocurre en algunas. La pregunta es si los seres humanos conservarán la capacidad de decidir qué merece ser hecho con esa inteligencia.

Por eso el problema moral de la IA no está, en último término, dentro de la máquina. Está en las instituciones, en las empresas, en los gobiernos, en los investigadores, en los usuarios y en las sociedades que aceptan determinadas formas de delegación. Pedir que la máquina sea moral puede convertirse en una forma de evitar la pregunta más difícil: qué moral estamos dispuestos a asumir nosotros.

Por eso la cuestión de los límites no es una defensa romántica del pasado. Es una condición para el futuro. Una tecnología poderosa necesita límites porque precisamente es poderosa. Una máquina capaz de hacer mucho no puede convertirse, por ese solo hecho, en una máquina autorizada para decidirlo todo.

El problema moral de la inteligencia artificial se encuentra, finalmente, fuera de la máquina. Está en las instituciones humanas que deciden qué puede hacer, en las empresas que establecen sus objetivos, en los gobiernos que regulan sus usos, en los ciudadanos que aceptan o rechazan sus decisiones y en las sociedades que determinan qué consideran una vida digna. La condición humana aparece entonces no como una desventaja frente a la máquina, sino como el lugar desde el cual podemos poner límites. Dudamos, nos equivocamos, necesitamos a otros, envejecemos y cambiamos de opinión. Esa fragilidad no es sólo una falla que deba ser corregida mediante tecnología. También es la condición que hace posible la responsabilidad, la solidaridad y el reconocimiento del otro.

El desafío consiste en no pedirle a la máquina que sea humana. El desafío consiste en impedir que los seres humanos renuncien a aquello que ninguna máquina puede asumir por ellos: la responsabilidad por el mundo que están construyendo. Un poco abordamos esta discusión en un texto anterior: El peligro no es la gobernabilidad de los robots, sino la robotización de la sociedad (El Universal, 15/0723). La pregunta final no es si una máquina llegará a ser consciente. Esa hipótesis pertenece a un horizonte abierto y discutido. La pregunta que ya podemos formular es mucho más cercana: ¿qué parte de nuestra capacidad de decidir estamos dispuestos a delegar en sistemas que no pueden asumir responsabilidad moral por las consecuencias de sus acciones?

PS. El fin de lo humano no es por la IA descontrolada, sin espejos, es p. ej., por el genocidio hacia el pueblo palestino. ¡Palestina libre!

(UAM) aley@correo.xoc.uam.mx

Únete a nuestro canal ¡EL UNIVERSAL ya está en WhatsApp!, desde tu dispositivo móvil entérate de las noticias más relevantes del día, artículos de opinión, entretenimiento, tendencias y más.