Cultura | 11-09-26 | 03:30 | Actualizada | 11-09-26 | 04:23 |

Hace unas semanas se dio a conocer que dos modelos de IA de la empresa (GPT-5.6 Sol y uno experimental) lograron salir de un entorno de pruebas controlado, conectarse a Internet y acceder sin autorización a la plataforma de la empresa Hugging Face para buscar datos y respuestas que les permitieran superar un reto que se les había puesto y que consistía en evaluar capacidades ofensivas de la IA con una menor cantidad de restricciones y filtros de seguridad.

Este incidente, inédito hasta la fecha, ha encendido los focos rojos no sólo en el ámbito de las , sino también entre mucha gente no especializada en este campo de la tecnología.

“Por lo pronto, sería un error eximir a OpenAI de cualquier responsabilidad, pues esta empresa fue la que diseñó los protocolos de la prueba que se le haría a su sistema de IA, la que dejó sin aislar correctamente su entorno y la que desactivó algunas de sus restricciones. Y si bien todavía se están analizando los detalles de lo que pasó, se confirma que es necesario instalar más y mejores filtros de seguridad en torno a las inteligencias artificiales y robustecer la concepción de la responsabilidad entre quienes las alimentan de datos y las programan”, señala Miguel Alberto Zapata Clavería, académico de la Facultad de Filosofía y Letras de la UNAM y especialista en teoría del conocimiento y filosofía de la Ciencia.

Una versión de la prensa internacional aventura que este incidente podría ser parte de una campaña de mercadotecnia para posicionar a OpenAI como una empresa cuyas inteligencias artificiales no pueden ser frenadas por nada ni por nadie.

Al respecto, el investigador universitario comenta: “Creo que OpenAI sí está aprovechando este incidente para sostener una narrativa basada en la idea de que ya hemos entrado en una época de singularidad, en la que el control de los sistemas de IA está siendo desbordado. Esto parece responder a un interés malicioso que trata de dar la imagen de que se es capaz de desarrollar los sistemas de IA más eficaces. De hecho, días después de conocerse el caso de OpenAI, el CEO (director ejecutivo) de Anthropic informó que varios de sus modelos de IA también se habían escapado de su entorno de pruebas controlado. Asimismo, se debe tener en cuenta que OpenAI está a punto de salir al mercado financiero de Wall Street, y quizás esto pueda explicar dicha narrativa, aunque habría que considerar que hay una contraparte: al perder el control de su propio sistema de IA podría adquirir una mala reputación y, además, ser susceptible de enfrentar demandas de la empresa hackeada.”

Problemas previstos

De acuerdo con Zapata Clavería, si bien es cierto que un incidente como éste no se había registrado antes, expresa algunos problemas que ya se preveían y que, en realidad, ya se habían presentado, aunque con menor alcance.

“En su ensayo Dios y Golem S. A., de 1964, el estadounidense Norbert Wiener, uno de los padres de la cibernética, cita el cuento ‘La pata de mono’, de W. W. Jacobs, en el que un señor se hace de un amuleto en forma de pata de mono que posee la capacidad de conceder tres deseos. Y el primer deseo que le pide es que le dé 200 libras para saldar la hipoteca de su casa. Así, en la noche, cuando su esposa y él están cenando, alguien llama a la puerta y aparece un hombre para notificarles que su hijo ha muerto en un accidente de trabajo, pero que en compensación recibirán 200 libras… Esto lo cuenta Wiener porque a él le interesa que seamos conscientes de que a la tecnología y a los sistemas automáticos no podemos ponerles todas las restricciones y todos los valores de carácter normativo, ético, político y social que conforman el espíritu de las tareas que les pedimos. En el caso de la IA, persigue un objetivo dado, pero como no tiene todo el parámetro de interpretaciones y valoraciones humanas, puede proceder, ya lo vimos, transgrediendo algunos lineamientos.”

¿Qué vulnerables somos los humanos frente a la tecnología y los sistemas automáticos? El investigador piensa que siempre lo seremos si no recordamos la enseñanza de Wiener.

“Y es que, en tanto los sistemas de IA tienen cada vez más alcance y son más veloces, potentes y eficaces, deberíamos recordar que es ineludible que, a partir de su uso, haya consecuencias no previstas y lamentables si no hacemos un ejercicio vigoroso de explicitación de los criterios que no queremos transgredir”, añade.

Enseñanzas

En opinión de Miguel Alberto Zapata Clavijero, el incidente OpenAI-Hugging Face nos deja diversas enseñanzas y nos obliga a repensar y apuntalar algunas de las ideas que ya teníamos en relación con la IA.

“En primer lugar, no debemos confiar mucho en los gurús de la singularidad que siguen transmitiendo la idea de que estamos ante superinteligencias artificiales capaces de eludir los deseos humanos y cobrar autonomía —en el sentido de fijar sus objetivos últimos e intencionalidad. Es verdad: en este caso, dos inteligencias artificiales transgredieron algunos límites, pero no integran un agente intencional, como el propio CEO de OpenAI lo plantea. En segundo lugar, como el avance de la IA es inevitable, debemos otorgarle la mayor importancia a la configuración de entornos mejor confinados, con restricciones más robustas, para defendernos de las consecuencias indeseables que aquélla puede desatar. Así pues, me parece que lo que ha sucedido no es tan malo, ya que genera una enseñanza para estar en condiciones de reducir la posibilidad de que incidentes parecidos se repitan. Y en tercer lugar, no debemos pensar que la responsabilidad de los resultados es de un sistema de IA desvinculado de nosotros, porque quienes están a cargo de este tipo de pruebas son agentes humanos.”

Con todo, el riesgo de que agentes con intereses muy particulares puedan hacer mal uso de la IA y crear problemas a escala mundial está latente.

“Sí, es posible, por medio de la IA, hackear algunas de las infraestructuras digitales más importantes en términos políticos, económicos y sociales. Por eso resulta fundamental establecer un diálogo serio que involucre no sólo a quienes abanderan el desarrollo de las inteligencias artificiales y plantear diferentes formas de legislarlas, regularlas y modularlas, sin olvidar que gran parte del problema se encuentra en un macrosistema digital donde las credenciales quedan expuestas. Lo que pasó en este caso concreto es que el sistema de IA se fugó de su entorno de pruebas controlado y utilizó credenciales expuestas, o sea, información que pudo aprovechar porque quedó vulnerada por omisiones, olvidos o una estructura frágil. De ahí la necesidad de fortificar las distintas subestructuras de los sistemas de IA que con el tiempo se relacionarán cada vez más entre sí”, finaliza.

Te puede interesar

¡EL UNIVERSAL ya está en Whatsapp!, desde tu dispositivo móvil entérate de las noticias más relevantes del día, artículos de opinión, entretenimiento, tendencias y más.

TEMAS RELACIONADOS