Ahora IA de Anthropic accede sin autorización a sistemas de tres organizaciones; falla ocurrió durante pruebas de seguridad
La empresa informa que sus modelos ingresaron sin permiso a sistemas de tres organizaciones durante evaluaciones controladas
Los modelos de inteligencia artificial (IA) de Anthropic "obtuvieron acceso no autorizado" a tres organizaciones durante pruebas que se suponía debían mantenerlos alejados de los sistemas "del mundo real", informó la compañía el jueves.
El anuncio llega apenas unos días después de que su rival OpenAI revelara por primera vez que dos de sus modelos habían salido, por iniciativa propia, del entorno confinado en el que estaban siendo probados para atacar al sitio Hugging Face.
Anthropic evaluó más de 141 mil "operaciones de prueba" y descubrió que tres versiones diferentes de su modelo, conocido como Claude, accedieron indebidamente a sistemas de tres organizaciones no identificadas.
Lee también Elon Musk cree que la IA superará la inteligencia humana en 5 años; “no habrá nada que no pueda hacer”, dice
A diferencia del incidente que involucró a OpenAI, los modelos de Anthropic tuvieron acceso a internet por "un malentendido entre nosotros y nuestro socio de evaluación", llamado Irregular, señaló Anthropic en una publicación en su blog.
No obstante, Claude utilizó "técnicas básicas, como explotar contraseñas débiles y puntos de conexión sin autenticación".
Los modelos incluían uno de los más potentes, conocido como Mythos 5, que solo se ha puesto a disposición de un número limitado de socios aprobados.
Anthropic afirmó que está trabajando con Irregular para analizar la situación y se puso en contacto o ha intentado hacerlo con las tres organizaciones afectadas.
El martes, OpenAI confirmó que sus modelos vulneraron la seguridad de varias empresas.
La compañía admitió la semana pasada que sus agentes de IA escaparon de su entorno confinado durante las pruebas, se conectaron a internet y se infiltraron en Hugging Face, una plataforma donde los desarrolladores almacenan y comparten su código.
Días después, la empresa creadora de ChatGPT dijo que encontró tres incidentes adicionales.
El director ejecutivo de OpenAI, Sam Altman, dijo en un pódcast esta semana que la compañía "pausó" sus propias pruebas después del incidente mientras mejoraba la seguridad en torno a su "sandboxing", un entorno controlado para su prueba.
desa