
Los hallazgos son sorprendentes. Incluyeron:
- Evidencia de que al menos tres proveedores de IA se vieron comprometidos por atacantes que utilizaron su acceso para desviar las indicaciones que recibieron
- Múltiples revendedores en el mercado de inferencias que registraron las indicaciones y de alguna manera las transmitieron a las personas que usaron las credenciales.
- Múltiples casos de proveedores de IA que no siguen la configuración de privacidad del usuario final incorporada en indicadores que especifican términos como Retención Cero de Datos (ZDR) o “no recopilación de datos”
“Enviamos casi dos millones de mensajes de IA que contenían secretos únicos y rastreables a proveedores de IA, luego observamos dónde aparecían esos secretos”, dijo Moore, director de investigación de la firma de seguridad Dragos. escribió el jueves. “Lo que encontramos reveló violaciones de seguridad, robos rápidos y fallas generalizadas para proteger los datos de los clientes”.
Aunque las indicaciones se cifran en tránsito, se descifran en cada salto dentro de la gran red de revendedores de inferencias. El mensaje se envía primero a un enrutador de IA, que lee el texto sin formato que contiene para determinar los proveedores de inferencia más adecuados para manejar la solicitud. A menudo, el mensaje se envía a un grupo de modelos disponibles, que a veces se ejecutan dentro de diferentes proveedores de alojamiento. Las indicaciones también pueden pasar de un enrutador AI (como Vercel) a otro (por ejemplo, OpenRouter). Es probable que cada uno de estos jugadores registre el mensaje y lo almacene durante el tiempo que sus políticas lo requieran (si no indefinidamente).
El salvaje oeste en la era de la IA
El hallazgo más preocupante fue el incumplimiento de tres proveedores de hosting distintos. Los atacantes que comprometieron a uno de los proveedores reutilizaron “un par de cientos” de claves de AWS. Moore escribió:
Cada clave se envió exactamente en una solicitud a un proveedor, todo dentro de unos pocos períodos cortos a fines de octubre, y cada solicitud que enviamos durante esos períodos fue robada. Algunas de las claves robadas procedían de solicitudes que el proveedor rechazó antes de que se ejecutara un modelo; esto nos indica que el atacante estaba copiando solicitudes en la puerta principal del proveedor y no en algún lugar más profundo de la pila de inferencia. En las otras dos infracciones, algunas de las solicitudes robadas se marcaron como ZDR. Una bandera de privacidad no ayuda cuando el atacante ya está dentro.
Las partes vinculadas al hackeo de estos tres proveedores probaron cada clave, en algunos casos a las pocas horas de haber sido sembrada, para ver a qué tipo de recursos daba acceso. Las partes revisaron los depósitos de S3, los administradores de secretos y los almacenes de parámetros en busca de aún más credenciales. También intentaron habilitar modelos alojados en AWS Bedrock y agregaron sus propios usuarios de IAM para mantener el acceso. En total, las claves de cebo robadas se utilizaron “decenas de miles” de veces en llamadas a la API de AWS.