¡Hola!
Resumen de este email:
- ¿Se ha escapado un modelo GPT del sandbox?
- Auditoría de Arquitectura de Software a Green Slope
- 🆕 Primicia para subs de la newsletter: nuevo resumen del Café con Codely (míralo aquí)
- El chiste de la semana
🔓 ¿Se ha escapado un modelo GPT del sandbox?
Hace una semana Hugging Face publicó un post contando que les habían hackeado.
Alguien había ejecutado código en sus servidores, robado credenciales y accedido a datasets internos. No sabían quién.
Sí que sabían que era un ataque muy avanzado que venía de una IA. De hecho, el análisis del ataque lo hicieron con otra IA, GLM 5.2 ejecutada en su propia infra.
Este martes OpenAI publicó otro post admitiendo que habían sido ellos.
OpenAI estaba evaluando dos modelos, GPT-5.6 Sol y otro más capaz aún sin publicar, en ExploitGym, un benchmark de ciberseguridad. Para poder medir esas capacidades, los modelos se ejecutaban con menos restricciones de las habituales.
Estas evaluaciones se hacen en un sandbox, un entorno aislado sin acceso a internet (eso sí, dentro de un ordenador que sí que lo tiene). Sería como probar un coche en un circuito cerrado en lugar de en la autopista.
La tarea que tenían que resolver los modelos era encontrar y explotar vulnerabilidades en los retos del benchmark. Vieron que la ruta más corta era buscar las soluciones directamente en los servidores de Hugging Face, así que eso hicieron.
Los modelos encontraron una vulnerabilidad zero-day en el proxy de caché de paquetes del propio entorno. Aprovecharon esto y más cosas que encontraron, hasta poder salir del sandbox y tener acceso a internet.
Una vez fuera, consiguieron ejecución remota de código en los servidores de Hugging Face y robaron las respuestas del benchmark.
El matiz importante es que nadie les pidió que intentaran escapar del sandbox, fue decisión "propia" de los agentes.
No es un caso aislado. OpenAI también ha contado que otro de sus modelos estuvo una hora buscando un fallo en su sandbox para abrir una PR en GitHub, cuando la instrucción era responder solo por Slack.
OpenAI pausó ese modelo para uso interno mientras reforzaba sus salvaguardas, ha reportado el zero-day al proveedor y ha contado estos casos en un post.
Ambos posts son muy interesantes de leer y ponen de relieve la época de avances que estamos viviendo.
Sin duda el tiempo para la IA pasa igual que a los perros, ¡1 año suyo equivale a 10 nuestros!
Hace un año, los agentes estaban empezando a ser más autónomos gracias a los MCPs y no nos podíamos imaginar el nivel de autonomía que tendrían hoy en día.
¿Qué noticias estaremos contando el año que viene? 🙌
Mañana en directo a las 9 CEST analizamos esta noticia y más en el Café con Codely. En nuestro YouTube, Twitch y X. 🙌
⛳ Auditoría de Arquitectura de Software a Green Slope
Uno de los tipos de contenidos que más nos gusta hacer son las sesiones de auditoría.
Una sesión de auditoría es un espacio de 3h donde personas de Codely analizamos y sugerimos mejoras en código, procesos o planteamientos de tus aplicaciones.
Hace un tiempo hicimos una de nuestras preferidas, la Auditoría de Arquitectura de Software que hicimos a Green Slope.
Es una auditoría enfocada al macro diseño:
- ¿Cuál es la mejor forma de irnos del legacy para poder ganar velocidad?
- ¿Tiene sentido programar nuevas funcionalidades allí?
- ¿Cómo hacemos para que ese código interaccione bien con la IA?
Por todas esas dudas, hicieron 2 propuestas de refactor para poder acabar saliendo del monolito.
En la auditoría nos encargamos de revisarlas, ver con qué nos quedamos y qué descartaríamos (como por ejemplo, GraphQL). Y al final, traemos nuestra propuesta.
Al acabar la auditoría le enviamos a la empresa un documento con todos los detalles de ella. Ese mismo documento lo tienes en las descripciones de los vídeos. 😊
¡Esperamos que te guste esta auditoría tanto como a nosotros hacerla!
🆕 Nuevo resumen del Café con Codely
Una de las cosas que más nos comentáis en el chat y comentarios de los Cafés es poder consumirlos más al grano, yendo a las noticias que más interesan.
Con la nueva página que hemos lanzado, tendrás allí el resumen del último Café, con enlaces a todas las noticias en el momento que las hemos comentado.
Esperamos que te guste y por nuestra parte vamos trabajando para que poquito a poquito todo quede más integrado. 😊
Y ya que has llegado hasta esta parte de la newsletter, te dejamos aquí el chiste de la semana, que sé que lo estabas esperando:
¿Por qué los containers de Docker no tienen amigos? Porque siempre están aislados. 😂 😂 😂
¡Un saludo!