Es un poco como un chef que intenta crear la salsa picante más fuerte del mundo, solo para darse cuenta de que ha creado accidentalmente un irritante weaponizado capaz de derretir una capa de pintura. No basta con ponerle la tapa al frasco y darlo por terminado; has cambiado fundamentalmente la naturaleza de la cocina, y ahora tienes que averiguar cómo almacenar esa sustancia sin dejar ciego accidentalmente a tu personal.
Para los no iniciados (aunque la mayoría de ustedes probablemente ya conozcan los niveles de seguridad), OpenAI utiliza un marco para categorizar qué tan peligroso es un modelo. Por lo general, hablamos de riesgo “Medio” o “Alto”: cosas como que el modelo sea demasiado bueno para escribir un correo de phishing convincente. Pero según The Decoder, las pruebas internas de Astra lo han empujado al territorio de lo “Crítico”.
Esto no se trata solo de automatizar unas cuantas líneas de Python para un script kiddie. Hablamos de un modelo que podría identificar vulnerabilidades zero-day o automatizar la creación de exploits complejos. Cuando un laboratorio marca su propio trabajo como “Crítico”, significa que el modelo ha cruzado una línea: de ser un asistente útil a convertirse en un multiplicador de fuerza para la guerra cibernética real a nivel estatal. Es la diferencia entre una herramienta que te ayuda a forzar una cerradura y una herramienta capaz de reescribir el protocolo de seguridad de todo un edificio.
OpenAI dice que ha pausado partes del desarrollo de Astra. (Que es una forma elegante de decir que tienen miedo). Pero aquí está la realidad: no puedes “desentrenar” un modelo. Los pesos ya están ahí. Las capacidades ya están integradas en la red neuronal. Pausar el desarrollo adicional del modelo no borra el hecho de que ya existe una versión de Astra capaz de potencialmente desmantelar un firewall.
Es como un estudio de cine que se da cuenta de que su monstruo de CGI es demasiado aterrador para una clasificación PG a mitad de la producción. Pueden dejar de grabar nuevas escenas, pero el monstruo sigue en la computadora. La “pauza” es en gran medida un gesto performativo para la junta directiva y los reguladores. Si el modelo ya es tan capaz, el peligro no está en el desarrollo futuro, está en los pesos existentes.
El marco de seguridad es un indicador rezagado.
Si Astra es realmente tan peligroso, la versión que eventualmente llegue a la API será una sombra castrada de la versión interna. Ya hemos visto esto antes con GPT-4, donde cada actualización parece hacer que el modelo sea más cauteloso y menos capaz de seguir instrucciones complejas y arriesgadas. Para hacer a Astra “seguro”, OpenAI tendrá que envolverlo en tantas capas de filtros de seguridad y system prompts que la utilidad real para los desarrolladores se desplomará.
También está la fricción en el mundo real de la latencia. Cada única verificación de seguridad, cada activación de “No puedo ayudar con eso”, añade milisegundos al tiempo de respuesta. Si intentan suprimir los riesgos de ciberseguridad “Críticos” con un filtrado excesivo, el modelo se sentirá lento y pedante. ¿Realmente quieres un asistente de código que gaste la mitad de su presupuesto de cómputo preguntándose si tu solicitud para optimizar un paquete de red es en realidad un intento encubierto de lanzar un ataque DDoS? Probablemente no.
Hay una forma más cínica de verlo. Al marcar públicamente (o semipúblicamente) su propio modelo como un riesgo catastrófico, OpenAI crea el argumento perfecto sobre por qué la IA necesita una estricta supervisión gubernamental. Si solo unas pocas empresas “responsables” pueden manejar modelos de riesgo “Crítico”, entonces el gobierno debería hacer ilegal que los laboratorios más pequeños y de código abierto ni siquiera lo intenten.
Es un movimiento brillante. Señalan que son los adultos en la habitación que saben cómo manejar la tecnología “peligrosa”, mientras simultáneamente construyen un foso regulatorio que impide que cualquiera más se ponga al día. Para diciembre, OpenAI cambiará la narrativa para afirmar que el riesgo “Crítico” fue un falso positivo y así justificar un lanzamiento completo, aunque filtrado.
La verdadera pregunta es si deberíamos confiar en las personas que construyeron la “salsa picante weaponizada” para que nos digan cuándo es seguro probarla.
