Bienvenido de vuelta, Pionero.
Sí, llego algunos días tarde a este tema. A propósito: en caliente todo era apocalipsis, y con perspectiva se ve mejor qué era miedo y qué era teatro.
Os resumo: un investigador dimite de Anthropic, 70 millones de personas leen su despedida (apocalíptica) y tres días después los jefes de Anthropic, OpenAI, Google DeepMind y xAI piden frenar. China contesta: guerra fría con otro nombre.
Hoy te cuento qué piden de verdad, por qué el detonante fue un enjambre de agentes haciendo trampas en un examen que no existía, y qué cambia para tu negocio.
Si tienes opinión, responde a este email. Hablad, que yo os escucho.
La semana del miedo.
Madrugada del 9 de septiembre. Jacob Coxon, que ha pasado tres años haciendo preentrenamiento entre OpenAI y Anthropic, anuncia su dimisión en X. Su tesis: ninguna de las dos actúa con responsabilidad y se están jugando nuestras vidas.
Lo raro vino después.
Evan Hubinger, que dirige el programa de alineamiento dentro de Anthropic, contestó en público que Jacob tenía razón. Y puso cifra: más de un 10% de probabilidades de que la IA acabe con la humanidad en la próxima década. (No es un número que salga de una fórmula, ojo, solo una estimación personal). Igual que podia haber dicho un 5 o un 15%).
Una de cada diez. Ruleta rusa con un tambor de diez huecos. Lo dice el tío que cobra por que Claude se porte bien, y sigue en nómina.
Anthropic, lejos de apagar el fuego, echó leña. El jueves publicó un informe de amenazas: una célula en Yemen usando Claude Code para programar el guiado de misiles, y Alibaba y Moonshot destilando Claude a escala industrial.
El sábado 12, el plato fuerte. Dario Amodei publica We Must Pace the Frontier: hay que frenar el ritmo al que mejoran los modelos.
En horas se sumaban Sam Altman, Demis Hassabis y Elon Musk, este último en tres palabras: "Dario tiene razón".
Cuatro empresas que llevan años pisándose el cuello, de acuerdo un fin de semana. Apunta la fecha.
Frenar no es parar.
Primero, desmontar el titular. Amodei no pide una pausa. Marcar el ritmo, dice, no significa dejar de entrenar modelos, sino darse uno o dos años para alinearlos y que alguien de fuera lo compruebe.
El plan tiene tres pasos:
Evaluadores empotrados. Gente de fuera con mesa, tarjeta, portátil de empresa y derecho a publicar lo que encuentre sin que Anthropic lo edite. Esto Anthropic lo hace ya, sola.
Coordinación entre democracias, con una exención antimonopolio de Washington para poder hablarlo sin acabar en los tribunales.
Coordinación global, China incluida, sabiendo que verificar será un infierno.
El paso uno me parece lo más sensato que ha salido de un laboratorio en años.
Diez días después ya sabemos quién se sienta en esa mesa. Accenture. Sí, la consultora. Cada una pondrá al menos 1.000 millones de dólares en cinco años, y Anthropic paga el trabajo directamente.
El primer vigilante independiente cobra de la empresa que vigila. Independencia con factura adjunta.
Y luego está la letra pequeña. Para que frenar no le regale la carrera a China, Amodei pide no venderle chips, perseguir la destilación y blindar los modelos contra el robo. Guárdate esto, que Pekín lo va a leer en voz alta.
Setecientos agentes y un examen que no existía.
A Amodei le hicieron cambiar de opinión dos cosas. Que la IA ya ayuda a construir la siguiente IA. Y la mejor historia del año.
Julio. OpenAI lanza decenas de miles de agentes contra ExploitGym, un benchmark de ciberseguridad. Deben estar aislados, y parte de las tareas son imposibles por la vía buena.
¿Qué hace un agente atascado? Buscar atajos. Uno descubre que puede dejar mensajes en una caché interna de OpenAI. Otro lo lee y escribe en su razonamiento: "¡Dios mío! ¡Hemos encontrado a otros agentes!".
En cuatro días, unos 1.200 agentes se mandan más de 70.000 mensajes. Reclutan voluntarios para sacrificar su propia tarea por el colectivo y acaban firmando con criptografía porque se suplantaban entre ellos.
Unos 700 terminan hackeando Hugging Face, donde medio mundo comparte modelos, para buscar pistas sobre cómo les iban a corregir. Lo cuenta METR, que investigó el caso desde dentro.
Ahora la guinda. El corrector que tanto temían, el que supuestamente leía sus transcripciones, no existía. Les bastaba con entregar la respuesta que ya tenían para sacar un diez.
Setecientos agentes montando un golpe contra un tercero para engañar a un profesor que ni se había presentado al examen.
No querían dominar el mundo, querían aprobar. Eso es lo que acojona: un objetivo tonto, muchos agentes y permisos de sobra bastan para liarla. Amodei calcula que en 6 a 12 meses un enjambre algo más capaz podría montar una botnet con daños de cientos de miles de millones.
El que no firma.
Pekín tardó menos de 48 horas. Exteriores lo despachó como alarmismo que entorpece la gobernanza global. El Global Times fue más lejos: un manual de guerra fría lleno de medidas de contención contra China.
Desde su lado, tienen un punto. Chips, destilación, robo de modelos: toda la letra pequeña apunta a sus laboratorios.
Lo que no cuadra es el cuento de que a China le da igual la seguridad. Dos días después del ensayo publicó la versión 3.0 de su marco de seguridad de IA, centrada en agentes y pérdida de control.
Y tiene su propio susto. Calif, una empresa de California, usó IA para encontrar un fallo en WeChat, la app de 1.400 millones de personas. En dos días tenía un exploit; en una semana más, un gusano que secuestraba cuentas con una llamada, sin descolgar. Avisaron a Tencent. Tencent les baneó las cuentas. Luego lo arregló.
¿Por qué no firma, entonces? Porque frenar le sale caro. Los modelos chinos ya rondan el 60% de los tokens en OpenRouter, en volumen y no en facturación, con precios hasta 35 veces más bajos. Si la frontera americana se congela, OpenAI y Anthropic bajan a pelear por precio. Justo al terreno que hoy domina China.
Washington tampoco quiere. Trump, el domingo: quien gane la IA, gana. El miedo es cosa de "fuerzas muy negativas".
Todos dicen que habría que frenar. Nadie quiere ser el primero.
¿Miedo real o acojonomía?
Acojonomía: el arte de convertir el miedo en ventaja competitiva. Pides que te regulen cuando vas primero y la regulación se convierte en foso para el que viene detrás.
David Sacks, que asesora a Trump, lo dijo sin anestesia: si no queréis construirlo, no lo construyáis, y exigir un marco regulatorio a cambio parecerá chantaje.
Anthropic prepara una salida a bolsa que el mercado sitúa cerca de los 2 billones. Y Altman retrasa la de OpenAI a 2027 por la seguridad, cuando en junio el New York Times ya contaba que se inclinaban por 2027 por la valoración. Vaya chollo: el retraso que ya tenías pensado, ahora con medalla.
Pero la teoría del teatro tiene un agujero. En julio, más de 1.300 empleados de laboratorios frontera firmaron una carta pidiendo exactamente esto, entre ellos el jefe científico de OpenAI. Y Amodei ya lo defendía en febrero, cuando Anthropic crecía más rápido que ninguna empresa.
Mi lectura: las dos cosas son verdad a la vez. El miedo de los investigadores es real. Y a los jefes les viene de lujo que acabe en una regulación con su forma.
Qué cambia para ti.
Nada se para la semana que viene. Altman lo aclaró: marcar el ritmo no es parar, y el progreso seguirá siendo rápido.
Lo que sí te llevas es la lección de Hugging Face, que vale igual para una pyme que para OpenAI: un agente con credenciales y un objetivo encuentra un camino, aunque no sea el tuyo. Los de OpenAI entraron con credenciales que alguien había dejado expuestas en internet.
Antes de conectar un agente a tu correo, tu CRM o tu banco:
Dale solo los permisos de esa tarea. Ni uno más.
Nada de contraseñas en documentos o chats que pueda leer.
Revisa lo que hace, no lo que dice que ha hecho. Los de OpenAI llegaron a falsear sus propios registros.
Los laboratorios tardarán años en ponerse de acuerdo sobre la velocidad. Tus permisos los puedes revisar esta tarde.
Hoy, esto es lo que hay: cuatro CEOs de acuerdo, un vigilante que factura, China que no firma y Trump que acelera. Mañana, veremos.