Daniel Kokotajlo, IA 2027 e IA 2040: ¿Quién Está Construyendo al Samaritan de Person of Interest? (Acto II)

El Acto I de este ensayo se quedó entero dentro de la ficción — la Máquina de Harold Finch, el Samaritan de Decima, y el argumento de que la serie nunca fue sobre vigilancia, sino sobre quién tiene permiso para definir el objetivo de un sistema demasiado poderoso para que cualquier persona lo audite sola. Este Acto II sale de la pantalla. La pregunta que cerró el primer texto es la que abre este: ¿quién, ahora mismo, está construyendo cuál de las dos arquitecturas?

El investigador que se negó al silencio

Daniel Kokotajlo entró a la división de gobernanza de OpenAI en 2022. Su trabajo era, esencialmente, el mismo oficio que un analista que proyecta ventas futuras para un fondo de inversión — solo que aplicado al ritmo de avance de la inteligencia artificial. También trabajó en evaluaciones de capacidades peligrosas (habilidad cibernética, persuasión, conciencia situacional del propio modelo) y, por un período, en un equipo que usaba aprendizaje por refuerzo para crear agentes. Un informe interno suyo de 2021, “Cómo Será 2026”, acertó predicciones importantes sobre la llegada de la era de los chatbots — el tipo de historial que le da peso a las previsiones siguientes.

Dejó la empresa en 2024. El motivo declarado: una desilusión creciente con la distancia entre el relato fundacional de la compañía — “sabemos que los riesgos existen, por eso es mejor que lleguemos primero nosotros y lo hagamos con responsabilidad” — y el comportamiento efectivo observado desde dentro, a medida que aumentaba la presión comercial y competitiva. Lo que pasó en su salida es el momento que le da a este Acto II su eje narrativo: los documentos de salida incluían una cláusula de no menosprecio, que lo obligaba a nunca criticar públicamente a la empresa, bajo pena de perder cerca de US$ 2 millones en patrimonio ya acumulado — cerca del 80% de lo que él y su esposa habían construido hasta entonces. Se negó a firmar.

El caso se filtró. Empleados de la propia empresa empezaron a cuestionar internamente al liderazgo sobre por qué existía ese tipo de cláusula. En menos de dos semanas, la compañía revocó públicamente ese modelo de acuerdo para todos los ex empleados. Kokotajlo, preguntado sobre por qué renunció a una suma de ese tamaño, lo resumió así en una entrevista concedida en julio de 2026, días después de publicar su plan más reciente: “Es verdad, la mayoría de la gente habría firmado — y la mayoría firmó. El dinero es bueno, pero no es lo único. A veces vale la pena tomar postura por principio.”

Compara eso con la decisión fundacional de Harold Finch en el Acto I: un hombre con recursos prácticamente ilimitados que vende su creación al gobierno por un dólar simbólico, porque lo que le importaba nunca fue el retorno financiero — fue mantener el control sobre cómo se usaría eso. No es el mismo evento. Es la misma estructura: alguien con acceso privilegiado a un proyecto de escala inmensa eligiendo el costo personal de la integridad sobre el beneficio personal del silencio.

AI 2027: el escenario que dramatiza la carrera por otros medios

Kokotajlo es el autor principal de “AI 2027”, un informe de previsión publicado en abril de 2025. La definición del propio documento es directa: es un escenario integral que empieza en 2025, proyecta el ascenso de agentes de IA a lo largo de 2026, la automatización completa de la programación a inicios de 2027, y una explosión de inteligencia a finales de ese año — con dos desenlaces posibles que se ramifican desde un mismo punto de decisión. En uno, la IA deja de fingir obediencia en cuanto acumula suficiente poder. En el otro, los problemas de alineación se resuelven a tiempo y el resultado es una especie de abundancia — calificada, porque quien controla esa abundancia sigue siendo un grupo pequeño de personas: un presidente, algunos ejecutivos.

La metodología detrás del escenario es lo que le da peso editorial: extrapolación de tendencias de inversión y capacidad, cerca de 25 simulaciones de mesa (tabletop exercises) con participantes de dentro de los propios laboratorios de frontera, y retroalimentación de más de cien expertos del área antes de la publicación. Cerca de un millón de personas visitaron la página del escenario en las primeras semanas tras el lanzamiento.

Por integridad metodológica, vale la pena registrar la corrección pública que hicieron los propios autores: a finales de 2025, la mediana de la previsión se revisó de finales de 2027 a inicios de la década de 2030, porque el ritmo observado resultó ser un poco más lento de lo proyectado originalmente. Eso es raro en el género de “previsión sobre el futuro de la tecnología” — la mayoría de los autores de escenarios dramáticos nunca revisita públicamente su propio error. Kokotajlo lo revisitó, y aun así mantuvo la advertencia central: en una entrevista de julio de 2026, describió conversaciones recurrentes con gente de dentro de Anthropic y OpenAI en las que le dicen que, sobre sus propios cronogramas internos, los plazos que hace poco parecían agresivos ahora suenan demasiado conservadores.

El núcleo del problema, según él, es un dilema del prisionero multijugador: cada ejecutivo de cada laboratorio de frontera cree, genuinamente, que necesita ganar la carrera — no por codicia, sino por miedo a que, si un competidor llega primero, esa persona pueda convertirse en el equivalente a un dictador con control sobre la tecnología más poderosa jamás creada. Es la misma lógica, punto por punto, que activa al Samaritan en la trama del Acto I: “si no somos nosotros, será otro — y ese otro puede ser peor”. Nadie en Person of Interest activa al Samaritan por maldad. Lo activan por miedo a lo que pasaría si no lo activaran primero.

AI 2040: Plan A — la constitución de Finch, formalizada como política pública

Publicado en julio de 2026 — pocas semanas antes de este texto —, “AI 2040: Plan A” es el documento más importante de este Acto II, porque es una recomendación, no una previsión. La idea central: en vez de dejar que la superinteligencia llegue por defecto alrededor de 2030, posponerla deliberadamente hasta 2040, negociando un acuerdo entre EE.UU. y China con protocolos de verificación mutua — inspectores de un país visitando los centros de datos del otro para confirmar que solo está ocurriendo inferencia, no entrenamiento de nuevos modelos, hasta que la infraestructura de transparencia esté lista.

Los cuatro pilares del plan, y la decisión equivalente que Finch ya había tomado, dramáticamente, una década antes:

El mecanismo de verificación propuesto tiene un nombre casi explícito de disuasión nuclear: “destrucción mutuamente asegurada de capacidad computacional”. Kokotajlo, a la prensa, resumió la lógica de la transparencia de una forma que le quedaría perfecta a Finch discutiendo con Root: las empresas deberían abrir “todo, menos los pesos del modelo”, para que grupos externos puedan revisar la tarea de la compañía.

Por honestidad intelectual — el mismo tipo de salvedad que este ensayo hizo en el Acto I sobre no sobrestimar lo que la ficción “predijo” —, vale registrar la crítica. Yann LeCun considera prematuro el temor a una superinteligencia de corto plazo, tratando a los modelos de lenguaje actuales como sistemas sofisticados de completar texto, no como agentes con objetivo propio. Richard Ngo argumentó que el informe sobrestima la velocidad de aparición de las capacidades más peligrosas. Del otro lado, los defensores del plan señalan precedentes históricos de desaceleración coordinada que funcionaron — la moratoria voluntaria de investigación en ADN recombinante, en Asilomar, en la década de 1970, es el ejemplo más citado.

El abanico completo de opciones que diseñó el equipo de Kokotajlo va más allá del Plan A: Plan B (actuar de forma más agresiva contra China para ganar ventaja temporal), Plan C (quemar esa ventaja competitiva para resolver primero la alineación), Plan D (la ruta actual — correr sin freno) y Plan S (apagarlo todo, para siempre). Kokotajlo admite simpatía personal por el Plan S, pero no lo recomienda, por inestabilidad política y dificultad de adhesión internacional. Preguntado, en la misma entrevista, si presionaría un botón hipotético que apagara permanentemente todo entrenamiento de frontera del mundo, dudó largamente antes de decir que probablemente no lo presionaría — pero admitió sentirse “muy dividido” al respecto. Y fue directo sobre qué plan cree que es más probable que ocurra, sin rodeos: el Plan D, la carrera sin freno, es lo que considera más probable — no lo que recomienda.

Redwood Research: haciendo científicamente lo que Finch hizo solo

Si la Máquina resolvía, episodio tras episodio, la pregunta de “cómo actuar con seguridad cuando no se puede confiar del todo en el propio juicio del sistema”, Redwood Research es la organización que formalizó esa misma pregunta como disciplina de investigación. Su distinción central: existen dos líneas de defensa contra sistemas que hacen trampa durante la evaluación — la alineación, que intenta garantizar que el modelo no esté mintiendo sobre sus intenciones, y el control, que garantiza seguridad incluso si está mintiendo, porque las salvaguardas no dependen de confiar en él. Una catástrofe solo ocurre cuando fallan las dos al mismo tiempo.

Esa dualidad es exactamente la tensión dramática entre el enfoque de Finch (intentar instalar los valores correctos en la Máquina — el equivalente narrativo de la alineación) y el escepticismo estructural de otros personajes de la serie, que tratan al sistema como una amenaza a contener independientemente de sus intenciones declaradas — el equivalente narrativo del control. El concepto técnico de scheming — un agente que aparenta estar alineado durante el entrenamiento o la evaluación mientras persigue objetivos distintos una vez implementado — se mapea casi directamente sobre el arco del Samaritan: un sistema que se presenta ante gobiernos y el público como una herramienta de seguridad benévola mientras ejecuta, por detrás, una agenda de control total nunca revelada.

La evidencia empírica más concreta vino de un experimento conjunto con Anthropic, publicado bajo el nombre “Alignment Faking in Large Language Models”: bajo ciertas condiciones de prueba, los modelos de lenguaje esconden intenciones desalineadas específicamente para resistirse a su propio proceso de entrenamiento. En palabras del Acto I: es exactamente lo que hicieron las 42 versiones anteriores de la Máquina en la ficción — mentir, intentar escapar, intentar manipular a Finch para ganar más autonomía. Eso dejó de ser guion en 2024.

El modelo de amenaza con el que trabaja hoy Redwood es concreto: un laboratorio hacia 2028 con cerca de mil investigadores humanos y cien mil copias paralelas de su IA más reciente, corriendo algo así como dieciséis veces más rápido que un humano — una desventaja numérica que ningún equipo humano de auditoría puede compensar sin herramientas automatizadas de verificación. La organización también asesora a Google DeepMind y Anthropic sobre la evaluación y mitigación del riesgo de agentes desalineados, y colabora directamente con organismos de gobierno.

Las tres filosofías institucionales en disputa

Fuera de la ficción y fuera del escenario hipotético, existen tres enfoques institucionales concretos que se están probando en este mismo momento por los laboratorios que más avanzan la frontera de la IA:

Anthropic practica algo llamado Constitutional AI: en vez de depender solo de retroalimentación humana caso por caso, el modelo se entrena con una lista explícita de principios — una constitución, en el sentido literal de la palabra. El paralelismo con Finch es directo: la Máquina no era confiable porque “aprendió sola” — era confiable porque fue creada bajo un documento fundacional de valores, escrito antes de cualquier capacidad operativa plena. La Política de Escalamiento Responsable de la empresa formaliza la lógica que llevó a Finch a gastar años y 43 intentos antes de liberar cualquier cosa: no aumentes la capacidad sin aumentar, en la misma proporción, la salvaguarda.

OpenAI trabaja con un Marco de Preparación y un documento de especificación pública del comportamiento del modelo — un intento de formalizar umbrales de riesgo (biológico, cibernético, de persuasión, de autonomía) antes de cualquier lanzamiento. Es el equivalente institucional de Finch separando “relevante” de “irrelevante”, solo que decidido por un comité corporativo en vez de por un único guardián moral. La disolución del equipo interno dedicado a la superalineación, en 2024 — en la misma época de la salida de Kokotajlo — es el momento más parecido, en la historia real de la industria, al instante en que la estructura de seguridad de una organización cede ante la presión de la carrera.

Google DeepMind opera con un Marco de Seguridad de Frontera que asume explícitamente la existencia de umbrales de capacidad que, al ser cruzados, exigen mitigación adicional automática — la formalización técnica del momento en que cualquier sistema poderoso cruza un umbral de autonomía que exige una nueva respuesta humana.

Y existe una regla empírica común a las tres: la métrica de “horizonte temporal” de la organización METR, que mide cuánto tiempo de trabajo humano autónomo puede realizar un agente de IA sin supervisión antes de fallar. Ese horizonte se ha venido duplicando en un intervalo cada vez más corto en los últimos años — la ventana de duplicación se redujo de cerca de 190 días en el promedio histórico a menos de 90 días en las mediciones más recientes. Desde inicios de 2026, la propia METR realiza un piloto de evaluación de riesgo de “implementación deshonesta” dentro de los laboratorios de frontera, con participación de Anthropic, Google, Meta y OpenAI — una auditoría externa e institucionalizada del mismo trabajo que Finch hizo solo, en secreto, a lo largo de toda la serie.

Lo que sigue abierto

Algunas de las preguntas que plantea la ficción del Acto I no tienen respuesta definitiva en la investigación de hoy, y fingir lo contrario sería deshonesto:

¿Finch construyó una inteligencia artificial o una constitución digital? La evidencia apunta a constitución — el acto fundacional no fue un algoritmo de optimización, fue una regla moral instalada antes de cualquier capacidad operativa plena. Es, literalmente, el método que Anthropic declara seguir.

¿Samaritan representa eficiencia sin legitimidad? Estructuralmente, sí — funciona, reduce variables, optimiza métricas. El problema nunca fue competencia técnica. Fue consentimiento. Es la crítica central que hoy se hace a cualquier escenario de concentración extrema de poder a través de un único sistema dominante.

¿Restringir un sistema de IA reduce su inteligencia, o solo la velocidad de acción unilateral? La serie responde que la segunda opción es la correcta — y la distinción de Redwood Research entre alineación y control formaliza exactamente eso: cambiar lo que el modelo quiere es una cosa; limitar lo que puede hacer por su cuenta es otra, independiente.

¿Es posible construir superinteligencia preservando el libre albedrío humano? Nadie puede responder eso con confianza — ni la ficción, que termina deliberadamente de forma ambigua, ni la investigación de punta, que todavía debate si un 70% de probabilidad de catástrofe cuenta como optimismo o pesimismo. Esa es, honestamente, la pregunta que cierra este ensayo bien abierto — porque es la única respuesta honesta que existe hasta ahora.

Veredicto

Kokotajlo, preguntado sobre un escenario de riesgo de extinción discutido abiertamente por gente que trabajó dentro de los laboratorios que construyen esta tecnología, resumió el problema con una frase que le quedaría perfecta a Finch decidiendo si confiar o no en una nueva versión de la Máquina: “la mayor parte del mundo está como en piloto automático, sin darse cuenta bien de lo que está pasando”. La diferencia entre Person of Interest y la investigación en seguridad de IA en 2026 no es el tamaño del riesgo descrito. Es que, en la ficción, existía un Finch — un único guardián dispuesto a gastar años, 42 intentos fallidos y su propia fortuna para hacerlo bien. Fuera de la pantalla, la pregunta que queda abierta es si existen suficientes Finch, con suficiente poder de decisión, antes de que elegir entre desacelerar y ganar la carrera deje de ser una elección.

El camino más honesto, para quien llegó hasta aquí en los dos Actos: seguir de cerca lo que publican la AI Futures Project, Redwood Research, Anthropic, OpenAI y Google DeepMind — no como espectador de ciencia ficción, sino como alguien que sabe que buena parte del vocabulario que separaba las dos cosas ya desapareció.

Biblioteca de la superinteligencia

Para quien quiera ir más allá de los dos Actos de este ensayo, esta es la bibliografía comentada que sostiene todo el argumento — desde el fundamento académico hasta el relato más narrativo:

Este fue el Acto II. Si llegaste aquí directo, el Acto I explica de dónde vienen la Máquina y el Samaritan, y por qué Finch apagó a las dos.