Cuando la IA escribe casi todo el código
Esta semana leí una noticia que me hizo parar un momento. Anthropic, la empresa que desarrolla la IA Claude, ha actualizado el folleto de su salida a bolsa. Entre las cifras financieras, que es lo que miró casi todo el mundo, había dos datos que a mí me parecen mucho más importantes.
El primero: en septiembre, más del 90 % de las contribuciones al código de la empresa las escribió su propia IA. Y el volumen de código que aporta cada ingeniero al día es más de 45 veces el de 2024.
El segundo: la propia empresa reconoce que podría estar muy cerca de un umbral que tiene definido en sus normas internas de seguridad. Es decir, usar la IA para construir una IA mejor, que a su vez ayuda a construir otra mejor, cada vez más rápido.
«Podríamos alcanzar de forma inminente la definición de “progreso drásticamente acelerado atribuible a la IA” de nuestra Política de Escalado Responsable.»
En el mismo documento añaden que no esperan poder dejar que su IA diseñe sola las siguientes generaciones sin que haya personas que la supervisen y entiendan lo que hace. Y en su propia web matizan algo que me gustó: contar líneas de código casi seguro exagera la mejora real de productividad.
El riesgo que más me llamó la atención
No es que la IA se vuelva muy lista. Es algo más sencillo y más de ingeniero: que el progreso vaya más rápido que la capacidad de medirlo. Los datos con los que la empresa evalúa ese ritmo le llegan con retraso, así que podría no darse cuenta de una aceleración fuerte hasta que ya haya pasado.
Piensa en conducir de noche con un velocímetro que te enseña la velocidad que llevabas hace diez minutos. Mientras vas por una recta tranquila no pasa nada. El problema llega justo cuando aceleras.
Lo que aprendí en aviación
Cuando se prueba un avión nuevo, nadie sale el primer día a volar al máximo. Se va «abriendo la envolvente» poco a poco: un poco más rápido, un poco más alto, un giro un poco más cerrado. Y en cada paso, antes de dar el siguiente, se miran los datos. La regla de fondo es simple: nunca vuelas más rápido de lo que puedes medir. Si los instrumentos van por detrás, no se acelera. Se para y se arreglan los instrumentos.
Por eso me parece una buena señal que una empresa de IA lo diga en un documento oficial, ante inversores, y no en un comunicado bonito. Ahora falta ver si actúa en consecuencia cuando eso le cueste velocidad frente a la competencia.
¿Qué significa esto para la aviación?
La aviación es probablemente el sector que mejor ha aprendido a desconfiar de la velocidad. Y creo que esta noticia le plantea dos preguntas incómodas.
Certificamos cosas quietas. Un avión se certifica con un diseño congelado: se demuestra que esa versión concreta es segura y cualquier cambio vuelve a pasar por el proceso. En el software de a bordo, cada línea tiene que poder explicarse: de qué requisito sale y con qué prueba se ha comprobado. A la norma le da igual quién la haya escrito. Lo que no admite es que nadie sepa por qué está ahí. Una IA que se mejora a sí misma es, por definición, algo que no está quieto. La agencia europea de seguridad aérea ya tiene una hoja de ruta con niveles, desde la IA que solo informa al piloto hasta la automatización avanzada, con poca o ninguna intervención humana en tiempo real. Y avisa de algo que comparto: poner a una persona «en el bucle» no basta por sí solo.
El cuello de botella se mueve a la comprobación. Si escribir software es 45 veces más rápido, pero certificar un cambio sigue llevando meses, la distancia entre lo que se puede construir y lo que se puede volar va a crecer muchísimo. Habrá presión para acelerar la certificación. Mi previsión es que la propia IA acabará generando buena parte de las pruebas y de la documentación. Y entonces la pregunta de siempre se vuelve más difícil: ¿quién comprueba al que comprueba?
¿Y para la defensa?
Aquí la conversación es más seria, porque en defensa la velocidad no es solo una ventaja comercial. Es una ventaja militar. Quien observa, decide y actúa antes suele ganar. Y en esa cadena, el eslabón más lento casi siempre es la persona.
Ese es el dilema. Si tu adversario automatiza más y decide más rápido, la tentación es apartar a la persona para no quedarte atrás. Un análisis que leí sobre este tema lo explica muy bien: a medida que la IA gana autonomía, el humano pasa de decidir a supervisar, y si nadie valida de forma continua, el sistema acaba razonando sobre sus propias conclusiones. Se vuelve circular.
Los legisladores empiezan a reaccionar. En Estados Unidos, el borrador de la ley anual de defensa para 2027 que aprobó una comisión del Senado pide que siempre haya un nivel adecuado de juicio humano, que se pueda interrumpir o apagar un sistema, que quede registro de cómo se eligen los objetivos y que la IA nunca decida el lanzamiento de un arma nuclear. Todavía es un borrador, pero va en la dirección correcta.
Lo que más me hace pensar es el parecido con el control de armas. Anthropic dice en su web que frenar sería probablemente algo bueno y que lo haría si los demás también frenaran, de forma comprobable. Eso es, casi palabra por palabra, la lógica de los tratados de desarme: nadie para si no puede verificar que el otro también ha parado. Lo que hizo funcionar esos tratados no fue la confianza, fueron las inspecciones.
En el Eurofighter trabajé con cuatro países que tenían que ponerse de acuerdo en cada cambio. Desde dentro, a veces parecía lentísimo. Con los años entendí que esa lentitud también era un sistema de seguridad: obligaba a que alguien más mirase cada decisión antes de que se convirtiera en realidad.
Hacia dónde creo que va esto
- En aviación, la IA entrará rápido en todo lo que rodea al vuelo (mantenimiento, planificación, documentación, pruebas) y despacio en lo que vuela. Me parece bien que sea así.
- En defensa, la gran discusión de los próximos años no será si usar IA, sino dónde poner a la persona y cómo demostrar que de verdad decide y no solo firma.
En aviación al piloto automático nunca lo dejamos solo en la cabina. No porque no sea bueno, sino porque alguien tiene que estar mirando los instrumentos y alguien tiene que responder de lo que pase. Una máquina puede hacer el trabajo. La responsabilidad sigue siendo nuestra.
Te dejo una pregunta: en tu trabajo, ¿qué parte estás dejando ya en manos de la IA y cómo compruebas que sale bien?
Fuentes: el folleto de salida a bolsa de Anthropic, según lo recogió la prensa, y su página sobre la IA que ayuda a construirse a sí misma; la hoja de ruta de IA de la agencia europea de seguridad aérea; el borrador de ley de defensa de EE. UU. para 2027 y un análisis publicado en una revista de defensa estadounidense. La opinión y las previsiones son mías.
← Volver al blog