Cuarzo.dev

Jacob Coxon, un investigador que pasó por OpenAI y Anthropic, dejó su trabajo con una advertencia: la carrera de la IA avanza más rápido que nuestra capacidad para controlarla.

Otro investigador de Anthropic, Evan Hubinger, puso una cifra sobre la mesa: más de un 10 % de probabilidad de extinción humana en diez años.

LO QUE SÍ SABEMOS

Nadie puede demostrar ese 10 %. Es una estimación personal, no una predicción ni un consenso.

El International AI Safety Report de 2026 lo resume mejor: los sistemas actuales todavía no pueden provocar una pérdida de control, pero ya muestran señales que conviene vigilar.

El riesgo tampoco es un ejército de robots. Es dar cada vez más autonomía a sistemas capaces de escribir código, atacar infraestructuras, ayudar a desarrollar amenazas o mejorar otros sistemas. Esa es también la preocupación que Coxon explica en WIRED.

No hace falta creer en el apocalipsis para exigir límites, trazabilidad y un botón de parada.

Lo inquietante es que quienes reconocen el riesgo también compiten por construir el sistema más potente antes que los demás.

NOVEDAD RÁPIDA: CODEX HABLA EN EL CLI

Codex CLI ya permite hablar con el agente y usar Touch ID en algunas acciones. Si trabajas desde el terminal, puede ser útil. Yo trabajo desde la aplicación de escritorio, así que por ahora cambia poco mi flujo.

Samsung Dev Spain
Samsung Dev Challenge

En colaboración con Samsung Dev Spain

¿Te apetece poner tus skills a prueba?

El 16 de octubre estaré en Madrid en Dev Challenge, una competición gratuita con retos de IA, programación y debugging.

Puedes participar solo o en equipo. Inscripciones hasta el 4 de octubre. El equipo ganador se lleva un Galaxy Z Fold8 por persona.

Curso gratis de Desarrollo con IA con Brais Moure. 29 y 30 de septiembre y 1 de octubre. Gratis y con certificado.

Tres directos para aprender a diseñar y orquestar agentes. Online, gratis y con certificado.

29 y 30 de septiembre y 1 de octubre, a las 19:00.

Y PARA ACABAR…

Cómic de cuatro viñetas. En una entrevista preguntan a Kiko cómo se ve dentro de cinco años. Kiko piensa, se imagina huyendo de dos robots en una ciudad destruida y responde: «En un entorno dinámico».

¿Qué te preocupa más de la IA avanzada?

Una pregunta sobre los riesgos que ya deberíamos estar intentando controlar.

Login or Subscribe to participate

¿Te reenviaron este correo? Regístrate aquí para recibir cada lunes una idea importante, una aplicación concreta y solo las novedades que merezcan atención.

Reply

Avatar

or to participate

Seguir leyendo

View more
caret-right