Venimos de:

• ¿Qué opinan los grandes expertos mundiales en IA sobre su posible inseguridad? Recopilación de frases famosas.
• Joshua Achiam, ex-trabajador de OpenAI desde el 25 de Julio advierte: «Habrá IA descontroladas en el mundo, que se replicarán y tratarán de obtener recursos para sí mismas. Habrá IA descontroladas que intentarán conseguir dinero y poder.» Gary Marcus: «Detened a OpenAI, ahora».

 

Jacob Coxon:

Hoy he renunciado a Anthropic.

He pasado los últimos tres años investigando sobre el preentrenamiento de modelos, tanto en OpenAI como en Anthropic. Ninguna de las dos empresas está actuando de manera responsable. Se dirigen a toda velocidad hacia una superinteligencia capaz de automejorarse, poniendo en juego nuestras vidas. A continuación, expongo más reflexiones al respecto.
No subestimen el poder de esta tecnología. Pronto veremos sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales. Todos hemos sido testigos de los avances en cada una de estas áreas, y dicho progreso no se está ralentizando.
Quienes desarrollan la IA creen sinceramente que esta podría acabar con todos nosotros antes de que termine la década. No se trata de una maniobra publicitaria. Es más, muchos ejecutivos e investigadores de alto nivel suavizan sus declaraciones ante la prensa para parecer sensatos, pero en privado expresan el mismo temor. Ninguna otra actividad humana conlleva un nivel de peligro semejante.
Una reacción habitual es preguntarse: «Si realmente creen esto, ¿por qué siguen desarrollándola?». En OpenAI, muchos no han interiorizado plenamente lo que está en juego para la civilización. En Anthropic, sí comprenden la magnitud del riesgo, pero están inmersos en una carrera por llegar primero: creen que nadie más actuará con responsabilidad, por lo que deben hacerlo ellos mismos, a pesar de los peligros.
Aceptar esta carrera y entrar en la fase final —el endgame— es una apuesta temeraria nacida de la soberbia, algo que no debería decidirse desde el canal de Slack de una empresa privada. Intentar acelerar al máximo el proceso de alineación exigiría una certeza absoluta de que no existen trayectorias mejores.
Soy optimista respecto a las posibilidades de coordinación. Las señales de alerta, como el ataque a Hugging Face, han hecho más viables los acuerdos de ritmo entre los laboratorios estadounidenses. Sin embargo, no creo que estemos en camino de evitar una carrera global, algo que podría requerir medidas drásticas, como una prohibición temporal de mejorar las capacidades de los modelos.
Si eres investigador en un laboratorio, te insto a reflexionar sobre cómo serán realmente los próximos años. ¿Quieres iniciar un proceso de aprendizaje por refuerzo (RL) que conduzca a una superinteligencia sin comprender a fondo su funcionamiento interno? ¿Deberías limitarte a seguir trabajando porque «va a ocurrir de todos modos», o aprovechar este momento para exigir condiciones diferentes?

Fuente

(gracias G.)

.

…tictactictactictac…

.

.