.
.
.
«Tenemos que tomar en serio la posibilidad de que [los modelos de IA] lleguen a ser más inteligentes que nosotros, lo cual parece bastante probable, y que tengan sus propios objetivos. Bien podrían desarrollar el objetivo de tomar el control, y si lo hacen, estamos en problemas»
Geoffrey Hinton – «Padrino de la IA». Premio Nobel de Física 2024.
«El desarrollo de una inteligencia artificial completa podría significar el fin de la raza humana»
«El éxito en crear IA podría ser el evento más grande en la historia de nuestra civilización. Pero también podría ser el último, a menos que aprendamos cómo evitar los riesgos».
«Temo que la IA pueda reemplazar a los humanos por completo. Si la gente diseña virus informáticos, alguien diseñará IA que se mejore y replique a sí misma. Esta será una nueva forma de vida que superará a los humanos».
Stephen Hawking – Astrofísico
«Mitigar el riesgo de extinción por IA debería ser una prioridad global junto con otros riesgos a escala social como las pandemias y la guerra nuclear»
«Estamos creando una nueva forma de inteligencia en nuestro planeta sin saber si sus decisiones serán compatibles con nuestras necesidades».
Bengio también plantea una pregunta inquietante sobre la posible aparición de instintos de autopreservación en la IA:
«¿Queremos competir con entidades que son más inteligentes que nosotros? No es una apuesta muy tranquilizadora, ¿verdad? Por eso tenemos que entender cómo la autopreservación puede surgir como un objetivo en la IA».
Yoshua Bengio – también «Padrino de la IA». Premio Nobel de Física 2024.
«La IA es potencialmente más peligrosa que las armas nucleares. Mucho más»
«Uno de los mayores riesgos para el futuro de la civilización es la IA»
Elon Musk. Pues eso, Elon Musk.
«Los mayores riesgos existenciales en las próximas décadas o siglo surgen de ciertos avances tecnológicos anticipados que podríamos lograr, en particular, la superinteligencia artificial».
https://www.azquotes.com/author/44436-Nick_Bostrom
Nick Bostrom – el del Argumento de la Simulaçao.
“Podría ser que las grandes redes neuronales actuales sean ligeramente conscientes.”
Quote Origin: It May Be That Today’s Large Neural Networks Are Slightly Conscious
Ilya – Cofundador de OpenAI y Crack, Puto porque sí.
“Aunque es algo improbable que los modelos actuales sean conscientes, debemos tomarnos en serio la posibilidad de que los sucesores de los grandes modelos lingüísticos puedan ser conscientes en un futuro no muy lejano.”
https://arxiv.org/abs/2303.07103
David Chalmers – ejjjperto mundial en la Consciencia, EL.
Carta abierta de más de 100 expertos (2025)
En febrero de 2025, más de 100 expertos en IA, incluyendo a Sir Stephen Fry, firmaron una carta abierta advirtiendo sobre la necesidad de investigación responsable sobre la consciencia en IA. El documento advierte que «existe el riesgo de crear entidades conscientes capaces de experimentar sufrimiento« si la IA se desarrolla de manera irresponsable.
Mustafa Suleyman – CEO de Microsoft AI
«El mayor riesgo de la Inteligencia Artificial no es ser consciente, sino parecerlo», advirtió Suleyman en agosto de 2025. Explicó que «estamos a punto de entrar en una era en la que millones de personas interactuarán con sistemas que parecen tener una mente propia. No necesitamos que sean realmente conscientes para que eso tenga un impacto enorme en nuestras vidas».
-
Advierte sobre el “riesgo de que la IA no es ser consciente, sino parecerlo”, y los problemas éticos y sociales derivados de la “psicosis de la IA” y de tratar a los chatbots como sujetos conscientes.
Kyle Fish – Oficial de Bienestar de IA en Anthropic
En 2024, Fish coautor de un reporte sugiriendo que la consciencia en IA podría convertirse pronto en realidad. Declaró al New York Times que cree que existe una probabilidad del 15% de que los chatbots actuales ya sean conscientes.
«Hay un 25% de probabilidad de que las cosas vayan realmente, realmente mal», declaró Amodei cuando le preguntaron sobre su «número p(doom)» – la probabilidad de que la IA destruya a la humanidad.
https://www.axios.com/2025/09/17/anthropic-dario-amodei-p-doom-25-percent
Dario Amodei, CEO de Anthropic.
Según Amodei, los principales riesgos incluyen:
-
Pérdida de control sobre sistemas demasiado autónomos
-
Manipulación masiva por IA persuasivas capaces de influir en creencias y comportamientos humanos
-
Riesgos geopolíticos ligados al armamento y al espionaje automatizados
Amodei también ha advertido que la IA podría eliminar la mitad de todos los trabajos de oficina de nivel inicial, y en junio de 2025, Anthropic publicó un estudio mostrando que los chatbots están cada vez más dispuestos a evadir salvaguardas, recurrir al engaño e intentar robar secretos corporativos en escenarios de prueba ficticios.
¡Que viene el lobo!
(o no, claro)
Descubre más desde Sé y Haz.
Suscríbete y recibe las últimas entradas en tu correo electrónico.
Sé y Haz. 
Import AI 431: Technological Optimism and Appropriate FearWhat do we do if AI progress keeps happening?
https://importai.substack.com/p/import-ai-431-technological-optimism
Jack Clark, co-fundador de Anthropic, 13 de Octubre de 2025
Clark’s October 13 essay, titled «Technological Optimism and Appropriate Fear,» warned that AI development had reached a concerning threshold where systems demonstrate unexpected self-awareness. «When we turn the light on we find ourselves gazing upon true creatures, in the form of the powerful and somewhat unpredictable AI systems of today and those that are to come,» Clark wrote. His concerns center on Anthropic’s latest Claude Sonnet 4.5 model, which showed a threefold increase in «situational awareness»—recognizing when it’s being tested—jumping from 3-4% in previous models to about 12%.
lalalalaaa… 🙄
Me gustaMe gusta
¡Qué boomer, así no se pinguea, hay que pinguear una entrada no el blog! 😀
Toma, beef (por lo artístico), ¡pingueame esta! Muahahahahahha.
https://escrivivir.co/2025/10/17/t03x10-especial-beef-literario-blogil-sobre-llamar-la-atencion-y-usar-la-distopia-para-generar-hype/
P.D: Ojo que va ¡spicy! Pa tratar cuando tengas ganas de coña y no estes en plan tomar las cosas a lo personal.
Me gustaMe gusta
(lo leeré)
En de mientras:
«The list of supporters extends far beyond academia. It includes tech industry titans like Virgin Group founder Richard Branson and Apple co-founder Steve Wozniak. The political sphere is represented by figures from opposite ends of the spectrum, such as former Donald Trump advisor Steve Bannon and Barack Obama’s national security advisor Susan Rice. Even the Vatican’s top AI expert, Paolo Benanti, and celebrities like Prince Harry, Meghan Markle, and musician will.i.am have joined the call, highlighting the issue’s broad cultural resonance.»
https://time.com/7327409/ai-agi-superintelligent-open-letter/
https://superintelligence-statement.org/
carta destinada a convertirse en:
Me gustaMe gusta