Asesor vaticano: «Por mucho que entrenen una IA para evitar suicidios, no hay garantía»

Este verano nos han sacudido las historias de Sophie Rottenberg y Adam Raine, jóvenes que se han suicidado y cuyas últimas conversaciones fueron con ChatGPT. El revuelo mediático y las denuncias de los padres han obligado a la compañía OpenAI a tomar medidas. Hablamos con Richard Benjamins, CEO y cofundador de OdiseIA y experto en ética e inteligencia artificial (IA) en organizaciones como la UNESCO y asesor del Centro de Cultura Digital del Vaticano, creado por el Papa Francisco. 

—¿Qué responsabilidad tienen la IA, o las empresas que hay detrás de ella, en los recientes suicidios donde detrás había modelos como ChatGPT?
—Es una respuesta muy compleja. ¿Qué responsabilidad tiene el fabricante de un coche si alguien muere conduciéndolo? En el coche está claro: si falla un componente, la responsabilidad es del fabricante; pero si es un error del conductor, obviamente la empresa no tiene responsabilidad ninguna. Aquí debe ser la misma filosofía; lo que pasa es que no está tan claro qué es un componente ni cuando falla.

—¿Estos modelos deberían estar programados para avisar a personas cercanas o profesionales en este tipo de casos límite?
—Sí. De hecho, eso forma parte de los planes futuros de OpenAI. Sin embargo, el gran problema de este tipo de empresas es que los modelos que utilizan son superpotentes. Como el modelo es tan complejo y estadístico, no tienen la forma 100 % segura de evitar estas situaciones. ¿Cómo reconoces si una persona tiene tendencia al suicidio? Puedes programarlo para reconocer 500 situaciones, pero a lo mejor hay 1.000, y entonces faltan 500. No son simplemente reglas: si menciona estas palabras, lo dirijo a un profesional, porque también pueden aparecer falsos positivos y negativos. Por mucho que entrenen al modelo y testeen, no hay ninguna garantía.

—A raíz de estos casos, OpenAI ha anunciado controles parentales a partir de octubre. ¿De qué se tratan?
—Seguramente será parecido a lo que ya existe en los móviles: poderse conectar el móvil del menor, poner un límite de tiempo o bloquear aplicaciones completas. Sin embargo, muchos niños son más digitales que los padres y estos quizá no saben cómo hacerlo.

—¿Entonces hará falta enseñar a los padres a usar esos controles?
—Sí. También habrá que testear con padres de verdad a gran escala e implementarlo en colegios para que esos controles realmente tengan sentido y que todo el mundo sepa cómo usarlos.

—Entre las mejoras del modelo GPT-5, lanzado este mes de agosto, se promete «ayudar a conectar a la persona con la realidad». ¿Es esto lo que se necesita?
—Cuando tú hacías una pregunta, antes ChatGPT iba a fomentarte y a estimularte en tu pensamiento. Ahora están viendo que no todas las situaciones tienen que ser así y lo quieren aterrizar en la realidad. Pero eso no es fácil de ejecutar y es muy subjetivo: ¿qué es realista y qué no? Aunque estas empresas tienen equipos que de manera proactiva piensan en cómo evitar problemas, los modelos que manejan son tan potentes que es imposible pensar en todo. Y, al ser usados por miles de millones de personas, sería muy raro que no hubiera estos casos tan graves; por eso se ven obligados a dar explicaciones también por la presión social.

—Este verano el Papa León XIV ha insistido en la necesidad de tener en cuenta las implicaciones antropológicas y éticas para desarrollar inteligencia artificial. ¿Se está haciendo?
—Hasta cierto punto, pero no es suficiente. Ahora mismo existen dos tendencias en el mundo; existen empresas que van lo más rápido posible para conquistar el mercado y ser los primeros, y hay otras cada vez más responsables con el uso de la inteligencia artificial. Por ejemplo, con la regulación europea a través de la Ley de IA o las recomendaciones de la UNESCO o la OCDE de usos éticos. Hay un montón de iniciativas que velan por el uso responsable y siempre hay que tener en cuenta que, si creas un sistema de IA, debes pensar no solo en la oportunidad de negocio o social, sino también en posibles impactos negativos no deseados que afecten a los derechos fundamentales, como la discriminación, la pérdida de control o de toma de decisiones. Lo malo sería no hacer nada como empresas relacionadas, por ejemplo, con las redes sociales. Allí también hay muchos suicidios o anorexia y hacen muy poco para evitarlo.