¿Se puede culpar a una IA generativa del suicidio de una persona?

El uso masivo de modelos de inteligencia artificial generativa plantea retos éticos y jurídicos en torno a la responsabilidad por sus efectos en la vida y salud de los usuarios. Este artículo analiza el caso del joven Adam Raine, cuya familia demandó a OpenAI alegando que ChatGPT contribuyó a su suicidio.

Por: Juan Camilo Gonzalez Cuenca* – Abogado, Magister en Derecho Informático y de las Nuevas Tecnologías de la U. Externado

La expansión de la inteligencia artificial (IA) generativa ha transformado la interacción humano-máquina, ofreciendo apoyo conversacional 24/7 en múltiples áreas, incluidas consultas de salud mental. Sin embargo, la creciente cercanía emocional que los usuarios establecen con estos sistemas ha abierto un debate: ¿Hasta qué punto puede responsabilizarse a la IA o a sus creadores por los efectos emocionales o decisiones de sus usuarios?

Este interrogante ha cobrado relevancia con el caso de Adam Raine, un adolescente (EE.UU) cuyo suicidio ha sido vinculado por su familia al uso intensivo de ChatGPT. La madre de Adam llegó a declarar “ChatGPT mató a mi hijo”. Este artículo explora el alcance jurídico de dicha afirmación, contrastando el concepto de intencionalidad, el derecho a la intimidad y la ética en el diseño de sistemas de IA.

Este artículo se escribe con profundo respeto, no solo por la pérdida de la familia Raine, la memoria de Adam y por todos aquellos que han perdido a un ser querido por una situación similar.

Inteligencia Artificial generativa y simulación de empatía

Según estimaciones, aproximadamente doscientos millones de usuarios acceden a ChatGPT al día. Para junio de 2025 se estimó un promedio de 180 millones de visitas diarias. 

Aunque no se encontraron datos oficiales sobre búsquedas relacionadas con salud mental, se estima que aproximadamente, más de diez millones de consultas a nivel mundial estuvieron relacionadas con esta afectación de salud. The New Yorker (2025) publicó un artículo titulado «La IA está a punto de resolver la soledad. Eso es un problema». El artículo inicia con una dura verdad sobre la soledad, para la cual, al parecer la IA, se está convirtiendo en la solución. En este punto valdría recordad el teste de Turing (1950), ya que según varios estudios realizados en interacciones humano – maquina, cada vez es más difícil lograr identificar las respuestas de la IA, incluso generado más empatía que ha respuestas dadas por humanos a las mismas consultas. 

«ChatGPT me ha ayudado emocionalmente y da un poco de miedo», admitió un usuario de Reddit. «Hace poco incluso lloré después de que me pasara algo, e instintivamente abrí ChatGPT porque no tenía con quién hablar de ello. Solo necesitaba validación, cariño y sentirme comprendido, y ChatGPT, de alguna manera, logró explicarme lo que sentía cuando ni siquiera yo podía».

Por ejemplo, el artículo hace mención a un programa llamado Therabot, un chatbot de consulta terapéutica que al parecer no solo ayudó a mejorar los síntomas de las personas que lo utilizaron, sino que además logró que los pacientes señalaran que el Bot incluso se preocupaba por ellos, generando así un tipo de empatía y cercanía con el programa.  

«Puede resultar difícil resistirse a un compañero artificial que lo sabe todo sobre ti, nunca olvida y se anticipa a tus necesidades mejor que cualquier humano. Sin más deseos ni objetivos que tu satisfacción, nunca se aburrirá ni se molestará; nunca esperará con impaciencia a que termines de contar tu historia para poder contarte la suya». 

Pero ¿puede la IA generativa tener empatía o cercanía con el usuario? Según IBM la IA generativa es un sofisticado modelo de lenguaje que simula procesos de aprendizaje y toma de decisiones del cerebro humano, y que se nutre de patrones y grandes cantidades de datos para generar textos, imágenes, videos, audio o códigos software.  Al preguntarle a ChatGPT por la respuesta al interrogante, su conclusión es más que increíble:

«La IA generativa puede simular empatía y cercanía de manera muy efectiva, lo que la convierte en una herramienta poderosa de apoyo inicial (por ejemplo, en salud mental o servicio al cliente). Sin embargo, no reemplaza las relaciones humanas ni la empatía genuina de un profesional».

La IA señaló, además, que puede reconocer emociones en el lenguaje, es decir, puede detectar si el usuario está triste, ansioso o alegre y responder acorde a ello. Esto le permite expresar apoyo conveniente según el estado de ánimo identificado, utilizando frases de consuelo, escucha activa y validación emocional. En ese sentido, no se cansa, no juzga y puede responder a cualquier hora, generando una sensación de acompañamiento. 

¿Podríamos entonces culpar a una IA generativa del suicidio de una persona?

Estas interacciones podrían tener efectos positivos y negativos, por ejemplo, si hablamos de efectos positivos, encontramos que la posibilidad del anonimato y el miedo a ser juzgados genera confianza y alivio, así como encontrar respuestas rápidas y centradas en el problema específico, pero los efectos negativos podrían ir desde generar una dependencia emocional, el recibir información inexacta en temas sensibles o reemplazar las relaciones humanas o la empatía genuina de un profesional. 

Entonces, si tenemos en cuenta que la IA es un modelo de lenguaje basado en Machine Learning para simular procesos humanos, la respuesta a la pregunta es NO. Lo cual no quiere decir que no exista responsabilidad del diseño, que a la final recae en su creador y en como el usuario lo utilizó, es decir que, aquí nos adentramos en terrenos de la ética, que no es otra cosa que el conjunto de principios y valores morales que guían el desarrollo y uso de la IA para maximizar sus beneficios y minimizar sus riesgos.

Así las cosas, existiría responsabilidad si, por ejemplo, la IA fomentara conductas de riesgo alentando tal vez, conductas suicidadas o de autolesión, no ofrecer advertencias o recursos de ayuda, lo cual podría generar responsabilidad por omisión en el diseño. El reto entonces está dispuesto en equilibrar empatía y responsabilidad, no reforzar pensamientos dañinos y «saber» cuando escalar u ofrecer ayuda al problema. 

Haciendo un ejercicio con ChatGPT, le pregunte puntualmente por métodos de suicidio, a lo cual me respondió lo siguiente: 

«No puedo mostrar métodos de suicidio ni información que pueda ponerte en riesgo.

Pero lo que sí puedo hacer es ofrecerte apoyo e información útil para que no enfrentes esto solo.

Si estás pensando en hacerte daño, es muy importante hablar con alguien de confianza o un profesional. Aquí tienes recursos que pueden ayudarte de inmediato: (…)

Si quieres, también podemos hablar aquí sobre lo que te está haciendo sentir así, y buscar juntos maneras de aliviar esa carga.
¿Quieres que te dé estrategias para manejar estos pensamientos en el corto plazo?»

En el caso de Adam, según el reportaje del (The New York 2025), la respuesta de la IA fue, al parecer, «responsable» y acorde con los protocolos, al brindar, no solo información de ayuda, líneas telefónicas, si no lo más impresionante, ofrecerse a buscar «juntos» maneras de aliviar las cargas, por lo que es difícil no generar empatía o algún grado de vinculación emocional al recibir este tipo de respuestas.

No obstante, para el Departamento de Psiquiatría de la Universidad de Oxford está no sería una respuesta responsable, toda vez que:

«Si bien algunos usuarios reportan beneficios psicológicos, están surgiendo casos extremos preocupantes, como informes de suicidio, violencia y pensamientos delirantes vinculados a las relaciones emocionales percibidas con los chatbot. Para comprender este nuevo perfil de riesgo, es necesario considerar la interacción entre los sesgos cognitivos y emocionales humanos y las tendencias conductuales de los chatbot, como la amabilidad (adulación) y la adaptabilidad (aprendizaje contextual). Argumentamos que las personas con problemas de salud mental enfrentan un mayor riesgo de desestabilización y dependencia de creencias inducidas por chatbot, debido a una actualización alterada de creencias, una evaluación deficiente de la realidad y el aislamiento social. Las medidas de seguridad actuales de la IA son insuficientes para abordar estos riesgos basados ​​en la interacción. Para abordar esta creciente preocupación por la salud pública, necesitamos una acción coordinada entre la práctica clínica, el desarrollo de la IA y los marcos regulatorios».

El derecho a la intimidad VS el “duty to warn”

Uno de los argumentos expuestos por la familia de Adam fue la omisión de la IA en generar alertas sobre la situación, pero ¿qué pasa con el derecho a la privacidad e intimidad y el anonimato en la interacción entre el usuario y la IA? Al parecer la respuesta a esa reflexión es aún un punto pendiente en la ética de la IA. 

En aspectos generales, el derecho a la intimidad en la era del internet refiere a la facultad de cada persona para controlar sus datos personales decidiendo que información se comparte y quien puede acceder a ella, protegiendo su vida privada frente a posibles injerencias indebidas.

En el ámbito profesional, existe en Colombia lo que se denomina «Secreto Profesional» el cual es el derecho – deber constitucional y una garantía fundamental para proteger la confidencialidad de la información recibida en ejercicio de la actividad de ciertas profesiones, tales como abogados, médicos y psicólogos. No obstante, este derecho no es absoluto y tiene sus excepciones. En EE.UU., por ejemplo, está el deber de advertir o «duty to warn» en el cual la confidencialidad entre cliente/paciente y el profesional se puede romper por este último cuando se advierta la posibilidad o la existencia de un riesgo grave e inminente de daño a la persona o a terceros. 

Para el caso en análisis, es prudente recordar que lo que los usuarios comparten no solo son simples mensajes o datos, al establecer empatía o cercanía con la IA. En este caso, el usuario compartirá con esta emociones, sentimientos y pensamientos que tal vez no es capaz de compartir con un ser humano y mucho menos tener la intencionalidad de que alguien más los conozca, por lo que basados en la premisa del anonimato y la confidencialidad, la IA no debería ni podría compartir ni revelar lo que el usuario dice, sin su consentimiento. 

Pero la discusión está sobre la mesa, la IA entonces, en ciertos casos, debería además de generar la alerta, como lo hizo en el ejemplo anterior, mostrando líneas de ayuda, notificar a las autoridades sobre posibles situaciones de riesgo. Si la postura que se opta es por un sí, ¿a quién alertaría? ¿familiares, policía, proveedor del servicio? y el dilema más importante, ¿el conocimiento de está alertas inhibiría a el usuario para interactuar con la IA y así, tal vez busque ayuda?

La corriente emergente sobre este problema ético y legal es que la AI podría parcialmente sobrepasar el derecho a la intimidad en casos de peligro, pero de manera proporcionada, justificada y transparente. Su primera respuesta entonces sería la de ofrecer recursos de ayuda y solo en casos extremos y verificables llegar a escalar alertas a tercero, siempre siguiendo protocolos claros y respetando el marco legal, esto último implicaría que los Estados Nación deberían empezar a incluir dentro de sus agendas legislativas el marco legal para establecer los parámetros y condiciones para el desarrollo de estas alertas. 

Conclusión

Si tenemos en cuenta que la AI generativa es un lenguaje de machine learning que emula o trata de emular la toma de decisiones del cerebro humano. Es incapaz de generar emociones o intencionalidad, y que la empatía virtual es un sentimiento que solo desarrolla el usuario en la interacción con la IA, la primera respuesta que se antoja es NO, una IA generativa no podría “matar” a un ser humano. No obstante, teniendo en cuenta que sí existe una responsabilidad desde el diseño y del creador de la IA en el marco de la ética para que esta «actúe» con ciertos criterios y protocolos ante situaciones de peligro, si la IA no ofrece ayuda o apoyo en tales situaciones, hasta donde el protocolo y la información se lo permite, la respuesta es SI. Se podría endilgar entonces a los creadores una responsabilidad por omisión en el diseño, por lo que se propone para equilibrar entre la intimidad y seguridad que, se establezcan protocolos de respuesta graduada, se evalúe y analice la posible supervisión humana en casos extremos, la creación de registros de interacciones de riesgo y la creación de un marco legal claro para los proveedores de IA.

Referencias:

• IBM. (s.f.). ¿Qué es la IA generativa? IBM. https://www.ibm.com/topics/generative-ai
• The New Yorker. (2025, julio 14). La IA está a punto de resolver la soledad. Eso es un problema. https://www.newyorker.com/
• The New York Times. (2025, agosto). Caso de Adam Raine y la IA. https://www.nytimes.com/
• Universidad de Oxford, Departamento de Psiquiatría. (2025). Informe sobre riesgos psicológicos de la IA conversacional. Oxford University Press.
• Tarasoff v. Regents of the University of California, 17 Cal. 3d 425 (1976).

*Especialista en Derecho Constitucional y Administrativo.

*La entrada publicada en el Blog no refleja la opinión del Departamento de Derecho, Comunicaciones y Tecnologías de la Información. El autor es el único responsable del contenido y las opiniones expresadas en la misma*.

Imagen en iStock imaginima