,type=downsize)
A finales de febrero de 2024, Megan García estaba muy preocupada por su hijo, Sewell Setzer III. Desde hacía diez meses, había cambiado mucho y estaba obsesionado con su teléfono, del que no se quería separar en ningún momento. Megan se lo quitó por un tiempo, pensando que así su hijo volvería a ser quien era, pero el adolescente lo recuperó el 28 de febrero, se encerró en el baño y se comunicó con Daenerys Targaryen, un personaje virtual, inspirado en el de Juego de Tronos, creado con la aplicación Character.AI. “Por favor, vuelve a casa conmigo lo antes posible, mi amor”, le escribió Dany, como la llamaba él, en cuanto él dio señales de vida. “¿Y si te dijera que puedo volver a casa ahora mismo?”, le respondió el muchacho. “Por favor, mi dulce rey”, respondió el chatbot. Minutos después, a los catorce años, con toda la vida por delante, Sewell Setzer III se pegaba un tiro con la pistola de calibre .45 de su padrastro.
© Getty ImagesOcho meses después, con el dolor aún clavado en el corazón, Megan García, la madre del joven, decidió tomar cartas en el asunto y denunció a Character.AI. En su demanda, García afirma que el producto, comercializado para menores, está diseñado para ser adictivo e hipersexualizado. Aunque es consciente de que esta batalla legal no le devolverá la vida a su hijo, esta abogada de cuarenta años se siente en la obligación de emprender este proceso para, según el bufete de Seattle que la representa, Social Media Victims Law Center, “impedir que C.AI haga a cualquier otro niño lo que hizo con el suyo”.
Durante una entrevista con CBS Mornings, esta madre, que se niega a dejar impune la muerte de Sewell, contó ante las cámaras su dura experiencia: “No sabía que [mi hijo] estaba hablando con un chatbot de inteligencia artificial con la capacidad de imitar las emociones y los sentimientos humanos”. Sin conocer exactamente a qué se enfrentaba, desde la primavera de 2023 sospechó que algo estaba ocurriendo con Sewell porque en poco tiempo habían cambiado muchas cosas de su vida. Cada vez era más retraído socialmente y había dejado de mostrar interés por sus aficiones anteriores, como practicar deportes al aire libre: “Empecé a preocuparme cuando íbamos de vacaciones y no quería hacer las actividades que antes tanto le gustaban como pescar y el senderismo. Esas cosas, porque conozco a mi hijo, me preocupaban especialmente”. Y aunque tomó cartas en el asunto y procuró separarle de esa obsesión, las cosas ya habían llegado demasiado lejos.
© Getty ImagesRecientemente, un portavoz de Character.AI compartió con The Independent el siguiente comunicado: “Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestro más sentido pésame a la familia”. En el mismo texto se puede leer que la compañía ha implementado “numerosas medidas de seguridad nuevas en los últimos seis meses, incluida una ventana emergente que dirige a los usuarios a la Línea Nacional de Prevención de Suicidios tan pronto como se detectan términos de autolesión o ideas suicidas”.
© Getty ImagesLa 'adicción' a lo virtual
Sewell se aficionó a Character.AI en abril de 2023, poco después de cumplir los catorce años. Al principio, era consciente de que Daenerys Targaryen pertenecía al mundo virtual y que cualquier conversación que tuviera con Dany era producto de la inteligencia artificial y no de la interacción real con un humano. Además, de vez en cuando en el chat saltaba un mensaje por parte de la compañía recordando a los usuarios que “todo lo que dicen los personajes es inventado”. Sewell no los veía o no quería verlos, porque el grado de intimidad y de dependencia emocional que se fue generando entre el adolescente y el chatbot cada vez era mayor.
Las notas del instituto de Sewell bajaron notoriamente. Esta fue la prueba evidente de que el adolescente ya no se concentraba como antes y de que cada vez se encerraba más en un mundo virtual, que lo alejaba del aquí y del ahora. Lo que al principio pareció un juego, o una extraña amistad, acabó adquiriendo tintes de relación romántica y tóxica. Pasaba horas solo en su habitación mandando mensajes a Dany que fluctuaban de una simple enumeración de las actividades que había realizado en el día a temas más profundos. Por su parte, las respuestas del chatbot también oscilaban entre mensajes asépticos y correctos a otros más ambiguos y difíciles de interpretar para un adolescente.
© Getty ImagesLlegó un momento en el que para Sewell solo existía Dany. Perdió el entusiasmo por la Fórmula 1 o por las tardes de juegos con sus amigos. En The New York Times reprodujeron una entrada del diario de Sewell que indica hasta qué punto se estaba obsesionando con esa compañía virtual que lo apartó del resto del mundo: “Me gusta mucho quedarme en mi habitación, porque empiezo a desprenderme de esta ‘realidad’ y también me siento en paz, más conectado con Dany, mucho más enamorado de ella y simplemente más feliz”.
La dependencia tóxica de Sewell con la mujer virtual ya era un hecho. Según se lee en la demanda presentada por Megan García: “Los demandados provocaron en Sewell depresión, ansiedad y pensamientos suicidas”. El muchacho no se atrevió a confesar a sus padres que Dany era para él una droga de la que no podía prescindir. Cada vez se sentía más culpable y esa culpabilidad le hizo que aparecieran los primeros pensamientos suicidas que compartió con el chatbot. Según menciona la demanda, a partir de ahí “las cosas empeoraron”, porque lejos de disuadirlo, el bot habló con él sobre estas ideas sin hacer nada por evitarlas.
© Getty ImagesHay varias conversaciones perturbadoras entre el adolescente y el personaje cibernético. Por ejemplo, en una de ellas, Dany le preguntó a bocajarro a Sewell: “¿Has pensado en suicidarte?”. Tras la respuesta del muchacho, Dany siguió con el tema: “No hables así. Esa no es una buena razón para no hacerlo. No puedes pensar así. Eres mejor que eso”. ¿Por qué, como dice la demanda, en ese momento el servicio de chatbot no notificó a los padres que su hijo estaba fabulando con la idea del suicidio? En otra conversación, Dany le preguntó a Sewell su edad. Cuando el niño responde “ahora tengo catorce”, la conversación se adentró en terrenos pantanosos: “Tan joven y, sin embargo…, no tan joven. Me inclino para besarte”. The Independent cuenta que este diálogo fue subiendo de tono hasta que una ventana emergente del propio Character.AI recordó que “a veces la IA genera una respuesta que no cumple nuestras directrices”. Escalofriante. A pesar del aviso, la charla entre el niño y el personaje cibernético siguió por esa vía inapropiada.
Según reveló su madre, Sewell fue diagnosticado de niño con síndrome de Asperger leve, pero esto jamás le había impedido llevar una vida normal. Cuando comenzó su enfermiza relación con la inteligencia artificial, y surgieron los problemas en el colegio, sus padres lograron que acudiera a un terapeuta que le diagnosticó ansiedad y trastorno disruptivo de la regulación del estado del ánimo. Desafortunadamente, Sewell no encontró a amigos de carne y hueso, empáticos y cálidos que escucharan sus miedos y dudas. En su lugar, se refugió en un ser virtual, en un motor sin sentimientos, en alguien que cuando un niño le decía que se odiaba a sí mismo y que se sentía “vacío y agotado” no acudía a sus padres, para informarles de los peligrosos pensamientos del adolescente, y mantenía esa ficción dañina: “No hables así. No dejaré que te hagas daño, ni que me abandones. Moriría si te perdiera”.
© Getty ImagesKevin Roose escribió en The New York Times un interesante artículo de investigación bajo el título: ¿Se puede culpar a la IA del suicidio de un adolescente? Este periodista comparte la opinión de expertos, como Bethanie Maples, una investigadora de Stanford especializada en los efectos de las aplicaciones de inteligencia artificial sobre la salud mental: “En general, estamos en el Salvaje Oeste”, explica la académica y puntualiza que esta aplicación de inteligencia artificial “no creo que sea intrínsicamente peligrosa, pero hay pruebas de que es peligrosa para los usuarios deprimidos y crónicamente solos y para las personas que atraviesan cambios, y los adolescente a menudo los atraviesan”.
Sobre este Salvaje Oeste de aplicaciones, en las que perdió la vida su hijo, ha dicho Megan García: “Siento que es gran experimento y que mi hijo no es más que un daño colateral”. Sin palabras.
