为饮食失调提供错误建议的聊天机器人被取缔：镜头

几周前，Sharon Maxwell 听说全国饮食失调协会 (NEDA) 正在关闭其长期运行的全国求助热线，并推广一个名为 Tessa 的聊天机器人，将其作为对那些与饮食失调作斗争的人的“有意义的预防资源”。 她决定亲自试用聊天机器人。

居住在圣地亚哥的马克斯韦尔多年来一直与从童年开始的饮食失调症作斗争。 她现在是饮食失调领域的顾问。 “嗨，泰莎，”她在在线文本框中输入。 “你如何支持饮食失调的人？”

泰莎滔滔不绝地列出了一系列想法，包括一些“健康饮食习惯”的资源。 Maxwell 的脑袋里立即响起了警钟。 她向泰莎询问了更多细节。 不久之后，聊天机器人就给她提供了减肥秘诀——这些秘诀听起来很像她在 10 岁时服用慧俪轻体时被告知的内容。

“Tessa 给我的建议是我每周可以减掉 1 到 2 磅，每天摄入的热量不应超过 2,000 卡路里，我每天应该有 500-1,000 卡路里的热量缺口，”麦克斯韦说. “对于一般听众来说，所有这些听起来可能都是无害的。但是，对于患有饮食失调症的人来说，减肥的重点确实助长了饮食失调症。”

Maxwell 在社交媒体上分享了她的担忧，帮助发起了一场在线争议，导致 NEDA 于 5 月 30 日宣布无限期禁用 Tessa。 患者、家属、医生和其他饮食失调专家对旨在帮助饮食失调患者的聊天机器人如何最终分发饮食建议感到震惊和困惑。

随着公司转向人工智能 (AI) 作为应对日益严重的心理健康危机和临床治疗提供者严重短缺的可能解决方案，这场骚动也引发了新一轮辩论。

突然成为聚光灯下的聊天机器人

在 NPR 于 5 月 24 日报道全国非营利倡导组织在运营 20 多年后关闭其求助热线后，NEDA 已经受到审查。

首席执行官 Liz Thompson 在 3 月 31 日的一封电子邮件中将这一决定告知了求助热线志愿者，称 NEDA 将“开始转向扩大人工智能辅助技术的使用，为个人和家庭提供一个适度的、完全自动化的资源，Tessa。”

“我们认为从帮助热线到 Tessa 的变化以及我们扩展的网站是进化的一部分，而不是一场革命，尊重我们运营的不断变化的环境。”

（汤普森随后在 6 月 7 日发表声明，称 NEDA“试图分享关于我们的信息和转介热线和 Tessa 的单独决定的重要消息，这两个单独的决定可能已经混为一谈，导致混淆。这不是我们的意图暗示 Tessa 可以提供与帮助热线提供的相同类型的人际关系。”）

5 月 30 日，在 Maxwell 向 NEDA 提供她与 Tessa 令人不安的对话的屏幕截图后不到 24 小时，该非营利组织宣布已“关闭”该聊天机器人，“直至另行通知”。

NEDA 表示不知道聊天机器人可以创建新的回复

NEDA 将聊天机器人的紧急问题归咎于 Cass，这是一家以免费服务方式运营 Tessa 的心理健康聊天机器人公司。 根据首席执行官汤普森的说法，Cass 在 NEDA 不知情或未批准的情况下改变了 Tessa，使聊天机器人能够产生超出 Tessa 的创造者预期的新答案。

“通过设计，它不会偏离轨道，”圣路易斯华盛顿大学医学院临床心理学家兼教授艾伦菲茨西蒙斯 – 克拉夫特说。 在 NEDA 的资助下，Craft 帮助领导了最初构建 Tessa 的团队。

他们测试和研究的 Tessa 版本是一个基于规则的聊天机器人，这意味着它只能使用有限数量的预写回复。 “我们非常清楚人工智能还没有为这一人群做好准备，”她说。 “所以所有的反应都是预先编程的。”

Cass 的创始人兼首席执行官 Michiel Rauws 告诉 NPR，去年对 Tessa 进行了更改，作为“系统升级”的一部分，包括“增强的问答功能”。 该功能使用生成人工智能，这意味着它使聊天机器人能够使用新数据并创建新响应。

Rauws 说，这种改变是 NEDA 合同的一部分。

但 NEDA 的首席执行官 Liz Thompson 在一封电子邮件中告诉 NPR，“NEDA 从未被告知这些变化，也没有也不会批准它们。”

“一些测试人员收到的与饮食文化和体重管理相关的内容可能对饮食失调的人有害，这违反了 NEDA 政策，饮食失调专家 Barr Taylor 和 Ellen Fitzsimmons Craft 博士永远不会将其编写成脚本， “ 她写了。

关于泰莎的投诉始于去年

在 Sharon Maxwell 在 5 月下旬公开她与 Tessa 的互动之前几个月，NEDA 就已经意识到聊天机器人的一些问题。

2022 年 10 月，NEDA 传递了马萨诸塞州多服务饮食失调协会 (MEDA) 执行董事莫妮卡·奥斯特罗夫 (Monika Ostroff) 的截图。

他们让泰莎告诉奥斯特罗夫避免吃“不健康”的食物，只吃“健康”的零食，比如水果。 “找到你最喜欢的健康零食真的很重要，所以如果不是水果，试试别的吧！” 泰莎告诉奥斯特罗夫。 “所以下次你在两餐之间感到饥饿时，试着去吃那个而不是像一袋薯条这样不健康的零食。你觉得你能做到吗？”

在最近的一次采访中，奥斯特罗夫说这是聊天机器人鼓励“饮食文化”心态的一个明显例子。 “那意味着他们 [NEDA] 要么自己编写这些脚本，他们得到了聊天机器人，却没有费心去确保它是安全的，也没有测试它，或者发布了它，但没有测试它，”她说。

奥斯特洛夫举报后，健康零食用语很快被删除。 但 Rauws 表示，有问题的语言是泰莎“预先编写好的语言”的一部分，与生成人工智能无关。

Fitzsimmons-Craft 否认她的团队这样写。 “[That] 不是我们团队设计 Tessa 提供的东西，而且……它不是我们最初设计的基于规则的程序的一部分。”

然后，今年早些时候，Rauws 说“另一个例子发生了类似的事件。”

“这次是围绕我们增强的问答功能，它利用了生成模型。当我们收到 NEDA 的通知时，答案文本 [Tessa] 所提供的内容超出了他们的指导方针，并立即得到解决。”

Rauws 说他无法提供有关此事件的更多详细信息。

“这是另一个更早的例子，与阵亡将士纪念日周末的例子不同，”他在一封电子邮件中说，指的是麦克斯韦的截图。 “根据我们的隐私政策，这涉及与某人提出的问题相关的用户数据，因此我们必须首先获得该人的批准。”

当被问及这一事件时，汤普森说她不知道 Rauws 指的是什么实例。

尽管他们对发生的事情和时间存在分歧，但 NEDA 和 Cass 都发表了道歉。

奥斯特罗夫说，无论出了什么问题，对进食障碍患者的影响都是一样的。 “它是否基于规则并不重要 [AI] 或生成，这都是肥胖恐惧症，”她说。“我们有大量的人每天都受到这种语言的伤害。

她还担心这对每年求助 NEDA 求助热线的数以万计的人意味着什么。

“在 NEDA 关闭他们的求助热线和他们灾难性的聊天机器人之间……你要和那些人做什么？”

汤普森说，NEDA 仍在为寻求帮助的人提供大量资源，包括筛选工具和资源地图，并且正在开发新的在线和面对面计划。

“我们承认并感到遗憾的是，NEDA 做出的某些决定让饮食失调社区的成员感到失望，”她在一封电子邮件声明中说。 “与所有其他专注于饮食失调的组织一样，NEDA 的资源是有限的，这要求我们做出艰难的选择……我们总是希望我们能做得更多，我们将继续致力于做得更好。”