大学生声称应用程序可以检测聊天机器人 ChatGPT 撰写的论文 | 人工智能 (AI)

一名 22 岁的大学生开发了一款应用程序，他声称该应用程序可以检测文本是否由 ChatGPT 编写，这种爆炸性的聊天机器人引起了学术界对剽窃的担忧。

普林斯顿大学大四学生 Edward Tian 在暑假期间开发了 GPTZero。 它在发布后的一周内获得了 30,000 次点击。

田说，这样做的动机是为了解决使用人工智能来规避反剽窃软件以快速、可信的学术写作在考试中作弊的问题。

他最初的推文声称该应用程序可以“快速有效地”检测一篇文章是否由人工智能撰写，获得了超过 500 万的浏览量。

Streamlit 是托管 GPTZero 的免费平台，此后通过托管和内存功能为 Tian 提供支持，以跟上网络流量。

为了确定文本是否由人工智能编写，该应用程序测试了“困惑度”（衡量文本的复杂性）和“突发性”（比较句子的变化）的计算。

文本对机器人越熟悉——它是在类似数据上训练的——它就越有可能由 AI 生成。

田告诉订阅者，新模型使用相同的原理，但检测文本中的人工智能的能力有所提高。

“通过在 BBC 新闻文章和 AI 从相同标题提示生成的文章的数据集上测试新模型，改进后的模型的误报率低于 2%，”他说。

“接下来的几个月，我将完全专注于构建 GPTZero、改进模型功能以及全面扩展应用程序。”

新南威尔士大学人工智能科学教授 Toby Walsh 并不相信。

他说，除非该应用程序被一家大公司收购，否则它不太可能对 ChatGPT 被用于剽窃的能力产生影响。

“识别合成文本和应用程序之间的技术始终是一场军备竞赛，”他说。 “而且很容易要求 ChatGPT 以更个性化的风格重写……就像 11 岁的孩子一样改写。

“这会让事情变得更难，但不会阻止它。”

Walsh 表示，用户还可以要求 ChatGPT 在文本中添加更多“随机性”以逃避审查，并使用不同的同义词和语法编辑进行混淆。

与此同时，他表示，每款为识别合成文本而开发的应用程序都为人工智能程序提供了更大的逃避检测的能力。

每次用户登录 ChatGPT 时，它都会生成人工反馈以改进过滤器，无论是隐式的还是显式的。

“我们永远无法赢得军备竞赛有一个深刻的基本技术原因，”沃尔什说。

“每个用于识别合成文本的程序都可以添加到 [the original program] 生成合成文本来愚弄他们……总是这样。

“我们正在训练它，但它一天比一天好。”

GPTZero 的用户引用了不同的结果。

“它似乎正在研究——它确实适用于完全由 GPT 模型生成或通过半人工干预生成的文本，”一位订阅者写道。

“但是……它不适用于优秀作家写的文章。 它错误地将如此多的文章标记为 AI 撰写的。

“这对教授来说既是一个非常有用的工具，另一方面也是一个非常危险的工具——过度信任它会导致错误信号的加剧。”

“不错的尝试，但 ChatGPT 非常擅长它的工作，”另一位订阅者写道。

“我粘贴了大约 350 个法语单词……大部分是由 ChatGPT 生成的。 文本经过轻微手动编辑以获得更好的风格，并使用强烈的强制上下文生成，从而导致专有名词的出现。

“该文本作为人类通过了 GPTZero 测试……我不完全相信可以标记适当的人类与 AI 合作。”