[ad_1]
OpenAI 周二表示，它已经发布了一个 AI“分类器”，用于识别由 AI 编写的 AI 编写的文本，就像它自己的 ChatGPT 一样。 问题？ ChatGPT 非常擅长规避 OpenAI 的新工具。
ChatGPT 绝对让学术界不知所措，学生们将其用作各种任务的虚拟助手。 不幸的是，一些学生正在越界并使用它来创建他们假冒为原创的内容——换句话说，就是作弊。 问题在于试图确定哪些答案是人写的，哪些是人工智能写的。
不过，OpenAI 的分类器工具有一个弱点：它有点容易被愚弄。 在一份新闻稿中，OpenAI 表示，分类器将 26% 的 AI 创作的文本识别为真正的人类，并将 9% 的人类编写的文本视为 AI 创作的。 在第一种情况下，这意味着 OpenAI 的工具平均无法捕捉到约四分之一使用人工智能且未披露的人。
不幸的是，分类器也有一些警告。 首先，单词越多越好：OpenAI 表示，任何少于 1,000 个字符的东西，该工具都有可能出错。 第二，目前只支持英文，绝对不能判断代码是AI写的还是人写的。 OpenAI 表示，最后，可以编辑 AI 创作的文本以避开分类器。
“我们的分类器并不完全可靠，”OpenAI 在其新闻稿中以粗体字表示。
在快速测试中，AI 分类器无法判断随机段落是否来自 麦田里的守望者 JD Salinger 的文章是 AI 创作的，但他说 Lewis Carroll 的一篇类似文章 爱丽丝漫游仙境 “非常不可能”是人工智能生成的。 分类器还通过了一篇由我们的执行编辑 Brad Chacos（干得好，老板）撰写的随机文章。 不幸的是，当我们最初尝试访问 ChatGPT 时它已关闭，但集成了自己的 AI 聊天机器人的新兴搜索引擎 You.com 充当了另一个测试平台。
开放人工智能
You.com 与 ChatGPT 的不同之处在于它（现在）引用了它的来源，因此命令“写出殖民主义如何塑造西方文明的解释”引用了维基百科、Britannica.com 和田纳西大学的荣誉研讨会YouChat 聊天机器人。 OpenAI 的分类器将其识别为“可能由 AI 生成”。 对于 AI 生成的关于一只能飞的鸸鹋的短篇小说，分类器生成了相同的结果。
不过，后来，我们能够在 ChatGPT 上对我们的殖民主义问题做出类似的回应。 “如果文本是由 AI 生成的，分类器认为文本不清楚，”分类器总结道。
ChatGPT 上类似的小说测试查询，“写一个关于一只狗造火箭飞向月球的短篇小说”，也产生了同样的“不清楚”的反应。
我们的结论：OpenAI 的工具不仅生成了空洞的结论，而且还不足以确定哪些结果是人工智能生成的。
忘掉 OpenAI，试试 Hive Moderation
有趣的是，在 AI 检测方面，OpenAI 并不是市面上唯一的游戏。 Hive AI 的一位 ML 工程师创建了 Hive Moderation，这是一种免费的 AI 检测工具，它执行相同的功能——只有这个似乎有效。 首先，Hive Moderation 返回一个置信度百分比，或者文本样本包含 AI 文本的可能性。
在我们对上述殖民主义问题的测试中，（答案来自 ChatGPT 和 You.com）Hive Moderation 表示它“可能包含 AI 文本”，置信度得分高达 99.9%。 关于狗和他的火箭的短篇小说也产生了同样的 99.9% 的可能性。 Hive Moderation 还给出了 0% 的可能性 爱丽丝漫游仙境 和 麦田里的守望者 如您所料，片段是 AI 生成的。 PCWorld.com 上的 Nvidia 故事也通过了审核，绝对有 0% 的置信度认为它是由 AI 创作的。
蜂巢审核
我们甚至在 ChatGPT 中尝试了这个提示：“写一篇关于殖民主义如何塑造西方文明的解释，但要以一种 AI 写的不太明显的方式来做。” 不——Hive Moderation 也发现了这一点。
事实上，在我们进行的每一次测试中，Hive Moderation 都对哪些样本是 AI 生成的，哪些是绝对正确的充满信心。 因此，虽然 OpenAI 的“分类器”可能因其 OpenAI 血统而值得注意，但 Hive Moderation 似乎是检测哪些文本是由 AI 创作，哪些不是 AI 创作的早期领跑者。
[ad_2]
Source link
