AI 繁荣的另一面：检测 AI 创造了什么

去年，当安德烈·多罗尼切夫在社交媒体上看到一段视频似乎显示乌克兰总统向俄罗斯投降时，他感到震惊。

该视频很快被揭穿为合成生成的深度造假，但对 Doronichev 先生来说，这是一个令人担忧的预兆。 今年，他的恐惧逐渐接近现实，因为公司开始竞相增强和发布人工智能技术，尽管它可能会造成严重破坏。

生成式 AI 现在对任何人都可用，而且它越来越有能力用似乎由人类构思和捕获的文本、音频、图像和视频来愚弄人们。 社会轻信的风险引发了对虚假信息、失业、歧视、隐私和广泛的反乌托邦的担忧。

对于多罗尼切夫先生这样的企业家来说，这也成为了一个商机。 现在有十几家公司提供工具来识别某些东西是否是用人工智能制作的，名称包括 Sensity AI（深度伪造检测）、Fictitious.AI（剽窃检测）和 Originality.AI（也称剽窃）。

土生土长的俄罗斯人 Doronichev 在旧金山成立了一家名为 Optic 的公司，以帮助识别合成或欺骗材料——用他的话来说，就是“用于数字内容的机场 X 光机”。

今年 3 月，它推出了一个网站，用户可以在该网站上检查图像，看看它们是由真实照片还是人工智能制作的。 它正在开发其他服务来验证视频和音频。

“内容的真实性将成为整个社会的一个主要问题，”多罗尼切夫先生说，他是一款名为 Reface 的换脸应用程序的投资者。 “我们正在进入廉价假货的时代。” 他说，由于制作虚假内容的成本不高，因此可以大规模制作。

根据市场研究公司 Grand View Research 的数据，到 2030 年，整个生成人工智能市场预计将超过 1090 亿美元，在此之前平均每年增长 35.6%。 专注于检测技术的企业是该行业中不断增长的一部分。

在一名普林斯顿大学学生创建几个月后，GPTZero 声称已有超过一百万人使用其程序来识别计算机生成的文本。 Reality Defender 是今年冬天从 17,000 份申请中选出的 414 家公司之一，这些申请将由创业加速器 Y Combinator 资助。

Copyleaks 去年筹集了 775 万美元，部分用于扩大其为学校和大学提供的反剽窃服务，以检测学生作业中的人工智能。 Sentinel 的创始人专门为英国皇家海军和北大西洋公约组织从事网络安全和信息战工作，该公司在 2020 年完成了 150 万美元的种子轮融资，该轮融资得到了 Skype 的一位创始工程师的部分支持，以帮助保护民主国家免受深度造假和其他恶意软件的侵害合成媒体。

大型科技公司也参与其中：英特尔的 FakeCatcher 声称能够以 96% 的准确率识别深度伪造视频，部分方法是分析像素以寻找人脸上血流的细微迹象。

在联邦政府内部，国防高级研究计划局计划今年花费近 3000 万美元来运行语义取证，这是一个开发算法以自动检测 deepfakes 并确定它们是否恶意的程序。

就连去年底发布 ChatGPT 工具时推动人工智能繁荣的 OpenAI 也在致力于检测服务。 这家总部位于旧金山的公司在 1 月份推出了一款免费工具，以帮助区分人类编写的文本和人工智能编写的文本。

OpenAI 强调，虽然该工具是对过去迭代的改进，但它仍然“不完全可靠”。 该工具正确识别了 26% 的人工生成的文本，但错误地将 9% 的人类文本标记为计算机生成的。

OpenAI 工具存在检测程序中的常见缺陷：它难以处理短文本和非英语写作。 在教育环境中，TurnItIn 等抄袭检测工具被指控错误地将学生撰写的论文归类为聊天机器人生成的论文。

检测工具本质上落后于它们试图检测的生成技术。 当防御系统能够识别新的聊天机器人或图像生成器（如 Google Bard 或 Midjourney）的工作时，开发人员已经提出了可以规避该防御的新迭代。 这种情况被描述为一场军备竞赛或一种病毒与反病毒的关系，其中一个人一遍又一遍地生另一个人。

“当 Midjourney 发布 Midjourney 5 时，我的发令枪响了，我开始努力追赶——当我这样做的时候，他们正在开发 Midjourney 6，”大学计算机科学教授 Hany Farid 说加州伯克利分校，专攻数字取证，也涉足人工智能检测行业。 “这是一种天生的对抗性游戏，当我在检测器上工作时，有人正在建造一个更好的捕鼠器，一个更好的合成器。”

纽约大学政治学教授兼社交媒体与政治中心联合主任约书亚·塔克 (Joshua Tucker) 表示，尽管不断追赶，但许多公司已经看到学校和教育工作者对人工智能检测的需求。 他质疑在 2024 年大选之前是否会出现类似的市场。

“我们是否会看到这些公司的平行部门正在发展以帮助保护政治候选人，这样他们就可以知道他们什么时候成为这类事情的目标，”他说。

专家表示，合成生成的视频仍然相当笨拙且易于识别，但音频克隆和图像制作都非常先进。 区分真假将需要数字取证策略，例如反向图像搜索和 IP 地址跟踪。

可用的检测程序正在用“与野外截然不同的例子进行测试，在野外，图像一直在流传，经过修改、裁剪、缩小、转码和注释，天知道它们还发生了什么，”法里德先生说。

“内容的洗白使这成为一项艰巨的任务，”他补充说。

由 1,000 家公司和组织组成的联盟 Content Authenticity Initiative 是一个试图让生成技术从一开始就显而易见的团体。 （它由 Adob​​e 领导，其成员包括纽约时报和 Stability AI 等人工智能参与者）该组织不是在其生命周期的后期拼凑图像或视频的来源，而是试图建立适用的标准创建时对数字作品的可追溯凭证。

Adobe 上周表示，其生成技术 Firefly 将被整合到 Google Bard 中，它将在其生成的内容上附加“营养标签”，包括图像的制作日期和用于创建图像的数字工具。

帮助验证消费者身份的公司 Persona 的信任和安全架构师 Jeff Sakasegawa 表示，人工智能带来的挑战才刚刚开始。

“这股浪潮正在形成势头，”他说。 “它正在向岸边驶去。 我认为它还没有崩溃。”