[ad_1]
一篇新论文 来自瑞士大学 EPFL 的研究人员表明,在亚马逊的 Mechanical Turk 服务上,33% 到 46% 的分布式人群工作者在执行分配给他们的特定任务时似乎“作弊”,因为他们使用 ChatGPT 等工具来完成一些工作。 如果这种做法很普遍,它可能会成为一个非常严重的问题。
亚马逊的 Mechanical Turk 长期以来一直是那些希望由人类完成工作的沮丧开发人员的避难所。 简而言之,它是一个应用程序编程接口 (API),可将任务提供给人类,由人类完成任务然后返回结果。 这些任务通常是您希望计算机更擅长的类型。 根据亚马逊的说法,此类任务的一个例子是:“绘制边界框以构建用于计算机视觉模型的高质量数据集,其中任务对于纯机械解决方案而言可能过于模糊,甚至对于大型人类专家团队而言也过于庞大。 ”
数据科学家根据数据集的来源对其进行不同的处理——如果它们是由人或大型语言模型 (LLM) 生成的。 然而,Mechanical Turk 的问题比听起来更糟糕:人工智能现在的价格已经足够便宜,以至于选择使用 Mechanical Turk 而不是机器生成的解决方案的产品经理都依赖于人类在某些方面比机器人更擅长。 中毒那口数据可能会产生严重的影响。
“对于机器学习模型和人类来说,区分 LLM 和人类生成的文本都很困难,”研究人员说。 因此,研究人员创建了一种方法来确定基于文本的内容是由人还是机器创建的。
该测试要求众包工作人员将《新英格兰医学杂志》的研究摘要浓缩成 100 字的摘要。 值得注意的是,这是 恰恰 ChatGPT 等生成式人工智能技术擅长的任务。
[ad_2]
Source link