[ad_1]
研究人员发现学生在会计考试中的表现优于 OpenAI 的聊天机器人产品 ChatGPT。
尽管如此,他们表示 ChatGPT 的表现“令人印象深刻”,并且它是“游戏规则改变者,将改变每个人的教学和学习方式——变得更好。” 来自美国杨百翰大学 (BYU) 和其他 186 所大学的研究人员想知道 OpenAI 的技术在会计考试中的表现如何。 他们在《会计教育问题》杂志上发表了他们的发现。
在研究人员的会计考试中,学生的总体平均得分为 76.7%,而 ChatGPT 的得分为 47.4%。
虽然在 11.3% 的问题中,ChatGPT 的得分高于学生平均水平,尤其是在会计信息系统 (AIS) 和审计方面表现出色,但人工智能机器人在税务、财务和管理评估方面表现较差。 研究人员认为这可能是因为 ChatGPT 难以处理后一种类型所需的数学过程。
使用机器学习生成自然语言文本的 AI 机器人进一步被发现在判断题(68.7% 正确)和多项选择题(59.5%)上表现更好,但在回答简答题(28.7% 之间)时表现不佳和 39.1%)。
总的来说,研究人员表示,ChatGPT 更难回答高阶问题。 事实上,有时会发现 ChatGPT 会为错误的答案提供权威的书面描述,或者以不同的方式回答同一个问题。
他们还发现,ChatGPT 经常为其答案提供解释,即使它们是错误的。 其他时候,尽管提供了准确的描述,它还是会继续选择错误的多项选择答案。
研究人员重要地指出,ChatGPT 有时会编造事实。 例如,在提供参考时,它生成了一个完全捏造的真实参考。 作品,有时甚至连作者都不存在。
该机器人还被发现会犯一些荒谬的数学错误,例如在减法问题中将两个数字相加,或者错误地除以数字。
想要增加关于像 ChatGPT 这样的模型应该如何影响教育的激烈辩论,主要研究作者,BYU 会计学教授大卫伍德决定招募尽可能多的教授,以了解人工智能与实际大学会计学生的表现.
他在社交媒体上的合著者招募宣传火爆:来自 14 个国家的 186 家教育机构的 327 名合著者参与了这项研究,贡献了 25,181 道课堂会计试题。
他们还招募了杨百翰大学的本科生,将另外 2,268 道教科书题库问题提供给 ChatGPT。 问题涵盖AIS、审计、财务会计、管理会计和税务,难度和类型各不相同(判断题、多项选择题、简答题)。
[ad_2]
Source link