chatgpt引用的论文真实吗 西北大学 | ChatGPT撰写令人信服的虚假科学摘要，愚弄研究中的审稿人

新的广受欢迎的聊天机器人能令人信服地产生虚假的摘要，让科学家认为那些研究是真实的吗?

这是西北医学院的医生兼科学家凯瑟琳·高博士担心的问题，当时她与芝加哥大学的科学家合作设计了一项研究来测试这一理论。

是的，科学家们可能会被愚弄，他们的新研究报告。当混淆真实和虚假生成的摘要时，盲目的人类审稿人只能在68%的时间内识别出生成的摘要。审稿人还错误地将14%的真实摘要识别为人工智能生成的。

“我们的审稿人知道他们收到的一些摘要是假的，所以他们非常可疑。”通讯作者高说，他是西北大学范伯格医学院肺部和重症监护医学的讲师。“这不是一个在野外读摘要的人。事实上，我们的审稿人仍然有32%的时间错过了人工智能生成的摘要，这意味着这些摘要真的很好。我怀疑，如果有人偶然看到这些生成的摘要之一，他们不一定能识别出它是由人工智能写的。”

高教授说，难以检测的假摘要可能会破坏科学。“这令人担忧，因为可能被‘造纸厂’用来制造令人信服的科学摘要，”高说。“如果其他人试图建立在这些不正确的研究基础上的科学，那可能真的很危险。”

造纸厂是非法组织，生产伪造的科学作品牟利。

高教授担心，能够轻松地写出真实而有说服力的摘要，这可能会增加造纸厂的产量，并增加期刊和科学会议上的虚假投稿。

人工智能侦探可以识别人工智能假货

在这项研究中，高和其他研究人员从高影响力期刊的近期论文中选取标题，并要求根据提示生成摘要。他们通过剽窃检测器和人工智能输出检测器运行这些生成的摘要和原始摘要，并蒙蔽了人类审稿人，试图区分生成的摘要和原始摘要。每个审稿人都得到了25篇混合了生成摘要和原始摘要的摘要，并被要求对他们认为的摘要给出一个二进制分数。

“生成的摘要非常有说服力，”高说，“因为当它发明数字时，甚至知道患者队列应该有多大。”在一项常见的高血压研究中，纳入了数万名患者，而一项关于猴痘的研究参与者数量要少得多。

高说:“我们的审稿人评论说，区分真假摘要非常困难。”

研究发现，使用传统的剽窃检测工具，假摘要并没有引起警报。然而，在这项研究中，AI输出检测器，如在线免费的GPT-2输出检测器，可以区分真实和虚假的摘要。

高说:“我们发现人工智能输出检测器非常擅长检测的输出，并建议将其纳入科学编辑过程中，作为筛选过程，以防止造纸厂等组织试图提交纯生成数据。”

也可以用于好的方面

但也可以用于好的方面，该研究的资深作者、范伯格医学增强智能研究所所长罗元说。

“等人工智能语言模型有潜力帮助写作过程自动化，而写作过程往往是知识生成和传播的速度瓶颈。”罗说。“这篇论文的结果表明，这在医学领域可能是可行的，但我们需要弥合某些伦理和实践上的差距。”

例如，罗问道，人工智能辅助写作仍然被认为是原创的吗?此外，他指出，人工智能生成的文本目前在正确引用方面存在困难，而这是科学写作的必要条件。

芝加哥大学血液学/肿瘤学数据科学和头颈部癌症项目主任、资深作者亚历山大·皮尔森博士说:“生成文本技术在科学民主化方面具有巨大潜力，例如，使不讲英语的科学家更容易与更广泛的社区分享他们的工作。”“与此同时，我们必须仔细考虑使用的最佳做法。”