检测器闹乌龙,非英语母语者撰写的英语文章过半被认为是 AI 写的
昕搜 7 月 13 日消息,斯坦福大学的研究者日前发现,如果非英语母语者掌握的英文词汇量不够多,在撰写英文文章时,很容易被 GPT 检测器误认为是 AI 生成内容。据悉,这项研究由史丹福大学生物医学资料科学的助理教授 James Zou 所主导,刊登于《Patterns》期刊,表示当下的 GPT 检测器实际上存在不足,难以评定文章是否出自 AI 之手。
https://img.ithome.com/newsuploadfiles/2023/7/8ed0d86a-b69a-470d-9c4f-c48d19899e79.png
▲ 图源 期刊论文研究者使用了 7 款热门的 GPT 检测器来检查共计 179 篇真人书写的文章,发现这些检测器把一半以上非英语母语者撰写的文章当作是 AI 生成的。
https://img.ithome.com/newsuploadfiles/2023/7/478d02af-1aa3-4e13-969b-c60847ce0c93.png
▲ 图源 期刊论文昕搜查询论文发现,研究者并未公布用来实验的 GPT 检测器名称,但研究成果表示,当下的 GPT 检测器在“辨识托福文章是否由 AI 撰写”时,错误率高达 61.3%,甚至有一款 GPT 检测器的错误率高达 97.8%,且所有的检测器都一致认为,这些由真人书写的文章中,有 19.8% 的内容“绝对是由 AI 生成的”。
https://img.ithome.com/newsuploadfiles/2023/7/6afd76b4-f9d0-462b-9a79-65c49a9b6d2e.jpg
https://img.ithome.com/newsuploadfiles/2023/7/cf6c1306-df14-48f5-9508-02ffa1bc87bb.jpg
▲ 图源 期刊论文研究者通过进一步分析发现,造成辨识错误的主要原因是非英语母语者在语言的多样化与词语的选择上较为有限,且掌握的英文词汇相对更“正式”,在部分生活场景中并不常使用,因此产生了 AI 的错误判定现象。
https://img.ithome.com/newsuploadfiles/2023/7/a0a7d720-be88-41cb-aeea-0c90af4d2aa4.jpg
▲ 图源 Pexels
页:
[1]