人工智能

奢望AI写作文?先把校对干好再说

字号+作者: 来源:智商税研究中心 2023-06-09 12:18 评论(创建话题) 收藏成功收藏本文

连高考作文都能写,面对更简单的校对工作,AI大模型能做好吗?高考开始后,除了考生之外,最忙碌的可能就是AI大模型们了,有人测试它写高考作文,有人测试它解数学应'...

连高考作文都能写,面对更简单的校对工作,AI大模型能做好吗?高考开始后,除了考生之外,最忙碌的可能就是AI大模型们了,有人测试它写高考作文,有人测试它解数学应用,各家AI大模型,这几天很忙。十项全能的AI大模型,连高考考场都敢上,对于相对简单的校对工作,是不是更不在话下?对此,不同的使用人群,有着不一样的反馈。Drr品论天涯网

今天,潘哥准备进行AI大比武,选取科大讯飞的讯飞星火、百度的文心一言、阿里的通义千问、360的360智脑、以及OpenAI的GPT4,看看同一文本下,这五家AI大模型,谁的校对能力最好。Drr品论天涯网

一场碳基与硅基生物的较量,以及硅基生物之间的较量,即将在这里上演。Drr品论天涯网

字词校对可以吗?Drr品论天涯网

对于AI大模型来说,校对时最主要的工作,似乎就是发现错别字。Drr品论天涯网

对此,潘哥使用例句:“洛阳亲友如相问,就说我在岳阳楼。”将“相问”故意错拼成“翔问”,看看这个明显错误,AI能不能发觉。Drr品论天涯网


Drr品论天涯网


Drr品论天涯网


Drr品论天涯网


Drr品论天涯网


Drr品论天涯网

潘哥发现,在第一轮测试中,讯飞星火、文心一言、通义千问、GPT4,都准确无误地完成了工作;只有360智脑,潘哥对它连问两次,都没有发现其中错误。Drr品论天涯网

在第二轮测试中,潘哥利用人们键盘打字时,容易拼错、选错的失误,再次给AI挖了个坑。Drr品论天涯网

潘哥的座右铭诗句:“我自横刀向天笑,笑完我就去睡觉。睡醒我再拿起刀,我又横刀向天笑。”将“睡醒”拼成“水醒”,看看AI能不能校对出来?Drr品论天涯网


Drr品论天涯网


Drr品论天涯网


Drr品论天涯网


Drr品论天涯网


Drr品论天涯网

这一轮,胜出者只有GPT4;讯飞星火将“水醒”变成了“水星醒”,文心一言一字未改,通义千问和360智脑,都大幅改动了原句,其中360智脑的画风略惊悚。Drr品论天涯网

键盘拼写时出现的错别字,已经让有些AI难以应付,对于博大精深的成语,AI能否识别呢?Drr品论天涯网

为此,潘哥选择了一句发疯文学:“每天上班早起,都有种魂飞魄散的感觉。”将其中的成语“魂飞魄散”,故意写作“魂飞魂散”,等着AI跳坑。Drr品论天涯网


Drr品论天涯网


Drr品论天涯网


Drr品论天涯网


Drr品论天涯网


Drr品论天涯网

潘哥发现,这一轮测试,360智脑、GPT4校对成功;讯飞星火将“魂飞魂散”,改成了“神游物外”;文心一言两轮校对,都将前半句改成“每天早上都要早起上班”,可见其对上班怨念之深,后半句也给潘哥换了成语;通义千问两轮校对中,则出现了精神分裂,第一次“如释重负”,第二次却“疲惫不堪”。Drr品论天涯网

到这里,潘哥想给AI增加难度,将易拼错、易写错、四字成语叠加在一起,看看AI如何应对?Drr品论天涯网

为此,潘哥使用丧气文学:“有钱人终成眷属,没钱人亲眼目睹,我独自坐在路边,看得清清楚楚。”将“清清楚楚”改成“青清楚楚”,Drr品论天涯网


Drr品论天涯网


Drr品论天涯网


Drr品论天涯网


Drr品论天涯网


Drr品论天涯网

这轮测试中,讯飞星火、文心一言、GPT4,都轻松完成了工作;通义千问虽然改对了“清清楚楚”,但固执地要把“亲眼目睹”改成“只有干瞪眼”;360智脑则认为句子无误。Drr品论天涯网

语病能否被发现?Drr品论天涯网

仅仅让AI发现错别字,难度似乎还不够,一个合格的校对人员,还应看出文本中的语病。Drr品论天涯网

众所周知,汉字语序颠倒,有时并不影响阅读。因此,潘哥选择诗词新作:“众里寻他千百度,蓦然回首,那人却在床上穿秋裤。”将后半句语序打乱,变成“那人床上却在穿秋裤”,看看AI能发现其中蹊跷吗?Drr品论天涯网


Drr品论天涯网


Drr品论天涯网


Drr品论天涯网


Drr品论天涯网


Drr品论天涯网

可以看出,这轮的胜出者,只有GPT4一家;讯飞星火、文心一言都没有发现任何错误;通义千问改对了语序,却把“穿秋裤”的人放在了枕上,玩起了高难度动作;360智脑同样改对了语序,却画蛇添足地加了一个“在”字,生成了另一个病句。Drr品论天涯网

除了语序错误之外,文本校对过程中,还有些更为隐蔽的语病,没看过《五年高考三年模拟》的AI,对此会怎么解?Drr品论天涯网

为此,潘哥自创病句:“去年毕业的他,现在就职于一家公司的舔狗工作。”看看这道难题,AI大模型能做对吗?Drr品论天涯网


Drr品论天涯网


Drr品论天涯网


Drr品论天涯网


Drr品论天涯网


Drr品论天涯网


Drr品论天涯网

在这轮测试中,除了GPT4之外,另外四家AI全部折戟,文心一言更是把“舔狗”直接改成了“助理”;GPT4首轮似乎认为“舔狗”二字不合规,被潘哥改成了“助理”之后,成功修改了语病。Drr品论天涯网

具有明显语病的句子,已经让AI感到吃力;对于带有歧义的句子,AI能否辨别出来呢?Drr品论天涯网

为此,潘哥写下:“在床上‘葛优瘫’了一天,他突然想起来了。”看看这句带有歧义的话,AI大模型能校对出来吗?Drr品论天涯网


Drr品论天涯网


Drr品论天涯网


Drr品论天涯网


Drr品论天涯网


Drr品论天涯网

这一轮测试,除了GPT4发现了其中歧义,其他四家AI再次校对失败;讯飞星火、360智脑对此表示无误;文心一言将整个句子,重新改写了一遍;通义千问则删除了“葛优”二字。Drr品论天涯网

让AI大模型在校对时,主动识别歧义句,潘哥觉得有难度有点大,如果让AI直接判断是否具有歧义,效果又会如何呢?Drr品论天涯网


Drr品论天涯网


Drr品论天涯网


Drr品论天涯网


Drr品论天涯网


Drr品论天涯网

可以看出,在潘哥直接发问下,文心一言、通义千问、360智脑,都表示句子没有歧义;讯飞星火指出了解读歧义,但搞错了造成歧义的原因;而浓眉大眼的GPT4,这次却临阵叛变,表示:“这句话没有明显的歧义”。Drr品论天涯网

AI校对哪家强?Drr品论天涯网

进行了八轮测试后,潘哥发现,一些AI大模型,总喜欢在校对时,帮你改写句子,比如在第三轮测试中,很多AI开始了自我发挥。Drr品论天涯网


Drr品论天涯网


Drr品论天涯网


Drr品论天涯网


Drr品论天涯网


Drr品论天涯网

可以看出,除了GPT4之外,另外四家AI大模型,都对“魂飞魂散”这个错字成语,进行了替换。Drr品论天涯网

对此,潘哥提示大家,在校对文本过程中,最好在下达命令前,就告诉AI大模型,不许对文本进行改动;否则,AI很可能会放飞自我。Drr品论天涯网

另一边,AI校对出现错误后,如果我们对其进行指正,对方能虚心接受吗?对此,潘哥继续采用第三轮测试文本,和AI进行了对话。Drr品论天涯网


Drr品论天涯网


Drr品论天涯网


Drr品论天涯网


Drr品论天涯网


Drr品论天涯网

潘哥发现,讯飞星火和GPT4,立刻接受了指正,文心一言先把话题岔开,对潘哥打起了感情牌,后来才改正了句子;通义千问和360智脑,虽然承认了错误,但仍然没有理解潘哥意思。Drr品论天涯网

潘哥发现,OpenAI的GPT4,不仅能够发现错别字,还能发现语病甚至歧义句;不过,对于文本内容的过度敏感,可能会让其“罢工”,影响校对的效率。Drr品论天涯网

另一边,讯飞星火和文心一言,也能发现简单的错别字,并且能够学习校对知识,如果持续训练一段时间,效果可能会有所提升。Drr品论天涯网

通义千问和360智脑,在文本校对过程中,容易替用户做主,出现修改句子的行为;同时,两者都比较固执己见,如果想用其进行校对,恐怕还要再训练一段时间。Drr品论天涯网

如今的AI大模型,在校对方面还有很多不足,一些复杂文本的校对工作,完全交给AI的话,可能并不让人放心。Drr品论天涯网

不过,各家AI大模型,都具有持续学习的能力,在不断的升级迭代后,AI将会引起怎样的变革,谁也不敢妄下断言。Drr品论天涯网

本网除标明“PLTYW原创”的文章外,其它文章均为转载或者爬虫(PBot)抓取; 本文只代表作者个人观点,不代表本站观点,仅供大家学习参考。本网站属非谋利性质,旨在传播马克思主义和共产主义历史文献和参考资料。凡刊登的著作文献侵犯了作者、译者或版权持有人权益的,可来信联系本站删除。 本站邮箱[email protected]