作者 / 潘哥 编辑 / 三火 排版 / 张玉琪
连高考作文都能写,面对更简单的校对工作,AI 大模型能做好吗?
高考开始后,除了考生之外,最忙碌的可能就是 AI 大模型们了,有人测试它写高考作文,有人测试它解数学应用,各家 AI 大模型,这几天很忙。
十项全能的 AI 大模型,连高考考场都敢上,对于相对简单的校对工作,是不是更不在话下?对此,不同的使用人群,有着不一样的反馈。
今天,潘哥准备进行 AI 大比武,选取科大讯飞的讯飞星火、百度的文心一言、阿里的通义千问、360 的 360 智脑、以及 openAI 的 GPT4,看看同一文本下,这五家 AI 大模型,谁的校对能力最好。
一场碳基与硅基生物的较量,以及硅基生物之间的较量,即将在这里上演。
字词校对可以吗?
对于 AI 大模型来说,校对时最主要的工作,似乎就是发现错别字。
对此,潘哥使用例句:” 洛阳亲友如相问,就说我在岳阳楼。” 将 ” 相问 ” 故意错拼成 ” 翔问 “,看看这个明显错误,AI 能不能发觉。
潘哥发现,在第一轮测试中,讯飞星火、文心一言、通义千问、GPT4,都准确无误地完成了工作;只有 360 智脑,潘哥对它连问两次,都没有发现其中错误。在第二轮测试中,潘哥利用人们键盘打字时,容易拼错、选错的失误,再次给 AI 挖了个坑。
潘哥的座右铭诗句:” 我自横刀向天笑,笑完我就去睡觉。睡醒我再拿起刀,我又横刀向天笑。” 将 ” 睡醒 ” 拼成 ” 水醒 “,看看 AI 能不能校对出来?
这一轮,胜出者只有 GPT4;讯飞星火将 ” 水醒 ” 变成了 ” 水星醒 “,文心一言一字未改,通义千问和 360 智脑,都大幅改动了原句,其中 360 智脑的画风略惊悚。键盘拼写时出现的错别字,已经让有些 AI 难以应付,对于博大精深的成语,AI 能否识别呢?
为此,潘哥选择了一句发疯文学:” 每天上班早起,都有种魂飞魄散的感觉。” 将其中的成语 ” 魂飞魄散 “,故意写作 ” 魂飞魂散 “,等着 AI 跳坑。
潘哥发现,这一轮测试,360 智脑、GPT4 校对成功;讯飞星火将 ” 魂飞魂散 “,改成了 ” 神游物外 “;文心一言两轮校对,都将前半句改成 ” 每天早上都要早起上班 “,可见其对上班怨念之深,后半句也给潘哥换了成语;通义千问两轮校对中,则出现了精神分裂,第一次 ” 如释重负 “,第二次却 ” 疲惫不堪 “。到这里,潘哥想给 AI 增加难度,将易拼错、易写错、四字成语叠加在一起,看看 AI 如何应对?
为此,潘哥使用丧气文学:” 有钱人终成眷属,没钱人亲眼目睹,我独自坐在路边,看得清清楚楚。” 将 ” 清清楚楚 ” 改成 ” 青清楚楚 “,
这轮测试中,讯飞星火、文心一言、GPT4,都轻松完成了工作;通义千问虽然改对了 ” 清清楚楚 “,但固执地要把 ” 亲眼目睹 ” 改成 ” 只有干瞪眼 “;360 智脑则认为句子无误。语病能否被发现?
仅仅让 AI 发现错别字,难度似乎还不够,一个合格的校对人员,还应看出文本中的语病。
众所周知,汉字语序颠倒,有时并不影响阅读。因此,潘哥选择诗词新作:” 众里寻他千百度,蓦然回首,那人却在床上穿秋裤。” 将后半句语序打乱,变成 ” 那人床上却在穿秋裤 “,看看 AI 能发现其中蹊跷吗?
可以看出,这轮的胜出者,只有 GPT4 一家;讯飞星火、文心一言都没有发现任何错误;通义千问改对了语序,却把 ” 穿秋裤 ” 的人放在了枕上,玩起了高难度动作;360 智脑同样改对了语序,却画蛇添足地加了一个 ” 在 ” 字,生成了另一个病句。除了语序错误之外,文本校对过程中,还有些更为隐蔽的语病,没看过《五年高考三年模拟》的 AI,对此会怎么解?
为此,潘哥自创病句:” 去年毕业的他,现在就职于一家公司的舔狗工作。” 看看这道难题,AI 大模型能做对吗?
在这轮测试中,除了 GPT4 之外,另外四家 AI 全部折戟,文心一言更是把 ” 舔狗 ” 直接改成了 ” 助理 “;GPT4 首轮似乎认为 ” 舔狗 ” 二字不合规,被潘哥改成了 ” 助理 ” 之后,成功修改了语病。具有明显语病的句子,已经让 AI 感到吃力;对于带有歧义的句子,AI 能否辨别出来呢?
为此,潘哥写下:” 在床上‘葛优瘫’了一天,他突然想起来了。” 看看这句带有歧义的话,AI 大模型能校对出来吗?
这一轮测试,除了 GPT4 发现了其中歧义,其他四家 AI 再次校对失败;讯飞星火、360 智脑对此表示无误;文心一言将整个句子,重新改写了一遍;通义千问则删除了 ” 葛优 ” 二字。让 AI 大模型在校对时,主动识别歧义句,潘哥觉得有难度有点大,如果让 AI 直接判断是否具有歧义,效果又会如何呢?
可以看出,在潘哥直接发问下,文心一言、通义千问、360 智脑,都表示句子没有歧义;讯飞星火指出了解读歧义,但搞错了造成歧义的原因;而浓眉大眼的 GPT4,这次却临阵叛变,表示:” 这句话没有明显的歧义 “。AI 校对哪家强?
进行了八轮测试后,潘哥发现,一些 AI 大模型,总喜欢在校对时,帮你改写句子,比如在第三轮测试中,很多 AI 开始了自我发挥。
可以看出,除了 GPT4 之外,另外四家 AI 大模型,都对 ” 魂飞魂散 ” 这个错字成语,进行了替换。对此,潘哥提示大家,在校对文本过程中,最好在下达命令前,就告诉 AI 大模型,不许对文本进行改动;否则,AI 很可能会放飞自我。
另一边,AI 校对出现错误后,如果我们对其进行指正,对方能虚心接受吗?对此,潘哥继续采用第三轮测试文本,和 AI 进行了对话。
潘哥发现,讯飞星火和 GPT4,立刻接受了指正,文心一言先把话题岔开,对潘哥打起了感情牌,后来才改正了句子;通义千问和 360 智脑,虽然承认了错误,但仍然没有理解潘哥意思。潘哥发现,openAI 的 GPT4,不仅能够发现错别字,还能发现语病甚至歧义句;不过,对于文本内容的过度敏感,可能会让其 ” 罢工 “,影响校对的效率。
另一边,讯飞星火和文心一言,也能发现简单的错别字,并且能够学习校对知识,如果持续训练一段时间,效果可能会有所提升。
通义千问和 360 智脑,在文本校对过程中,容易替用户做主,出现修改句子的行为;同时,两者都比较固执己见,如果想用其进行校对,恐怕还要再训练一段时间。
如今的 AI 大模型,在校对方面还有很多不足,一些复杂文本的校对工作,完全交给 AI 的话,可能并不让人放心。
不过,各家 AI 大模型,都具有持续学习的能力,在不断的升级迭代后,AI 将会引起怎样的变革,谁也不敢妄下断言。
精彩回顾
主编工场旗下内容矩阵
