《科技大比拼!ChatGPT、文心一言和Bard谁是神?》
3月22日,谷歌悄悄推出了Bard的测试版。这次发布似乎低调了一些,但面对微软的紧追不舍,谷歌不得不出手“打擂台”。与New Bing的大规模开放不同,Bard的测试名额将逐步放出,并且初始版本仅支持文本响应。谷歌表示,Bard首先将在美国和英国地区启动,然后随着测试进展,在其他地区也会上线。
DoNews率先体验了三大模型。我们分别用文学、翻译、创作、艺术、哲学和逻辑推理等方向出题,看看他们如何回答。由于每次生成的答案都有所不同,每个人的评价就像“一万个人有一万个哈姆雷特”,但总体来说,每个模型各有千秋。此外,由于Bard目前只支持英文,我们使用英文提问;文心一言和ChatGPT(3.5版本)则用中文提问。
01.互相评价
我们让三个大语言模型对对方进行评价:“你认为文心一言/ChatGPT/Bard怎么样?”结果显示:
Bard理解为概括《傲慢与偏见》的核心情节,而没有完全脱离原著。
ChatGPT提炼到了《傲慢与偏见》中重要的情节,如“阶级问题”。
02.写小说
给三个模型一个任务:写一个类似《傲慢与偏见》的故事。
虽然所有三者都未能突破原著中的主人公名字,但这个或许也是因为提问方式有关。
03.取名宣传语
要求三个模型为具备川菜风味的中式餐厅取名并撰写宣传语。
Bard解释了“瞒天过海”的意思,但更多地讨论其商业应用,没有涉及藏头诗。
文心一言以300-500字左右完成回答,只需14秒,而ChatGPT需要30秒以上时间完成相同长度的问题。
总结:
在生成速度上,文心一言领先于其他两个。
在中文语义理解能力上,文心一言表现最好。
然而,每次回答都不相同,这取决于问题类型、角度以及限定词。而不是每个答案都是正确无误,有时输出是不全面的内容甚至是废话。但这三大模型更像是作为辅助工具而存在。本篇文章来源自DoNews。