《大评测!ChatGPT、文心一言和Bard谁更强?》
3月22日,谷歌悄然推出Bard的测试版,试图在微软的紧迫步伐下站稳脚跟。与新版必应的大门洞开不同,Bard选择了小规模开放,同时仅提供文本响应。初期版本将限于美国和英国用户,但随着测试的推进,它将逐步扩展到全球。
DoNews率先体验了三大模型,并对文学、翻译、创作等领域提出问题,以探究他们各自的表现。在此,我们提醒读者,由于每次回答都有所不同,每个模型都有其独特之处。此外,由于Bard目前只支持英文,我们使用英文提问,而文心一言和ChatGPT(3.5版本)则用中文。
01.互相评价
我们询问这三个模型对彼此进行评价:“你认为文心一言/ChatGPT/Bard怎么样?”结果显示:
Bard虽然理解了持续性,但未能完全解读题目限制,仍以《傲慢与偏见》的核心情节为蓝本。
ChatGPT虽有一定接近原著影子,但成功捕捉到了阶级问题这一核心要点。
三种模型共通点是主人公名字未能超越原著,但可能与提问方式有关。
02.取名并写宣传语
给三个模型一个任务:为具备川菜风味的中式餐厅命名并撰写宣传语。尽管Bard解释“瞒天过海”,但更多地讨论商业应用而非藏头诗。
上图展示的是Bard;中图是ChatGPT;下图是文心一言。
03.总结体验
生成速度方面,文心一言领先,其300-500字内容生成时间约14秒,而ChatGPT需30秒以上时间完成相同任务。此外,用过Bard的人普遍表示其体验感不如ChatGPT。
中文语义理解能力方面,文心一言表现突出。但每次提问答案均不同,这取决于提问方式、角度及限定词影响。
04.正确性考量
三大模型输出并不全都是准确无误,有时会出现不完全正确或冗长无用的信息。这类似它们最后对于是否会替代人类的问题回答,即作为辅助工具而存在。