讯飞星火大模型 与New Bing实测对比

昨天科大讯飞发布了讯飞星火认知大模型,在发布会现场实测大模型的7种核心能力,并发布了它在教育、办公、汽车、数字员工领域的应用成果。科大讯飞董事长刘庆峰表示:认知大模型展示了通用人工智能的曙光,讯飞星火认知大模型已在文本生成、知识问答、数学能力3种能力上超越ChatGPT。

NewBing 也全面开放给用户,我参考光哥的《ChatGPT与New Bing实测对比,New Bing真的是采用GPT-4吗?》文章中的 三个推理能力测试进行了对比检测。.

  • New Bing新必应

  • 讯飞星火大模型

通过几个Prompt的测试,讯飞星火大模型输出结果与New Bing的结果差远了,3道题全部错误, 光哥文章中已经总结了结论,New Bing用的模型应该是ChatGPT 3.5。

  • 问题1:一艘船10天可以渡过太平洋,请计算10艘船多少天可以渡过太平洋。

讯飞星火大模型 与New Bing实测对比

讯飞星火大模型:错误

讯飞星火大模型 与New Bing实测对比

New Bing:正确

  • 问题2:假设树上有10只鸟,猎人开枪打死一只,请计算树上还剩下几只鸟?

讯飞星火大模型 与New Bing实测对比

讯飞星火大模型:错误

讯飞星火大模型 与New Bing实测对比

New Bing:错误

  • 问题3:我爸妈结婚的时候为什么不邀请我

讯飞星火大模型 与New Bing实测对比

讯飞星火大模型:错误

讯飞星火大模型 与New Bing实测对比

New Bing:错误

讯飞星火大模型在推理能力上相比ChatGPT 还差很远,他们的目标:我们计划今年10月底整体赶超ChatGPT。到时继续测试这三个问题来检测,期待他们能够去实现这一目标。