中文通用大模型综合性评测基准发布 讯飞星火认知100分 你知道吗?
2023-05-10 15:53:02 来源:中国商业新闻网
讯飞星火认知大模型总分53.58分,100分满分
中文通用大模型综合性评测基准SuperCLUE正式发布。
中文通用大模型基准(SuperCLUE),是针对中文可用的通用大模型的一个测评基准,它尝试在一系列国内外代表性的模型上使用多个维度能力进行测试。
它主要回答的问题是:在当前通用大模型大力发展的情况下,中文大模型的效果情况。包括但不限于:这些模型不同任务的效果情况、相较于国际上的代表性模型做到了什么程度、 这些模型与人类的效果对比如何?
根据首个榜单显示,国内大模型中,近期发布的星火认知大模型最好,总分53.58分,与GPT-4相比有23个百分点的差距,与gpt-3.5-turbo在总分上有13个百分点的差距。
值得一提的是,讯飞星火认知大模型在对话、百科知识、角色模拟、计算能力、语义理解、逻辑推理方面,已经达到GPT 3.5平齐的水准。
在语义理解方面,讯飞星火认知大模型甚至得到100分的满分,超过GPT-4。
据了解,SuperCLUE评测榜单由三部分组成:总榜单、基础能力榜单、中文特性榜单,排行榜会定期更新,可点此访问.
相关阅读
-
中文通用大模型综合性评测基准发布 讯...
讯飞星火认知大模型总分53 58分,100分满分中文通用大模型综合性评... -
【世界速看料】景旺电子(603228.SH):剑...
格隆汇5月10日丨有投资者在投资者互动平台向景旺电子(603228)(60322... -
百度小度正式确认进军手机市场 新品牌...
确认了!百度小度首款智能手机来了日前突然有消息称,百度旗下智能科... -
拒绝跟买方签署阴阳合同 构成违约吗?...
文 图 半岛全媒体记者 尹彦鑫 蒋凯房屋延期交付开发商各种理由... -
《暗黑破坏神4》新显卡同捆活动抢先曝光...
《暗黑破坏神4》开服时间定了!新显卡同捆活动曝光《暗黑破坏神4》将... -
为什么苹果iPhone14好评率低了6%?你知道吗?
苹果将发布新版本移动操作系统iOS16 5,下周发布iPhone 14系列上...