C-Eval中文大模型排名公布 云从科技位居百亿级模型榜首

2023-08-22 20:20:30 来源:上海证券报·中国证券网 作者:宋薇萍

  上证报中国证券网讯(记者 宋薇萍)8月21日,云从科技正式发布从容大模型1.5版本。该版本包含十亿级、百亿级、千亿级多种模型规格,实测性能在全球大模型综合性考试评测(C-Eval)中位居百亿级第一,总榜单第四。

  C-Eval是由清华大学、上海交通大学和爱丁堡大学合作构建的面向中文语言模型的综合性考试评测集,包含13948道多项选择题,涵盖52个不同学科和四个难度级别(初中、高中、大学和专业),是对模型潜力判断最具权威性的大模型榜单之一。

  据悉,为了解决大模型落地的难题,从容大模型1.5版本的重点是参数量为130亿(13B)的行业大模型,该模型从千亿大模型中蒸馏产生,在52类测试指标中有44类超过ChatGPT、29类超过GPT-4,这距离从容大模型正式发布仅仅过去2个多月时间。

  同时,从容大模型1.5版本针对行业大模型进行了定向优化,提高了金融、政务、零售、交通、安防、能源、教育、医疗、文娱等行业领域的行业数据集占比,并重点训练了行业领域的下游任务。同时,模型上下文长度(Context length)更是实现了32K Tokens,超过全球绝大部分模型2k至8k水平。同时,从容大模型对中文编码器进行了深度优化,一个中文汉字平均仅占0.7Tokens,这使得从容大模型1.5版本支持的上下文长度超过4.5万字。

  云从科技表示,未来将继续加大研发投入,不断优化AI大模型,促进人工智能与实体经济融合发展,深度参与数字中国的建设,为现代化发展注入新动能。