在这个AI大模型风靡的时代,又有一个玩家加入这场混战,这就是小米。虽然一直不声不响,但有消息显示,小米的大模型竟然已经实现了“遥遥领先”。
近日,来自大模型评测平台的C-Eval、CMMLU的数据显示,来自小米的大模型MiLM-6B的排名分别是第10和中文向第1。
得分方面,在C-Eval评估中,MiLM-6B 的平均分为60.2。
在CMMLU评估中,MiLM-6B在Five-shot和Zero-shot 测试中的平均分分别为57.17和60.37。
具体的能力维度上,MiLM-6B在STEM、人文学科、社会科学,及中国特定主题等方面的表现都较为均衡。
从这些纸面数据来看,小米大模型MiLM-6B确实有“遥遥领先”的迹象,但更多细节还需要在未来产品发布后知晓。
小米AI业务发展历程
早在今年2月份,小米创始人兼CEO雷军就曾发微博表示,“小米一直致力于开发最先进的AI技术,为大家带来更便捷的智能生活体验。我们邀请小米AI实验室专家王斌、Daniel Povey、王育军,分享一下我们的最新进展。”
并且在4月份,任命栾剑担任技术委员会AI实验室大模型团队负责人。作为资深专家,栾剑此前曾任东芝(中国)研究院研究员、微软(中国)工程院高级语音科学家、微软小冰首席语音科学家及语音团队负责人等职位。
此后,雷军再次对大模型和AIGC发表看法,“小米在AI领域已经耕耘多年,有AI实验室、小爱同学、自动驾驶等团队。对于大模型,我们当然会全力以赴,坚决拥抱。我们正在研发一些有趣的技术和产品,等我们打磨好了,再给大家展示。”
关于AI业务,小米集团发布的一季度财报中也有提及。
其中称,小米将积极拥抱人工智能带来的新一轮技术变革。2023年4月,小米正式组建了AI实验室大模型团队。AI领域相关人员超1,200人。
小米需要AI
也许有人会怀疑小米此时入局AI,更像是跟风。其实在这个AI即将带来革命的时代,谁也无法错失这样的一次机遇。
从小米自身的业务结构来看,无论是小爱同学、MIUI,还是自动驾驶、机器人等,都需要通过AI的赋能来实现升级。
小米集团总裁卢伟冰曾表示,小米会积极拥抱大模型,采用多技术路线并行,探索AI大模型落地,寻求大模型与自身业务的深度协同。目前小爱同学即是典型的大模型落地场景。
雷军也在6月份的武汉大学2023年毕业典礼上说到,这是个正在快速变化的时代AI大模型带来的革命,正扑面而来过去几个月,我也花了很多时间学习。
显然,小米并不愿意在这场AI的竞赛中掉队。
如今小米大模型已经出现在测评平台,相信不久就会公布。只是希望,小米大模型不要成为那个评测没输过,实战没赢过的存在。
[CMMLU]是一个综合性的中文评估基准,专门用于评估语言模型在中文语境下的知识和推理能力。CMMLU涵盖了从基础学科到高级专业水平的67个主题。它包括:需要计算和推理的自然科学,需要知识的人文科学和社会科学,以及需要生活常识的中国驾驶规则等。此外,CMMLU中的许多任务具有中国特定的答案,可能在其他地区或语言中并不普遍适用。因此是一个完全中国化的中文测试基准。
[C-Eval]是由上海交通大学、清华大学、爱丁堡大学共同构建的一个针对基础模型的综合中文评估套件。它由 13948 道多项选择题组成,涵盖 52 个不同学科和四个难度级别,覆盖人文、社科、理工,及其他专业四个大方向,用以帮助中文社区研发大模型。