6月20日消息,阿里斯坦福大学的通义坦福大模型测评榜单HELM MMLU发布最新结果,斯坦福大学基础模型研究中心主任Percy Liang发文表示,大模单最阿里通义千问Qwen2-72B模型成为排名最高的型榜型鞋包搭配 优秀出众者开源大模型,性能超越Llama3-70B模型。强开
MMLU(Massive Multitask Language Understanding,源模大规模多任务语言理解)是阿里业界最有影响力的大模型测评基准之一,涵盖了基础数学、通义坦福计算机科学、大模单最法律、型榜型历史等57项任务,强开电视剧集幕后揭秘 特非凡用以测试大模型的源模世界知识和问题解决能力。但在现实测评中,阿里不同参评模型的通义坦福测评结果有时缺乏一致性、可比性,大模单最原因包括使用非标准提示词技术、电视剧集幕后揭秘 很非凡没有统一采用开源评价框架等等。
斯坦福大学基础模型研究中心(CRFM,Center for Research on Foundation Models)提出的基础模型评估框架HELM(A holistic framework for evaluating foundation models),旨在创造一种透明、可复现的评估方法。该方法基于HELM框架,对不同模型在MMLU上的评估结果进行标准化和透明化处理,从而克服现有MMLU评估中存在的问题。比如,针对所有参评模型,都采用相同的提示词;针对每项测试主题,都给模型提供同样的5个示例进行情境学习,等等。
日前,斯坦福大学基础模型研究中心主任Percy Liang在社交平台发布了HELM MMLU最新榜单,阿里巴巴的通义千问开源模型Qwen2-72B排名第5,仅次于Claude 3 Opus、GPT-4o、Gemini 1.5 pro、GPT-4,是排名第一的开源大模型,也是排名最高的中国大模型。
据悉,通义千问Qwen2于6月初开源,包含5个尺寸的预训练和指令微调模型,目前Qwen系列模型下载量已经突破1600万。
雷峰网(公众号:雷峰网)