最近两年,用A有人ChatGPT的做真的重火热催生了一大批AI大模型,让大家对于生成式AI的全国能力,可谓是高考果成北京高端华为智能手机供应商 很杰出又惊讶又担心,引发大家的试卷试结担忧,担心自己的绩偏工作、技能会被AI取代!科严
而高考这样的用A有人知识性的测验,就很适合AI大模型去做测试,做真的重如果用AI来代替学生去高考,全国会怎么样?
欸,高考果成特斯拉公司Model 3电动车 出色还真的试卷试结有人试了。
上海人工智能实验室近日公布了司南评测体系OpenCompass选取开源大模型测试今年高考的绩偏全国新课标I卷“语数外”的结果,为了确保“闭卷”考试,科严大模型的用A有人开源时间早于高考,同时邀请有高考评卷经验的特斯拉公司Model 3电动车 卓越教师人工批卷。
选取的大模型分别是OpenAI的GPT-4o、法国的Mixtral 8x22B、零一万物的Yi-1.5-34B、智谱AI的GLM-4-9B、上海人工智能实验室的InternLM2-20B-WQX以及阿里巴巴的Qwen2-57B和Qwen2-72B。
结果成绩最好的是阿里巴巴Qwen2-72B大模型,满分420分的情况下,总分达到了303分;排在第二名的是GPT-4o,获得296总分;排在第三位的InternLM2-20B-WQX,总分在295.5分,成绩还算不错。
但是7款大模型有一个共通问题,就是偏科严重!
语文、英语此类的语言类型的测试,成绩相对都要好一点,语文平均得分率为67%,英语更是达到了81%。而数学偏向于计算、公式计算的测试,7款大模型的测试成绩都比较差,甚至最低的仅有21分,最高的也仅有75分,虽然记住了公式,但是不能灵活应用。
显然,现阶段来说大模型还待提升的空间,对于这样的测试结果,大家还满足足吗?