圖說：“司南”大語言模型中英雙語客觀評測前十名 采訪對象供圖

新民晚報訊（記(ji)者 郜陽）大(da)模型(xing)技術哪家強(qiang)？30日，司(si)南上海人工智能實驗室(shi)科學家團(tuan)隊正式發布大(da)模型(xing)開源開放評測體系“司(si)南”（OpenCompass2.0），大(da)模可(ke)以為大(da)語言模型(xing)、型(xing)技多模態模型(xing)等(deng)提供(gong)一站式評測服(fu)務。強(qiang)上

據介紹，海人“司南”全面量化模型在知識、工智語言、驗室理解、發布推理和考試等五大能力維度的開源開放表現，評測榜單涉及的評測大語言模型和多模態大模型超過150個，客觀中立地為大模型技術的體系創新提供堅實的技術支撐。截至目前，司南已有包括Meta、大模阿里(li)巴巴、型(xing)技騰訊(xun)、強上百度等30余家國內(nei)外企業和科研機構采用“司(si)南”助力開展技術研發。

同日，還揭曉了年度大模型評測榜單，對過去一年來主流大模型進行全面評測診斷。分析(xi)結(jie)果顯示(shi)，GPT-4 Turbo在各項評測中均獲(huo)最佳表現，國內廠商近期(qi)發布的模型緊隨其(qi)后(hou)，包(bao)括(kuo)智譜清(qing)言GLM-4、阿里巴巴Qwen-Max、百度(du)文心一言4.0都(dou)獲(huo)得不錯(cuo)的成績。

記者(zhe)了(le)解到(dao)，基于全新(xin)升級的(de)(de)(de)能(neng)(neng)(neng)力(li)(li)體系和工具鏈，“司南”構造了(le)一套高質量的(de)(de)(de)中英(ying)文雙語評(ping)測基準(zhun)，涵蓋語言(yan)(yan)與理(li)解、常識與邏輯推理(li)、數學計算與應用、多編程(cheng)語言(yan)(yan)代碼能(neng)(neng)(neng)力(li)(li)、智能(neng)(neng)(neng)體、創(chuang)作與對話等多個方面(mian)。通過(guo)高質量、多層次的(de)(de)(de)綜(zong)合(he)性能(neng)(neng)(neng)力(li)(li)評(ping)測基準(zhun)，“司南”創(chuang)新(xin)了(le)多項能(neng)(neng)(neng)力(li)(li)評(ping)測方法(fa)，實現(xian)了(le)對模型真(zhen)實能(neng)(neng)(neng)力(li)(li)的(de)(de)(de)全面(mian)診斷。

總體而言，大(da)語言模(mo)(mo)型(xing)整體能力仍有較(jiao)(jiao)大(da)提升(sheng)空間；復雜推理相(xiang)關能力仍舊是大(da)模(mo)(mo)型(xing)普(pu)遍面臨的(de)(de)難題，國(guo)內大(da)模(mo)(mo)型(xing)相(xiang)比(bi)于(yu)GPT-4還存在差距；中(zhong)文場景(jing)下國(guo)內最新的(de)(de)大(da)模(mo)(mo)型(xing)已展(zhan)現出獨特優(you)勢，在部分維度(du)上接近GPT-4 Turbo的(de)(de)水(shui)平；此外，開源模(mo)(mo)型(xing)進步(bu)很快，以(yi)較(jiao)(jiao)小的(de)(de)體量達到較(jiao)(jiao)高(gao)性能水(shui)平，表(biao)現出較(jiao)(jiao)大(da)的(de)(de)發展(zhan)潛力。

上海人(ren)工智能實驗室領(ling)軍科學家林達華(hua)表示，對大模型“打分”要(yao)做到客觀公(gong)允、方(fang)式科學、維(wei)度(du)全面，“對模型的能力評測(ce)不僅是(shi)技術進步的度(du)量衡，更是(shi)推動(dong)(dong)模型迭代和優化的重(zhong)要(yao)驅動(dong)(dong)力。”

另據介紹，基(ji)于“司南(nan)”大模(mo)型評(ping)測(ce)體系，司南(nan)大模(mo)型評(ping)測(ce)伙伴(ban)計劃正式啟動。未來，“司南(nan)”將與各(ge)行(xing)業(ye)的(de)頭部企業(ye)機構一起，構建各(ge)類高質(zhi)量行(xing)業(ye)評(ping)測(ce)基(ji)準，致(zhi)力(li)于推進大模(mo)型在(zai)千(qian)行(xing)百業(ye)應用落地和實踐。