每(mei)經記者 李孟(meng)林(lin)    每(mei)經編輯 蘭素英    

當地時間4月(yue)23日(ri)，微(wei)軟(ruan)(ruan)(ruan)微(wei)軟(ruan)(ruan)(ruan)推出(chu)(chu)了開源輕(qing)(qing)量級AI模(mo)型(xing)Phi-3系列，推出(chu)(chu)宣稱這是輕(qing)(qing)量目前(qian)市面上性(xing)(xing)能最(zui)強、最(zui)具性(xing)(xing)價(jia)比(bi)的微(wei)軟(ruan)(ruan)(ruan)“小語言模(mo)型(xing)”。

該系列的推出最小版本Phi-3-mini雖然參數規模僅有38億，但卻展現了超越參數規模大一倍多的輕量百姓彩票網模(mo)型的(de)性能，在(zai)多項基(ji)準(zhun)測試中(zhong)比(bi)Meta的(de)微軟Llama 3 8B更優異，而Phi-3-small和Phi-3-medium這兩個(ge)版本甚至可以(yi)超(chao)越(yue)GPT-3.5 Turbo。推出

更令人矚目的輕量是，Phi-3-mini對內存的微軟占用極少，可在iPhone 14搭載的推出A16 Bionic芯片上實現每秒12個token的生成速度，這意味著這款模型不用聯網，輕量可以直接在手機上運行。微軟百姓彩票怎么買不僅如此，推出據透露，輕(qing)量Phi-3的成本(ben)或只有同等性能模型的十分(fen)之(zhi)一。

這樣的(de)(de)模(mo)型對于網絡資源受限或需要(yao)離(li)線(xian)推理(li)的(de)(de)場景來(lai)說，無疑是(shi)一大好消息。據(ju)微軟(ruan)介紹，印度企(qi)業已經開始用Phi-3模(mo)型來(lai)幫助資源緊缺的(de)(de)農民解決生產生活問題。但Phi-3系(xi)列(lie)并非沒(mei)有缺點，其在(zai)事實性知識方(fang)面的(de)(de)表現并不理(li)想，不過微軟(ruan)已經找到了相應的(de)(de)緩解之(zhi)道。

手機上能跑的GPT-3.5級別模型

當地時間4月23日，微軟推出了開源輕量級AI模型Phi-3-mini，百姓彩票最新網址這是其(qi)Phi家族的(de)第4代模型。Phi-3-mini是Phi-3系列(lie)中最小(xiao)的(de)，參(can)數只有38億(yi)(yi)(yi)，未來幾周內，微(wei)軟還將推出該(gai)系列(lie)的(de)另外兩個版本Phi-3-small（70億(yi)(yi)(yi)參(can)數）和(he)Phi-3-medium（140億(yi)(yi)(yi)參(can)數）。

“Phi-3模型是現有功能最強大、最具性價比的小語言模型（SLM），在各種語言、推理、編碼和數學基準測試中，其性能優于相同大小和規模大一級的模型。”微軟方面表示。

具體來看，Phi-3-mini采用了transformer架構，支(zhi)持4K和128K上下(xia)文窗(chuang)口，也是同類小模型(xing)中(zhong)第一個支(zhi)持128K的開源產品。

性能上，Phi-3-mini在多(duo)項(xiang)基準測(ce)試中超(chao)過了參數規模(mo)大(da)一倍多(duo)的(de)Llama 3 8B（80億參數），而Phi-3-small和(he)Phi-3-medium超(chao)過了很多(duo)尺寸(cun)大(da)得多(duo)的(de)模(mo)型，如GPT-3.5 Turbo，而后者的(de)參數規模(mo)高達1750億。

圖片來源：微軟

由于Phi-3-mini對內存的占用極少，經過壓縮后總體積可以大幅縮減至1.8GB，可在iPhone 14搭載的A16 Bionic芯片上實現每秒12個token的生成速度，意味著這款模型不用聯網，可以直接在手機上運行。

Phi-3系列的(de)驚(jing)艷(yan)表現來自于其訓練(lian)方式。微(wei)軟生(sheng)成(cheng)式AI研(yan)究院（GenAI Resaerch）副總(zong)裁Sébastien Bubeck表示(shi)，微(wei)軟在開發Phi-3時力圖確保(bao)輸入的(de)是高質量數據訓練(lian)集。

微軟技術報告顯示，開發(fa)人員(yuan)開發(fa)Phi-3時使用了3.3T tokens數(shu)(shu)據(ju)集，包括經過嚴格質量(liang)篩(shai)選(xuan)(xuan)的(de)網絡公開文(wen)檔、精選(xuan)(xuan)的(de)高(gao)質量(liang)教育數(shu)(shu)據(ju)和(he)編(bian)程(cheng)代(dai)碼。此外，還有AI自己生成的(de)“合成數(shu)(shu)據(ju)”，如數(shu)(shu)學、編(bian)碼、常(chang)識推理(li)、世(shi)界常(chang)識、心理(li)科(ke)學等。高(gao)質量(liang)數(shu)(shu)據(ju)，再輔以獨特的(de)指令微調(diao)和(he)RLHF訓(xun)練，大幅(fu)提高(gao)了小語言模(mo)型(xing)的(de)性能。

當然，Phi-3系列也有其缺點，這主要體現在事實性知識上，在相關的基準測試如TriviaQA上的表現就不如人意。不過，開發語言模型是性能和尺寸的平衡。微軟透露，Phi-3模型本身參數中沒能力存儲太多事實和知識，這一缺點的緩解方式是聯網接入搜索引擎增強。

可離線使用，成本只有類似性能模型的十分之一

傳(chuan)統觀點認為(wei)，大(da)(da)(da)語言模(mo)型的關鍵(jian)點就(jiu)(jiu)在于“大(da)(da)(da)”，參數越大(da)(da)(da)，訓練數據體積越大(da)(da)(da)，性能就(jiu)(jiu)更強(qiang)。微軟推出輕(qing)量(liang)級的小(xiao)語言模(mo)型，用意(yi)何(he)在呢？

據微軟自己的說法，像Phi-3這樣的小語言模型特別適合以下場景：網絡資源受限，需要在終端設備上推理或者離線推理的場景；需要避免延遲，快速響應至關重要的場景；成本受限的場景，特別是那些較為簡單的任務。

Phi-3能夠在手(shou)機上離線運行，成本大幅降低(di)，從而(er)大大降低(di)了AI的實際(ji)使(shi)用門檻。

微軟高管Eric Boyd就表示，企業客戶經常發現像Phi-3這樣的小模型更適合他們的定制應用程序，因為企業的內部數據集本來就規模不大，而且小模型需要的算力更少，成本也更為便宜。

“Phi-3的價格不是稍微便宜一點，而是便宜得多，與具有類似功能的其他型號相比，成本差異可能是10倍的范圍，”微(wei)軟的Sébastien Bubeck對路透社表示。

微軟已經在探索如何在資源有限的(de)情況下(xia)應(ying)用Phi-3。據其(qi)介(jie)紹，總部位于(yu)印度(du)的(de)商業(ye)(ye)集(ji)團ITC，正在與(yu)微軟合作將Phi-3用于(yu)農業(ye)(ye)領域(yu)，共(gong)同開發面向農民(min)的(de)應(ying)用程序Krishi Mitra，這一程序的(de)覆蓋(gai)范(fan)圍達100萬農民(min)。

據悉(xi)，農(nong)民可以用(yong)當地(di)語(yu)言向Krishi Mitra提(ti)問，該應(ying)用(yong)程序會立即以用(yong)戶的本地(di)語(yu)言提(ti)供詳細的個性化響應(ying)，幫助他們解決農(nong)作物管理(li)、病(bing)蟲害控(kong)制、土壤(rang)健康(kang)、水(shui)資源保護、天氣預報、市場聯系和(he)政府計(ji)劃等相關問題(ti)。