每經(jīng)記者｜宋欣悅    每經(jīng)編輯｜蘭素英    

長(zhǎng)久以來(lái)，英偉達(dá)憑借高性能芯片構(gòu)筑起“算力霸權(quán)”，在AI（人工智能）模型訓(xùn)練領(lǐng)域占據(jù)主導(dǎo)地位。這一局面在DeepSeek（深度求索）問(wèn)世后遭遇到不小沖擊，如今又面臨著新的挑戰(zhàn)。

3月初，由螞蟻集團(tuán)首席技術(shù)官何征宇帶領(lǐng)的Ling團(tuán)隊(duì)發(fā)表了一篇技術(shù)成果論文。論文顯示，該團(tuán)隊(duì)開(kāi)發(fā)了兩款百靈系列開(kāi)源混合專家（MoE）模型Ling-Lite（總參數(shù)為16.8B）和Ling-Plus（總參數(shù)為290B）。相比之下，據(jù)《麻省理工科技評(píng)論》，GPT-4.5總參數(shù)為1.8T，DeepSeek-R1總參數(shù)為671B。

驚艷之處在于，Ling團(tuán)隊(duì)在模型預(yù)訓(xùn)練階段使用較低規(guī)格的硬件系統(tǒng)，將計(jì)算成本降低了約20%，訓(xùn)練1萬(wàn)億Token（詞元）成本從635萬(wàn)元降至508萬(wàn)元，最終取得了與使用高性能芯片（如英偉達(dá)H100、H800等）的模型相當(dāng)?shù)男Ч?/p>

百靈系列混合專家模型的橫空出世，讓市場(chǎng)再次質(zhì)疑英偉達(dá)的“算力信仰”。Hugging Face（抱抱臉）工程師Tiezhen Wang（人名）在社交媒體上表示，“做空英偉達(dá)的又一理由？”Tom’s Hard-ware（一個(gè)測(cè)評(píng)網(wǎng)站）發(fā)表評(píng)論稱，螞蟻集團(tuán)此次的技術(shù)突破清晰展現(xiàn)出中國(guó)正堅(jiān)定地朝著技術(shù)獨(dú)立方向邁進(jìn)。

針對(duì)此事，3月24日螞蟻集團(tuán)回應(yīng)媒體稱，針對(duì)不同芯片持續(xù)調(diào)優(yōu)，以降低AI應(yīng)用成本，目前取得了一定的進(jìn)展，也會(huì)逐步通過(guò)開(kāi)源分享。

計(jì)劃應(yīng)用于醫(yī)療等領(lǐng)域

目前，螞蟻集團(tuán)Ling團(tuán)隊(duì)的技術(shù)成果論文《每一個(gè)FLOP都至關(guān)重要：無(wú)需高級(jí)GPU（圖形處理器）即可擴(kuò)展3000億參數(shù)混合專家LING大模型》已發(fā)表在預(yù)印本平臺(tái)arXiv上。

螞蟻Ling團(tuán)隊(duì)認(rèn)為，正如DeepSeek開(kāi)源發(fā)布中分析的“晝夜推理負(fù)載不均”問(wèn)題，在推理服務(wù)高峰期，高性能資源同樣面臨短缺。在長(zhǎng)期科研實(shí)踐中，許多機(jī)構(gòu)都持續(xù)面臨著高端AI加速卡供應(yīng)不足的問(wèn)題。相比之下，性能較低的加速器更易獲得，且單價(jià)更低。因此，模型需要能在異構(gòu)計(jì)算單元和分布式集群間切換的技術(shù)框架，同時(shí)在AI Infra（人工智能基礎(chǔ)設(shè)施）部分，在跨集群、跨設(shè)備的兼容和可靠層面進(jìn)行性能優(yōu)化。

該團(tuán)隊(duì)的實(shí)驗(yàn)結(jié)果表明，參數(shù)規(guī)模為300B左右的混合專家模型可以在性能較低的設(shè)備上有效訓(xùn)練，并在性能上達(dá)到與同規(guī)模的其他模型相當(dāng)?shù)乃健?/p>

以Ling-Plus模型為例，在實(shí)驗(yàn)中，該模型在五種不同硬件配置下完成9萬(wàn)億Token的預(yù)訓(xùn)練任務(wù)。經(jīng)測(cè)算，使用高性能硬件設(shè)備訓(xùn)練1萬(wàn)億Token，預(yù)計(jì)成本高達(dá)635萬(wàn)元人民幣，而使用低規(guī)格硬件系統(tǒng)，成本則可控制在約508萬(wàn)元，節(jié)省近20%。

在英語(yǔ)理解能力上，LingLite模型在一項(xiàng)關(guān)鍵基準(zhǔn)測(cè)試中的表現(xiàn)與Qwen2.5-7B（模型名）相當(dāng)，優(yōu)于Llama3.1-8B（模型名）和Mistral-7B-v0.3（模型名）。

在中文理解能力上，LingLite和Ling-Plus模型表現(xiàn)明顯優(yōu)于海外模型Llama3.1-8B（模型名）和Mistral- 7B- v0.3（模型名）。在部分基準(zhǔn)測(cè)試中，LingPlus表現(xiàn)略優(yōu)于DeepSeekV2.5（模型名），與Qwen2.5-7B相當(dāng)。

在數(shù)學(xué)和代碼基準(zhǔn)測(cè)試方面，Ling- Lite的表現(xiàn)與Qwen2.5-7B-Instruct（模型名）相當(dāng)，優(yōu)于Llama3.1- 8B和Mistral- 7B-v0.3。Ling- Plus的表現(xiàn)優(yōu)于DeepSeek-V2.5，接近Qwen2.5-72B的水平。

在工具使用方面，大多數(shù)情況下，Ling-Plus和Ling-Lite在基準(zhǔn)測(cè)試中均取得了最佳成績(jī)。而工具使用對(duì)于大語(yǔ)言模型來(lái)說(shuō)是一項(xiàng)重要且具有挑戰(zhàn)性的任務(wù)。工具使用能力使模型能夠作為AI代理工作、控制機(jī)器人系統(tǒng)并與眾多軟件工具集成。

此外，在安全性方面，LingPlus和Qwen2.5-7B表現(xiàn)突出，而Ling-Plus在錯(cuò)誤拒絕方面表現(xiàn)更佳。

提高大模型的無(wú)害性（harmlessness）通常會(huì)導(dǎo)致其有用性（helpfulness）的降低。測(cè)試結(jié)果表明，Ling-Plus在安全性和錯(cuò)誤拒絕之間整體平衡性上表現(xiàn)最佳。

據(jù)悉，螞蟻百靈大模型LingPlus和Ling-Lite計(jì)劃開(kāi)源，并應(yīng)用于醫(yī)療、金融等行業(yè)領(lǐng)域。

打破“算力霸權(quán)”？

有分析稱，百靈系列混合專家模型的推出標(biāo)志著螞蟻集團(tuán)加入AI領(lǐng)域的競(jìng)賽。自DeepSeek展示出能夠以遠(yuǎn)低于OpenAI（公司名）和谷歌投入的數(shù)十億美元成本訓(xùn)練出強(qiáng)大模型以來(lái)，這一競(jìng)爭(zhēng)加速升級(jí)。

此前，DeepSeek在技術(shù)論文中表示，DeepSeek-V3模型（總參數(shù)671B，激活參數(shù)37B）總訓(xùn)練成本為557.6萬(wàn)美元，完整訓(xùn)練消耗了278.8萬(wàn)個(gè)GPU小時(shí)，幾乎是同等性能水平模型訓(xùn)練所需的十分之一，堪稱“榨干”GPU，也因此引發(fā)了資本市場(chǎng)的恐慌。

對(duì)此，英偉達(dá)CEO（首席執(zhí)行官）黃仁勛在公開(kāi)場(chǎng)合多次贊美DeepSeek，但其認(rèn)為，DeepSeek-R1等更高效的模型出現(xiàn)，反而會(huì)刺激計(jì)算需求增長(zhǎng)。

然而，螞蟻集團(tuán)正在探索一條新的路徑——在無(wú)高端GPU的情況下擴(kuò)展模型訓(xùn)練能力。

百靈系列混合專家模型的橫空出世，讓市場(chǎng)再次質(zhì)疑英偉達(dá)的“算力信仰”。Tiezhen Wang在社交媒體上表示，“做空英偉達(dá)的又一理由？”著名硬件媒體Tom’s Hardware指出，這極有可能成為（中國(guó)）降低對(duì)西方技術(shù)依賴進(jìn)程中的又一重要里程碑。

螞蟻集團(tuán)有關(guān)人士告訴《每日經(jīng)濟(jì)新聞》記者，在模型訓(xùn)練過(guò)程中，他們既使用了國(guó)產(chǎn)芯片，也采用了英偉達(dá)芯片。

Tom’s Hardware發(fā)表評(píng)論稱，螞蟻集團(tuán)此次技術(shù)突破清晰展現(xiàn)出中國(guó)正堅(jiān)定地朝著技術(shù)獨(dú)立方向邁進(jìn)。彭博資深商業(yè)智能分析師羅伯特·李（Robert Lea）同樣指出，螞蟻集團(tuán)的研究展示了中國(guó)在AI創(chuàng)新方面的快速進(jìn)步，也顯示出本土企業(yè)正朝著AI自給自足的方向邁進(jìn)。

封面圖片來(lái)源：視覺(jué)中國(guó)