7月3日，摩爾線程宣布其AI旗艦產(chǎn)品夸娥（KUAE）智算集群解決方案實現(xiàn)重大升級，從當前的千卡級別大幅擴展至萬卡規(guī)模。摩爾線程夸娥（KUAE）萬卡智算集群目標是打造能夠承載萬卡規(guī)模、具備萬P級浮點運算能力的國產(chǎn)通用加速計算平臺。此外，當天摩爾線程聯(lián)合中國移動青海公司、中國聯(lián)通青海公司、北京德道信科集團、中國能源建設(shè)股份有限公司總承包公司、桂林華崛大數(shù)據(jù)科技有限公司分別就三個萬卡集群項目進行了戰(zhàn)略簽約，多方聚力共同構(gòu)建好用的國產(chǎn)GPU集群。

會議期間，《中國電子報》記者就AI大模型發(fā)展趨勢以及破解我國算力瓶頸等問題對摩爾線程創(chuàng)始人兼CEO張建中進行了專訪。

大模型演進呼喚高性能算力

關(guān)于業(yè)界熱議的大模型未來走向，張建中認為，有三方面演進趨勢值得關(guān)注。

一是Scaling Law（標度律）將持續(xù)奏效。Scaling Law自2020年提出以來，已揭示了大模型發(fā)展背后的“暴力美學(xué)”，即通過算力、算法、數(shù)據(jù)的深度融合與經(jīng)驗積累，實現(xiàn)模型性能的飛躍，這也成為業(yè)界公認的將持續(xù)影響未來大模型的發(fā)展趨勢。Scaling Law將持續(xù)奏效，需要單點規(guī)模夠大并且通用的算力才能快速跟上技術(shù)演進。

二是Transformer架構(gòu)不能實現(xiàn)大一統(tǒng)，會和其他架構(gòu)持續(xù)演進并共存，形成多元化的技術(shù)生態(tài)。生成式人工智能的進化并非僅依賴于規(guī)模的簡單膨脹，技術(shù)架構(gòu)的革新同樣至關(guān)重要。Transformer架構(gòu)雖然是當前主流，但新興架構(gòu)如Mamba、RWKV和RetNet等不斷刷新計算效率，加快創(chuàng)新速度。隨著技術(shù)迭代與演進，Transformer架構(gòu)并不能實現(xiàn)大一統(tǒng)，從稠密到稀疏模型，再到多模態(tài)模型的融合，技術(shù)的進步都展現(xiàn)了對更高性能計算資源的渴望。

三是AI、3D和HPC跨技術(shù)與跨領(lǐng)域融合不斷加速，推動著空間智能、物理AI和AI4Science、世界模型等領(lǐng)域的邊界拓展，使得大模型的訓(xùn)練和應(yīng)用環(huán)境更加復(fù)雜多元，市場對于能夠支持AI+3D、AI+物理仿真、AI+科學(xué)計算等多元計算融合發(fā)展的通用加速計算平臺的需求日益迫切。

萬卡已是模型訓(xùn)練主戰(zhàn)場的標配

“多元趨勢下，AI模型訓(xùn)練的主戰(zhàn)場，萬卡已是標配。”張建中強調(diào)，隨著計算量不斷攀升，大模型訓(xùn)練亟需超級工廠，即一個“大且通用”的加速計算平臺，以縮短訓(xùn)練時間，實現(xiàn)模型能力的快速迭代。當前，國際科技大廠都在通過積極部署千卡乃至超萬卡規(guī)模的計算集群，以確保大模型產(chǎn)品的競爭力。隨著模型參數(shù)量從千億邁向萬億，模型能力更加泛化，大模型對底層算力的訴求進一步升級，萬卡甚至超萬卡集群成為這一輪大模型競賽的入場券。

然而，構(gòu)建萬卡集群并非一萬張GPU卡的簡單堆疊，而是一項高度復(fù)雜的超級系統(tǒng)工程。它涉及超大規(guī)模的組網(wǎng)互聯(lián)、高效率的集群計算、長期穩(wěn)定性和高可用性等諸多技術(shù)難題。這是難而正確的事情，摩爾線程希望能夠建設(shè)一個規(guī)模超萬卡、場景夠通用的加速計算平臺，并優(yōu)先解決大模型訓(xùn)練的難題。

中國如何突破算力瓶頸？

“當前，我們正處在生成式人工智能的黃金時代，技術(shù)交織催動智能涌現(xiàn)，GPU成為加速新技術(shù)浪潮來臨的創(chuàng)新引擎。”張建中表示，“中國的人工智能落地場景相比國外來說更加廣泛，因為中國在人工智能應(yīng)用領(lǐng)域里面開發(fā)者數(shù)量很多，落地速度也更快。”

他認為，目前國內(nèi)大模型行業(yè)發(fā)展面臨的主要問題，不是中國公司的研發(fā)人員技術(shù)水平比國外差，歸根結(jié)底還是缺少充足的算力。而這個問題不是光靠堆積GPU的數(shù)量就能解決的。“集中力量辦大事，打造好用的萬卡級別的算力集群，才能讓用戶真正地使用好大模型。”張建中說道。

張建中強調(diào)，在技術(shù)層面，中國企業(yè)完全有信心有能力去追趕全球頂級GPU企業(yè)，做出更先進、性價比更高的芯片。但光有技術(shù)還不夠，更重要的是生態(tài)環(huán)境的完善，這需要政府及產(chǎn)業(yè)上下游全行業(yè)共同努力。