[CPU+NPU+GPU]將成為AI PC的算力基座

不同類型的處理器擅長的工作領(lǐng)域各異，這正是異構(gòu)計(jì)算的核心原理——讓專業(yè)的人做專業(yè)的事。

CPU擅長順序控制，適用于需要低延時的場景，同時也能夠處理較小的傳統(tǒng)模型，如卷積神經(jīng)網(wǎng)絡(luò)（CNN）或特定的大語言模型（LLM）。

而GPU更擅長處理高精度格式的并行任務(wù)，例如對畫質(zhì)要求極高的視頻和游戲。

CPU和GPU作為通用處理器，設(shè)計(jì)靈活，易于編程，主要負(fù)責(zé)操作系統(tǒng)、游戲和其他應(yīng)用。

然而，對于處理大規(guī)模的神經(jīng)網(wǎng)絡(luò)計(jì)算，CPU的效率相對較低。

NPU則采用數(shù)據(jù)驅(qū)動并行計(jì)算的架構(gòu)，模擬人類神經(jīng)元和突觸，特別擅長處理視頻、圖像等海量多媒體數(shù)據(jù)。

與遵循馮諾依曼架構(gòu)的CPU和GPU不同，NPU通過突觸權(quán)重實(shí)現(xiàn)存儲計(jì)算一體化，運(yùn)行效率更高，尤其擅長推理。

鑒于終端的功耗和散熱限制，通用CPU和GPU難以滿足生成式AI應(yīng)用嚴(yán)苛且多樣化的計(jì)算需求。

這些應(yīng)用不斷演進(jìn)和多樣化，單一硬件部署并不合理。

因此，NPU和異構(gòu)計(jì)算成為硬件廠商應(yīng)對終端側(cè)生成式AI挑戰(zhàn)的關(guān)鍵。

值得注意的是，盡管GPU在并行計(jì)算能力上具有優(yōu)勢，但仍需與CPU協(xié)同工作。

神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建和數(shù)據(jù)流傳遞主要在CPU上完成。

然而，GPU存在功耗高、體積大、價格昂貴等缺陷。

性能越高的GPU功耗越高，體積越大，價格也越高昂，這使得一些小型設(shè)備和移動設(shè)備無法使用。

NPU將在AI PC落地生花

網(wǎng)絡(luò)處理單元（NPU）能夠基于網(wǎng)絡(luò)運(yùn)算的特性，借助軟件或硬件編程，實(shí)現(xiàn)多樣化的網(wǎng)絡(luò)功能。

相較于傳統(tǒng)的中央處理器（CPU）和圖形處理器（GPU），NPU在執(zhí)行神經(jīng)網(wǎng)絡(luò)任務(wù)時展現(xiàn)出更高的效率和更低的功耗。

與現(xiàn)場可編程門陣列（FPGA）相比，NPU在成本方面更具優(yōu)勢。

雖然FPGA在靈活性和可編程性方面同樣出色，但主流的FPGA芯片制程節(jié)點(diǎn)通常在14納米至45納米之間；

而NPU的制程節(jié)點(diǎn)往往低于10納米，因此更適合應(yīng)用于小型、低功耗的消費(fèi)級設(shè)備，如個人電腦和手機(jī)等。

在軟件層面，NPU具備與主流軟件的高度兼容性。通過標(biāo)準(zhǔn)化的接口，如OpenCL、CUDA、OpenVX等，NPU能夠輕松與各種人工智能框架進(jìn)行交互，并順利集成到不同的軟件環(huán)境中。

這使得開發(fā)者在模型開發(fā)和部署方面更加便捷，同時支持多種編程語言和框架，進(jìn)一步降低了開發(fā)門檻。

綜上所述，NPU的高效能、低功耗、易于編程以及廣泛的軟件兼容性，使其成為人工智能應(yīng)用中不可或缺的關(guān)鍵組件。

趨勢看好，各大廠紛紛推出相關(guān)產(chǎn)品

英特爾近期發(fā)布了第14代酷睿Ultra移動處理器，該處理器內(nèi)置了神經(jīng)網(wǎng)絡(luò)處理單元（NPU）。

據(jù)英特爾官方透露，預(yù)計(jì)至2024年，將有超過230款機(jī)型搭載這款酷睿Ultra處理器。

另一方面，蘋果計(jì)劃在2024年發(fā)布搭載M3處理器的MacBook。

據(jù)該公司透露，M3處理器的NPU性能相較于前代產(chǎn)品M1提升了60%。

此外，AMD亦將在2024年初正式推出其首款內(nèi)置獨(dú)立NPU的銳龍8040處理器。

AMD表示，該處理器的加入使得大語言模型性能提升了40%。

值得一提的是，AMD于2023年12月率先發(fā)布了銳龍8040系列處理器。這一系列處理器的核心變化之一便是新增了AI計(jì)算單元。

隨后，英特爾亦發(fā)布了其新一代酷睿Ultra移動處理器。

這款處理器是英特爾40年來的首款內(nèi)置NPU的產(chǎn)品，旨在在PC上提供高效能的AI加速和本地推理體驗(yàn)。

此舉被業(yè)界視為英特爾客戶端處理器路線圖的重大轉(zhuǎn)折點(diǎn)。

英特爾將NPU、CPU和GPU共同視為AI PC的三個核心算力引擎。

據(jù)公司預(yù)測，至2024年，將有超過230款機(jī)型搭載酷睿Ultra處理器。

此外，微軟計(jì)劃在Windows 12中為AI PC設(shè)定最低門檻，要求至少具備40TOPS的算力和16GB的內(nèi)存。

因此，PC芯片算力達(dá)到40TOPS門檻將成為行業(yè)的主要目標(biāo)。

[算力融合]只是美好的理想

在GPU領(lǐng)域，英偉達(dá)RTX系列、AMD RX7000系列以及英特爾ARC系列獨(dú)立顯卡均內(nèi)置獨(dú)立的AI計(jì)算單元。

然而，英偉達(dá)并不生產(chǎn)消費(fèi)級PC CPU，因此其顯卡AI功能更新主要圍繞顯卡本身，如AI視頻超分、AI色彩強(qiáng)化、AI音頻降噪及AI語音聊天等，似乎主張[AI PC僅需顯卡算力]。

英特爾ARC獨(dú)顯雖有XMX矩陣計(jì)算單元，但新一代集成于CPU的ARC核顯已取消此設(shè)計(jì)，使其MTL架構(gòu)CPU僅依賴內(nèi)置NPU作為獨(dú)立AI計(jì)算單元。

即便搭配ARC獨(dú)顯，亦無法實(shí)現(xiàn)核顯與獨(dú)顯AI算力的[疊加]。

AMD在CPU中采用源自其企業(yè)級計(jì)算卡的XDNA成熟架構(gòu)作為NPU單元，理論上具有軟件適配優(yōu)勢。

然而，在RDNA 3獨(dú)顯架構(gòu)中，AMD似乎采用了不同的AI單元設(shè)計(jì)，導(dǎo)致尚未實(shí)現(xiàn)基于AI代碼的游戲畫面超分功能。

此前許多顯卡AI用例主要依賴GPU本身的浮點(diǎn)算力，相較于僅使用顯卡內(nèi)置AI單元的處理方式，功耗更高。

理論上，CPU、GPU和NPU均可參與AI運(yùn)算，并根據(jù)代碼類型和任務(wù)負(fù)載實(shí)現(xiàn)自動分配的[異構(gòu)協(xié)同]設(shè)計(jì)，如高通即將上市的驍龍X Elite系列所示。

然而，這種協(xié)同運(yùn)算的實(shí)現(xiàn)受到當(dāng)前硬件方案[各自為戰(zhàn)]的產(chǎn)品構(gòu)成限制。

英特爾和AMD未來可能通過架構(gòu)修正解決[算力不統(tǒng)一]問題，而英偉達(dá)雖無消費(fèi)級x86 CPU產(chǎn)品線，但仍有可能通過ARM CPU進(jìn)入Windows on ARM生態(tài)。

結(jié)尾：

根據(jù)現(xiàn)有證據(jù)，NPU因其對神經(jīng)網(wǎng)絡(luò)計(jì)算的獨(dú)特優(yōu)化，在端側(cè)和邊緣側(cè)處理復(fù)雜神經(jīng)網(wǎng)絡(luò)算法時展現(xiàn)出卓越的效率與節(jié)能特性。

這一現(xiàn)象正推動AI手機(jī)、AI PC及端側(cè)AI市場的快速發(fā)展，預(yù)示著NPU的大規(guī)模商用時代即將到來。