據(jù)EE Times報(bào)道，Kinara 最近推出了第二代邊緣 AI 加速器 Ara-2，它可以在芯片的 6W 功率范圍內(nèi)運(yùn)行具有多達(dá) 300 億個(gè) (INT4) 參數(shù)的生成 AI 模型。Kinara 還演示了運(yùn)行 Llama2-7B 的 Ara-2 每秒生成數(shù)十個(gè)令牌，或運(yùn)行 StableDiffusion 1.4 在 10 秒內(nèi)進(jìn)行 20 次迭代。Ara-2 針對(duì)生成式 AI 工作負(fù)載進(jìn)行了優(yōu)化，包括邊緣服務(wù)器和邊緣設(shè)備應(yīng)用程序的圖像和文本生成。該公司將繼續(xù)提供其面向視覺的第一代芯片 Ara-1 和 Ara-2。

“讓它發(fā)揮作用的唯一方法是降低成本，而這正是我們所提供的，”他說。“以更高的處理效率將生成式人工智能轉(zhuǎn)移到邊緣，你將獲得更低的成本，而且顯然隱私和可靠性是大問題...... 你可以通過將模型推向邊緣來(lái)解決這個(gè)問題。”

在邊緣運(yùn)行生成式人工智能還提供了利用特定上下文信息來(lái)提高準(zhǔn)確性的機(jī)會(huì)。

“總的來(lái)說，我們看到更加個(gè)性化、更加定制的模型正在走向邊緣，并且從性能、隱私和成本的角度來(lái)看都有優(yōu)勢(shì)，”他說。


第二代邊緣AI大升級(jí)

Kinara 的第二代神經(jīng)核心具有與第一代類似的整體架構(gòu)和 AI 優(yōu)化指令集，但它比第一代更大，每個(gè)核心的 ALU 數(shù)量是第一代的兩倍。Ara-2 仍然是 8 核設(shè)計(jì)，但其性能比 Ara-1 高 5-8 倍。

Kinara 首席架構(gòu)師 Wajahat Qadeer 告訴 EE Times：“從 Ara-1 到 Ara-2，我們大大提高了核心的利用率。” “效率顯著提高。我們?cè)黾恿藘?nèi)核中 ALU 的數(shù)量，但效率是我們能夠獲得比 Ara-1 更好 5-8 倍性能的原因。”

Qadeer 表示，新內(nèi)核增加了 VLIW（超長(zhǎng)指令字）功能，針對(duì) AI 工作負(fù)載進(jìn)行了調(diào)整，這有助于避免加載/存儲(chǔ)瓶頸。（VLIW 通常用于 AI 加速器，因?yàn)樗С种噶罴?jí)并行性，這對(duì)于 AI 工作負(fù)載來(lái)說是理想的）。

矩陣乘法支持已得到增強(qiáng)，以支持變壓器網(wǎng)絡(luò)，包括 LLM 和 ViT（視覺變壓器）。相同的神經(jīng)核心可以處理常見的激活函數(shù)，如 softmax 和 ReLu。

添加了對(duì) LLM 等大型網(wǎng)絡(luò)有用的 INT4 支持以及 Microsoft 的特殊 FP16 格式MSFP16。（MSFP16 使用多個(gè)尾數(shù)的共享指數(shù)來(lái)提高計(jì)算效率）。

Ara-2 還具有增強(qiáng)的內(nèi)存結(jié)構(gòu)，增加了內(nèi)部和外部帶寬，以滿足法學(xué)碩士的需求。第二代芯片可尋址高達(dá) 16 GB LPDDR4x。

該芯片有一個(gè) L2 共享內(nèi)存，這是一個(gè)軟件控制的內(nèi)存（不是緩存，因?yàn)閿?shù)據(jù)到達(dá)的時(shí)間和延遲方面不太可預(yù)測(cè)）。數(shù)據(jù)流引擎控制數(shù)據(jù)從外部到共享內(nèi)存以及從共享到本地內(nèi)存（計(jì)算核心中的 L1）的傳輸。

“編譯器是我們的主要優(yōu)勢(shì)，”Qadeer 說。“我們的編譯器對(duì)芯片了如指掌，它能夠在無(wú)需訪問芯片的情況下確定每個(gè)操作員的數(shù)據(jù)流，然后在芯片上忠實(shí)地再現(xiàn)該時(shí)間表。”

還有處理視覺后處理的浮點(diǎn)單元（FP32 和 FP16）。Ara-2 還提供安全啟動(dòng)、加密內(nèi)存訪問和安全主機(jī)接口。

邊緣AI迎來(lái)爆發(fā)

在新的科技浪潮中，邊緣智能正日益嶄露頭角。

它代表著一種新的計(jì)算范式，將AI或大模型應(yīng)用到接近數(shù)據(jù)源的邊緣設(shè)備和傳感器中，而不是依賴傳統(tǒng)的云計(jì)算。

目前的邊緣AI芯片主要出現(xiàn)在消費(fèi)類電子設(shè)備，其中高性能手機(jī)占據(jù)了大部分的消費(fèi)級(jí)別的應(yīng)用邊緣AI芯片市場(chǎng)，邊緣AI被內(nèi)置到手機(jī)主處理器AP中，但集成進(jìn)AP的AI功能只掌握在少數(shù)幾家巨頭手中（比如蘋果/三星/華為手機(jī)廠商以及高通、聯(lián)發(fā)科和紫光展銳等手機(jī)AP供應(yīng)商），對(duì)大部分AI芯片初創(chuàng)公司只能望塵莫及。

然而，邊緣AI芯片正越來(lái)越多地應(yīng)用在非消費(fèi)類設(shè)備和場(chǎng)合，比如智能安防、ADAS/自動(dòng)駕駛、智能家居、可穿戴智能設(shè)備，以及公共場(chǎng)景、商業(yè)和工業(yè)場(chǎng)景的AI應(yīng)用，如智能交通、智慧城市、工廠機(jī)器視覺、機(jī)器人和AGV等。這些新興的AIoT和工業(yè)物聯(lián)網(wǎng)應(yīng)用場(chǎng)景為眾多邊緣AI芯片設(shè)計(jì)公司帶來(lái)更多機(jī)會(huì)，風(fēng)投也嗅到了這里蘊(yùn)含的巨大商機(jī)。因此，無(wú)論全球還是國(guó)內(nèi)市場(chǎng)，都有越來(lái)越多的AI芯片初創(chuàng)公司獲得融資。

但近年來(lái)短短數(shù)年間獲得巨大增長(zhǎng)且成功上市的AI芯片公司并不多見，更遑論得到美國(guó)等成熟市場(chǎng)芯片行業(yè)的認(rèn)可，今年成功登陸美國(guó)納斯達(dá)克市場(chǎng)的ICG（聰鏈集團(tuán)），或許會(huì)是一個(gè)較為罕見的典型特例。而好消息是，ICG也開始瞄準(zhǔn)AI芯片這一片潛藏著巨大機(jī)遇尚處于發(fā)展早期階段的領(lǐng)域，它也留意到邊緣AI里面那些“觸手可及”同時(shí)具備長(zhǎng)遠(yuǎn)商業(yè)應(yīng)用場(chǎng)景的機(jī)會(huì)。

據(jù)STL Partners數(shù)據(jù)顯示，邊緣計(jì)算潛在市場(chǎng)將在10年內(nèi)以48%的復(fù)合年增長(zhǎng)率從2020年的90億美元增長(zhǎng)到2030年的4450億美元，其中邊緣基礎(chǔ)設(shè)施的增長(zhǎng)速度是最快的，而眾所周知，邊緣AI芯片處于核心位置，具有充分的戰(zhàn)略卡位意義。

億歐智庫(kù)數(shù)據(jù)顯示，2021年我國(guó)邊緣計(jì)算市場(chǎng)規(guī)模已經(jīng)達(dá)到427.9億元，其中邊緣硬件市場(chǎng)規(guī)模為281.7億元，邊緣軟件與服務(wù)市場(chǎng)規(guī)模達(dá)146.2億元，2021-2025年中國(guó)邊緣計(jì)算產(chǎn)業(yè)規(guī)模預(yù)計(jì)年復(fù)合增速達(dá)到46.81%，2025年邊緣計(jì)算市場(chǎng)整體規(guī)模將達(dá)1987.68億元。而AI和大模型在今年出現(xiàn)了重大突破之后，以前的預(yù)測(cè)幾乎全部面臨重估——換而言之，在保守假設(shè)之下，整個(gè)中國(guó)邊緣計(jì)算產(chǎn)業(yè)規(guī)模預(yù)計(jì)將比原估計(jì)至少翻了近一番，很快就會(huì)來(lái)到3000-4000億規(guī)模左右的預(yù)測(cè)區(qū)間，關(guān)鍵取決于2024年AI應(yīng)用的爆發(fā)式增長(zhǎng)。


英飛凌、ST等大廠競(jìng)相布局

有初創(chuàng)公司表示，已感受到來(lái)自聯(lián)發(fā)科、聯(lián)詠和瑞昱等IC設(shè)計(jì)廠商的壓力，這些廠商均在加緊開發(fā)AI芯片。消息人士稱，AI處理器針對(duì)不同的應(yīng)用有不同的等級(jí)，邊緣AI芯片的性能要求已能夠與中高端智能手機(jī)AP（應(yīng)用處理器）相媲美。

意法半導(dǎo)體（ST）已經(jīng)推出了邊緣AI加速微處理器——第二代STM32 MPU。該處理器提高了工業(yè)和物聯(lián)網(wǎng)邊緣應(yīng)用的性能和安全性，預(yù)計(jì)將于2024上半年批量生產(chǎn)。

意法半導(dǎo)體執(zhí)行副總裁Ricardo De Sa Earp表示：“新的微處理器進(jìn)一步加大了公司在應(yīng)用處理器方面的投資，將64位內(nèi)核與邊緣AI加速、高級(jí)多媒體功能、圖形處理和數(shù)字連接相結(jié)合。”

同樣瞄準(zhǔn)邊緣AI芯片領(lǐng)域的大廠還有英飛凌。早前，英飛凌宣布收購(gòu)初創(chuàng)公司Imagimob，后者是一家邊緣設(shè)備機(jī)器學(xué)習(xí)解決方案提供商，專注于邊緣AI市場(chǎng)。公告提到，通過此次收購(gòu)，英飛凌將顯著補(bǔ)強(qiáng)其AI產(chǎn)品。

除了芯片端，大模型玩家也在加速布局移動(dòng)/邊緣端的相關(guān)應(yīng)用。日前舉辦的谷歌I/O大會(huì)上，谷歌宣布其PaLM2大模型的最輕量化版本Gecko可在移動(dòng)端運(yùn)行，開拓了AI模型在邊緣側(cè)推理的場(chǎng)景。對(duì)此，民生證券表示，在邊緣側(cè)推理的輕量化大語(yǔ)言模型有望帶動(dòng)邊緣AI計(jì)算成長(zhǎng)，加速邊緣硬件市場(chǎng)更新迭代。

事實(shí)上，隨著以ChatGPT為代表的AI大模型的衍生應(yīng)用不斷推出，許多終端開始實(shí)現(xiàn)智能化體驗(yàn)的升級(jí)，從而產(chǎn)生了海量的終端數(shù)據(jù)分析處理需求。在此背景下，邊緣端AI應(yīng)運(yùn)而生。此外，邊緣算力還具備低時(shí)延、高安全、隱私性較好等優(yōu)勢(shì)，符合未來(lái)AIGC時(shí)代，對(duì)于AI創(chuàng)作所有權(quán)及隱私權(quán)的要求。