首頁 > 科技要聞 > 科技> 正文

王炸級3nm安卓AI芯片發(fā)布：生成視頻不用聯(lián)網(wǎng)，智能體幫你點(diǎn)外賣訂酒店

量子位 整合編輯：太平洋科技 發(fā)布于：2024-10-20 18:38

安卓首款3nm、PC級Arm V9架構(gòu)、第八代NPU——天璣9400，成為了移動AI芯片的最新最強(qiáng)成果！

相比上一代生成式AI芯片天璣9300，其AI能力更上一層樓，榮登蘇黎世ETHZ移動SoC AI性能榜單之首。

天璣9400首次實(shí)現(xiàn)了端側(cè)DiT架構(gòu)支持，無需聯(lián)網(wǎng)就能在手機(jī)上體驗(yàn)Sora同款架構(gòu)視頻生成。

還有業(yè)界首發(fā)的端側(cè)LoRA訓(xùn)練，可以高效離線訓(xùn)練專屬于自己的LoRA生圖模型，同時保證隱私不泄露。

大模型方面，天璣9400能夠運(yùn)行的模型窗口文本長度提升到了32K，是天璣9300的8倍。

同時還支持端側(cè)運(yùn)行多模態(tài)大模型，并以50 Tokens每秒的超高速度超越了前SOTA。

綜合AI性能方面，天璣9400以6773分的成績領(lǐng)跑了蘇黎世ETHZ移動SoC榜單，是天璣9300的1.4倍。

而從整體上看，天璣9400采用臺積電第二代3nm制程，相較上一代單核性能提升35%，多核性能提升28%，同性能功耗降低40%……

此外，聯(lián)發(fā)科這次不僅把端側(cè)AI能力用在了模型運(yùn)行上，更是集成了天璣AI智能體化引擎（Dimensity Agentic AI Engine）。可以根據(jù)你的需求實(shí)現(xiàn)跨應(yīng)用操作，而且會記憶你的各種習(xí)慣，讓手機(jī)越用越聰明、越用越好用。

天璣9400，讓AI手機(jī)越用越聰明

先來看看聯(lián)發(fā)科通過天璣9400為我們帶來的一系列端側(cè)AI新功能。

首先，聯(lián)發(fā)科與小紅書合作，首發(fā)了端側(cè)SDXL生圖功能。

不僅各種風(fēng)格都能駕馭，關(guān)鍵是整體速度比云端生成還要快兩倍。

而且在Diffusion模型端側(cè)化這條路上，聯(lián)發(fā)科還邁出了更大一步，將視頻生成模型也帶到了端側(cè)。

這項(xiàng)技術(shù)同樣是業(yè)界首發(fā)，實(shí)現(xiàn)了從靜態(tài)圖像到視頻的大跨越。

實(shí)際體驗(yàn)下來，只用不到一分半，一段視頻就生成完成，如果放到云端……恐怕是連隊都還沒排到。

相比之下，端側(cè)的算力雖不如云，但勝在專屬于用戶個人，不需要和海量用戶爭搶。

另一個優(yōu)勢便是，所有數(shù)據(jù)都在本地儲存和處理，隱私安全更有保障。

說到這里，就要隆重介紹下天璣9400首發(fā)的端側(cè)LoRA訓(xùn)練功能——只要有照片，就能訓(xùn)練出專屬于自己的本地LoRA模型。

利用訓(xùn)練出的模型，可以生成任意姿態(tài)、任意背景的個人寫真，足不出戶拍遍全世界。

還有聯(lián)合虹軟推出的端側(cè)AI智能修圖功能，通過在端側(cè)學(xué)習(xí)到的用戶人臉信息，可以對模糊的照片智能修復(fù)。

相比于傳統(tǒng)的智能超分等處理方式，不僅更清晰，而且能夠保留面部細(xì)節(jié)，處理出的照片更加自然。

除了一系列重磅功能的首發(fā)，天璣9400也打破了多項(xiàng)業(yè)界紀(jì)錄，比如它的端側(cè)多模態(tài)模型運(yùn)算速度達(dá)到了50Tokens每秒。

利用面壁智能推出的小鋼炮模型，可以快速識別二元一次方程組圖像并做出解答。

同時還能理解圖片中文字的對應(yīng)關(guān)系，秒速讀懂外文菜單，推薦菜品并直接算好價格。

當(dāng)然整體AI性能也經(jīng)得起檢驗(yàn)，在權(quán)威的蘇黎世ETHZ AI Benchmark 6.0榜單中以6773分的總成績排名第一。

該榜單涵蓋了不同類型的34款模型，同時包括int8、int16、fp16等多種，涉及速度和準(zhǔn)確性等多種指標(biāo)，是對AI能力的全面評估。

兼容適配上，聯(lián)發(fā)科也已經(jīng)與國內(nèi)外的9家大模型廠商達(dá)成合作，支持了一系列的主流大模型。

在強(qiáng)大的端側(cè)AI算力支持下，聯(lián)發(fā)科提出了“智能體AI手機(jī)”的新概念，讓移動終端變得更智慧。

天璣9400中內(nèi)置的AI智能體化引擎（Dimensity Agentic AI Engine ），能夠?qū)I模型和應(yīng)用變成一個個智能體，讓手機(jī)變成一個強(qiáng)大的“后援軍團(tuán)”。

以點(diǎn)外賣這個場景為例，普通的AI助手最多不過是能夠幫助我們打開外賣軟件，但智能體化之后，可以全程通過語音交流，完成從選擇餐點(diǎn)到完成支付的整個過程。

請看VCR：

基于通義千問大模型驅(qū)動的智能體，現(xiàn)已經(jīng)支持了多款智能體化應(yīng)用。

而且隨著使用過程的深入，智能體會記住你的習(xí)慣偏好，變得越來越聰明、越來越懂你、越來越好用。

比如根據(jù)你的喜好推薦電影，然后根據(jù)之前的購票習(xí)慣，不用多做解釋就能幫你選好習(xí)慣的位置。

當(dāng)然要實(shí)現(xiàn)這樣的效果，除了聯(lián)發(fā)科自身提供的算力，也離不開生態(tài)的支持，從芯片到終端，從模型到應(yīng)用都必須全面發(fā)力。

為此，聯(lián)發(fā)科聯(lián)合vivo、OPPO等多家廠商共同發(fā)起了AI智能體化引擎先鋒計劃，一同讓智能體應(yīng)用生態(tài)變得更完整豐富。

另一方面，聯(lián)發(fā)科也在積極與開發(fā)者合作，為AI智能體、第三方應(yīng)用程序和大模型之間提供統(tǒng)一的標(biāo)準(zhǔn)接口，實(shí)現(xiàn)AI跨應(yīng)用串聯(lián)。

這不僅能夠縮短AI產(chǎn)品的開發(fā)周期，更有利于加速構(gòu)建應(yīng)用更豐富、體驗(yàn)更出色的AI生態(tài)。

伴隨著算力專屬、隱私保障、無網(wǎng)絡(luò)運(yùn)行等需求，發(fā)展端側(cè)AI已逐漸成為新的共識。

其中，AI手機(jī)是端側(cè)AI的終極載體，無論是設(shè)備保有量還是使用時長，均多于PC產(chǎn)品。

從手機(jī)AI科技樹的角度，聯(lián)發(fā)科是當(dāng)之無愧的強(qiáng)者，今天的天璣9400將加速手機(jī)的智能體化，借助先進(jìn)的AI技術(shù)和生態(tài)，豐富和提升人們的生活。

在這背后，必然離不開強(qiáng)大技術(shù)的支撐。

軟硬件技術(shù)協(xié)同發(fā)力

在技術(shù)上，聯(lián)發(fā)科在軟硬件兩方面同時進(jìn)行研發(fā)，讓軟硬件共同配合，實(shí)現(xiàn)了端側(cè)AI的新跨越。

例如，龐大的內(nèi)存占用是AI模型端側(cè)化的一個重要瓶頸，為此，聯(lián)發(fā)科采取了低位寬KV緩存技術(shù)，同時結(jié)合分組查詢注意力（GQA）極致 ，降低了50%的內(nèi)存需求。

此外，天璣9400不僅搭載了聯(lián)發(fā)科第八代AI處理器——NPU 890，還將模型的運(yùn)算工作全部放入NPU中，用更適合AI運(yùn)算特點(diǎn)的NPU來加速運(yùn)算，具體來說有一系列舉措：

將專家路由等模塊全部轉(zhuǎn)移至NPU，實(shí)現(xiàn)了端側(cè)混合專家（MoE）模型的純NPU運(yùn)算；

對于DiT（類Sora）模型，針對4D、5D的張量，利用NPU硬件獨(dú)特的時域神經(jīng)元硬件指令進(jìn)行加速；

對于端側(cè)LoRA訓(xùn)練，采用了新的反向傳播算子指令集，將過去C/GPU上的指令，融入到了NPU能夠支持的加速指令中……

聯(lián)發(fā)科技，作前沿科技的推動者

所以歸結(jié)起來，聯(lián)發(fā)科技的新技術(shù)和新產(chǎn)品，究竟在帶來什么呢？

這個問題可以從多個層面來回答。

首先對于終端用戶，是更低門檻的AI普惠。

越來越多的AI能力被帶進(jìn)端側(cè)，意味著手機(jī)用戶不用在浩如煙海的云服務(wù)中挑的眼花繚亂，直接在本地就能體驗(yàn)到豐富多彩的AI應(yīng)用。

另一方面，聯(lián)發(fā)科天璣9400主導(dǎo)的智能體化應(yīng)用方式鋪展開來，AI應(yīng)用的使用也將進(jìn)一步下沉。

同時還會帶動智能手機(jī)的使用門檻進(jìn)一步降低，讓因種種原因不會操縱手機(jī)的老年人等群體，在電子信息時代避免“掉隊”。

第二，是給方興未艾的大模型繼續(xù)灌注強(qiáng)心劑。

大模型的前期投入耗資巨大，而開發(fā)者想要收回成本，用戶規(guī)模是一大必然要素。

而聯(lián)發(fā)科技憑借終端保有量的優(yōu)勢，加上模型使用的便捷化，無疑為大模型帶來了更多的應(yīng)用場景。

當(dāng)然，對于終端廠商以及聯(lián)發(fā)科自身，新的功能也是獲得用戶關(guān)于端側(cè)AI反饋的重要途徑。

隨著越來越多AI概念的產(chǎn)品化、落地化，用戶對AI產(chǎn)品的期望，以及對其不足的認(rèn)識，都變得更加具體，能夠更有針對性地反饋出改進(jìn)意見。

總之，這一系列舉措將有望串聯(lián)起更完整、更宏大的端側(cè)生成式AI生態(tài)，讓芯片廠商、終端廠商、應(yīng)用開發(fā)者和用戶共同從中汲取收益，通過相互促進(jìn)實(shí)現(xiàn)產(chǎn)業(yè)的共同繁榮。

去年，聯(lián)發(fā)科技首款端側(cè)生成式AI芯片天璣9300正式亮相，已讓更多的人感受到端側(cè)特別是手機(jī)上的AI開始變得觸手可及。

半年后，天璣9300的升級版9300+又與人們見面，端側(cè)AI的戰(zhàn)場變得更加熱鬧，模型和應(yīng)用側(cè)也有越來越多的從業(yè)者開始關(guān)注終端市場。

天璣開發(fā)者大會上，聯(lián)發(fā)科在芯片、模型及應(yīng)用等層面與開發(fā)者、合作伙伴共同探索端側(cè)技術(shù)路線，進(jìn)一步筑起了端側(cè)的生態(tài)基建。

如今的天璣9400又成為了新的王者級5G智能體AI芯片，并將端側(cè)智能從基礎(chǔ)的大模型嵌入，帶到了智能體化這一新的高度，在“智能”與“智慧”之間，畫出了一道新的分水嶺。

PS：首批采用天璣9400芯片的智能手機(jī)即將上市，屆時可以通過這些設(shè)備體驗(yàn)到天璣9400更強(qiáng)大的端側(cè)AI能力。

AI終端，終端AI，AI即將觸手可及，無處不在。

本文來源：量子位
量子位

網(wǎng)友評論

聚超值•精選

推薦 手機(jī) 筆記本 影像 硬件 家居 商用 企業(yè) 出行 未來
二維碼 回到頂部