首頁 > 科技要聞 > 科技> 正文

蘋果首次公布自研模型細(xì)節(jié)！ 揭秘 Apple 智能怎么煉成，即使沒有 GPT-4o 也能打

appso 整合編輯：太平洋科技 發(fā)布于：2024-06-13 17:19

蘋果發(fā)布會(huì)剛開到一半，Apple 智能（Apple Intelligence）的詞條就已經(jīng)席卷了熱搜榜。

發(fā)布會(huì)上，蘋果官宣牽手 OpenAI，GPT-4o 將被正式融合到 Apple 智能系統(tǒng)。

盡管蘋果高管 Craig Fedrighi 對(duì)外表示，OpenAI 僅僅只是入選者之一，但這場(chǎng)看似珠聯(lián)璧合的合作卻還是躲不過外界的「挑刺兒」和「吃瓜」。

就連馬斯克都來湊熱鬧，先是給蘋果的隱私保護(hù)打了個(gè)差評(píng)，接著放狠話說要禁用蘋果設(shè)備，不過，劇情總有反轉(zhuǎn)，據(jù) CNBC 報(bào)道，馬斯克已經(jīng)撤回了針對(duì) OpenAI 及其 CEO Sam Altman 的訴訟。

另外，還有細(xì)心的網(wǎng)友發(fā)現(xiàn)新版 Siri 似乎真能讀取手機(jī)上的所有應(yīng)用程序，究竟真相如何，不妨翻閱一下蘋果最新發(fā)布的博客，或許這里面隱藏著答案。

端云混合，30 億參數(shù)端側(cè)模型有驚喜

Apple 智能走的是兩條腿并行的路，即端側(cè)模型和云端大模型。

云端大模型自不用提，龐大而復(fù)雜，需要在蘋果的芯片服務(wù)器上運(yùn)行，并且還能夠處理更專業(yè)、更復(fù)雜的任務(wù)。

而在端側(cè)模型上，Apple 智能擁有一個(gè)大約 3B 參數(shù)的模型。在國內(nèi)普遍徘徊在 7B 的水平線面前，蘋果的 3B 參數(shù)顯得有些低調(diào)。

一般來說，考慮到端側(cè)設(shè)備計(jì)算能力和存儲(chǔ)空間有限，參數(shù)越多，模型的學(xué)習(xí)能力越強(qiáng)。盡管蘋果這個(gè)端側(cè)模型只有 3B 參數(shù)，但也是「四兩撥千斤」的標(biāo)桿之作。

在過去的一整年， 類似這種大有打破「Scaling Laws」的案例我們可沒少見。

比如微軟最新的 Phi-3-mini 模型，只用 3.8B 參數(shù)就敢與 7B 大哥叫板。又或者，跑在 Google Pixel 8 Pro 上的 Gemini Nano 分別只有 1.8B（Nano-1）和 3.25B （Nano-2）。

比起紙面參數(shù)上的較量，蘋果主打一個(gè)用戶的體驗(yàn)才是王道。

博客透露，蘋果采用了很多真實(shí)世界中的例子來測(cè)試模型的實(shí)際效果，從分類、問答、數(shù)學(xué)推理、到開放式問答、安全性、總結(jié)和寫作，可謂是應(yīng)有盡有。

而且，就算是和 Phi-3-mini、Gemma-7B、Mistral-7B 等模型同臺(tái)競(jìng)技，在人類「評(píng)委」的投票下，蘋果的端側(cè)模型也都是眾望所謂的佼佼者。

蘋果對(duì) AI 的追求，不僅僅是好用，更是安全。

比如在測(cè)試處理有害內(nèi)容、敏感話題和事實(shí)準(zhǔn)確性的能力上，蘋果基礎(chǔ)模型也都是下足了功夫，違規(guī)率遠(yuǎn)低于絕大多數(shù)模型。

作為一家作為坐擁超過 22 億活躍設(shè)備的巨頭，蘋果在違規(guī)率上的選擇似乎只有低和更低。這其實(shí)也與蘋果一貫的安全措施相吻合。

它必須了解你，并基于你的個(gè)人背景，比如你的日常生活、你的人際關(guān)系、你的溝通等等，所有這一切都超出了人工智能的范圍。這是個(gè)人智能，也是蘋果公司的下一個(gè)重大舉措。

庫克的這番話雖然口頭上處處不談隱私，但字里行間全是隱私的雷點(diǎn)。

假如 AI 成了我們的「第二大腦」，隱私保護(hù)就不可以也不能是擺設(shè)。蘋果給出的方案是，Apple 智能是要深深扎根在 iPhone、iPad 和 Mac 里，這絕非功能或者服務(wù)，而是要成為系統(tǒng)的一部分。

但也正是因?yàn)槿绱耍R斯克聲稱如果蘋果對(duì) ChatGPT 是系統(tǒng)級(jí)別的集成，他將禁止員工將 iPhone 帶入特斯拉。

不過，或許也不用過于擔(dān)心這個(gè)問題，Apple 智能背后的模型主要分成三層。

本地模型：主要是經(jīng)過微調(diào)的 3B 小模型，專用于摘要、潤色等任務(wù)，經(jīng)過適配器的加持后，能力不弱

私有云計(jì)算：本地模型滿足不了要求的，會(huì)傳到云端運(yùn)算。蘋果確保端到端加密，保障用戶數(shù)據(jù)的安全和隱私

第三方 LLM：用于泛用的知識(shí)問答聊天，如 Siri 等應(yīng)用接入了 GPT-4o 等外部模型

也就是說，蘋果本質(zhì)上還是將 OpenAI 的 ChatGPT 模型視為一個(gè)插件，也可能跟其他模型合作。如果蘋果自研模型足夠強(qiáng)，蘋果自然可以完全淘汰第三方 LLM。

另外，博客也提到，Apple 智能系統(tǒng)還包括其他一些模型，比如可以幫助程序員在 Xcode 中編寫代碼的模型，以及幫助用戶在發(fā)短信時(shí)能夠更直觀、有趣地表達(dá)自己想法的擴(kuò)散模型。

Apple 智能是如何煉成的

如果你想在電腦上制作視頻，那你需要安裝一些額外的應(yīng)用程序。在 AI 模型的世界里，蘋果模型背后用到的「適配器」也是同樣的道理。

簡(jiǎn)單來說，適配器即一些模型權(quán)重的小集合，相當(dāng)于一個(gè)小型的插件，讓模型能夠快速適應(yīng)不同的任務(wù)。

例如，模型處理郵件和通知的總結(jié)，看起來差不多，但實(shí)際上有許多細(xì)微的差別，所以蘋果給模型加上了一個(gè)叫做 LoRA 的適配器，讓它能更好地完成這種任務(wù)。

蘋果還特別挑選了 750 個(gè)不同的總結(jié)來測(cè)試實(shí)際效果，結(jié)果發(fā)現(xiàn)，用了適配器的模型確實(shí)比別的模型做得更好。

蘋果的訣竅在于，只調(diào)整這些適配器，而不動(dòng)基礎(chǔ)模型的「出廠設(shè)置」。這樣做的好處是，模型保留了它原有的廣泛知識(shí)，同時(shí)又能夠通過適配器來學(xué)習(xí)一些特殊的技能。

更重要的是，每個(gè)適配器占用的空間不大，哪怕模型有 30 億參數(shù)的模型大腦，也不過占幾十兆的「腦細(xì)胞」。

要想讓模型學(xué)得好，數(shù)據(jù)的質(zhì)量非常關(guān)鍵。

蘋果在訓(xùn)練模型時(shí)采取了一種混合策略，選擇用人工標(biāo)注的數(shù)據(jù)和蘋果自己生成的數(shù)據(jù)一起訓(xùn)練。

至于在訓(xùn)練這些基礎(chǔ)模型時(shí)，蘋果用的是一些經(jīng)過許可的特定數(shù)據(jù)，包括一些專門挑選出來增強(qiáng)模型特定功能的數(shù)據(jù)，以及用網(wǎng)絡(luò)爬蟲 AppleBot 從網(wǎng)上收集的公開數(shù)據(jù)。

蘋果還強(qiáng)調(diào)，在訓(xùn)練這些基礎(chǔ)模型的過程中，蘋果并沒有用到用戶的私人信息或者用戶的任何交互數(shù)據(jù)，甚至還特別小心地用過濾器去清除那些在網(wǎng)上公開的個(gè)人信息。

訓(xùn)練過程中，蘋果開發(fā)了兩種新的技術(shù)手段來提高模型的效果：

具體來說，第一種方法是在訓(xùn)練時(shí)，蘋果會(huì)讓模型參考一些「老師」的意見，這些「老師」會(huì)幫助模型在遇到不確定的情況時(shí)做出選擇。

第二種技術(shù)叫做基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF），它是用一種特殊的優(yōu)化策略和留一算法來調(diào)整模型，讓模型能夠更好地估計(jì)自己的輸出是否準(zhǔn)確。

通過這兩種方法，模型在執(zhí)行任務(wù)時(shí)的準(zhǔn)確性有了很大的提升，學(xué)得更快、更準(zhǔn)確。而在解決手機(jī)和云端服務(wù)器資源有限的問題上，蘋果也施展了好幾個(gè)新招數(shù)：

分組查詢注意力（grouped-query-attention）：優(yōu)化模型處理文字的方式

共享輸入輸出詞匯表：端側(cè)模型擁有 49k token，云端模型擁有 100k token，且包含更多的語言和技術(shù)相關(guān)的詞匯

低比特量化（low-bit palletization）：在減輕手機(jī)電量和內(nèi)存壓力的同時(shí)，讓模型運(yùn)行得更快

混合配置策略：采用 2 位和 4 位配置的策略，即使在有限的空間里，也能保持和沒有壓縮的模型一樣的準(zhǔn)確性

Talaria 工具：幫助模型選擇最合適的「?jìng)鬏斔俣取?/p>

激活量化和嵌入量化：讓神經(jīng)引擎上的鍵值緩存更靈活更高效

隨著這些優(yōu)化策略一一落實(shí)，蘋果的模型在 iPhone 15 Pro 上的表現(xiàn)足以令人矚目，每個(gè) token 的處理時(shí)間僅需 0.6 毫秒，而且每秒能生成 30 個(gè) token。

這還不算，蘋果還「藏著」一些技巧可以讓 token 的生成速度更快，不過蘋果在博客中并未透露太多。

實(shí)際上，Apple 智能的登場(chǎng)談不上早，但也算不上太晚。

晚的是，在其他 Android 廠商早在 AI 手機(jī)賽道上馳騁了一兩年時(shí)，蘋果似乎只是在一旁靜靜地觀察，直到最近，才緩緩地邁出自己步伐。

但別忘了，蘋果作為全球領(lǐng)先的終端消費(fèi)場(chǎng)景制造商，它的每一個(gè)動(dòng)作都牽動(dòng)著市場(chǎng)的脈搏。簡(jiǎn)言之，在 AI 的實(shí)際落地場(chǎng)景中，蘋果才是不可或缺的那一個(gè)。

這就好比，將 AI 命名為 Apple Intelligence，表明上看是一個(gè)巧妙的「諧音梗」，但從更深層次來看，當(dāng) Apple 智能融入蘋果的生態(tài)系統(tǒng)，這本身就是一種實(shí)力和自信的象征。

當(dāng)然，在此之前，無論是廠商在 AI 賽道上的博弈也好，還是無法回避的隱私問題也罷，我更感興趣的是，國行蘋果的 AI 功能究竟會(huì)花落誰家？

博客原文：https://machinelearning.apple.com/research/introducing-apple-foundation-models

本文來源：Appso

網(wǎng)友評(píng)論

聚超值•精選

推薦 手機(jī) 筆記本 影像 硬件 家居 商用 企業(yè) 出行 未來
    • 二維碼 回到頂部