太平洋科技要聞

首頁(yè) > 科技要聞 > 科技> 正文

天命人閑置的4090，把GPU租賃價(jià)格打下來(lái)了（doge）

量子位整合編輯：太平洋科技發(fā)布于：2024-10-24 15:07

GPU租用市場(chǎng)越來(lái)越玄幻了，價(jià)格被打下來(lái)的原因，居然可以是天命人閑置的4090被循環(huán)利用了？

最近，一種新型的GPU租賃方式開始興起。

它能讓手上有閑置計(jì)算卡的人，把資源租給需要的人。

舉個(gè)例子，為了打黑神話買了4090的天命人，可以把卡租給煉丹俠們。自己能掛機(jī)“躺著”賺錢，煉丹俠還能以更劃算的價(jià)格租算力（4090只需每小時(shí)1塊錢那種）。

距離大范圍算力荒才過(guò)去僅僅1年，算力租賃市場(chǎng)已經(jīng)是一番新氣象了。

不僅如此，老牌租賃平臺(tái)們也紛紛主動(dòng)降價(jià)。海外，H100價(jià)格被卷到每小時(shí)2美元。

國(guó)內(nèi)情況亦是如此，A100（80GB）租用價(jià)低至6.68元/小時(shí)，40GB為3.28元/時(shí)，A800則是5.98元/小時(shí)。

按理說(shuō)，現(xiàn)在正是AI算力需求旺盛的時(shí)刻。大型云廠商打價(jià)格戰(zhàn)為了跑馬圈地還可理解，算力租賃平臺(tái)價(jià)格沒有水漲船高，反而開始降價(jià)……

這背后，到底發(fā)生了啥��？

“白菜價(jià)”搞定高端算力

先一句話總結(jié)，相較于ChatGPT元年，AI算力告急問(wèn)題總體得到緩解，但是依舊面臨挑戰(zhàn)。

如上變化由算力供需側(cè)共同影響而來(lái)。

首先在算力供給上，大模型趨勢(shì)進(jìn)一步推動(dòng)AI底層硬件以及基礎(chǔ)設(shè)施發(fā)展。

國(guó)際方面，英偉達(dá)這兩年不僅擴(kuò)大了AI計(jì)算產(chǎn)品線，更在產(chǎn)能上大幅提升，以滿足暴增的市場(chǎng)需求。

Hopper架構(gòu)和Blackwell架構(gòu)均包含Transformer引擎，分別推出了2款產(chǎn)品供市場(chǎng)選擇，且不同架構(gòu)之間的代際升級(jí)非常明顯。B200的晶體管數(shù)量已達(dá)到2080億，分別是H100的2.6倍、A100的3.8倍，后兩者則發(fā)布于大模型浪潮之前。

兩個(gè)B200 GPU與Grace CPU結(jié)合就成為GB200超級(jí)芯片。在標(biāo)準(zhǔn)1750億參數(shù)GPT-3基準(zhǔn)測(cè)試中，GB200的性能是H100的7倍，提供的訓(xùn)練算力是H100的4倍。

眼下首批工程版B200已經(jīng)送到OpenAI投入使用。據(jù)天風(fēng)國(guó)際分析師郭明錤透露，英偉達(dá)Blackwell GB200四季度的出貨量將在15萬(wàn)塊至20萬(wàn)塊，明年第一季度出貨量將顯著增長(zhǎng)200%-250%，達(dá)到50-55萬(wàn)塊。

這同時(shí)帶動(dòng)了全行業(yè)的產(chǎn)品迭代升級(jí)節(jié)奏，AMD、英特爾等為保持競(jìng)爭(zhēng)力，近兩年也紛紛推出更先進(jìn)AI計(jì)算產(chǎn)品。

更具規(guī)模的變化體現(xiàn)在算力基建方面。據(jù)中國(guó)信息通信研究院測(cè)算，截至2023年底，全球算力基礎(chǔ)設(shè)施總規(guī)模達(dá)到910EFLOPS，同比增長(zhǎng)40%。

美國(guó)、中國(guó)算力基礎(chǔ)設(shè)施規(guī)模位列前兩名，算力全球占比分別為32%、26%。

另一方面，算力需求也在近一年內(nèi)發(fā)生變化。

隨著開源模型性能達(dá)到GPT-4水平（如405B Llama 3、DeepSeek-v2等），以及中小模型（7B-70B規(guī)模）應(yīng)用更加成熟，中小企業(yè)/開發(fā)者陸續(xù)入場(chǎng)，以及近期趨勢(shì)推理Scaling law成為新方向。黃仁勛預(yù)測(cè)，隨著推理鏈的出現(xiàn)，推理的規(guī)模預(yù)計(jì)將迎來(lái)千萬(wàn)乃至十億倍的增長(zhǎng)。

種種原因都導(dǎo)致市場(chǎng)的微調(diào)推理需求大幅增加，訓(xùn)練需求的增長(zhǎng)趨勢(shì)開始放緩。

相較于訓(xùn)練，推理階段對(duì)硬件的要求沒有那么高。在實(shí)際場(chǎng)景中，往往是用最先進(jìn)設(shè)備進(jìn)行訓(xùn)練，上一代產(chǎn)品進(jìn)行推理。

因此可以看到，大型廠商依舊追捧H100、B200等高端GPU，但是中小企業(yè)/開發(fā)者不再趨之若鶩，轉(zhuǎn)而關(guān)注更具性價(jià)比的選擇。

但問(wèn)題是，算力供需不平衡問(wèn)題依舊棘手。

宏觀上，《人工智能算力高質(zhì)量發(fā)展評(píng)估體系報(bào)告》中表示，我國(guó)算力市場(chǎng)還面臨供給不足、算力智能水平較低、能源考驗(yàn)、供應(yīng)鏈完備性不足等問(wèn)題。

微觀上，以學(xué)術(shù)圈為例，“算力荒”還是普遍現(xiàn)象。

今年5月，李飛飛在采訪中透露，斯坦福NLP實(shí)驗(yàn)室只有64塊A100。相比于產(chǎn)業(yè)界，這個(gè)數(shù)字不值一提，但在高校圈里已經(jīng)是相當(dāng)富有了。

更普遍的現(xiàn)象是，許多高校實(shí)驗(yàn)室都只有消費(fèi)級(jí)顯卡，大家還需要排隊(duì)使用。實(shí)驗(yàn)經(jīng)費(fèi)有限導(dǎo)致租賃算力也將面臨更多制約。

在這些矛盾下，算力市場(chǎng)開始更加主動(dòng)、自發(fā)提出新型應(yīng)對(duì)措施。

最明顯的跡象莫過(guò)于——經(jīng)典算力平臺(tái)主動(dòng)降價(jià)+新興算力租用模式浮現(xiàn)。

能薅羊毛更能掛機(jī)賺錢

今年算力市場(chǎng)最熱門的話題莫過(guò)于“價(jià)格戰(zhàn)”，這并不局限于賣大模型服務(wù)的云廠商，提供算力租賃的各大平臺(tái)也是主角。

不同類型的平臺(tái)降價(jià)方式也有所差距。

目前算力租賃平臺(tái)主要有兩種類型：

算力云平臺(tái)

C2C算力租用平臺(tái)

前者好比京東，其所有的GPU服務(wù)器是自營(yíng)資源，通常在提供算力的同時(shí)也保障一系列配套服務(wù)，能讓用戶更低門檻、更便利調(diào)用算力。該模式下，定價(jià)權(quán)在運(yùn)營(yíng)方自己手里，今年以來(lái)多家平臺(tái)都在主動(dòng)降價(jià)。

后者好比淘寶，為機(jī)主和用戶提供平臺(tái)，供雙方進(jìn)行服務(wù)交易。這種模式較為新興，可以讓有閑置計(jì)算資源的機(jī)主將GPU出租，“掛機(jī)賺錢”。它天生就能提供更具性價(jià)比的租賃價(jià)格。

不過(guò)需要注意，對(duì)于算力租賃，價(jià)格低只是考量因素之一，用戶同時(shí)關(guān)注平臺(tái)提供的服務(wù)能力。

對(duì)于前者，用戶更關(guān)心平臺(tái)提供的算力是否足夠劃算、使用是否足夠友好；對(duì)于后者，機(jī)主和用戶則更在意平臺(tái)是否靠譜。

更具體的模式分析，來(lái)看行業(yè)典型案例。

經(jīng)典算力云平臺(tái)中，論誰(shuí)打價(jià)格戰(zhàn)最兇猛，AutoDL必是其一。

有資歷的煉丹俠們對(duì)這個(gè)平臺(tái)應(yīng)該都不陌生。就是它當(dāng)年把3090的租用價(jià)格從4.5元/小時(shí)打到了1.32元/小時(shí)，在用戶這兒是有口皆碑了。

它在2021年上線，專注于提供彈性、好用、省錢的GPU算力服務(wù)。

GPU總規(guī)模在國(guó)內(nèi)同類型平臺(tái)中位列前茅，提供豐富的GPU選擇，包括A100、A800、V100、4090、3090等。

它的主要目標(biāo)用戶包含了高�？蒲腥巳阂约捌髽I(yè)用戶，所以在極具性價(jià)比的同時(shí)也主要入門友好。

平臺(tái)支持各種深度學(xué)習(xí)框架，如TensorFlow和PyTorch，并提供相應(yīng)的CUDA環(huán)境，用戶可根據(jù)需求選擇合適的鏡像。

具體能力上，兼顧科研、企業(yè)需求。主要包括：

用卡彈性：提供容器實(shí)例和API彈性調(diào)度模式，支持千卡級(jí)別彈性調(diào)度；

團(tuán)隊(duì)管理：支持實(shí)驗(yàn)室、團(tuán)隊(duì)等場(chǎng)景中對(duì)多個(gè)子賬號(hào)管理；

私有云：支持本地機(jī)器免費(fèi)接入，將AutoDL云上高效管理與使用體驗(yàn)移植本地；

CodeWithGPU社區(qū)：支持鏡像和模型分享，分享鏡像可獲取收益

付費(fèi)方面更符合“羊毛黨”需求，主要提供按秒計(jì)費(fèi)、包卡計(jì)費(fèi)兩種模式。

按量計(jì)費(fèi)模式下，實(shí)例開機(jī)開始計(jì)費(fèi)，關(guān)機(jī)結(jié)束計(jì)費(fèi)，時(shí)長(zhǎng)可精確到秒，最低計(jì)費(fèi)0.01元。關(guān)機(jī)所有數(shù)據(jù)會(huì)保留（15天），支持鏡像保存、文件存儲(chǔ)等。

包年包月為預(yù)留GPU模式，支持按日按周按月等租用，價(jià)格比按量計(jì)費(fèi)更便宜，長(zhǎng)期使用更劃算。

而且只要注冊(cè)，平臺(tái)就送一個(gè)月煉丹會(huì)員，認(rèn)證學(xué)生直接升級(jí)煉丹會(huì)員，認(rèn)證期間內(nèi)將一直有效。會(huì)員將享有價(jià)格優(yōu)惠。

另一方面，大模型趨勢(shì)興起后，C2C（用戶對(duì)用戶）模式變得火熱。

硅谷的代表為San Francisco Compute，從寂寂無(wú)名到成為黑馬，它僅僅用了半年時(shí)間。還拿下了山姆·奧特曼弟弟領(lǐng)投的1200萬(wàn)美元種子輪融資，估值達(dá)到7000萬(wàn)美元。

國(guó)內(nèi)如今也出現(xiàn)類似趨勢(shì)，比如剛剛上線3個(gè)月的橘皮優(yōu)，現(xiàn)已和AutoDL達(dá)成戰(zhàn)略合作。

按照自我定義，橘皮優(yōu)是一個(gè)促進(jìn)C2C雙邊AI算力交易的撮合平臺(tái)。

它的核心目標(biāo)是通過(guò)共享經(jīng)濟(jì)的模式，降低用戶使用AI算力的成本，同時(shí)讓私有閑置算力被高效應(yīng)用，推動(dòng)了算力普惠和綠色低碳。

該平臺(tái)支持的算力類型包括GPU、NPU、CPU、ASIC、ARM、RISC-V等，能夠滿足AI訓(xùn)練、AI推理、圖像生成以及渲染等任務(wù)需求。

相較于AutoDL，橘皮優(yōu)提供的算力租賃服務(wù)價(jià)格更低，適用于對(duì)機(jī)器配置不敏感的人群。

同時(shí)它更加定制化，支持個(gè)人的外部鏡像、實(shí)例端口靈活。

也可以在該平臺(tái)上成為機(jī)主對(duì)外出租賺外快，支持自助上機(jī)，不限制機(jī)器和數(shù)量。

由于和AutoDL達(dá)成戰(zhàn)略合作，背后團(tuán)隊(duì)是算力行業(yè)老兵，在魚龍混雜的算力市場(chǎng)里是更加靠譜的選擇。

或許也不用擔(dān)心沒人來(lái)租，畢竟AutoDL靠著性價(jià)比優(yōu)勢(shì)，在短短3年時(shí)間里形成龐大的用戶基礎(chǔ)。之前大家用卡都是靠搶的。

所以也不免有人好奇，這么低的價(jià)格，它圖啥啊？

其實(shí)，AutoDL技術(shù)團(tuán)隊(duì)本身就來(lái)自學(xué)術(shù)圈，從2017年開始就在做GPU相關(guān)服務(wù)。這樣的出身背景下，AutoDL團(tuán)隊(duì)自然更懂AI行業(yè)痛點(diǎn)，并積累了豐富經(jīng)驗(yàn)。

由此也就不難理解AutoDL為何堅(jiān)持提供量大管飽還劃算的算力資源。

隨著AI大模型應(yīng)用落地趨勢(shì)繼續(xù)，對(duì)AI算力的需求還會(huì)繼續(xù)增加。

對(duì)于很多科研高校、中小企業(yè)而言，算力會(huì)成為研發(fā)和落地應(yīng)用上的第一道門檻。

如今，隨著算力租賃市場(chǎng)發(fā)展更加完善，模式更加多樣化，使用算力也變得像去食堂打飯一樣——量大管飽還實(shí)在。

對(duì)于行業(yè)而言，這能更大程度緩解算力供需不平衡問(wèn)題，同時(shí)也讓資源實(shí)現(xiàn)更高效綠色流轉(zhuǎn)。

當(dāng)然，最主要的還是各位煉丹師們可以薅到羊毛，因?yàn)橥婧谏裨捜胧?090的天命人們也能找到回本的渠道。

文章來(lái)源：量子位

GPU租賃算力供需價(jià)格戰(zhàn)

量子位

原創(chuàng)欄目