蘋果要搞人形機(jī)器人這事兒現(xiàn)在傳得沸沸揚(yáng)揚(yáng)。 最近他們確實(shí)有新動(dòng)作——開發(fā)了一套機(jī)器人感知系統(tǒng)! 系統(tǒng)名為ARMOR,軟硬件協(xié)同增強(qiáng)機(jī)器人的“空間意識(shí)”,能動(dòng)態(tài)防碰撞的那種。 硬件方面,ARMOR通過在機(jī)器人手臂上安裝小型智能深度傳感器,為機(jī)器人提供幾乎完整的環(huán)境視圖,解決了傳統(tǒng)機(jī)器人感知中的盲點(diǎn)和遮擋問題。 軟件方面,蘋果開發(fā)了一個(gè)基于Transformer的AI驅(qū)動(dòng)ARMOR-Policy,能夠從人類動(dòng)作中學(xué)習(xí),幫助機(jī)器人動(dòng)態(tài)規(guī)劃行動(dòng)。 團(tuán)隊(duì)還將ARMOR部署在了傅利葉GR-1機(jī)器人上進(jìn)行實(shí)驗(yàn)。 實(shí)驗(yàn)結(jié)果顯示,與使用四個(gè)頭戴式和外部安裝的深度相機(jī)(外心感知)相比,ARMOR系統(tǒng)使碰撞降低了63.7%! 與基于采樣的運(yùn)動(dòng)規(guī)劃專家系統(tǒng)cuRobo相比,ARMOR-Policy計(jì)算效率提升26倍,確保機(jī)器人能夠迅速行動(dòng)。 看到蘋果在人形機(jī)器人方面的布局,網(wǎng)友直呼這是大勢(shì)所趨: 他們不可能永遠(yuǎn)依賴智能手機(jī)賺錢。從長(zhǎng)遠(yuǎn)來看,機(jī)器人市場(chǎng)將遠(yuǎn)大于智能手機(jī)市場(chǎng)。 ARMOR系統(tǒng)長(zhǎng)啥樣? 當(dāng)前,傳統(tǒng)人形機(jī)器人通常依賴頭部或軀干安裝的集中式相機(jī)和激光雷達(dá)進(jìn)行環(huán)境感知,這種方式雖然易于集成且能提供較好的視野范圍,但在手臂和手部區(qū)域常常存在嚴(yán)重的遮擋問題。 雖然一些研究嘗試在機(jī)器人終端執(zhí)行器上集成觸覺傳感,但這種方案成本高昂,且難以大規(guī)模應(yīng)用于機(jī)器人手臂,同時(shí)在策略學(xué)習(xí)中如何有效利用觸覺輸入仍待解決。 ARMOR系統(tǒng),提供了一種硬件和軟件整合設(shè)計(jì),它由來自卡內(nèi)基梅隆大學(xué)的學(xué)者Daehwa Kim在蘋果實(shí)習(xí)期間與蘋果團(tuán)隊(duì)共同開發(fā)。 在硬件方面,與集中式RGBD相機(jī)一次性捕捉密集幀中的全部細(xì)節(jié)不同,團(tuán)隊(duì)選擇了SparkFun VL53L5CX飛行時(shí)間(ToF)激光雷達(dá)作為基礎(chǔ)傳感單元,將稀疏感知分布在多個(gè)傳感器上,形成“以自我為中心的感知”。 這種傳感器體積為6.4×3.0×1.5mm,可以以15Hz的頻率提供8×8分辨率的深度圖像,對(duì)角視場(chǎng)為63°,測(cè)距范圍達(dá)4000mm。 研究團(tuán)隊(duì)在機(jī)器人的每個(gè)手臂上布置了20個(gè)這樣的傳感器,共計(jì)40個(gè)傳感器形成分布式感知網(wǎng)絡(luò)。 每四個(gè)傳感器連接到一個(gè)XIAO ESP微控制器,通過I2C總線進(jìn)行數(shù)據(jù)讀取,再通過USB傳輸?shù)綑C(jī)器人的板載計(jì)算機(jī)(Jetson Xavier NX),最后無線傳輸?shù)脚鋫銷VIDIA GeForce RTX 4090 GPU的Linux主機(jī)進(jìn)行處理,確保整個(gè)系統(tǒng)能夠維持15Hz的刷新率。 在軟件方面,研究團(tuán)隊(duì)開發(fā)了基于Transformer編碼器-解碼器架構(gòu)的ARMOR-Policy,類似于動(dòng)作分塊Transformer(ACT)。 該策略通過模仿學(xué)習(xí)從無碰撞的人類運(yùn)動(dòng)演示中學(xué)習(xí)。 為了訓(xùn)練這個(gè)策略,研究團(tuán)隊(duì)使用了AMASS數(shù)據(jù)集中的311922個(gè)人類真實(shí)運(yùn)動(dòng)序列(約86.6小時(shí)),這些數(shù)據(jù)包含了各種相關(guān)的人類姿態(tài),如操作、舞蹈和社交行為等。 團(tuán)隊(duì)將這些人類動(dòng)作軌跡重定向到機(jī)器人的關(guān)節(jié)配置上,并在軌跡周圍生成緊湊的障礙物,確保軌跡本身不發(fā)生碰撞。 訓(xùn)練數(shù)據(jù)的生成采用了三種策略:避障運(yùn)動(dòng)、緊急停止和無碰撞運(yùn)動(dòng)。 ARMOR-Policy的網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)考慮到了運(yùn)動(dòng)規(guī)劃可能存在多個(gè)有效解的特點(diǎn)。通過引入額外的編碼器層來推斷潛在變量z,使策略能夠通過調(diào)整z生成不同的運(yùn)動(dòng)軌跡候選。 在推理階段,系統(tǒng)會(huì)并行計(jì)算N個(gè)候選軌跡,并通過最小化機(jī)器人與點(diǎn)云之間的距離來選擇最優(yōu)路徑。網(wǎng)絡(luò)輸入包括潛在變量z、當(dāng)前和目標(biāo)關(guān)節(jié)位置(28維向量),以及40個(gè)ToF激光雷達(dá)傳感器的深度圖像數(shù)據(jù)。 深度圖像通過修改后的單通道ResNet18骨干網(wǎng)絡(luò)處理,提取512維特征。整個(gè)網(wǎng)絡(luò)架構(gòu)包含約84M參數(shù)。 實(shí)驗(yàn)驗(yàn)證顯示,ARMOR系統(tǒng)在多個(gè)方面都優(yōu)于現(xiàn)有方案。 與使用四個(gè)頭戴式和外部安裝的深度相機(jī)(外部感知)的傳統(tǒng)策略相比,ARMOR系統(tǒng)在避障性能上取得了顯著提升,碰撞降低63.7%,成功率提升78.7%。 同時(shí),與基于采樣的運(yùn)動(dòng)規(guī)劃專家系統(tǒng)cuRobo相比,ARMOR-Policy表現(xiàn)出更好的性能,碰撞減少31.6%,成功率提高16.9%,計(jì)算效率更是提升了26倍。 研究團(tuán)隊(duì)還通過在傅利葉GR-1人形機(jī)器人上部署28個(gè)ToF激光雷達(dá),實(shí)際驗(yàn)證了ARMOR系統(tǒng)在真實(shí)環(huán)境中的應(yīng)用可行性,系統(tǒng)能夠?qū)崿F(xiàn)15Hz的實(shí)時(shí)避障軌跡更新。 “蘋果做機(jī)器人幾乎是必然的” 最近,關(guān)于蘋果發(fā)力人形機(jī)器人的爆料頻出。 比如彭博社爆料,蘋果正在尋找其“下一個(gè)重大項(xiàng)目”,機(jī)器人正是其關(guān)注的領(lǐng)域之一。蘋果工程團(tuán)隊(duì)正在開發(fā)多種家庭機(jī)器人設(shè)備以及可能增強(qiáng)家庭機(jī)器人實(shí)用性的AI軟件和功能。 而蘋果機(jī)器人研發(fā)活動(dòng)由硬件工程部門和John Giannandrea領(lǐng)導(dǎo)的AI與機(jī)器學(xué)習(xí)團(tuán)隊(duì)共同進(jìn)行。 更有爆料指出,蘋果將優(yōu)先打造桌面機(jī)器人,它將作為“家庭指揮中心”,可用于 FaceTime視頻通話以及家庭安全監(jiān)控。 這一系列舉動(dòng)也引發(fā)了網(wǎng)友大量討論。 有網(wǎng)友分析,蘋果在人形機(jī)器人賽道的布局,幾乎是必然的: 蘋果人形機(jī)器人?這不僅是可能的,幾乎是必然的。憑借他們的設(shè)計(jì)理念和生態(tài)系統(tǒng)整合,他們將為個(gè)人機(jī)器人設(shè)定一個(gè)高標(biāo)準(zhǔn)。 隨著智能手機(jī)的逐漸淘汰,機(jī)器人確實(shí)有可能成為下一個(gè)普遍存在的技術(shù)。想象一下,Siri體現(xiàn)在一個(gè)時(shí)尚的人形助手中,這將是一個(gè)游戲規(guī)則的改變者! 這種分析立馬遭到其他網(wǎng)友反駁,揭老底: 蘋果之前也吵吵著要做自動(dòng)駕駛汽車,但最后還是放棄了。雖然蘋果有能力開發(fā)人形機(jī)器人,但會(huì)不會(huì)真做還是不太清楚。 蘋果偏好主導(dǎo)市場(chǎng),不喜歡面對(duì)激烈的競(jìng)爭(zhēng),而人形機(jī)器人和AI市場(chǎng)將極具競(jìng)爭(zhēng)性。 那么,你看好蘋果做人形機(jī)器人嗎? 論文鏈接:https://arxiv.org/pdf/2412.00396v1 本文來源:量子位 |
原創(chuàng)欄目
IT百科
網(wǎng)友評(píng)論
聚超值•精選
在經(jīng)歷了2018-2020年“蔚小理”的上市潮后,隨著國(guó)內(nèi)新能源汽車市場(chǎng)競(jìng)爭(zhēng)日益激烈,以及全球EV需求放緩,IPO的大門正在向造車新勢(shì)力們緩緩關(guān)閉。極氪的成功上市既是對(duì)新勢(shì)力的一次激勵(lì),也是一次警示——后來者必須面對(duì)越來越嚴(yán)苛的上市條件。留給哪吒汽車、廣汽埃安們的機(jī)會(huì)可能不多了。