太平洋科技 出行

“端到端”的風(fēng)正在席卷中國智駕行業(yè)。

進(jìn)入 2024 年下半年，如果有車企談智能駕駛時(shí)不談“端到端”，那大概率會被視為落后了。

7月5日，理想汽車發(fā)布了基于端到端模型、VLM 視覺語言模型和世界模型的全新自動駕駛技術(shù)架構(gòu)。這基本是理想汽車端到端路徑的一次方法論輸出，較為完整地呈現(xiàn)出理想智駕下一步發(fā)展路徑。

在虎嗅汽車看來，此次發(fā)布有三大值得關(guān)注的焦點(diǎn)——理想的“端到端”和其它玩家的有何不同？理想的智駕研發(fā)到了什么程度？以及，理想為何在此時(shí)強(qiáng)調(diào)智駕技術(shù)能力？

相較華為，理想方案更為激進(jìn)

先看理想全新的自動駕駛技術(shù)架構(gòu)。其受諾貝爾獎得主丹尼爾·卡尼曼的快慢系統(tǒng)理論啟發(fā)，在自動駕駛領(lǐng)域模擬人類的思考和決策過程，采用了“快系統(tǒng)”和“慢系統(tǒng)”進(jìn)行協(xié)同。

快系統(tǒng)，即系統(tǒng) 1，善于處理簡單任務(wù)，是人類基于經(jīng)驗(yàn)和習(xí)慣形成的直覺，足以應(yīng)對駕駛車輛時(shí) 95% 的常規(guī)場景。

慢系統(tǒng)，即系統(tǒng) 2，是人類通過更深入的理解與學(xué)習(xí)，形成的邏輯推理、復(fù)雜分析和計(jì)算能力，在駕駛車輛時(shí)用于解決復(fù)雜甚至未知的交通場景，占日常駕駛的約 5%。

在這一架構(gòu)原型下，系統(tǒng) 1 由端到端模型實(shí)現(xiàn)，通過接收傳感器輸入，并直接輸出行駛軌跡用于控制車輛。系統(tǒng) 2 由 VLM 視覺語言模型實(shí)現(xiàn)，其接收傳感器輸入后，經(jīng)過邏輯思考，輸出決策信息給到系統(tǒng) 1。雙系統(tǒng)構(gòu)成的自動駕駛能力將在云端利用世界模型進(jìn)行訓(xùn)練和驗(yàn)證。

據(jù)理想的說法，其系統(tǒng) 1 的端到端模型采用的是 One Model 方案，主要由攝像頭和激光雷達(dá)構(gòu)成，多傳感器特征經(jīng)過 CNN 主干網(wǎng)絡(luò)的提取、融合，投影至 BEV 空間。

另外理想在輸入端還加入了車輛狀態(tài)信息和導(dǎo)航信息，經(jīng)過 Transformer 模型的編碼，與 BEV 特征共同解碼出動態(tài)障礙物、道路結(jié)構(gòu)和通用障礙物，并規(guī)劃出行車軌跡。

相較于華為、小鵬等廠商采用的是分段式端到端方案，理想采用的 One Model 方案更為激進(jìn)。特斯拉同樣是 One Model 方案，但其“輸入圖像、輸出控制”的方案比理想的“輸入傳感器信息、輸出行駛軌跡”更進(jìn)一步。

需要指出的是，目前各家廠商在端到端上采用不同的路徑只是選擇上的差異，并無優(yōu)劣之分。

理想這套架構(gòu)的特別之處其實(shí)是系統(tǒng) 2，其基于的 VLM 視覺語言模型的算法架構(gòu)由一個(gè)統(tǒng)一的 Transformer 模型組成，將 Prompt（提示詞）文本進(jìn)行 Tokenizer（分詞器）編碼，并將前視相機(jī)的圖像和導(dǎo)航地圖信息進(jìn)行視覺信息編碼，再通過圖文對齊模塊進(jìn)行模態(tài)對齊，最終統(tǒng)一進(jìn)行自回歸推理，輸出對環(huán)境的理解、駕駛決策和駕駛軌跡，傳遞給系統(tǒng) 1 輔助控制車輛。

在實(shí)際場景中，如果系統(tǒng)二發(fā)現(xiàn)行駛過程中地面路面非�？油莶黄綍r(shí)候，其會給系統(tǒng) 1 發(fā)一個(gè)降速的提醒，并告知駕駛員前方的坑洼路車輛將慢速行駛，減少顛簸；又或者是能夠識別公交車道的位置以及辨別潮汐車道等。

用理想的話說，系統(tǒng) 2 相當(dāng)于副駕坐了個(gè)駕校的教練時(shí)刻監(jiān)督駕駛行為。值得一提的是，小鵬的大語言模型 XBrain、毫末的自動駕駛語義感知大模型也有類似能力。

據(jù)悉，理想的 VLM 模型參數(shù)量達(dá)到 22 億，VLM 模型在車端的推理時(shí)間也從 4.1 秒優(yōu)化至 0.3秒。

雙系統(tǒng)之外，理想還介紹了端到端方案的測試和驗(yàn)證方法。業(yè)內(nèi)主流的做法是通過 3D 虛擬環(huán)境、重建式仿真、生成式仿真等進(jìn)行仿真測試。理想的做法則是結(jié)合了重建仿真和生成仿真兩種技術(shù)路徑，相當(dāng)于做了重建的真題和生成的模擬題。

事實(shí)上，特斯拉也利用了大模型生成連續(xù)視頻，打造 World Model 即世界模型；自動駕駛公司 Wayve 的自動駕駛大模型 GAIA-1（已擁有 90 億個(gè)參數(shù)）也同樣可以生成駕駛場景視頻，描述場景以及做出預(yù)測。

總的來看，理想的技術(shù)架構(gòu)是在車端布局雙系統(tǒng)，ONE Model 的端到端模型讓其自動駕駛系統(tǒng)擁有了像人類老司機(jī)的行為能力；VLM 模型能夠讓自動駕駛系統(tǒng)擁有像人類一樣的邏輯思考能力；而世界模型則是提供了學(xué)習(xí)和考試的環(huán)境，擁有快速迭代的能力。

據(jù)理想智能駕駛負(fù)責(zé)人郎咸朋透露，其端到端方案從去年下半年就在內(nèi)部孵化并啟動預(yù)研，目前已經(jīng)完成了模型的原型驗(yàn)證和實(shí)車的部署。

不過，這一方案還難以交付給用戶，理想在本月給 AD Max 用戶的，是推送無圖 NOA 方案。

智能駕駛迎來超車時(shí)刻

“端到端”正在成為各家廠商智能駕駛追逐戰(zhàn)的重要方向。

今年 3 月，元戎啟行能夠?qū)⒍说蕉四Ｐ统晒ι宪�；華為在 4 月發(fā)布乾崑 3.0 時(shí)就表示技術(shù)轉(zhuǎn)向 GOD/PDP 網(wǎng)絡(luò)全新架構(gòu)，實(shí)現(xiàn)預(yù)決策規(guī)劃一張網(wǎng)；小鵬 5 月在 AI DAY 上宣布端到端大模型已經(jīng)量產(chǎn)上車。另外，包括蔚來、小米、小鵬等廠商都對智駕團(tuán)隊(duì)進(jìn)行了調(diào)整以開展端到端的布局。

可以看到，包括特斯拉在內(nèi)的各家廠商在端到端技術(shù)方向上目前都處在探索當(dāng)中，盡管在方案、路徑上的選擇各有不同，但可以肯定的是，端到端已經(jīng)成為智駕前進(jìn)的方向。

不過，端到端會放大智駕系統(tǒng)的上限與下限，其能夠帶來智駕能力提升的同時(shí)，也帶來的難以解決的安全問題，端到端是一個(gè)神經(jīng)網(wǎng)絡(luò)黑箱，其不可解釋性帶來了一部分安全隱患。

在各家爭相布局之際，理想是首個(gè)公開端到端技術(shù)方案的車企，李想本人上個(gè)月在重慶論壇就公開了兩大系統(tǒng)的做法引起了業(yè)內(nèi)熱議，此次更是將全套技術(shù)架構(gòu)方案公示，可謂是趁熱打鐵。

考慮到理想在下半年不會有新品發(fā)布，其率先在智駕能力上的輸出既能讓企業(yè)保持熱度，或也有維持其現(xiàn)有產(chǎn)品競爭力的考量。另外，端到端技術(shù)路徑的布局也給了理想在智駕能力上追趕的機(jī)會。

相較于華為、小鵬等采用分段式端到端做法，理想的端到端模型實(shí)現(xiàn)難度更大，其從PPT到走向量產(chǎn)落地要耗時(shí)多久，效果如何，還需要保持觀察。

根據(jù)辰韜資本發(fā)布的《端到端自動駕駛行業(yè)研究報(bào)告》，國內(nèi)自動駕駛公司的模塊化端到端方案上車量產(chǎn)時(shí)間可能會在 2025年。是騾子是馬，明年就到了拉出來遛遛的時(shí)候了。