VLA的訓(xùn)練分為預(yù)訓(xùn)練,、后訓(xùn)練和強(qiáng)化訓(xùn)練三個(gè)環(huán)節(jié),。預(yù)訓(xùn)練相當(dāng)于學(xué)習(xí)物理世界和交通領(lǐng)域的常識(shí),通過(guò)大量高清2D和3D視覺(jué)數(shù)據(jù),、交通相關(guān)的語(yǔ)言語(yǔ)料,以及與物理世界相關(guān)的視覺(jué)和語(yǔ)言聯(lián)合數(shù)據(jù),,訓(xùn)練出云端的VL基座模型,,并轉(zhuǎn)化為在車端高效運(yùn)行的端側(cè)模型。后訓(xùn)練類似于去駕校學(xué)開(kāi)車,,加入動(dòng)作數(shù)據(jù)后,,VL基座變?yōu)閂LA司機(jī)大模型,具備實(shí)時(shí)性和復(fù)雜交通環(huán)境中的博弈能力,。強(qiáng)化訓(xùn)練類似于實(shí)際開(kāi)車練習(xí),,目標(biāo)是讓VLA更安全、舒適,,對(duì)齊人類價(jià)值觀,,甚至超越人類駕駛水平。經(jīng)過(guò)預(yù)訓(xùn)練,、后訓(xùn)練和強(qiáng)化訓(xùn)練后,,VLA即可部署至車端運(yùn)行。
VLA以“司機(jī)Agent”的產(chǎn)品形態(tài)呈現(xiàn),,用戶可通過(guò)自然語(yǔ)言與司機(jī)Agent溝通,。簡(jiǎn)單通用的短指令由端側(cè)的VLA直接處理,復(fù)雜指令則先由云端的VL基座模型解析,,再交由VLA處理,。為了保障VLA的安全和舒適,理想汽車在強(qiáng)化訓(xùn)練環(huán)節(jié)投入大量資源,,并于2024年底組建超過(guò)100人的超級(jí)對(duì)齊團(tuán)隊(duì),,注入職業(yè)素養(yǎng)。此外,,理想汽車結(jié)合重建和生成兩種路徑,,打造了真實(shí)、符合物理世界規(guī)律的世界模型,,提升解決問(wèn)題的效率,,有效應(yīng)對(duì)模型黑盒帶來(lái)的挑戰(zhàn)。
判斷司機(jī)Agent是否是個(gè)好司機(jī)有三個(gè)關(guān)鍵標(biāo)準(zhǔn):專業(yè)能力、職業(yè)能力和構(gòu)建信任的能力,。VLA提升了專業(yè)能力,,超級(jí)對(duì)齊增強(qiáng)了職業(yè)能力,VLA通過(guò)理解自然語(yǔ)言和具備記憶能力提升了構(gòu)建信任的能力,。理想汽車依托自有編譯團(tuán)隊(duì),,自研底層推理引擎,使芯片可通過(guò)INT4量化的方式運(yùn)行VLM,。憑借綜合能力,,理想汽車實(shí)現(xiàn)了讓雙Orin-X芯片和Thor-U芯片運(yùn)行同等規(guī)模的VLA司機(jī)大模型。
12月25日,,理想汽車官方發(fā)布了一段2024理想AI Talk的預(yù)覽視頻,,并配文詢問(wèn)李想為何不再專注于造車,,而是轉(zhuǎn)向人工智能企業(yè)
2024-12-26 09:37:59李想宣布要做人工智能企業(yè)