Helix采用完全端到端的訓(xùn)練方式,，將原始像素和文本命令映射到連續(xù)動(dòng)作,，使用標(biāo)準(zhǔn)回歸損失,。梯度通過(guò)用于條件化S1行為的潛在通信向量從S1反向傳播到S2,，實(shí)現(xiàn)兩個(gè)組件的聯(lián)合優(yōu)化。Helix不需要任務(wù)特定的適配,；它保持單一訓(xùn)練階段和單一神經(jīng)網(wǎng)絡(luò)權(quán)重集,，無(wú)需獨(dú)立的動(dòng)作輸出頭或每個(gè)任務(wù)的微調(diào)階段,。

由于這種訓(xùn)練設(shè)計(jì)，Helix可以在Figure機(jī)器人上進(jìn)行高效的模型并行部署,，每個(gè)機(jī)器人都配備了雙低功耗嵌入式GPU,。推理流程在S2（高層潛規(guī)劃）和S1（低層控制）模型之間分割，各自在專(zhuān)用GPU上運(yùn)行,。S2作為異步后臺(tái)進(jìn)程運(yùn)行,，處理最新的觀察數(shù)據(jù)和自然語(yǔ)言命令，持續(xù)更新共享內(nèi)存中的潛在向量,。S1作為獨(dú)立的實(shí)時(shí)進(jìn)程執(zhí)行,，維持平滑的整體上半身動(dòng)作所需的關(guān)鍵200Hz控制循環(huán)。

Helix以200Hz的頻率協(xié)調(diào)35個(gè)自由度的動(dòng)作空間,，控制從單個(gè)手指運(yùn)動(dòng)到末端執(zhí)行器軌跡,、頭部注視和軀干姿態(tài)的所有動(dòng)作。頭部和軀干控制帶來(lái)獨(dú)特挑戰(zhàn),，當(dāng)它們移動(dòng)時(shí),，既會(huì)改變機(jī)器人的可達(dá)范圍，也會(huì)改變可視范圍,。機(jī)器人在調(diào)整軀干以獲得最佳可達(dá)范圍的同時(shí),，用頭部平滑地跟蹤其手部動(dòng)作，并保持精確的手指控制以進(jìn)行抓取,。即使對(duì)于單個(gè)已知任務(wù),，在如此高維的動(dòng)作空間中實(shí)現(xiàn)這種精度一直被認(rèn)為是極具挑戰(zhàn)性的。

Helix還在多智能體操作場(chǎng)景中展示了零樣本學(xué)習(xí)能力,，兩臺(tái)Figure機(jī)器人成功操作了在訓(xùn)練中從未見(jiàn)過(guò)的雜貨,，展示了強(qiáng)大的通用泛化能力。兩個(gè)機(jī)器人使用完全相同的Helix模型權(quán)重運(yùn)行,，無(wú)需針對(duì)特定機(jī)器人的訓(xùn)練或明確的角色分配,。它們通過(guò)自然語(yǔ)言提示詞來(lái)實(shí)現(xiàn)協(xié)調(diào)配合，比如“把餅干袋遞給你右邊的機(jī)器人”或“從你左邊的機(jī)器人那里接過(guò)餅干袋并放入打開(kāi)的抽屜中”,。

研究人員發(fā)現(xiàn)配備Helix的Figure機(jī)器人只需一個(gè)簡(jiǎn)單的“拾取[X]”指令就能拾取幾乎任何小型家居物品,。即使在雜亂的環(huán)境下，機(jī)器人也能成功處理從玻璃器皿和玩具到工具和衣物等數(shù)千件前所未見(jiàn)的物品,，而這一切無(wú)需任何事先示范或定制編程,。Helix成功地連接了大規(guī)模語(yǔ)言理解能力與精確的機(jī)器人控制系統(tǒng)。這種通用的“語(yǔ)言到動(dòng)作”抓取能力為類(lèi)人機(jī)器人在復(fù)雜且不確定的非結(jié)構(gòu)化環(huán)境中的部署開(kāi)創(chuàng)了激動(dòng)人心的可能性,。