Helix采用完全端到端的訓練方式,,將原始像素和文本命令映射到連續(xù)動作,,使用標準回歸損失。梯度通過用于條件化S1行為的潛在通信向量從S1反向傳播到S2,,實現兩個組件的聯合優(yōu)化,。Helix不需要任務特定的適配;它保持單一訓練階段和單一神經網絡權重集,,無需獨立的動作輸出頭或每個任務的微調階段,。
由于這種訓練設計,Helix可以在Figure機器人上進行高效的模型并行部署,,每個機器人都配備了雙低功耗嵌入式GPU,。推理流程在S2(高層潛規(guī)劃)和S1(低層控制)模型之間分割,,各自在專用GPU上運行。S2作為異步后臺進程運行,,處理最新的觀察數據和自然語言命令,,持續(xù)更新共享內存中的潛在向量。S1作為獨立的實時進程執(zhí)行,,維持平滑的整體上半身動作所需的關鍵200Hz控制循環(huán),。
Helix以200Hz的頻率協調35個自由度的動作空間,控制從單個手指運動到末端執(zhí)行器軌跡,、頭部注視和軀干姿態(tài)的所有動作。頭部和軀干控制帶來獨特挑戰(zhàn),,當它們移動時,,既會改變機器人的可達范圍,也會改變可視范圍,。機器人在調整軀干以獲得最佳可達范圍的同時,,用頭部平滑地跟蹤其手部動作,并保持精確的手指控制以進行抓取,。即使對于單個已知任務,,在如此高維的動作空間中實現這種精度一直被認為是極具挑戰(zhàn)性的。
Helix還在多智能體操作場景中展示了零樣本學習能力,,兩臺Figure機器人成功操作了在訓練中從未見過的雜貨,,展示了強大的通用泛化能力。兩個機器人使用完全相同的Helix模型權重運行,,無需針對特定機器人的訓練或明確的角色分配,。它們通過自然語言提示詞來實現協調配合,比如“把餅干袋遞給你右邊的機器人”或“從你左邊的機器人那里接過餅干袋并放入打開的抽屜中”,。
研究人員發(fā)現配備Helix的Figure機器人只需一個簡單的“拾取[X]”指令就能拾取幾乎任何小型家居物品,。即使在雜亂的環(huán)境下,機器人也能成功處理從玻璃器皿和玩具到工具和衣物等數千件前所未見的物品,,而這一切無需任何事先示范或定制編程,。Helix成功地連接了大規(guī)模語言理解能力與精確的機器人控制系統。這種通用的“語言到動作”抓取能力為類人機器人在復雜且不確定的非結構化環(huán)境中的部署開創(chuàng)了激動人心的可能性,。
11月29日,加拿大多家主流媒體因侵犯版權問題對開發(fā)ChatGPT的美國開放人工智能研究中心OpenAI聯合提起訴訟。此前,,美國《紐約時報》也以類似理由將OpenAI告上法庭
2024-12-01 13:39:00OpenAI被提起訴訟