來和機器狗一起運動吧,，你的羽毛球搭子來了。通過強化學(xué)習(xí),，機器狗學(xué)會了獨立打羽毛球,，無論是在室外還是室內(nèi)都能應(yīng)對自如,。

研究人員開發(fā)了全身視覺運動控制策略，同步控制機器狗的腿部移動和手臂揮拍動作,。最終，機器狗的最高揮拍速度達到了12米/秒,。在與人類選手的比賽中,，某一回合連續(xù)擊球10次,，甚至出現(xiàn)了擊球后回位中心的類人行為,。該研究在各種環(huán)境中進行了大量實驗，驗證了四足機器人預(yù)測羽毛球軌跡,、有效導(dǎo)航服務(wù)區(qū)域以及對人類球員進行精準(zhǔn)打擊的能力，證明了足式移動機器人在復(fù)雜和動態(tài)體育場景中的應(yīng)用可行性,。研究團隊來自蘇黎世聯(lián)邦理工學(xué)院，相關(guān)論文發(fā)表在《科學(xué)·機器人》雜志上,。

學(xué)會打羽毛球的機器狗配置如下：主體由一個四足ANYmal-D底座和一個動態(tài)手臂DynaArm組成。它配備了一個帶有全局快門的ZED X立體相機用于羽毛球感知,。相機計算出的羽毛球位置和機器人本體感知觀測值一起被輸入到強化學(xué)習(xí)策略中。然后生成關(guān)鍵指令來控制四足底座,。羽毛球拍相對于腕關(guān)節(jié)呈45°角定向,，這是根據(jù)早期仿真測試得出的最佳配置。在部署過程中,，機器狗以400 Hz的頻率運行，同時機器人控制策略以100 Hz的速率更新觀測值并發(fā)送關(guān)節(jié)位置指令,。系統(tǒng)的感知模塊包括羽毛球位置測量、狀態(tài)估計和軌跡預(yù)測,，以60 Hz的頻率異步運行,。

基于這個配置,，機器狗和人類業(yè)余羽毛球選手進行了比賽,。盡管存在一些失誤,，但機器狗能夠根據(jù)不同速度和落點的來球做出適當(dāng)反應(yīng),。平均來說,，感知模塊在對手機球后需要花費0.357秒來判斷攔截軌跡,。通常，羽毛球會在0.654秒后達到四足底座上方1.25米然后被攔截,。記錄中,，機器狗從預(yù)測到擊球最快耗時0.367秒,。在官方放出的視頻中，有一次對打進行了10次連續(xù)擊球。每次擊球后,，機器狗會自動向球場中心移步，類似于人類玩家調(diào)整站位和站姿為下一次擊球做準(zhǔn)備,。

在給定真實感知的情況下，研究人員評估了在指令揮拍時間到達攔截位置0.1米范圍內(nèi)的擊球百分比,。仿真結(jié)果表明，在發(fā)球區(qū),，機器狗攔截來球幾乎一攔一個準(zhǔn)，失敗率可忽略不計,。但在發(fā)球區(qū)邊界或羽毛球直接落在機器狗身后時，預(yù)測羽毛球軌跡并成功攔截就變得非常困難,。當(dāng)羽毛球從正上方或正后方接近機器狗時,，它必須直接向上俯仰，這對機器狗來說很有難度,。執(zhí)行10m/s的揮拍速度時，機器狗基本都能跟蹤指令速度,；速度超過10m/s時，精度就會下降,。當(dāng)命令其以19m/s揮拍時,，機器狗出現(xiàn)了最高執(zhí)行速度，即12.06m/s,。相比之下,，業(yè)余羽毛球運動員可以達到20m/s至30m/s的揮拍速度,。系統(tǒng)在接近其電流和關(guān)節(jié)速度極限的情況下運行以實現(xiàn)這些指令。更高的指令速度導(dǎo)致基座角速度增加,，表明基座姿態(tài)控制與操作器揮動之間存在耦合。球拍在指令的擊球時刻精確到達其最近點,。在指令12m/s揮拍時,，機器狗執(zhí)行的平均揮拍速度為10.8m/s,，平均位置誤差為0.117米,。換句話說，當(dāng)球拍以目標(biāo)速度移動時,，僅有0.0108秒的偏移,。

在整個羽毛球大戰(zhàn)中，機器狗會自主學(xué)習(xí)動態(tài)調(diào)整相機姿態(tài),，根據(jù)任務(wù)緊迫性動態(tài)調(diào)整步態(tài),，包括短距離微調(diào)姿態(tài),、中距離不規(guī)則步態(tài)、長距離類疾馳步態(tài)等,。例如,，它以快跑進行遠距離快速攔截，并在近距離回擊時穩(wěn)定，動態(tài)協(xié)調(diào)手臂和腿部,。

打羽毛球的難點在于需要復(fù)雜的步法和上肢運動之間的相互協(xié)調(diào),。對機器狗來說，這也是一項需要精確協(xié)調(diào)感知,、移動和手臂揮動的任務(wù),。更進一步來說，需要在動態(tài)環(huán)境中協(xié)調(diào)下肢與上肢之間的運動,，并使肢體控制與感知對齊,。這不僅依賴于硬件，還取決于控制算法,。當(dāng)前控制器和硬件存在不足,，而羽毛球?qū)Ω兄⒁苿雍筒僮髦g復(fù)雜的相互作用提出了極高的要求,，需要平衡“快速響應(yīng)的移動”與“精確的手臂運動”,。

研究團隊提出了一種基于強化學(xué)習(xí)的統(tǒng)一控制策略，用于涉及所有自由度的全身視覺運動技能,，以實現(xiàn)有效的羽毛球跟蹤和擊打,。該策略利用真實世界相機數(shù)據(jù)的感知噪聲模型提供信息，確保仿真與部署之間感知誤差水平的一致性,，并促進學(xué)習(xí)主動感知行為,。此外，該方法還包括一個羽毛球預(yù)測模型和用于魯棒運動控制的約束強化學(xué)習(xí),，以增強部署準(zhǔn)備度,。與基準(zhǔn)相比，在沒有明確的視野范圍獎勵的情況下,，機器狗即可實現(xiàn)更低的感知誤差和更高效的機械功率使用,。當(dāng)前系統(tǒng)主要依賴一個商用立體相機上的擴展卡爾曼濾波器（EKF）進行羽毛球狀態(tài)估計。未來可以通過整合額外的傳感模態(tài)來改進,，例如通過扭矩和聲音進行沖擊檢測,，或加入額外的RGB、深度或事件相機,，以增強機器人在更激烈的游戲場景中的物理交互響應(yīng),。鑒于人類球員通常通過觀察對手動作來預(yù)測羽毛球軌跡，人體姿態(tài)估計也可能是一種提高策略性能的有價值模態(tài),。