陪跑又快又穩，機器人跑步搭子來了-人工智慧-PHP中文網

這個機器人名叫Cassie，曾經創下百公尺跑世界紀錄。最近，加州大學柏克萊分校的研究者為它開發了一種新的深度強化學習演算法，讓它掌握了急轉彎等技能，還能對抗各種幹擾。

^{【關注本站影片號，第一時間看到有趣的AI 內容】}

關於雙足機器人運動的研究已經進行了幾十年，但仍然沒有一個能夠對各種運動技能進行穩健控制的通用框架。挑戰來自於雙足機器人欠驅動動態的複雜性以及與每種運動技能相關的不同規劃。

研究者希望解決的關鍵問題在於：如何為高維度人體大小的雙足機器人開發解決方案？如何控制多樣化、敏捷和穩健的腿部運動技能，例如行走、跑步和跳躍？

最近的一項研究或許提供了一個不錯的方案。

在這項工作中，來自柏克萊等機構的研究者利用強化學習（RL）為現實世界中的高維非線性雙腳機器人創建控制器，以應對上述挑戰。這些控制器可以利用機器人的本體感覺訊息來適應隨時間變化的不確定動態，同時能夠適應新的環境和設置，利用雙足機器人的敏捷性，在突發情況下表現出穩健的行為。此外，本文框架也提供了再現各種雙足運動技能的通用配方。

論文標題：Reinforcement Learning for Versatile, Dynamic, and Robust Bipedal Locomotion Control
#論文鏈接：https://arxiv.org/pdf/2401.16889.pdf

論文細節

#對於控制器來說，扭矩控制人體大小的雙足機器人的高維度和非線性乍似乎是障礙，然而這些特性的優勢在於可以透過機器人的高維動力學實現複雜的敏捷操作。

這項控制器賦予機器人的技能如圖 1 所示，包括穩健的站立、行走、奔跑和跳躍。這些技能還可用於執行各種不同的任務，包括以不同速度和高度行走、以不同速度和方向奔跑以及跳向各種目標，同時在實際部署過程中保持穩健性。為此，研究者利用無模型 RL 讓機器人透過系統全階動態的試誤來學習。除了真實世界的實驗，還深入分析了使用 RL 進行腿部運動控制的好處，並詳細研究如何有效地建立學習過程以利用這些優勢，如適應性和穩健性。

用於通用雙足運動控制的RL 系統如圖2 所示：

第四節首先介紹了在運動控制中利用機器人I/O 歷史記錄的重要性，這一節從控制和RL 兩個角度展示了機器人的長期I/O 歷史可以在實時控制過程中實現系統識別和狀態估計。

第五節介紹了研究的核心：一種利用雙足機器人長期和短期 I/O 雙歷史記錄的新型控制架構。具體來說，這種控制架構不僅能利用機器人的長期歷史記錄，還能利用機器人的短期歷史記錄。

控制框架如下圖：

#在這個雙歷史記錄結構中，長期歷史記錄帶來了適應性（在第八節中得到驗證），短期歷史記錄則透過實現更好的即時控制對長期歷史記錄的利用進行了補充（在第七節中得到驗證）。

第六節介紹如何將由深度神經網路表示的控制策略透過無模型 RL 進行最佳化。鑑於研究者旨在開發一種能夠利用高動態運動技能完成各種任務的控制器，因此這一節中的訓練以多階段模擬訓練為特徵。這種訓練策略提供了一個結構化的課程，首先是單一任務訓練，即機器人專注於一個固定的任務，然後是任務隨機化，使機器人接受的訓練任務多樣化，最後是動態隨機化，改變機器人的動態參數。

策略如下圖所示：

#這種訓練策略能夠提供一個多功能控制策略，可以執行多種任務，並實現機器人硬體的零樣本遷移。此外，任務隨機化還能透過在不同的學習任務中進行泛化來增強所產生策略的穩健性。

研究表明，這種穩健性可以使機器人對幹擾做出順從的行為，這與動態隨機化帶來的干擾是「正交」的。這一點將在第九節中得到驗證。

利用這個框架，研究者獲得了雙足機器人 Cassie 的行走、跑步和跳躍技能的多功能策略。第十章評估了這些控制策略在現實世界中的有效性。

實驗

#研究者對機器人進行了廣泛的實驗，包括在現實世界中行走、跑步和跳躍等多項能力的測試。所用策略在經過模擬訓練後都能夠有效地控制現實世界中的機器人，而無需進一步調整。

行走實驗

#如圖14a 所示，行走策略展示了對機器人遵循不同指令的有效控制，在整個測試過程中，追蹤誤差相當低（追蹤誤差由MAE 的值來評估）。

此外，機器人策略在較長時間內始終表現良好，即使在325 天和492 天後仍具有保持跟踪可變命令的能力，分別如圖14c 和圖14b 所示。儘管在此期間機器人的動力學發生了顯著的累積變化，但圖 14a 中的同一控制器繼續有效地管理不同的行走任務，並且追蹤誤差的退化最小。

如圖 15 所示，該研究所使用的策略顯示出對機器人可靠的控制，使機器人能夠準確地追蹤順時針或逆時針的不同轉彎指令。

快速行走實驗。除了中等行走速度之外，實驗還展示了所用策略控制機器人向前和向後執行快速行走動作的能力，如圖 16 所示。機器人可以從靜止狀態過渡到快速實現向前行走速度，平均速度達到1.14 m/s（追蹤指令中要求1.4 m/s），機器人還能依照指令快速返回站立姿態，如圖16a 所示，數據記錄在圖16c 中。

在不平坦的地形上（未經訓練），機器人也可以在樓梯或下坡上有效地向後行走，如下圖所示。

抗擾動。在脈衝擾動的情況下，例如研究者在機器人步行時從各個方向向機器人引入了短時間內的外部擾動。就像圖 18a 中記錄的那樣，在原地行走時向機器人施加相當大的橫向擾動力，橫向速度峰值為 0.5 m/s。儘管有擾動，機器人仍能迅速從橫向偏差中恢復。如圖 18a 所示，機器人熟練地沿著相反的橫向方向移動，有效地補償擾動並恢復其穩定的原地行走步態。

在持續擾動測試期間，人類對機器人底座施加擾動力量，並沿著隨機方向拖曳機器人，同時命令機器人原地行走。如圖 19a 所展示的，當機器人正常行走時，持續的橫向拖曳力施加到 Cassie 的底座上。結果顯示機器人在不失去平衡的情況下，透過遵循這些外力的方向來表現出對這些外力的順應性。這也顯示了本文提出的基於強化學習的策略在控制雙足機器人以實現安全人機互動等潛在應用的優勢。

跑步實驗

#當機器人使用雙足跑步策略，在2 分34秒內實現了400 公尺衝刺，在27.06 秒內實現了100 公尺衝刺，跑步傾斜度高達10° 等等。

400 公尺短跑：研究首先評估了在標準室外跑道上完成 400 公尺短跑的一般跑步策略，如圖 20 所示。在整個測試過程中，機器人被命令以 3.5 m/s 的速速同時響應由操作員發出的不同轉彎命令。機器人能夠從站立姿態平滑地過渡到跑步步態（圖 20a 1）。機器人設法加速到平均估計運行速度 2.15 m/s，達到峰值估計速度 3.54 m/s，如圖 20b 所示。該策略使機器人成功地在整個 400 公尺跑步過程中始終保持所需的速度，同時準確地遵守不同的轉彎命令。