人間の動きを模倣可能な生成AIの基盤技術を開発――運動生成タスクへの応用に期待東北大学とスイス連邦工科大学

東北大学は2024年5月7日、同大学大学院工学研究科およびスイス連邦工科大学ローザンヌ校の共同研究チームが、人間の動きを模倣できる生成AI（人工知能）の基盤技術を開発したと発表した。

深層学習と強化学習を組み合わせた手法は、深層強化学習と呼ばれる。強化学習では、行動結果を評価することで試行錯誤的な学習が可能。未知の環境にも適応できる。ただし、特にシステムの自由度が高い際に、広大な入力空間の探索に対する計算コストが膨れ上がることがデメリットとなる。

また、模倣学習と呼ばれる、人間が同じ運動タスクを行った際の運動計測データを模倣することでロボットの学習を行う手法もある。模倣学習は、環境や運動タスクに変化がない場合に有効となる。一方で、学習の際の探索範囲が基本的に狭く、未知の環境への適応性が低いことが課題となる。

そこで、同研究チームは今回、深層強化学習と模倣学習双方のメリットを活かしつつ、デメリットを補い合える運動生成手法の開発に取り組むこととした。

今回の研究では、上位中枢と運動ニューロンの中間に位置し、脊髄に内在すると言われる中枢パターン生成器（CPG）の構造を用いている。CPGは、どのような運動パターンを生成したいのかという運動意図に近い役割を担っている。CPGのニューラルネットワークの学習には模倣学習を適用した。

既存のCPGを用いる方法では、数式的に設計した振動波が生じるため、運動パターンは必ずしも人間の運動に類似していなかった。そのため、CPGの表現形式を用いた上で、人間の運動を模倣するようにパラメーターを学習する新たな計算方式を採用。これにより、運動周波数を連続的に変更できるCPGのメリットを保ちつつ、人間の運動を模倣するように学習することが可能となった。

また、CPGと運動ニューロン層の間に反射ネットワークを構築し、深層強化学習を適用。未知の環境への適応を可能とした。人間の運動が、感覚情報を用いた反射ネットワークを介してCPGと連動し、環境に適応する仕組みを踏襲している。これにより、模倣した歩行と走行の運動を再現可能としつつ、データがない運動周波数の運動生成、歩行から走行までの連続的な運動変化、学習時と異なる床面の状態への適応が可能となった。

冒頭の画像は、上位中枢からの速度調整コマンドによりCPGと反射ネットワークが協調している様子（a）および、全体の制御フレームワーク（b）を示したものとなっている。

昨今注目を集めている生成AIは、運動生成タスクへの応用も期待されている。ただし、生体の身体機構には冗長性が存在する（同じ種類の運動タスクに無数の解が存在しうる）ため、多自由度系において生体の自己組織的な振る舞いをAIで実装するのは困難とみられていた。

今回の提案手法は、模倣学習が冗長性の低減に寄与しているものの、原理的に自由度を制限していない。冗長性自体は保ちつつ、学習時の探索計算のスペースのみを縮小。未知の環境への深層強化学習の探索処理を、模倣学習と併せて行うことで簡素化している。

加えて、CPGにより運動速度を自由に調整できるという、生体が有する特徴を反映した運動生成手法となっており、生成AIの運動生成タスクへの応用に寄与することが期待される。

AI-CPG法を用いて制御した歩行から走行への遷移過程
(a)CPGコントローラーのリズムジェネレータへの入力として、周波数が増加する正弦波信号を使用
(b)重心速度、フロード数、飛行位相比
(c)歩行から走行への遷移の様子
(d)歩行サイクルの時間図
(e)走行サイクルの時間図

人間の動きを模倣可能な生成AIの基盤技術を開発――運動生成タスクへの応用に期待　東北大学とスイス連邦工科大学