2022 Fiscal Year Annual Research Report
行動予測ニューラルネットワークを利用した人の自然な動作の評価と活用
| Project/Area Number |
21H03479
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
牧野 泰才 東京大学, 大学院新領域創成科学研究科, 准教授 (00518714)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 行動予測 / ヒューマンロボットインタラクション / バーチャルリアリティ |
|---|
| Outline of Annual Research Achievements |
本研究は，機械学習による人の行動予測を利用し，人とロボットが同じ空間で共存する際に，自然にインタラクションできるための基盤を構築することを目的としている．
本年度は本研究課題において非常に大きな進展が2つあった．1つめは，人が他者の歩行を見ながらその方向を予測する際に，どの程度まで情報を減らしても予測が可能となるか，という点に一つの解答が得られたという点である．機械学習により，人の骨格情報から必要そうな特徴点を抽出したシンプルな歩行モデルについて，いくつかのパターンの予測可能性を機械学習で推定した後に被験者実験を行い，高々3箇所の特徴点の3次元的な移動軌跡を提示すれば，全身の骨格情報を使用したのと同程度の歩行方向予測が可能であることを確かめた．
もう1つは，スポーツにおけるサイドステップのような瞬時の切り返しを含むような動作に対しての予測精度を上げるために，予測器を2段階に分けて作成する方法を実現した点である．最初にランダムな動作指示を出しながら，サイドステップ動作を取得し予測器を作成する．次に，その予測器を使って得られた予測結果を人にリアルタイムフィードバックしながら，その誤差が大きくなるような動きを自由に取ってもらうようにした．これにより，1段階目の予測器で収集しきれなかった動きを追加で収集できるようになり，その結果，2段階目の予測器の予測精度を向上させられることを示した．
以上のように，本研究課題を遂行するにあたってベースとなる動作データの網羅的な取得方法や，歩行についての必要な自由度の検証が行えたため，この成果を用いて，ロボットの動作を生成したり，あるいは人が見たときに移動方向を予測しやすいロボットを実現したり，ということに利用できると考えている．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本課題は当初の計画以上に進展していると考えている．
まずは上述のように，人の歩行動作について，3箇所の特徴点で全身骨格を利用した場合と同程度の予測が可能であるという，必要十分な数の特徴点を見積もることが出来た点である．本研究課題の最終目標の一つは，ロボットに対して「人が次の行動を予測するための身体性」を付与し，人とロボットとのスムーズなすれ違いを実現することである．今回の発見により，この予測のための身体性に必要なのは高々3点であることが確認できたため，少ない自由度で目標を達成できそうであることが見えてきた．予測の観点から人の動作の自然さを評価するというのも目的の一つだが，そのためには，この3点が自然な位置関係になっているかを確認するだけでも良い可能性もあり，そのような意味でもこの必要十分な自由度が確認できた点は大きい．
次に，予測された動作結果を人に見せたときに人がそれをどのように感じ，知覚される身体性にどのような変化が生じるかを明らかにしたい，というのがもう一つの目的である．それについても，必要なデータを取得するための敵対的な方法を提案し，実際に予測精度を向上させられたという点で進展が大きい．このようなデータセットから生成した予測器は，今後も多く活用できる．
また次項に詳細を記述するが，予測結果提示の次の展開として，リアルなアバターを人に提示することを想定し，常に0.3秒先の身体が見えている被験者とのインタラクション，というのを考えている．予測映像と現実映像をシームレスに接続すると，バーチャルな実時間のスローモーション体験も実現できると考えている．このような新しい展開は当初想定しておらず，予測映像の新しい活用として当初の計画以上の成果出せると期待している．
|
| Strategy for Future Research Activity |
R5年度は以下の3点についての研究を行う．
１）予測のための身体性を有するロボットの動作予測の可能性検証：歩行動作の予測に必要な身体関節の重要部位についての知見が得られたため，R5年度はそれに対応した身体性を有するロボットと，そのインタラクションの実現を考える．特徴点をどのような形でロボットに実装するのが良いかを検証するために，まずはヘッドマウントディスプレイを利用したVRシステムでパラメータを探索し，その後実機への搭載を目指す．最終的には，オムニホイールで移動する全方位ロボットに予測に適した身体性を付与した場合の予測可能性を検証する．
２）リアルなアバターでの予測の提示：これまでの研究では，予測結果として，骨格点をシンプルなラインで接続した棒人間を提示していた．これをリアルな実験者のアバターに変更し，ビデオシースルー型のヘッドマウントディスプレイと組み合わせ，現実の人が目の前にいるように見える状態で，常に予測映像が見え続けているという状況を実現することを目指す．このように，アバターが等身大になり，また見た目もリアルになった場合に，これまで許容されていたような予測誤差が許容されなくなるなど，予測精度についての要求が変わる可能性がある．また，提示する映像の予測時間を0.3秒から徐々に現在の映像へとシフトしていくと，映像としては実時間でスローモーションのような体験ができることが期待される．これは人の動作予測に限らず，卓球のボール軌道を予測し，その提示位置を徐々に現実の位置にシフトしていきスローモーションに見えるようにするなど，スポーツの技能習得の文脈での利用も期待される．
以上のように，予測に寄与する身体部位を活用したロボティクスへの応用と，予測映像のリアルなフィードバックによるVR体験の創出を主たる対象として研究を行う．
|
