研究課題
昨年度提案した、人の姿勢スケルトンと深度シーン画像を入力とするRNN(LSTM)を用いたプロセスモデリング手法では、人の動作にも関わらずシーンの変化に失敗したケースを入力すると、人の動作だけがシーンの状態を顧みずに先行してしまうことが起こった。今年度は、シーンの現状態とゴール状態から次に取るべき動作列（例えば１００時刻分）を出力するRNNと、現在のシーン状態と人の動作から次のシーン変化を予測するNNの２つにモデルを分離し、それぞれに学習を行うことによって、動作だけがシーンの状態にかかわらず先行してしまう従来の問題点を回避しつつ、シーン変化に失敗した状況を意図的に入力した場合でも、現在のシーンから次の状態に遷移させるために必要な動作を手戻りして出力する能力を持たせることに成功した。またすでに途中の状態まで進んでいる場合には、不要な手順をスキップして次の状態遷移を引き起こす動作を適切に出力することにも成功した。これらを椅子を引いて着席し、テーブル上の物体を操作する実際の手順に適用して有効性を確認した。また、物体の形状からその物体の持ち方を推定する課題において、従来は物体全体の画像から持ち方を推定したのを拡張し、物体のパーツに対応した部分画像からどの位置にどのように手指を配置すれば把持できるか、を推定するパーツベースの持ち方推定の枠組みを構築した。部分画像ごとに回帰された記述パラメータが得られるため、これらの記述パラメータが類似している者同士をクラスタリングして結果を貼り合わせる操作を施し、物体全体に対応する持ち方の様子を可視化した（IW-FCV2018最優秀論文受賞）。
29年度が最終年度であるため、記入しない。
すべて 2018 2017
すべて 雑誌論文 (1件) (うち査読あり 1件) 学会発表 (23件) (うち国際学会 4件)
IEICE Trans. on Info. and Sys.
巻: Vol.J101-D, No.3 ページ: 549-559
10.14923/transinfj.2017PDP0033
