| 研究概要 |
視覚による人間の行動理解や追跡を行うために,人間の発話,行動に柔軟に対応し,視覚によるセンシングのためのタイミングや注視点を動的に選択する機構に関する研究を行ってきた.具体的には,以下のものがあげられる.
1.人間の重要なコミュニケーション手段である身振り動作(ジェスチャーよりもより広い範囲を含む)の分類と,それと同時に発せられる簡単な音声言語との対応関係の調査.
2.得られた身振り動作と言語の対応関係を用いて動作の識別,注目するべき点を選択するための,基本的な方法論の構築.
3.実際にシステムとして構築するための方法論の提案.
これらの研究の成果として,人間がその動作によって表す情報と,動作に伴って発せられる音声言語との基本的な関係,システムの実現可能性が明らかになってきている.具体的には,以下の通りである.
・動作と発話の関係が,人間の動作がもつ曖昧性を解消するよい手がかりとなることについて明らかにした.
・また,それを計算機によって実現する実際的な方法論について提案した.
・その有効性を確かめるために,話者の手及び上体の動作を磁気センサを用いた計測によって詳細に記録し,得られたデータからの自動的な特徴抽出を試みた.その結果,曖昧性が大きいものの,抽出・認識したい動作の候補区間を抽出することが可能であること,発話を用いてかなりの曖昧性を解消できることを明らかにした.
今後,以下のような点を明らかにしていくことによって,実際に稼働するシステムとして実現することが課題である.
・音声認識との結合と,それにより起こる問題点を明らかにする.
・実時間で動作させる実験と,そのための問題点を明らかにする.
|
