1997 Fiscal Year Annual Research Report
人間のジェスチャの意図を選択的に理解するヒューマンインタフェースシステム
| Project/Area Number |
09221217
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
久野 義徳 大阪大学, 工学部, 助教授 (10252595)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
島田 伸敬 大阪大学, 工学部, 助手 (10294034)
三浦 純 大阪大学, 工学部, 助手 (90219585)
|
|---|
| Keywords | コンピュータビジョン / ヒューマンインタフェース / ロボット / ジェスチャ認識 / 音声対話 / 視線 / 非言語的行動 / 意図理解 |
|---|
| Research Abstract |
本研究では,ジェスチャによりロボットに指令を送ることのできるシステムを検討した.具体的には以下の2点について研究を行った.
1.人間の手による指示のジェスチャを認識するわけだが,人間の手は意識しないでもいろいろと動いている.その動きの中から指示ジェスチャだけを選択的に認識するために,他の無意識的な非言語的行動の情報の利用を検討した.実際に検討したのは顔の向きである.ロボットに指令を送る際は人間はロボットの方を向いて指示を送るのが自然と考えられる.従って,人間の顔の向きを求め,それがロボットを向いている際の手の動きだけを指示のジェスチャとして認識するようにした.実際に手の指示した方向に動く小型移動ロボットシステムを開発し,それを用いた実験で有効性を確認した.
2.ロボットの方が人間の指示を完全に理解できればよいが,うまくいかないこともある.従来は,そうなるとロボットの作業が続行できなかった.そこで,そのような場合には,ロボットの方から何が分かって何が分からないのか,現在の自分の状況を人間に伝えて,人間から助言をもらい作業を続けられないかと考えた.これを人間に負担なく行うために,人間とロボットの双方が音声言語とジェスチャで情報を伝え合う方式を検討した.具体的には人間が手で指し示すジェスチャと音声で指示した物体をとってくるロボットを開発した.ロボットは指示された物体が視覚で認識できないときに人間に音声と行動で知らせる.そして,人間からジェスチャと音声で認識の失敗を回復するための情報を得る.この言語と非言語的行動の両者を用いた対話により,多様な状況で作業を完遂できるロボットシステムが実現できた.
|
-
[Publications] K.Hayashi, Y.Kuno, and Y.Shirai: "Pointing gesture recognition system permitting user's freedom of movement" Proc.Workshop on Perceptual User Interfaces. 16-19 (1997)
-
[Publications] K.H.Jo, Y.Kuno, and Y.Shirai: "Context-based recognition of manipulative hand gestures for human computer interaction" Proc.3rd Asian Conference on Computer Vision. 2. 368-375 (1998)
-
[Publications] K.H.Jo, Y.Kuno, and Y.Shirai: "Manipulative hand gesture recognition using task knowledge for human computer interaction" Proc.3rd IEEE International Conference on Face and Gesture Recognition. (発表予定). (1998)
-
[Publications] Y.Kuno, T.Ishiyama, K.H.Jo, N.Shimada, and Y.Shirai: "Vision-based human interface system selectively recognizing intentional hand gestures" Proc.IASTED Int.Conf.on Computer Graphics and Imaging. (発表予定). (1998)
