視覚による実世界対応に基づく感覚間と行動の相互支援によるヒューマンインタフェース

2002 年度 実績報告書

• 研究課題/領域番号: 14350127
• 研究種目: 基盤研究(B)
• 研究機関: 埼玉大学
• 研究代表者: 久野 義徳 埼玉大学, 工学部, 教授 (10252595)
• 研究分担者: 中村 明生 埼玉大学, 工学部, 助手 (00334152)
• キーワード: コンピュータビジョン / ヒューマンインタフェース / マルチモーダルインタフェース / 音声理解 / 意図理解 / サービスロボット

研究概要

身体の不自由な人が頼んだものを取ってきてくれるような福祉用ロボットなどを想定し、その実現のために必要なヒューマンインタフェースについて研究を行った。このようなロボットでは音声による対話が自然で使いやすいと考えられるが、対話中の物体の現実世界での情報を得たり、人間の非言語的行動を認識するために視覚情報処理が不可欠である。しかし、環境変動の大きい一般家庭などで用いられるロボットにおいては、確実に視覚情報処理を行うのは大きな問題である。そこで、視覚情報処理と音声認識・理解、それにロボットの行動の3つの機能が互いに支援しあうことにより、視覚情報処理の問題を解決し、福祉用ロボットのための使いやすいインタフェースを実現する方法を検討した。まず、環境内に存在する物体を家具等の環境にほぼ固定された物体(付着対象)と、その他の一般の物体(遊離対象)に分けた。前者については動くことはあまりなく、また視覚で認識しにくいので、最初は人間が音声で誘導し、そこに着いたら、環境に配置されたマークを視覚で認識することによりその位置を求め、地図に記録する。後者については、要素的な画像処理を用意しておき、その処理の組合せと、各処理中のパラメータを変えながら、対象が検出できる処理手順を探索する。成功したら、その際の組合せとパラメータを関連する付着対象と関連付けて記憶する。ロボットを使ううちに、ある物体は特定の場所(付着対象)にあることが多いことがわかってくると、記憶した画像処理手順から調べることにより、効率的に物体が認識できる。また、人間との対話においても、その特定の場所にあるかどうかの確認だけで済むようになり、インタラクションの負担が軽減する。実際に対話と視覚情報処理を行うシステムを開発し、有効性を実験により確認した。

研究成果

• [文献書誌] 久野義徳: "ポインティングデバイスとしての身体動作"情報処理学会論文誌:コンピュータビジョンとイメージメディア. Vo.43、No.SIG 4. 43-53 (2002)
• [文献書誌] Jeong M.H., Kuno Y., Shimada, N., Shirai, Y.: "Two-Hand Gesture Recognition using Coupled Switching Linear Model"Proceedings of the 16th International Conference on Pattern Recognition. (CD-ROM). (2002)
• [文献書誌] Numajiri, T., Nakamura, A., Kuno, Y.: "Speed Browser Controlled by Eye Movements"Proceedings of the IEEE International Conference on Multimedia and Expo 2002. (CD-ROM). (2002)
• [文献書誌] Kawasaki, H., Nakamura, A., Kuno, Y.: "Memory Aid System by Monitoring Everyday Life"Proceedings of the Second IASTED International Conference on Visualization, Imaging, and Image Processing. 662-667 (2002)
• [文献書誌] Jeong M.H., Kuno Y., Shimada, N., Shirai, Y.: "Recognition of Shape-Changing Hand Gestures"IEICE Transactions on Information and Systems. Vol.E85-D. 1678-687 (2002)
• [文献書誌] Yoshizaki, M., Kuno, Y., Nakamura, A.: "Mutual Assistance between Speech and Vision for Human-Robot Interface"Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems. (CD-ROM). (2002)
• [文献書誌] Kuno Y., Shimada, N., Shirai, Y.: "Look Where You're Going"IEEE Robotics and Automation Magazine. Vol.9, No.1(印刷中). (2003)
• [文献書誌] Kuno, Y., Nakamura, A.: "Robotic Wheelchair Looking at All People"CHI 2003 Extended Abstracts. (To appear). (2003)
• [文献書誌] Yoshinori Kuno: "Intelligent Wheelchair Looking at Pedestrians and the Caregiver"Proceedings of the 10th International Conference on Human -Computer Interaction. (To appear). (2003)