2002 年度実績報告書

聴覚・視覚の複数レベル実時間情報統合の研究

研究課題

研究課題/領域番号	14019051
研究機関	京都大学
研究代表者	奥乃博京都大学, 情報学研究科, 教授 (60318201)
キーワード	アクティブオーディション / 音と画像の実時間情報統合 / ヒューマノイドロボット / 音響的中心窩(fovea) / アクティブ方向通過型フィルタ / タスク指向とソーシャル性指向 / Interpersonal Theory / 階層的情報統合
研究概要	平成14年度は、2本のマイクロフォンを用いた方向通過型フィルタ(Direction-Pass Filter)を提案し、この分離性能の音源方向依存性(「聴覚中心窩(auditory fovea)」と呼ぶ)を明らかにし、聴覚中心窩を積極的に活用したアクティブオーディションを実現した。さらに、大阪大学の石黒教授グループ作成の人間に似た外観を持つヒューマノイドReplieの上にも方向通過型フィルターを実装し、DPFの高移植性を確認するとともに、ヒューマノイドヒューマンインターラクションの実験環境を確立した。これらの成果は朝日新聞夕刊1面に報道されるとともに、IROS論文賞、船井情報科学振興賞などを受賞した。主な研究項目は以下の通りである。 1.聴覚的中心窩-混合音から音声分離を行う方向通過型フィルタの方向依存性を評価し、正面方向と真横方向とでは4倍以上の精度の違いがあることを発見した。この現象は、人間の視覚で中心の解像度が高く、周辺は解像度が劣るという中心窩(fovea)に相当しており、「聴覚的中心窩(auditory fovea)」と名付けた。話者や音源に正対して聞く機能を実現するために、聴覚的中心窩を積極的に活用した注意制御システムをロボットに実装中である。 2.注意制御部-実時間複数話者追跡システムを用いた注意制御部の設計に、タスク指向(task-oriented)とソーシャル性指向(socially-oriented)という2つの原理を適用した。タスク指向制御では、具体的なタスクである受付ロボットのために、音と顔が一致したストリームに注意を向けるように、一方、ソーシャル性指向制御では、インターラクションの相手の声にまず反応するように、ロボットの挙動選択を実現した。 3.ロボットの個性-Interpersonal theoryに基づいた対人関係での個性をdominant/submissiveとfriendly/hostileという2軸で表現することにより、上記のタスク指向・ソーシャル性指向とを組合せた挙動プラニングの構想を提案し、プロトタイプを実装した。

研究成果
(7件)

すべてその他

すべて文献書誌 (7件)

[文献書誌] Nakadai, Okuno, Kitano: "Real-Time Auditory and Visual Multiple-Speaker Tracking For Human-Robot Interaction"Journal of Robotics and Mechatronics, special issue on Human Robot Interaction. 14・5. 479-489 (2002)
[文献書誌] 中臺一博, 奥乃博, 北野宏明: "ヒューマノイドロボットを対象としたアクティブオーディション"人工知能学会誌. 18・2F. 104-113 (2003)
[文献書誌] Nakadai, Hidai, Okuno, Kitano: "Real-Time Active Human Tracking by Hierarchical Integration of Audition and Vision"Proceedings of IEEE/RAS International Conference on Robots and Automation (ICRA-2002). 1043-1049 (2002)
[文献書誌] Nakadai, Okuno, Kitano: "Exploiting Auditory Fovea in Humanoid-Human Interaction"Proceeings of Eighteenth National Conference on Artificial Intelligence (AAAI-2002). 431-438 (2002)
[文献書誌] Okuno, Nakadai, Kitano: "Social Interaction of Humanoid Robot through Auditory and Visual Tracking"Developments in Applied Artificial Intelligence, Lecture Notes in Artificial Intelligence. 2358. 725-735 (2002)
[文献書誌] Nakadai, Okuno, Kitano: "Auditory Fovea Based Speech Separation and Its Application to Dialog System"Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS-2002). 1314-1319 (2002)
[文献書誌] 日本認知科学会: "『認知科学辞典』推論・問題解決,コミュニケーションとネットワーク,CHインターフェース"共立出版. 1026+x (2002)

2002 年度 実績報告書

聴覚・視覚の複数レベル実時間情報統合の研究

研究代表者

奥乃 博 京都大学, 情報学研究科, 教授 (60318201)

研究成果

[文献書誌] Nakadai, Okuno, Kitano: "Real-Time Auditory and Visual Multiple-Speaker Tracking For Human-Robot Interaction"Journal of Robotics and Mechatronics, special issue on Human Robot Interaction. 14・5. 479-489 (2002)

[文献書誌] 中臺一博, 奥乃博, 北野宏明: "ヒューマノイドロボットを対象としたアクティブオーディション"人工知能学会誌. 18・2F. 104-113 (2003)

[文献書誌] Nakadai, Hidai, Okuno, Kitano: "Real-Time Active Human Tracking by Hierarchical Integration of Audition and Vision"Proceedings of IEEE/RAS International Conference on Robots and Automation (ICRA-2002). 1043-1049 (2002)

[文献書誌] Nakadai, Okuno, Kitano: "Exploiting Auditory Fovea in Humanoid-Human Interaction"Proceeings of Eighteenth National Conference on Artificial Intelligence (AAAI-2002). 431-438 (2002)

[文献書誌] Okuno, Nakadai, Kitano: "Social Interaction of Humanoid Robot through Auditory and Visual Tracking"Developments in Applied Artificial Intelligence, Lecture Notes in Artificial Intelligence. 2358. 725-735 (2002)

[文献書誌] Nakadai, Okuno, Kitano: "Auditory Fovea Based Speech Separation and Its Application to Dialog System"Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS-2002). 1314-1319 (2002)

[文献書誌] 日本認知科学会: "『認知科学辞典』推論・問題解決,コミュニケーションとネットワーク,CHインターフェース"共立出版. 1026+x (2002)

2002 年度実績報告書

奥乃博京都大学, 情報学研究科, 教授 (60318201)