• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2004 Fiscal Year Annual Research Report

実時間視聴覚情報統合による複数の人とのマルチモーダル・インタラクションの研究

Research Project

Project/Area Number 16016251
Research InstitutionKyoto University

Principal Investigator

奥乃 博  京都大学, 情報学研究科, 教授 (60318201)

Co-Investigator(Kenkyū-buntansha) 駒谷 和範  京都大学, 情報学研究科, 助手 (40362579)
中臺 一博  (株)ホンダ, リサーチ・インスティテュート・ジャパン, シニア・リサーチャー
Keywordsアクティブオーディション / 音と画像の実時間情報統合 / ヒューマノイドロボット / 近接学 / 対人距離による挙動選択 / 肌センサ / 擬音語認識 / 超指向性スピーカ
Research Abstract

従来のヒューマノイドと人間とのインタラクションでは,1対1か,複数人であってもロボットからほぼ等距離にいる人とのコミュニケーションであった.本研究では,より柔軟なコミュニケーションのために,対人距離に基づいた複数の人とのインタラクション手法について検討を行った.主な成果は次の通りである.
(1)近接学に基づく対人距離に応じたセンサ選択・挙動選択法の開発:ロボット個体ごとのセンサの感度あるいは出力装置の性能から得られた有効距離が近接学の対人距離の定義の主要因とみなし,近接学の4種類の距離を再定義した.具体的には,SIG2の肌センサ,顔追跡,顔認識,音源定位,音声認識の距離依存度を測定した.また,社会・公共距離に対しては超指向性スピーカによる音声出力と話者追跡システムとを組み合わせ,その人に動きに追従する音のスポットライト機能を実現し,インタラクション高度化の可能性を実証した.これらの成果は,国際会議論文とジャーナル論文として発表した.
(2)分離音の音声認識精度の向上と高速化:音源分離システムADFPでは,マイクロフォンを2本しか使用していないので,分離音のチャネル間干渉情報が十分には得られない.このため,8本のマイクロフォンを用いたビームフォーミングにより混合音を分離するとともにマルチチャネルポストフィルタから得られるチャネル間干渉情報を基に,missing maskを自動生成した.本手法により分離認識性能は,正解から作成される演繹マスクによる性能に大幅に近づけることが可能となり,本成果は,国際会議論文として採択された.
(3)音一般の認識と対話システムへの展開:環境音の擬音語自動認識システムと繰り返し音の自動認識システムを開発し,環境音の音模倣とリズム模倣が可能となった.また,音声認識誤りによる解釈曖昧性を解消するために,柔軟な対話手法を開発し,デモによりその有効性を実証した.

  • Research Products

    (25 results)

All 2005 2004 2002

All Journal Article (20 results) Book (1 results) Patent(Industrial Property Rights) (4 results)

  • [Journal Article] A computational model of monkey cortical grating cells2005

    • Author(s)
      Tino Lourens, Hiroshi G.Okuno, Hiroshi Tsujino
    • Journal Title

      Biological Cybernetics 92・1

      Pages: 61-70

  • [Journal Article] 環境音を対象とした擬音語自動認識2005

    • Author(s)
      石原 一志, 駒谷 和範, 尾形 哲也, 奥乃 博
    • Journal Title

      人工知能学会論文誌 20・3

      Pages: 229-236

  • [Journal Article] Dynamic Communication of Humanoid Robot with Multiple People Based on Interaction Distance2005

    • Author(s)
      Tsuyoshi Tasaki, Shohei Matsumoto, Hayato Ohba, Shun'ichi Yamamoto, Mitsuhiko Toda, Kazunori Komatani, Tetsuya_Ogata, Hiroshi G.Okuno
    • Journal Title

      人工知能学会論文誌 20・3

      Pages: 209-219

  • [Journal Article] ミッシングフィーチャ理論を利用した音源分離と音声認識のインターフェースと複数ロボツトへの適用2005

    • Author(s)
      山本 俊一, 中臺 一博, 辻野 広司, 奥乃 博
    • Journal Title

      日本ロボット学会誌 23・4(印刷中)

  • [Journal Article] Robot Audition : Its Issues and State of the Art (invited talk)2005

    • Author(s)
      Hiroshi G.Okuno
    • Journal Title

      Proceedings of 2nd International Symposium on Life Science (IEMC2005)

      Pages: 13-15

  • [Journal Article] ロボット聴覚の課題と現状(招待講演)2005

    • Author(s)
      奥乃 博, 中臺 一博
    • Journal Title

      音響学会春季研究発表会,3-7-7

      Pages: 633-636

  • [Journal Article] Sound and Visual Tracking for Humanoid Robot2004

    • Author(s)
      Hiroshi G.Okuno, Kazuhiro Nakadai, Tino Lourens, Hiroaki Kitano
    • Journal Title

      Applied Intelligence 20・3

      Pages: 253-266

  • [Journal Article] 音声対話システムにおける適応的な応答生成を行うためのユーザモデル2004

    • Author(s)
      駒谷和範, 上野晋一, 河原達也, 奥乃 博
    • Journal Title

      電子情報通信学会論文誌 87-D2・10

      Pages: 1921-1928

  • [Journal Article] Effects of increasing modalities in recognizing three simultaneous speeches2004

    • Author(s)
      Hiroshi G.Okuno, Kazuhiro Nakadai, Hiroaki Kitano
    • Journal Title

      Speech Communication 43・4

      Pages: 347-359

  • [Journal Article] Improvement of Recognition of Simultaneous Speech Signals Using AV Integration and Scattering Theory for Humanoid Robots2004

    • Author(s)
      Kazuhiro Nakadai, Daisuke Matsuura, Hiroshi G.Okuno, Hiroshi Tsujino
    • Journal Title

      Speech Communication 44・1

      Pages: 97-112

  • [Journal Article] Improvement of Robot Audition by Interfacing Sound Source Separation and Automatic Speech Recognition with Missing Feature Theory2004

    • Author(s)
      Shun'ichi Yamamoto, Kazuhiro Nakadai, Hiroshi Tsujino, Toshio Yokoyama, Hiroshi G.Okuno
    • Journal Title

      Proceedings of IEEE-RAS International Conference on Robots and Automation (ICRA-2004)

      Pages: 1517-1523

  • [Journal Article] Recognition of Emotional States in Spoken Dialogue with a Robot2004

    • Author(s)
      Kazunori Komatani, Ryosuke Itoh, Tatsuya Kawahara, Hiroshi G.Okuno
    • Journal Title

      Innovations in Applied Artificial Intelligence (IEA/AIE-04) LNA13029

      Pages: 413-423

  • [Journal Article] Automatic Sound-Imitation Word Recognition from Environmental Sounds focusing on Ambiguity Problem in Determining Phonemes2004

    • Author(s)
      Kazushi Ishihara, Tomohiro Nakatani, Tetsuya Ogata, Hiroshi G.Okuno
    • Journal Title

      PRICAI 2004: Trends in Artificial Intelligence LNA13157

      Pages: 909-918

  • [Journal Article] Assessment of General Applicability of Robot Audition System by Recognizing Three Simultaneous Speeches2004

    • Author(s)
      Shun'ichi Yamamoto, Kazuhiro Nakadai, Hiroshi Tsujino, Hiroshi G.Okuno
    • Journal Title

      Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS-2004)

      Pages: 2111-2116

  • [Journal Article] Repeat Recognition for Environmental Sounds2004

    • Author(s)
      Yuya Hattori, Kazushi Ishihara, Kazunori Komatani, Tetsuya Ogata, Hiroshi G.Okuno
    • Journal Title

      Proceedings of IEEE International Workshop on Robot and Human Interaction (Ro-Man-2004)

      Pages: 121-126

  • [Journal Article] Dynamic Communication of Humanoid Robot with multiple people based on Interaction Distance2004

    • Author(s)
      Tsuyoshi Tasaki, Shohei Matsumoto, Hayato Ohba, Mitsuhiko Toda, Kazunori Komatani, Tetsuya Ogata, Hiroshi G.Okuno
    • Journal Title

      Proceedings of IEEE International Workshop on Robot and Human Interaction (Ro-Man-2004)

      Pages: 81-86

  • [Journal Article] Disambiguation in Determining Phonemes of Sound-Imitation Words for Environmental Sound Recognition2004

    • Author(s)
      Kazushi Ishihara, Yuya Hattori, Tomohiro Nakatani, Kazunori Komatani, Tetsuya Ogata, Hiroshi G.Okuno
    • Journal Title

      Proceedings of 2004 International Conference on Spoken Language Processing (ICSLP-2004)

      Pages: 1485-1488

  • [Journal Article] Robot Motion Control using Listener's Back-Channels and Head Gesture Information2004

    • Author(s)
      Tsuyoshi Tasaki, Takeshi Yamaguchi, Kazunoni Komatani, Tetsuya Ogata, Hiroshi G.Okuno
    • Journal Title

      Proceedings of 2004 International Conference on Spoken Language Processing (ICSLP-2004)

      Pages: 1033-1036

  • [Journal Article] Robot Motion Control using Listener's Back-Channels and Head Gesture Information2004

    • Author(s)
      Tsuyoshi Tasaki, Kazunori Komatani, Tetsuya Ogata, Hiroshi G.Okuno
    • Journal Title

      Proceedings of 2nd international Workshop on Man-Machine Symbiotic Systems

      Pages: 327-338

  • [Journal Article] Computational Auditory Scene Analysis and Its Application to Robot Audition2004

    • Author(s)
      Hiroshi G.Okuno, Tetsuya Ogata, Kazunori Komatani, Kazuhiro Nakadai
    • Journal Title

      Post-Proceedings of the International Conference on Informatics Research for Development of Knowledge Society Infrastructure

      Pages: 73-80

  • [Book] 人工知能学事典(Lisp)2005

    • Author(s)
      奥乃 博
    • Publisher
      共立出版(印刷中)
  • [Patent(Industrial Property Rights)] ロボット視聴覚システム2004

    • Inventor(s)
      中臺 一博, 奥乃 博, 北野 宏明
    • Industrial Property Rights Holder
      科学技術振興事業団
    • Patent Publication Number
      特開2004-198656号
    • Filing Date
      2004-07-15
  • [Patent(Industrial Property Rights)] ロボット視聴覚システム2002

    • Inventor(s)
      中臺 一博, 奥乃 博, 北野 宏明
    • Industrial Property Rights Holder
      科学技術振興事業団
    • Industrial Property Number
      特許3632099号
    • Filing Date
      2002-12-17
    • Acquisition Date
      2005-01-07
  • [Patent(Industrial Property Rights)] ロボット視聴覚システム2002

    • Inventor(s)
      中臺 一博, 奥乃 博, 北野 宏明
    • Industrial Property Rights Holder
      科学技術振興事業団
    • Industrial Property Number
      特許3627058号
    • Filing Date
      2002-03-01
    • Acquisition Date
      2004-12-17
  • [Patent(Industrial Property Rights)] 鳴き声による音声ガイドシステム2002

    • Inventor(s)
      中臺 一博, 日台 健一, 奥乃 博, 北野 宏明
    • Industrial Property Rights Holder
      科学技術振興事業団
    • Industrial Property Number
      特許3590869号
    • Filing Date
      2002-03-01
    • Acquisition Date
      2004-04-05

URL: 

Published: 2006-07-12   Modified: 2016-04-21  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi