• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

実時間視聴覚情報統合による複数の人とのマルチモーダル・インタラクションの研究

研究課題

研究課題/領域番号 16016251
研究種目

特定領域研究

配分区分補助金
審査区分 理工系
研究機関京都大学

研究代表者

奥乃 博  京都大学, 情報学研究科, 教授 (60318201)

研究分担者 駒谷 和範  京都大学, 情報学研究科, 助手 (40362579)
中臺 一博  (株)ホンダ, リサーチ・インスティテュート・ジャパン, シニア・リサーチャー
研究期間 (年度) 2004 – 2005
研究課題ステータス 完了 (2005年度)
配分額 *注記
14,500千円 (直接経費: 14,500千円)
2005年度: 7,500千円 (直接経費: 7,500千円)
2004年度: 7,000千円 (直接経費: 7,000千円)
キーワード音環境理解 / 視聴覚情報統合 / ロボット知覚 / GSS / 自動マスク生成 / 文脈的制約 / 空間マッピング / ミッシングフィーチャ / アクティブオーディション / 音と画像の実時間情報統合 / ヒューマノイドロボット / 近接学 / 対人距離による挙動選択 / 肌センサ / 擬音語認識 / 超指向性スピーカ
研究概要

最終年度は、ミッシングフィーチャ理論および視聴覚情報統合による複数同時発話認識の洗練化に主としてに取り組んだ。具体的には、マイクロフォンアレイによる音源分離GSSとミッシングフィーチャ理論による音声認識との統合システムの詳細な評価を行うとともに、距離や位置に依存したインタラクションシステムのためにさまざまな設定での評価とその洗練化に取り組んだ。主な成果は以下の通りである。
(1)音源分離にGeometrical Source Separationとmulti-channel post-filterを使用し、後者から得られるチャネル間リーク情報と背景雑音情報を基にマスクを自動作成した。自動生成されたマスクを使用し,マルチバンド版Juliusを用いて認識を行った。ここで、特徴量をスペクトル歪みに強いMSLSとした。同じベンチマークにより、アプリオリマスクの場合と比較し、約62%の性能を達成した。さらに、さまざまな方向と距離に対して評価し、内部パラメータ13個の最適値にあまり規則性がないことが判明し、遺伝的アルゴリズムにより、最適値探索を行い、その有効性を確認した。
(2)人間親密度を空間にマッピングすることにより、複数人とのインタラクションを行うシステムを開発し、被験者による評価実験により有効性を確認した。これによりどの位置に立った人とインタラクションをすべきか、という挙動設計モデルが確立できた。
(3)柔軟な対話戦略を有した音声対話システムの開発するために、対話の進行モデルと履歴の構造モデルという2つの文脈的特徴を使用する手法を開発した。レストラン検索システムにどう手法を実装し、一発話から得られる特徴だけを使用した場合と比較して、意味理解精度が83.4%から92.6%まで向上した。さらに、レストラン検索システムデータの学習で得られた決定木がたの検索システムでも有効であることが分かり、ドメイン非依存な文脈手法を確立できた。

報告書

(2件)
  • 2005 実績報告書
  • 2004 実績報告書
  • 研究成果

    (49件)

すべて 2006 2005 2004 2002

すべて 雑誌論文 (41件) 図書 (3件) 産業財産権 (5件)

  • [雑誌論文] Common Acoustical Pole Estimation from Multi-Channel Musical Audio Signals2006

    • 著者名/発表者名
      Takuya Yoshioka
    • 雑誌名

      EICE Trans.on Fundamentals of Electronics, Communications, and Computer Sciences E89-A・1

      ページ: 240-247

    • 関連する報告書
      2005 実績報告書
  • [雑誌論文] Using Multiple Edit Distances to Automatically Grade Outputs from Machine Translation Systems,2006

    • 著者名/発表者名
      Yasuhiro Akiba
    • 雑誌名

      IEEE Transactions on Audio, Speech and Language Processing 14・2

      ページ: 393-402

    • 関連する報告書
      2005 実績報告書
  • [雑誌論文] ミッシングフィーチャ理論を利用した音源分離と音声認識のインターフェースと複数ロボットへの適用2005

    • 著者名/発表者名
      山本 俊一
    • 雑誌名

      日本ロボット学会誌 23・6

      ページ: 743-751

    • 関連する報告書
      2005 実績報告書
  • [雑誌論文] ゲーム理論による中心化理論の解体と実言語データに基づく検証.2005

    • 著者名/発表者名
      白松 俊
    • 雑誌名

      自然言語処理 12・3

      ページ: 91-110

    • 関連する報告書
      2005 実績報告書
  • [雑誌論文] 非線形振動子による引き込みを利用した仮想空間における歩行2005

    • 著者名/発表者名
      小鷹 研理
    • 雑誌名

      ヒューマンインタフェース学会論文誌 17・4

      ページ: 26-36

    • 関連する報告書
      2005 実績報告書
  • [雑誌論文] Pitch-dependent identification of musical instrument sounds2005

    • 著者名/発表者名
      Tetsuro Kitahara
    • 雑誌名

      Applied Intelligence, 23・3

      ページ: 267-275

    • 関連する報告書
      2005 実績報告書
  • [雑誌論文] Extracting Multi-Modal Dynamics of Objects using RNNPB2005

    • 著者名/発表者名
      Tetsuya Ogata
    • 雑誌名

      Journal of Robotics and Mechatropics, 17・6

      ページ: 681-688

    • 関連する報告書
      2005 実績報告書
  • [雑誌論文] Distance Based Dynamic Interaction of Humanoid Robot with Multiple People2005

    • 著者名/発表者名
      Tsuyoshi Tasaki
    • 雑誌名

      Lecture Notes in Artificial Intelligence 3533

      ページ: 111-120

    • 関連する報告書
      2005 実績報告書
  • [雑誌論文] 超音波センサアレイを用いたアクティブセンシングによる3次元物体の位置・形状認識2005

    • 著者名/発表者名
      奥乃 博
    • 雑誌名

      超音波テクノ 2005・9-10

      ページ: 79-84

    • 関連する報告書
      2005 実績報告書
  • [雑誌論文] Empirical Verification of Meaning-Game-based Generalization of Centering Theory with Large Japanese2005

    • 著者名/発表者名
      Shun Shiramatsu
    • 雑誌名

      Proceedings of the 19th Pacific Asia Conference on Language, Information, and Computation (PACLIC 19)

      ページ: 192-210

    • 関連する報告書
      2005 実績報告書
  • [雑誌論文] INTER : D A Drum Sound Equalizer for Controlling Volume and Timbre of Druams2005

    • 著者名/発表者名
      Kazuyoshi Yoshii
    • 雑誌名

      Proceedings of 2nd European Workshop on the Integration of Knowledge, Semantic and Digital Media Technologies (EWIMT

      ページ: 205-212

    • 関連する報告書
      2005 実績報告書
  • [雑誌論文] Walking with Body-sense in Virtual Space Using the Nonlinear Oscillator2005

    • 著者名/発表者名
      Kenri Kodaka
    • 雑誌名

      Proceedings of the International Conference on Systems, Man and Cybernetics (SIC-2005)

      ページ: 324-329

    • 関連する報告書
      2005 実績報告書
  • [雑誌論文] INSTRUMENT IDENTIFICATION IN POLYPHONIC MUSIC : FEATURE WEIGHTING WITH MIXED SOUNDS, PITCH-DEPENDENT TIMBRE2005

    • 著者名/発表者名
      Tetsuro Kitahara
    • 雑誌名

      Proceedings of 6th International Conference on Musical Information Retreival (ISMIR-2005)

      ページ: 558-563

    • 関連する報告書
      2005 実績報告書
  • [雑誌論文] SINGER IDENTIFICATION BASED ON ACCOMPANIMENT SOUND REDUCTION AND RELIABLE FRAME SELECTION2005

    • 著者名/発表者名
      Hiromasa Fujihara
    • 雑誌名

      Proceedings of 6th International Conference on Musical Information Retreival (ISMIR-2005)

      ページ: 329-336

    • 関連する報告書
      2005 実績報告書
  • [雑誌論文] Multiple Moving Speaker Tracking by Microphone Array on Mobile Robot2005

    • 著者名/発表者名
      Masamitsu Murase
    • 雑誌名

      Proceedings of the Nineth European Conference on Speech Communication and Technology (Interspeech-2005)

      ページ: 249-252

    • 関連する報告書
      2005 実績報告書
  • [雑誌論文] Contextual Constraints based on Dialogue Models in Database Search Task for Spoken Dialogue Systems2005

    • 著者名/発表者名
      Kazunori Komatani
    • 雑誌名

      Proceedings of the Nineth European Conference on Speech Communication and Technology (Interspeech-2005)

      ページ: 877-880

    • 関連する報告書
      2005 実績報告書
  • [雑誌論文] Generating Confirmation to Distinguish Phonologically Confusing Word Pairs in Spoken Dialogue Systems2005

    • 著者名/発表者名
      Kazunori Komatani
    • 雑誌名

      Proceedings of 4th IJCAI Workshop on Knowledge and Reasoning in Practical Dialogue Systems

      ページ: 40-45

    • 関連する報告書
      2005 実績報告書
  • [雑誌論文] Making A Robot Recognize Three Simultaneous Sentences in Real-Time2005

    • 著者名/発表者名
      Shun'ichi Yamamoto
    • 雑誌名

      Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS-2005)

      ページ: 897-892

    • 関連する報告書
      2005 実績報告書
  • [雑誌論文] Implementation of Active Direction-Pass Filter on Dynamically Reconfigurable Processo2005

    • 著者名/発表者名
      Syunsuke Kurotaki
    • 雑誌名

      Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS-2005)

      ページ: 515-520

    • 関連する報告書
      2005 実績報告書
  • [雑誌論文] Spatially Mapping of Friendliness for Human-Robot Interaction2005

    • 著者名/発表者名
      Tsuyoshi Tasaki
    • 雑誌名

      Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS-2005)

      ページ: 521-526

    • 関連する報告書
      2005 実績報告書
  • [雑誌論文] Enhanced Robot Speech Recognition Based on Microphone Array Source Separation and Missing Feature Theory2005

    • 著者名/発表者名
      Shun'ichi Yamamoto
    • 雑誌名

      Proceedings of IEEE RAS International Conference on Robotics and Automation (ICRA-2005)

      ページ: 1489-1494

    • 関連する報告書
      2005 実績報告書
  • [雑誌論文] A computational model of monkey cortical grating cells2005

    • 著者名/発表者名
      Tino Lourens, Hiroshi G.Okuno, Hiroshi Tsujino
    • 雑誌名

      Biological Cybernetics 92・1

      ページ: 61-70

    • 関連する報告書
      2004 実績報告書
  • [雑誌論文] 環境音を対象とした擬音語自動認識2005

    • 著者名/発表者名
      石原 一志, 駒谷 和範, 尾形 哲也, 奥乃 博
    • 雑誌名

      人工知能学会論文誌 20・3

      ページ: 229-236

    • 関連する報告書
      2004 実績報告書
  • [雑誌論文] Dynamic Communication of Humanoid Robot with Multiple People Based on Interaction Distance2005

    • 著者名/発表者名
      Tsuyoshi Tasaki, Shohei Matsumoto, Hayato Ohba, Shun'ichi Yamamoto, Mitsuhiko Toda, Kazunori Komatani, Tetsuya_Ogata, Hiroshi G.Okuno
    • 雑誌名

      人工知能学会論文誌 20・3

      ページ: 209-219

    • NAID

      120005439187

    • 関連する報告書
      2004 実績報告書
  • [雑誌論文] ミッシングフィーチャ理論を利用した音源分離と音声認識のインターフェースと複数ロボツトへの適用2005

    • 著者名/発表者名
      山本 俊一, 中臺 一博, 辻野 広司, 奥乃 博
    • 雑誌名

      日本ロボット学会誌 23・4(印刷中)

    • 関連する報告書
      2004 実績報告書
  • [雑誌論文] Robot Audition : Its Issues and State of the Art (invited talk)2005

    • 著者名/発表者名
      Hiroshi G.Okuno
    • 雑誌名

      Proceedings of 2nd International Symposium on Life Science (IEMC2005)

      ページ: 13-15

    • 関連する報告書
      2004 実績報告書
  • [雑誌論文] ロボット聴覚の課題と現状(招待講演)2005

    • 著者名/発表者名
      奥乃 博, 中臺 一博
    • 雑誌名

      音響学会春季研究発表会,3-7-7

      ページ: 633-636

    • 関連する報告書
      2004 実績報告書
  • [雑誌論文] Sound and Visual Tracking for Humanoid Robot2004

    • 著者名/発表者名
      Hiroshi G.Okuno, Kazuhiro Nakadai, Tino Lourens, Hiroaki Kitano
    • 雑誌名

      Applied Intelligence 20・3

      ページ: 253-266

    • 関連する報告書
      2004 実績報告書
  • [雑誌論文] 音声対話システムにおける適応的な応答生成を行うためのユーザモデル2004

    • 著者名/発表者名
      駒谷和範, 上野晋一, 河原達也, 奥乃 博
    • 雑誌名

      電子情報通信学会論文誌 87-D2・10

      ページ: 1921-1928

    • NAID

      110003171015

    • 関連する報告書
      2004 実績報告書
  • [雑誌論文] Effects of increasing modalities in recognizing three simultaneous speeches2004

    • 著者名/発表者名
      Hiroshi G.Okuno, Kazuhiro Nakadai, Hiroaki Kitano
    • 雑誌名

      Speech Communication 43・4

      ページ: 347-359

    • 関連する報告書
      2004 実績報告書
  • [雑誌論文] Improvement of Recognition of Simultaneous Speech Signals Using AV Integration and Scattering Theory for Humanoid Robots2004

    • 著者名/発表者名
      Kazuhiro Nakadai, Daisuke Matsuura, Hiroshi G.Okuno, Hiroshi Tsujino
    • 雑誌名

      Speech Communication 44・1

      ページ: 97-112

    • 関連する報告書
      2004 実績報告書
  • [雑誌論文] Improvement of Robot Audition by Interfacing Sound Source Separation and Automatic Speech Recognition with Missing Feature Theory2004

    • 著者名/発表者名
      Shun'ichi Yamamoto, Kazuhiro Nakadai, Hiroshi Tsujino, Toshio Yokoyama, Hiroshi G.Okuno
    • 雑誌名

      Proceedings of IEEE-RAS International Conference on Robots and Automation (ICRA-2004)

      ページ: 1517-1523

    • 関連する報告書
      2004 実績報告書
  • [雑誌論文] Recognition of Emotional States in Spoken Dialogue with a Robot2004

    • 著者名/発表者名
      Kazunori Komatani, Ryosuke Itoh, Tatsuya Kawahara, Hiroshi G.Okuno
    • 雑誌名

      Innovations in Applied Artificial Intelligence (IEA/AIE-04) LNA13029

      ページ: 413-423

    • 関連する報告書
      2004 実績報告書
  • [雑誌論文] Automatic Sound-Imitation Word Recognition from Environmental Sounds focusing on Ambiguity Problem in Determining Phonemes2004

    • 著者名/発表者名
      Kazushi Ishihara, Tomohiro Nakatani, Tetsuya Ogata, Hiroshi G.Okuno
    • 雑誌名

      PRICAI 2004: Trends in Artificial Intelligence LNA13157

      ページ: 909-918

    • 関連する報告書
      2004 実績報告書
  • [雑誌論文] Assessment of General Applicability of Robot Audition System by Recognizing Three Simultaneous Speeches2004

    • 著者名/発表者名
      Shun'ichi Yamamoto, Kazuhiro Nakadai, Hiroshi Tsujino, Hiroshi G.Okuno
    • 雑誌名

      Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS-2004)

      ページ: 2111-2116

    • 関連する報告書
      2004 実績報告書
  • [雑誌論文] Repeat Recognition for Environmental Sounds2004

    • 著者名/発表者名
      Yuya Hattori, Kazushi Ishihara, Kazunori Komatani, Tetsuya Ogata, Hiroshi G.Okuno
    • 雑誌名

      Proceedings of IEEE International Workshop on Robot and Human Interaction (Ro-Man-2004)

      ページ: 121-126

    • 関連する報告書
      2004 実績報告書
  • [雑誌論文] Dynamic Communication of Humanoid Robot with multiple people based on Interaction Distance2004

    • 著者名/発表者名
      Tsuyoshi Tasaki, Shohei Matsumoto, Hayato Ohba, Mitsuhiko Toda, Kazunori Komatani, Tetsuya Ogata, Hiroshi G.Okuno
    • 雑誌名

      Proceedings of IEEE International Workshop on Robot and Human Interaction (Ro-Man-2004)

      ページ: 81-86

    • NAID

      120005439187

    • 関連する報告書
      2004 実績報告書
  • [雑誌論文] Disambiguation in Determining Phonemes of Sound-Imitation Words for Environmental Sound Recognition2004

    • 著者名/発表者名
      Kazushi Ishihara, Yuya Hattori, Tomohiro Nakatani, Kazunori Komatani, Tetsuya Ogata, Hiroshi G.Okuno
    • 雑誌名

      Proceedings of 2004 International Conference on Spoken Language Processing (ICSLP-2004)

      ページ: 1485-1488

    • 関連する報告書
      2004 実績報告書
  • [雑誌論文] Robot Motion Control using Listener's Back-Channels and Head Gesture Information2004

    • 著者名/発表者名
      Tsuyoshi Tasaki, Takeshi Yamaguchi, Kazunoni Komatani, Tetsuya Ogata, Hiroshi G.Okuno
    • 雑誌名

      Proceedings of 2004 International Conference on Spoken Language Processing (ICSLP-2004)

      ページ: 1033-1036

    • 関連する報告書
      2004 実績報告書
  • [雑誌論文] Robot Motion Control using Listener's Back-Channels and Head Gesture Information2004

    • 著者名/発表者名
      Tsuyoshi Tasaki, Kazunori Komatani, Tetsuya Ogata, Hiroshi G.Okuno
    • 雑誌名

      Proceedings of 2nd international Workshop on Man-Machine Symbiotic Systems

      ページ: 327-338

    • 関連する報告書
      2004 実績報告書
  • [雑誌論文] Computational Auditory Scene Analysis and Its Application to Robot Audition2004

    • 著者名/発表者名
      Hiroshi G.Okuno, Tetsuya Ogata, Kazunori Komatani, Kazuhiro Nakadai
    • 雑誌名

      Post-Proceedings of the International Conference on Informatics Research for Development of Knowledge Society Infrastructure

      ページ: 73-80

    • 関連する報告書
      2004 実績報告書
  • [図書] 大人のための「ロボット学」2006

    • 著者名/発表者名
      PHP研究所(奥乃 博)
    • 総ページ数
      251
    • 出版者
      PHP研究所
    • 関連する報告書
      2005 実績報告書
  • [図書] 人工知能事典2005

    • 著者名/発表者名
      人工知能学会(奥乃 博)
    • 総ページ数
      976
    • 出版者
      共立出版
    • 関連する報告書
      2005 実績報告書
  • [図書] 人工知能学事典(Lisp)2005

    • 著者名/発表者名
      奥乃 博
    • 出版者
      共立出版(印刷中)
    • 関連する報告書
      2004 実績報告書
  • [産業財産権] 楽器音認識方法,楽器アノテーション方法,及び楽曲検索方法2006

    • 発明者名
      北原鉄朗, 奥乃博
    • 権利者名
      京都大学
    • 産業財産権番号
      2006-058649
    • 出願年月日
      2006-03-03
    • 関連する報告書
      2005 実績報告書
  • [産業財産権] ロボット視聴覚システム2004

    • 発明者名
      中臺 一博, 奥乃 博, 北野 宏明
    • 権利者名
      科学技術振興事業団
    • 公開番号
      2004-198656
    • 出願年月日
      2004-07-15
    • 関連する報告書
      2004 実績報告書
  • [産業財産権] ロボット視聴覚システム2002

    • 発明者名
      中臺 一博, 奥乃 博, 北野 宏明
    • 権利者名
      科学技術振興事業団
    • 出願年月日
      2002-12-17
    • 取得年月日
      2005-01-07
    • 関連する報告書
      2004 実績報告書
  • [産業財産権] ロボット視聴覚システム2002

    • 発明者名
      中臺 一博, 奥乃 博, 北野 宏明
    • 権利者名
      科学技術振興事業団
    • 出願年月日
      2002-03-01
    • 取得年月日
      2004-12-17
    • 関連する報告書
      2004 実績報告書
  • [産業財産権] 鳴き声による音声ガイドシステム2002

    • 発明者名
      中臺 一博, 日台 健一, 奥乃 博, 北野 宏明
    • 権利者名
      科学技術振興事業団
    • 出願年月日
      2002-03-01
    • 取得年月日
      2004-04-05
    • 関連する報告書
      2004 実績報告書

URL: 

公開日: 2004-04-01   更新日: 2018-03-28  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi