多元音響信号の統合的理解

2003 Fiscal Year Annual Research Report

• Project/Area Number: 11CE2005
• Research Institution: Nagoya University
• Principal Investigator: 板倉 文忠 名古屋大学, 大学院・工学研究科, 教授 (30168299)
• Co-Investigator(Kenkyū-buntansha): 外山 勝彦 名古屋大学, 情報科学研究科, 助教授 (70217561) ; 大西 昇 名古屋大学, 情報科学研究科, 教授 (70185338) ; 筧 一彦 名古屋大学, 情報科学研究科, 教授 (90262930) ; 武田 一哉 名古屋大学, 情報科学研究科, 教授 (20273295)
• Keywords: 音声信号処理 / 空間音響 / 音声情報処理 / 言語情報処理 / 音認知 / 音データベース / 音声対話

Research Abstract

空間物理グループ:(1)移動音源が存在する場合での,混合信号からの源信号の分離について研究した.音源の移動に伴ない,混合過程(伝達関数)が変化するという問題がある.しかし,指向性マイクロホンの受音部を近接配置して,混合信号を観測すれば,伝達関数の変化をかなり小さくできる.このことは,分離に用いるデータブロックの幅(時間長)を長くでき,前ブロックでの結果を用いた分離フィルタの更新による収束の高速化が可能となる.実環境での実験により,提案手法の有効性を確認した.これと並行して,指向性マイクロホンの近接装置による分離で,タップ数の低減を妨げる要因について,理論的かつ実験的な検討を行った.(2)音声信号と映像信号を統合した新しい情報抽出方法の検討を行った。画像から抽出した口唇の位置方向に主ビームを形成する,適応ビームフォーマを利用することで,自動車運転者の音声を精度良く受音する技術を開発し,音声認識実験においてその性能改善を確認した。
信号構造グループ:(1)ヘッドホン受聴に基づく立体音場再生のための頭部音響伝達特性の計測評価方法の高度化に取り組んだ。計測方法は、近接音声における伝達特性を正確に計測。可能な,放電スパーク音を利用する方法に取り組んだ。端子形状・材質・昇圧回路の検討を行い,方向依存性の低い音源の作成に成功した。頭部音響伝達特性の評価方法として,同時マスキングレベル値を用いる方法を提案した。従来の方向を回答させる主観実験の結果に比べ安定した方向定位性能の定量的評価が可能となった。(2)自動車運転行動信号の分析と,運転者識別への応用について研究を進めた。本拠点において収集を行ってきた40名規模の運転行動データベースの整理・分析を行い,それらの信号をドライバ識別実験に利用可能な形式に整理した。さらに40名の運転信号を混合ガウス分布でモデル化する実験を通じて,運転者の性質は行動信号の時間変化に顕著に現れること,10%以下の等誤り率で運転者照合を実現することが可能であること,車速,車間距離といった自動車の状態に比べ,行動信号によってより安定した運転者性の抽出が可能となることを明らかにした。
情報変換論クループ:(1)連続音声認識の性能を向上させるために,音声以外の身体動作と音声との同期を利用する方法の検討を行った。キーボードの押下と連続音声発声の同時信号を大規模に収集し,H MM音声認識系においてキーボード押下タイミングを用いて単語遷移区間を制限することにより,認識性能を20%以上改善できることを示した。(2)車内に分散して配置されたマイクロホンを用いて雑音を抑圧する音声強調手法を,引き続き研究した。複数マイクロホンの対数スペクトルを線形回帰する方法に加えて,ケプストラム領域での重回帰,非線形回帰(MLP,SVM)などの手法を検討し,標準的な適応ビームフォーマであるGriffiths-Jimビームフォーマを上回る性能が得られることを確認した。(3)500人規模の車内音声対話の結果を分析し,認識性能,音声品質,利用文法の個人性のバリエーションを分析した。音声認識性能と,音声品質,利用文法とが深く関係することを示すとともに,それらの要因は認識性能の分散の40%程度を説明するだけであり,認識性能の個人差を説明し個人毎の認識性能を入力発声から予測する手法の必要性を明らかにした。
言語論グループ:最終年度は、前年度までに本拠点で構築してきた大規模音声言語データベースの高度利用に関する研究を推進した。具体的には、音声言語システムの要素技術として,統計的な話し言葉解析技術、機械学習を用いた意図理解技術、発話履歴を考慮した対話制御技術、及び、事例に基づく発話生成技術等を開発した。また、これらの技術を統合することによりコーパスベース車内音声対話システムを実現した。評価実験により、本システムの有用性ならびに頑健性を確認した。自動車車内における対話をモデル化するために,重層構造を持った対話記述方法を提案した。(InterSpeech2003において論文賞受賞)。提案した記述方法に基づき,作成した音声対話コーパスを用いて,コーパスのコンテキストから次発話を予測処理するコーパスに基づく対話制御方式を構築した。
認知論グループ:これまで進めて来た音場伝送符号化方法の音場再現性(音源定位,音源の大きさ感,音の拡がり感)に必要なシステムパラメータ(再生必要チャネル数)の決定を品質評価実験により求めた.また波面再現方式における音源定位モデルを提案した.対話理解と自然な対話の実現:モーフィング法を用いて感情音声の心理連続体を構成することにより感情音声の知覚特性を明らかとした.従来検討のなかった感情音声の知覚はカテゴリー的でないこと及び基本6感情と平静音声間の心理的空間上の布置関係を明らかとした.

Research Products

• [Publications] Nobuo Kawaguchi, Kazuya Takeda, Fumitada Itakura: "MULTIMEDIA CORPUS OF IN-CAR SPEECH COMMUNICATION"Journal of VLSI Signal Processing Systems. Vol.36.
• [Publications] 木村敏幸, 筧一彦.武田一哉, 板倉文忠: "音場再現におけるマルチチャネル信号の空間符号化"日本バーチャルリアリティ学会論文誌. Vol.8, No.4. 433-442 (2003)
• [Publications] Hiroshii Saruwatari, Satoshi Kurita, Kazuya Takeda, Fumitada Itakura, Tsuyoki Nishikawa, Kiyohiro Shikano: "Blind source separation combining independent component analysis and beamforming"EURASIP Journal on Applied Signal Processing. Vol.2003, No.11. 1135-1146 (2003)
• [Publications] 大原誠, 松原茂樹, 笠浩一朗, 河口信夫, 稲垣康善: "同時通訳を介した異言語間対話の時間的特徴-逐次通訳との比較に基づく対訳コーパスの分析"日本通訳学会誌. No.3. 35-53 (2003)
• [Publications] 春木洋美, 河口信夫, 稲垣康善: "耐タンパハードウェアを用いたモバイルエージェント保護手法"情報処理学会論文誌. Vol.44, No.6. 1613-1624 (2003)
• [Publications] 瀬川 修, 武田 一哉, 板倉 文忠: "端点検出を行なわない連続音声認識"電気学会論文誌C. Vol.124-C. (2004)
• [Publications] 荒木潤二, 西野隆典, 武田一哉, 板倉文忠: "スパーク音源を用いた頭部伝達関数の測定"日本音響学会誌,技術報告. (2004)
• [Publications] Taisuke Ito, Kazuya Takeda, Fumitada Itakura: "Analysis and Recognition of Whispered Speech"Speech Communication. (2004)
• [Publications] Satoshi Nakamura, Kazumasa Yamamoto, Kazuya Takeda, Shing Kuroiwa, Norihide Kitaoka, Takeshi Yamada, Mitsunori Mizumachi, Takanobu Nishiuna, Masakiyo Fujimoto, Akira Saso, Toshiki Endo.: "Data Collection and Evaluation of AURORA-2 Japanese Corpus"IEEE Workshop on Automatic Speech Recognition and Understanding. (2003)
• [Publications] Hideki Banno, Tetsuya Shinde, Kazuya Takeda, Fumitada Itakura: "IN-CAR SPEECH RECOGNITION USING DISTRIBUTED MICROPHONES -ADAPTING TO AUTOMATICALLY DETECTED DEIVING CONDITIONS-"Proc.of IEEE International Conference on Acoustics Speech and Signal Processing, I324-I327. (2003)
• [Publications] Yohei Iwasaki, Nobuo Kawaguchi, Yasuyoshi Inagaki: "Azim : Direction Based Service using Azimuth Based Position Estimation"THE 24th INTERNATIONAL CONFERENCE ON DISTRIBUTED COMPUTING SYSTEMS. (2004)
• [Publications] NobuoKawaguchi, ShigekiMatsubara, HiroyaMurao, ItsukiKishida, YukiIrie, YukikoYamaguchi, Kazuya Takeda, Fumitada Itakura: "CIAIR IN-CAR SPOKEN DIALOGUE CORPUS AND ITS APPLICATION"Proceedings in Special Workshop in MAUI. (2004)
• [Publications] Nobuo Kawaguch: "Cogma : A Middleware for Cooperative Smart Appliances for Adhoc Environment"Proceedings of International Conference on Mobile Computing and Ubiquitous Networking. (2004)
• [Publications] Tomohiro Ohno, Shigeki Matsubara, Nobuo Kawaguchi, Yasuyoshi Inagaki: "Spiral Construction of Syntactically Annotated Spoken Language Corpus"Proceedings of 2003 IEEE International Conference on Natural Language Processing and Knowledge Engineering. (2003)
• [Publications] Koichiro Ryu, Shigeki Matsubara, Nobuo Kawaguchi, Yasuyoshi Inagaki: "Bilingual Speech Dialogue Corpus for Simultaneous Machine Interpretation Research"International Coordinating Committee on Speech Databases and Speech I/O System Assessment. (2003)
• [Publications] YukiIrie, Nobuo Kawaguchi, Shigeki Matsubara, Itsuki Kishida, Yukiko Yamaguchi, Kazuya Takeda, Fumitada Itakura, Yasuyoshi Inagaki: "An Advanced Japanese Speech Corpus for In-Car Spoken Dialogue Research"International Coordinating Committee on Speech Databases and Speech I/O System Assessment. (2003)
• [Publications] Itsuki Kishida, Yuki Irie, Yukiko Yamaguchi, Shigeki Matsubara, NobuoKawaeruchi, Yasuyoshi Inagaki: "Construction of an Advanced In-Car Spoken Dialogue Corpus and its Characteristic Analysis"The 8th European Conference on Speech Communication and Technology. (2003)
• [Publications] Hiroya Murao, Nobuo Kawaguchi, Shigeki Matsubara, Yukiko Yamaguchi, Yasuyoshi Inagaki: "Example-based Spoken Dialogue System using WOZ System Log"Proc.of the 4th SIGdial Workshop on Discourse and Dialogue. 140-148 (2003)
• [Publications] Toshihiro Isobe, Shoii Hayakawa, Hiroya Murao, Ryuji Mizutani, Kazuya Takeda, Fumitada Itakura: "A Study on Domain Recognition of Spoken Dialog System"Proc.of 8th European Conference on Speech Communication and Technology. (2003)
• [Publications] Nobuo Kawaguchi, Shigeki Matsubara, Itsuki Kishida, Yuki Irie, Yukiko Yamaguchi, Kazuya Takeda, Fumitada Itakura: "CONSTRUCTION AND ANALYSIS OF THE MULTI-LAYERED TN-CAR SPOKEN DIALOGUE CORPUS"The Workshop on DSP in Mobile and Vehicular Systems. (2003)
• [Publications] 磯部俊洋, 早川昭二, 村尾浩也, 水谷龍治, 武田一哉, 板倉文忠: "複数モデルを選択的に用いる音声対話システムにおけるドメインの切り替え尺度の検討"情報処理学会研究報告. SLP-47. 41-46 (2003)
• [Publications] 番弘光, 伊藤克亘, 武田一哉, 板倉文忠: "タッピングを利用した音声認識の検討"情報処理学会研究報告. SLP-47. 71-76 (2003)
• [Publications] 五十嵐圭, 伊藤克亘, 武田一哉, 板倉文忠: "自動車運転動作からの個人性抽出に関する検討"電子情報通信学会基礎・境界ソサイエティ大会. A-17-1. 172 (2003)
• [Publications] 番弘光, 伊藤克亘, 武田一哉, 板倉文忠: "タッピングによる単語境界の推定とその音声認識への利用に関する検討"日本音響学会講演論文集. 3-Q-16. 157-158 (2003)
• [Publications] 内田和宏, 西野隆典, 伊藤克亘, 武田一哉, 板倉文忠: "聴覚マスキングを用いた頭外音像定位の評価法"日本音響学会講演論文集. 1-P-2. 581-582 (2003)
• [Publications] 太田護, 伊藤克亘, 武田一哉, 板倉文忠: "言語モデルの対話文へのオンライン適応の検討"日本音響学会講演論文集. 3-Q-18. 161-162 (2003)
• [Publications] 李衛鋒, 西野隆典, 伊藤克亘, 武田一哉, 板倉文忠: "SVMを用いたケプストラムの回帰による車内音声認識"日本音響学会講演論文集. 3-Q-7. 139-140 (2003)
• [Publications] 西野隆典, 武田一哉, 板倉文忠: "クラスタリング手法による汎用HRTFの選択手法の検討"日本音響学会講演論文集. 2-5-4. 517-518 (2003)
• [Publications] 瀬川 修, 武田一哉, 板倉文忠: "言語モデルの予測方向が異なるサーチ結果の比較による信頼度判定方法"日本音響学会講演論文集. 155-1556 (2003)
• [Publications] 武田一哉, 河口信夫, アブット・フセイン, 板倉文忠: "音声・映像・運転行動コーパスを用いた車内情報インターフェースの研究"第2回情報科学技術フォーラム. 4-5 (2003)
• [Publications] 内田和宏, 西野隆典, 伊藤克亘, 武田一哉, 板倉文忠: "聴覚マスキングを用しいた頭外音像定位の評価法の検討"電子情報通信学会技術研究報告. EA2003-121. 15-20 (2003)
• [Publications] 白勢彩子, 原直, 藤村浩司, 伊藤克亘, 武田一哉, 板倉文忠: "ユーザ評価と達成度との相関に基づく音声対話システムの品質評価の予備的検討"電子情報通信学会技術研究報告. NLC2003-92 SP2003-155. 7-12 (2003)
• [Publications] 藤村浩司, 伊藤克亘, 武田一哉, 板倉文忠: "大規模車内音声データベースにおける認識性能変動要因調査"電子情報通信学会技術研究報告. NLC2003-55 SP2003-118. 31-36 (2003)
• [Publications] 村尾浩也, 河口信夫, 松原茂樹, 山口由紀子, 武田一哉, 稲垣康善: "WOZによるオンライン修正準正が可能な事例ベース音声対話システム"情報処理学会研究報告. 2003-SLP-49. 269-274 (2003)
• [Publications] 河口信夫, 松原茂樹, 山口由紀子, 武田一哉, 板倉文忠: "CIAIR実走行車内音声データベース"情報処理学会研究報告. 2003-SLP-49. 130-144 (2003)
• [Publications] 斉藤功治, 河口信夫, 稲垣康善: "RICA:動的にサービス構成の変更が可能な分散ディスプレイシステム"日本ソフトウェア科学会資料シリーズ. WISS2003. 129-134 (2003)
• [Publications] 岩崎陽平, 河口信夫, 稲垣康善: "Azim:方向センサを用いたユビキタス位置情報サービス"情報処理学会研究報告. 2003-UBI-2. 25-30 (2003)
• [Publications] 河口信夫, 金岡弘記, 木曽陽一, 細川勲: "VPcogma:組み込み機器を対象としたバイナリポータブルなユビキタス環境構築ミドルウェア"情報処理学会研究報告. 2003-UBI-2. 97-98 (2003)
• [Publications] 河口信夫: "ユビキタス情報環境の構築と利用"電気関係学会東海支部連合大会講演論文集. 77-78 (2003)
• [Publications] 斉藤功治, 河口信夫, 稲垣康善: "動的に連携可能な情報提示型サービス機器とその利用手法の提案"情報処理学会マルチメディア、分散、協調とモバイル(DICOMO)シンポジウム論文集. No.9. 689-692 (2003)
• [Publications] 佐伯智之, 河口信夫, 稲垣康善: "ユビキタス環境におけるモバイルエージェントを用いたソフトウェアの動的更新手法"情報処理学会マルチメディア、分散、協調とモバイル (DICOMO)シンポジウム論文集. No.9. 593-596 (2003)
• [Publications] 渡辺佳弘, 筧一彦, 井口幸子, 後藤敦子: "音韻性錯語の発生要因について-音節連鎖頻度による1失語例の検討-"日本高次脳機能障害学会. Vol.23 No.4. 252-260 (2003)
• [Publications] Yuko Sogabe, Kazuhiko Kakehi, Hideki Kawahara: "Psychological evaluation of emotional speech using a new morphing method"(2003)
• [Publications] Yuko Sogabe, Kazuhiko Kakehi, Hideki Kawahara: "Psychological evaluation of emotional speech using a new morphing method"International Conference on Cognitive Science. 628-633 (2003)
• [Publications] Ayako Shirose, Kazuhiko Kakehi, Shieeru Kiritani: "Lexical Accent in Kagoshima Japanese Children"15th International Congress of Phonetic Sciences. 1955-1958 (2003)
• [Publications] SAWADA Haruhiko, KAKEHI Kazuhiko: "The Timing Control of Speech Production Adapted to Delayed Auditory Feedback"15th International Congress of Phonetic Sciences. 3173-3176 (2003)
• [Publications] 沢田晴彦, 筧一彦: "聴覚フィードバック実験に基づく発話モデルの検討"日本認知科学会第20回大会. 222-223 (2003)
• [Publications] 野村理朗, 飯高哲也, 筧一彦: "他者感情の推測時における前頭領野の活動"日本心理学会第67回大会. 765 (2003)
• [Publications] 白勢彩子, 筧一彦, 太田一郎, 桐谷滋: "鹿児島方言話者の単語アクセントの発話生成と知覚の相関性"日本音響学会講演論文集. 1-7-15. 391-392 (2003)
• [Publications] 阿瀬見典昭, 鈴木陽一, 杉田陽一, 筧一彦: "雑音・狭帯域雑音間の探索非対称性に対する計算モデルの提案"日本音響学会講演論文集. 1-7-6. 431-432 (2003)
• [Publications] 木村敏幸, 筧一彦, 武田一哉, 板倉文忠: "波面合成による音場再現における制御点数の影響-方向感の検討-"日本音響学会講演論文集. 2-5-7. 523-524 (2003)
• [Publications] 筧一彦: "声・顔・ことば-感情の表出と知覚-"電子情報通信学会技術研究報告(招待論文). HIP2003-89. (2003)
• [Publications] J.Chen, T.Mukai, Y.Takeuchi, H.Kudo, T.Matsumoto, T.Yamamura, N.Ohnishi: "Relating Audio-Visual Events Caused by Multiple Movements : In the Case of Entire Object Movement and Sound Location Change"電気学会論文誌C. VolL.123 No.12. 2094-2102 (2003)
• [Publications] D.Araujo, A.K.Barros, O.Baffa, R.Wakai, H.Zhao, N.Ohnishi: "Fetal Magnetocardiographic Source Separation Using the Poles of the Autocorrelation"4th International Symposium on independent Component Analysis and Blind Signal Separation. 833-836 (2003)
• [Publications] J.Chen, T.Mukai, Y.Takeuchi, T.Matsumoto, H.Kudo, T.Yamamura, N.Ohnishi: "Relating Audio-Visual Events Caused by Multiple Movements in the Real Environment"The 9th International Conference on Information Systems Analysis and Synthesis. 162-167 (2003)
• [Publications] Y.Takeuchi, A.K.Barros, N.Ohnishi: "Real Time Speech Separation by Lateral Inhibition"2003 International Symposium on Intelligent Signal Processing and Communication Systems. 251-255 (2003)
• [Publications] 片山雄介, 伊藤雅紀, 竹内義則, 松本哲也, 工藤博章, 大西昇, 向井利春: "実環境音源分離におけるフィルタタップ数の低減手法"電子情報通伝学会技術研究報告. US2003-113 EA2003-143. 17-23 (2004)