多元音響信号の統合的理解

1999 Fiscal Year Annual Research Report

• Project/Area Number: 11CE2005
• Research Category: Grant-in-Aid for COE Research
• Research Institution: Nagoya University
• Principal Investigator: 板倉 文忠 名古屋大学, 情報メディア教育センター, 教授 (30168299)
• Co-Investigator(Kenkyū-buntansha): 外山 勝彦 名古屋大学, 工学研究科, 助教授 (70217561) ; 大西 昇 名古屋大学, 工学研究科, 教授 (70185338) ; 筧 一彦 名古屋大学, 人間情報学研究科, 教授 (90262930) ; 武田 一哉 名古屋大学, 工学研究科, 助教授 (20273295)
• Keywords: 音声信号処理 / 空間音響 / 音声情報処理 / 言語情報処理 / 音認知 / 音データベース / 音声対話

Research Abstract

研究設備の整備等
学内措置により実験・研究スペースを確保するとともに,大規模実験設備の設計設置,車内音情報統合実験車両の設計製作を行い,拠点整備のための大規模なデータ収集設備,実験設備の整備を終了した。3名の特別研究員(国内1,国外2)の選定を行なうとともに,15名の共同研究員(研究分担者との「民間等との共同研究」による)を組織し,基礎から応用に広がる研究推進体制を整備した。合計9回の研究集会(延べ参加人数270人)を開催した。関連国外COE(ラトガース大CAIPセンター,AT&T研究所,MITメディアラボ,中国科学院声学研究所)を訪問しプロジェクト推進に関する協力体制について協議した。
基盤研究の研究経過
空間物理:混合信号から特定の音の選択(音声強調)と,各源信号の分離(音源分離)について研究した。前者の音声強調では,非線形マイクロホンアレーシステムを考案し,従来の適応ビームフォーマ以上の性能を得ることができた。後者の音源分離では,非定常性を利用した方法と,指向特性を利用した周波数領域での分離方法について研究し,実験により提案手法の有効性を確認した。なお,実環境での音源分離は,世界に先駆けた,良好な結果である。
信号構造論:頭部伝達特性の個人性のモデル化をクラスタリング,主成分分析,の2つの観点から行い,少ない計測で立体的な音場を個人毎に再生する方法を確立した。音源分離の手法の音声から楽音への拡張,雑音下でのロバスト音声符号化,に関するデータベースの設計を行なった。情報変換論:Nグラム言語確率の特異値分解に基づく,情報圧縮・確率補間方法の効果を理論的に検討し,単語クラスタリング実験によりその効果を確認した。異なる環境下で学習された複数の音声HMMを選択的に利用することで,遠隔音声の認識精度を大幅に向上可能なことを明らかにした。さらに当該の音響モデル化が自動車の車内音声のモデル化に対しても有効であることを確認した。
言語論:ユーザの発話の意図を可能な限り単語単位で解析し、適切なタイミングで応答をする漸進的発話理解方式を提案し、メールシステムにおける音声対話に関して当該方式の有効性を確認した。また、マルチドメイン対話システムの開発に必要な、分割と統合に基づく基本的アーキテクチャを提案した。
認知論:環境音の統合的理解として、(1)音源の動き知覚、(2)視聴覚情報の対応づけ、及び(3)環境音事象の知覚に関する研究を進めた。(1)では移動する背景音がターゲット音に及ぼす誘引効果を明らかとした。また移動音現シミュレーションシステムの構築を行い、水平面内のシミュレーションシステムを完成した。(2)では複数話音が存在してもターゲット音声に対する話者像の対応づけが容易に行われることを示した。対話理解と自然な対話の実現に関する研究の一環として韻律情報の生成とその理解についての検討を行った。
応用システム
基盤研究の応用システムである車内音情報統合システムに関し,そのベースとなる実験車両を開発した。実験車両は,16チャネルの音声入出力機能,3チャンネルの画像入力機能,の他,車両位置,車両操作の情報を同時に同期記録を行なう機能を具備している。当該車両の上に模擬応答方式(Wizard of OZ)による音声対話収録機能を装備し,車内音声対話実験を開始した。さらに,連続音声認識,音声対話機能を用いた実験システムの開発をほぼ終了した。
データベース
(車内音声対話)実走行軍内での車内音声対話データベースの設計を完了し,その構築を開始した。本年度末延べ300話者の音声を収録予定。当該データベースは,車内における環境音や音声に止まらず,運転作業と対話とのインタラクションをマルチメディア情報として記録する世界に類のないものである。(子供の声)展示・展覧会場において,ゲーム的に発声を促し音声を取り込む機能を持った子供の声データの収録装置を設計し,これを用いた子供の声データベースの作成に着手した。本年度延べ50人程度の音声を収録予定。(同時翻訳データベース)同時翻訳者を介した日・英語間の対話のデータベースの作成を進めた。20種程度のタスクドメインを想定し,延べ20組の対話者音声の収集を行なう予定。(音響伝達関数データベース)個人の頭部音響伝達特性,室内音響伝達特性のデータをそれぞれ70人分,一部屋150ヶ所において測定しデータベース化した。

Research Products

• [Publications] 早川昭二: "事前に他人受理誤り率を指定する話者照合方式"電子情報通信学会論文誌. VOL.J82-D-II. 2212-2220 (1999)
• [Publications] Hiroshi Saruwatari: "Speech Enhancement Using Nonlinear Microphone Array Based on Complementary Beamforming"IEICE Trans.Fundamentals. Vol.E82-A. 1501-1509 (1999)
• [Publications] 栗田悟史: "情報量に基づくブラインド信号分離における指向特性の利用"平成11年度電気関係学会東海支部連合大会 講演論文集. 518. 259 (1999)
• [Publications] 日比野正幸: "周波数帯域分割を利用した室内伝達関数の極零モデル化によるモデル次数削減"平成11年度電気関係学会東海支部連合大会. 520. 260 (1999)
• [Publications] 西野隆典: "水平方向および鉛直方向の頭部伝達関数の補間の検討"平成11年度電気関係学会東海支部連合大会. 521. 261 (1999)
• [Publications] 清水泰博: "Likelihood Selectionによる遠隔音声認識"平成11年度電気関係学会東海支部連合大会 講演論文集. 522. 261 (1999)
• [Publications] 坂野秀樹: "ヘッドホン特性補正後の零位相音の知覚に関する検討"平成11年度電気関係学会東海支部連合大会 講演論文集. 527. 264 (1999)
• [Publications] 田島英和: "刺激音とHRTFの組み合わせの違いによる前後誤り率の変動の調査"平成11年度電気関係学会東海支部連合大会 講演論文集. 529. 265 (1999)
• [Publications] 米田成吾: "頭部伝達関数のクラスタリングの検討"平成11年度電気関係学会東海支部連合大会 講演論文集. 530. 265 (1999)
• [Publications] 西野隆典: "水平方向および鉛直方向に関する頭部伝達関数"信学技報 TECHNICAL REPORT OF IEICE. EA99-25. 1-8 (1999)
• [Publications] 坂野秀樹: "ヘッドホン特性補正後の零位相音の知覚に関する検討"信学技報 TECHNICAL REPORT OF IEICE. DSP99-75 DSP99-73. 7-14 (1999)
• [Publications] 栗田悟史: "指向特性を利用したブラインド信号分離の残響下における評価"信学技報 TECHNICAL REPORT OF IEICE. DSP99-77 SP99-75. 23-28 (1999)
• [Publications] 猿渡洋: "雑音適応型の相補的指向特性形成法を用いた音声強調"信学技報 TECHNICAL REPORT OF IEICE. DSP99-79 SP99-77. 1-8 (1999)
• [Publications] 清水泰博: "空間音響特性依存HMMによるスペースダイバーシチ型"信学技報 TECHNICAL REPORT OF IEICE. DSP99-81 SP99-79. 15-20 (1999)
• [Publications] 梶田将司: "WebCTによるコースウェア作成支援環境の構築"信学技報 TECHNICAL REPORT OF IEICE. ET99-58. 15-22 (1999)
• [Publications] 猿渡洋: "音声・音響信号を対象としたアレー信号"信学技報 TECHNICAL REPORT OF IEICE. DSP99-121. 67-74 (1999)
• [Publications] 米田成吾: "単一方位角情報に基づくクラスタリングによる汎用HRTFの評価"信学技報 TECHNICAL REPORT OF IEICE. EA99-84. 9-14 (1999)
• [Publications] 近藤正人: "帯域毎ダイナミックレンジに基づく音声認識性能の予測"日本音響学会講演論文集. 1-1-15. 29-30 (1999)
• [Publications] 坂野秀樹: "郡遅延スペクトルの帯域幅の違いが知覚に与える影響について"日本音響学会講演論文集. 2-2-2. 395-396 (1999)
• [Publications] 栗田悟史: "指向特性を利用したブラインド信号分離の実環境における評価"日本音響学会講演論文集. 3-P-24. 519-520 (1999)
• [Publications] 西野隆典: "水平方向および鉛直方向に関する頭部伝達関数の補間の検討"日本音響学会講演論文集. 1-5-7. 595-596 (1999)
• [Publications] 寺島志郎: "特異値分解に基づくTrigram行列の圧縮手法の検討"日本音響学会講演論文集. 3-1-2. 99-100 (1999)
• [Publications] 清水泰博: "空間音響特性依存HMMによるスペースダイバーシチ型音声認識"日本音響学会講演論文集. 1-1-19. 37-38 (1999)
• [Publications] 猿渡洋: "雑音適応型非線形マイクロホンアレーを用いた音声強調"日本音響学会講演論文集. 3-P-1. 473-474 (1999)
• [Publications] 清水泰博: "空間音響特性依存HMMによるスペースダイバーシチ型音声認識手法の評価"日本音響学会講演論文集. 1-8-9. 17-18 (2000)
• [Publications] 猿渡洋: "実環境における雑音適応型非線形マイクロホンアレーの評価"日本音響学会講演論文集. 2-6-2. 465-466 (2000)
• [Publications] 池田幹男: "トレリスを符号を用いたオーディオ信号へのデータ埋め込みへの改良"日本音響学会講演論文集. 2-7-11. 261-262 (2000)
• [Publications] 西野隆典: "鉛直方向に関する頭部伝達関数の補間性能の評価"日本音響学会講演論文集. 3-P-10. 539-540 (2000)
• [Publications] Satoshi Kurita: "Blind Signal Separation Using Directivity Pattern"人工知能学会研究会資料 JSAI Technical Report. 21-26 (1999)
• [Publications] Yasuhiro Shimizu: "Speech Recognition Based on Space Diversity Taking Room Acoustics"人工知能学会研究会資料 JSAI Technical Report. 39-44 (1999)
• [Publications] 山里敬也: "名古屋大学情報メディア教育システムの現状と課題"信学技報 分散システム/インターネット運用技術. 16-10. 55-60 (1999)
• [Publications] 梶田将司: "NATによるプライベートネットワークの準マルチホーム化技法"信学技報 分散システム/インターネット運用技術. 16-13. 73-78 (1999)
• [Publications] 李晃伸: "Phonetic Tied-Mixtureモデルを用いた大語彙連続 音声認識"信学技報 TECHNICAL REPORT OF IEICE. NLC99-32 SP99-100. 43-48 (1999)
• [Publications] Hiroshi.Saruwatari: "Speech Enhancement Based on Noise Adaptive Nonlinear Microphone Array"European Signal Processing Conference (EUSIPCO-2000,Sept,2000,Finland).. (accepted).
• [Publications] Kazuya.Takeda: "AN ACOUSTIC MEASURE FOR PREDICTING RECOGNITION PERFORMANCE DEGRADATION"Proc.of IEEE International Conference on Acoustics,Speech,and Signal Processing (ICASSP'2000,June,2000,Istanbul). (accepted).
• [Publications] A.Lee: "A New Phonetic Tied-Mixture Model for Efficient Decoding"Proc.of IEEE International Conference on Acoustics,Speech,and Signal Processing (ICASSP'2000,June,2000,Istanbul). (accepted).
• [Publications] Yasuhiro Shimizu: "Speech Recognition Based on Space Diversity Using Distributed Multi-Microphone"Proc.of IEEE International Conference on Acoustics,Speech,and Signal Processing (ICASSP'2000,June,2000,Istanbul). (accepted).
• [Publications] Hiroshi Saruwatari: "Speech Enhancement Using Nonlinear Microphone Array with Noise Adaptive Complementary Beamforming"Proc.of IEEE International Conference on Acoustics,Speech,and Signal Processing (ICASSP'2000,June,2000,Istanbul). (accepted).
• [Publications] Satoshi,Kurita: "Evaluation of Blind Signal Separation Method Using Directivity Pattern Under Reverberant Conditions"Proc.of IEEE International Conference on Acoustics,Speech,and Signal Processing (ICASSP'2000,June,2000,Istanbul). (accepted).
• [Publications] Ryuichi Nisimura: "Development of Speech Input System for WWW-based Courseware"ED-MEDIA 2000 (World Conference on Educational Multimedia,Hypermedia & Telecommunications),Montreal,Canada,June,2000年.
• [Publications] Shoji Kajita: "Development of Japanese version of Web CT and its use in Japanese online course"Web CT Asia Pacific Conference,Adelaide,Austlaria,March,2000年.
• [Publications] M.Kondo: "A Waveform Measure For Predicting Recognition Performance Degradation"Proc.of IEEE Automatic Speech Recognition and Understanding Workshop (ASRU'99,Dec,1999,Keystone). 9-1. I-27 (1999)
• [Publications] Takanori Nishino: "Interpolating Head Related Transfer Functions in the median plane"1999 IEEE Workshop on Applications of Signal Processing to Audio and Acoustics (WASPPA"99,Oct,1999,New York) 9-1,pp,167-170. 9-1. 167-170 (1999)
• [Publications] Hiroshi.Saruwatari: "Speech Enhancement Using Nonlinear Microphone Array Under Nonstationary Noise Conditions"Proc.of 6th European Conference on Speech Communication and Technology (Eurospeech'99,Sept,1999,Budapest). vol.6. 2567-2570 (1999)
• [Publications] N.Maeda: "Voice conversion through nonlinear warping of STRAIGHT spectrum"Proc.of 6th European Conference on Speech Communication and techonology. (In Print).
• [Publications] Shoji Kajita: "Compensation of Room Acoustic Transfer Functions Affected by Change of Room Temperature"Audio Engineering Society 107th Convention New York (Sep,1999,NY,U.S.A) An Audio Engineering Society Preprint. 5004(D・1). 1-6 (1999)
• [Publications] 広瀬友紀: "曖昧な節境界決定における潜在的な韻律の役割"文法と音声II 編集音声文法研究会. 93-107 (1999)
• [Publications] 筧一彦: "音声知覚への認知的アプローチ・聴覚障害との接点"聴覚心理研究会紀要. 372-394 (1999)
• [Publications] 野村理朗: "微笑の知覚における部位情報と空間周波数情報の役割"信学技報 TECHNICAL REPORT OF IEICE. HIP99-1. 1-7 (1999)
• [Publications] 櫻庭京子: "幼児・児童の感情表現における音響的分析「ぴかちゅう」にこめられた感性情報"信学技報 TECHNICAL REPORT OF IEICE. SP99-86. 1-8 (1999)
• [Publications] 櫻庭京子: "幼児・児童の感情表現における発達的研究:聴取実験の分析-「ぴかちゅう」にこめられた感性情報-"信学技報 TECHNICAL REPORT OF IEICE. TL99-20. 17-22 (1999)
• [Publications] 西田鶴代: "音源定位における視覚情報の影響-FLMPによる視覚情報の影響の定量化-"日本音響学会誌. 55巻11号. 735-741 (1999)
• [Publications] 伊藤継俊: "衝撃音の認知特性"日本音響学会講演論文集. 3-2-17. 381-382 (1999)
• [Publications] 岡田晃宏: "節境界決定に曖昧性のある文の朗読過程"日本音響学会講演論文集. 2-2-18. 353-354 (1999)
• [Publications] 藤井洋之: "視聴覚対象の対応条件III 定位バイアスに及ぼす話者性の影響"感覚・知覚. 4-13. 357 (1999)
• [Publications] Emmanuel Dupoux: "Epathetic Vowels in Japanese : A Perceptual Illusion?"Journal of Experimental Psychology Human Perception and Performance. Vol25 No6. 1568-1578 (1999)
• [Publications] Kazuhiko Kakehi: "Does Prosody Disambiguate When even the Speaker Can't Disambiguate?"ICCS/JCSS99. P2-22. 783-786 (1999)
• [Publications] Fujii Hiroyuki: "The Effect of Talkers Characteristics in the Ventriloquist condition"ICCS/JCSS99. P3-43. 1124-1127 (1999)
• [Publications] J.Huang,: "Echo avoidance in a computational model of the precedence"Speech Communication. 27. 223-233 (1999)
• [Publications] J.Huang: "A model-based sound localizatin system its application to robot navigation"Robotics and Autonomous Systems. 27. 199-209 (1999)
• [Publications] 河本満: "時空間的に混合した非定常信号のブラインド信号分離"電子情報通信学会論文誌. Vol.J82-A No8. 1320-1328 (1999)
• [Publications] A.Mansour: "Multichannel Blind Separation of Sources Algorithm Based on Cross-Cumulant and the Levenberg-Marquardt Method"IEEE Transactions Signal Processing. 47. 3172-3175 (1999)
• [Publications] Ali MANSOUR: "ICA Algorithm Based on Subspace Approach"Proc.of the IEEE-EURASIP Workshop on Nonlinear Signal and Image Processing (Antalya,TURKEY). 268-272 (1999)
• [Publications] M.Kawamoto: "Real World Blind Separation of Convolved Non-stationary signal"Proc.of 1st International Workshop on Independent Component Analysis and Signal Separation (France). 347-352 (1999)
• [Publications] M.Kawamoto: "Real World Blind Separation of Convolved Speech Signals"Real World Blind Separation of Convolved Speech Signals (Washingtion D.C.,USA). (1999)
• [Publications] 河本満: "実環境におけるブラインド信号分離"SICE'99盛岡. 191-192 (1999)
• [Publications] 河本満: "実環境におけるブラインド分離"電子情報通信学会情報・システムソサエティ大会. 268-269 (1999)
• [Publications] 河本満: "周波数領域で行うブラインド分離の一手法"電子情報通信学会 信学技報 TECHNICAL REPORT OF IEICE. EA99-71. 47-52 (1999)
• [Publications] M.Kawamoto: "A Method of Blind Separation for Convolved Speech Signals"Proceedings of the Seventh Meeting of Special Interest Group on AI Challenges人工知能学会研究会資料. 15-20 (1999)
• [Publications] Nobuo Kawaguchi: "An Open Architechture for Multi-domain Conversational Systems"Proceedings of 2nd International Conference on Information,Communication and Signal Processing-. CD-ROM1B1.4#328. (1999)
• [Publications] Nobuo Kawaguchi: "MAGNET : Ad-Hoc Network System based on Mobile Agents"Computer Communications,(2000).. (to appear).
• [Publications] Shigeki Matsubara: "Sync/Trans : Simultaneous Machine Interpretation between English and Japanese Advanced Topics in Artificial Intelligence"AI'99,Lecture Note in Artificial Intelligence (Dec.1999). 1747. 134-143 (1999)
• [Publications] Nobuo Kawaguchi: "An Architecture for Multi-Domain Spoken Dialog Systems"Proceedings of 5th Natural Languauge Processing Pacific Rim Symposium (NLPRS'99. 463-466 (1999)
• [Publications] Shigeki Matsubara: "Incremental Spoken Langauge Translation based on A Normal-Form Conversion of CFG"Proceedings of 5th Natural Languauge Processing Pacific Rim Symposium (NLPRS'99). 515-518 (1999)
• [Publications] Muhtar Mahsut: "A Method of Word Selection in Japanese Uighur Machine Translation using Latent Semantic Analysis"Proceedings of 5th Natural Languauge Processing Pacific Rim Symposium (NLPRS'99). 459-462 (1999)
• [Publications] Yoshihide Kato: "Spoken Language Pars ing with Robustnees and Incrementality"Proceedings of 5th Natural Languauge Processing Pacific Rim Symposium (NLPRS'99. 132-137 (1999)
• [Publications] Yasuhiro Ogawa: "Japanese-Uigur Machine Translation based on Derivational Grammar"Proceedings of 5th Natural Languauge Processing Pacific Rim Symposium(NLPRS'99. 303-308 (1999)
• [Publications] Nobuo Kawaguchi: "MAGNET : Ad-Hoc Network System based on Mobile Agents"Mobile Agents for Telecommunication Applications (MATA'99). 127-142 (1999)
• [Publications] Nobuo Kawaguchi: "Ad Hoc Network System based on Infrared Communication"Proceedings of the 1999 ICPP Workshops. 114-119 (1999)
• [Publications] 小川泰弘: "派生文法による日本語形態素解析"情執処理学会論文誌. 40(3). 1080-1090 (1999)
• [Publications] 松原茂樹: "英日話し言葉翻訳のための漸進的文生成手法"情報処理学会論文誌. NL-132. 88-91 (1999)
• [Publications] 松原茂樹: "複数発話の同時理解・生成に基づく車内秘書音声対話システムの提案"人工知能学会研究会SIG-SLUD. 88-91 (1999)
• [Publications] 河口信夫: "モバイルエージェントによるアドホックネットワークの構築"第2回プログラミング及び応用のシステムに関するワークショップ(SPA'99)http://www.softlab,is.tsukuba.ac,jp/kato/spa99/. (1999)
• [Publications] 戸崎貴資: "漸増的に端末を認識するアドホックネットワーク構築手法"マルチメディア,分散,協調とモーバイルワークショップ論文集(DiCoMo99). 261-266 (1999)
• [Publications] 河口信夫: "モバイルエージェントに基づく動的拡張可能なソフトウェアシステム"夏のプログラミングシンポジウム報告集. 71-78 (1999)
• [Publications] 河口信夫: "アドホックネットワークを実現するモバイルエージェントシステム"人工知能学会全国大会(第13回)論文集. 24-01. 336-337 (1999)
• [Publications] 松原茂樹: "話し言葉インタフェースを備えた車内秘書システムの提案"人工知能学会全国大会(第13回)論文集. 231-234 (1999)
• [Publications] 河口信夫: "赤外線モバイルアドホックネットワークの構築手法"平成11年度電気学会 電子・情報・システム部門大会講演論文集. 373-374 (1999)
• [Publications] 河口信夫: "ユビキタスネットワーク環境における携帯情報システムの提案"平成11年度電気関係学会東海支部連合大会 講演論文集. 582. 291 (1999)
• [Publications] 杉浦俊一: "アドホックネットワーク上の柔軟な情報共有システム〜モバイルエージェントに基づく実現〜"平成11年度電気関係学会東海支部連合大会 講演論文集. 583. 292 (1999)
• [Publications] 清水邦彦: "アドホックネットワークにおける情報分散共有手法"平成11年度電気関係学会東海支部連合大会 講演論文集. 584. 292 (1999)
• [Publications] 長森誠: "同時対話データの収集とその分析"平成11年度電気関係学会東海支部連合大会 講演論文集. 597. 299 (1999)
• [Publications] 田島慶一: "漸進的な連続音声認識システムの試作"平成11年度電気関係学会東海支部連合大会 講演論文集. 598. 299 (1999)
• [Publications] 松原茂樹: "文脈自由文法の変換に基づく漸進的な話し言葉翻訳手法"情報処理学会第59回全国大会講演論文集. 357-358 (1999)
• [Publications] 河口信夫: "携帯情報端末間の情報共有を支援するモバイルエージェントシステム"情報処理学会第59回全国大会講演論文集. 23-30 (1999)
• [Publications] 加藤芳秀: "確率文脈自由文法を用いた漸進的構文解析における出力タイミング決定手法"情報処理学会第59回全国大会講演論文集. 81-91 (1999)
• [Publications] 佐野諭: "漸進的処理に基づく音声対話メールツールSync/Mailの評価"情報処理学会第59回全国大会講演論文集. 88-91 (1999)
• [Publications] 河口信夫: "実走行車内における音声データベースの構築"情報処理学会研究会 報処理学会研究会. SLP-30. 57-62 (1999)
• [Publications] 河口信夫: "車内音声対話コーバスの構築"情報処理学会第60回全国大会講演論文集(2000).. (掲載予定).