多元音響信号の統合的理解

2000 Fiscal Year Annual Research Report

• Project/Area Number: 11CE2005
• Research Institution: Nagoya University
• Principal Investigator: 板倉 文忠 名古屋大学, 情報メディア教育センター, 教授 (30168299)
• Co-Investigator(Kenkyū-buntansha): 外山 勝彦 名古屋大学, 工学研究科, 助教授 (70217561) ; 大西 昇 名古屋大学, 情報メディア教育センター, 教授 (70185338) ; 筧 一彦 名古屋大学, 人間情報研究科, 教授 (90262930) ; 武田 一哉 名古屋大学, 工学研究科, 助教授 (20273295)
• Keywords: 音声信号処理 / 空間音響 / 音声情報処理 / 言語情報処理 / 音認知 / 音データベース / 音声対話

Research Abstract

研究設備の整備等
学内措置により実験・研究スペースを確保するとともに,大規模実験設備(空間音響信号計測模擬設備)の設計設置,車内音情報統合実験車両の設計製作を行ない,拠点整備のための大規模なデータ収集設備,実験設備の整備を行った.12年度は3名の特別研究員(国内1,国外2),15名の共同研究員(研究分担者との「民間等との共同研究」による),および大学院学生により研究を遂行した.合計9回の研究集会(延べ参加人数180人)を開催した他,電子情報通信学会との併催により,シンポジウム「車内音声対話に高度化にむけて」を開催,60名の参加者を得た.英国ケンブリッジ大のPatterson教授の滞在研究(1か月)受け入れた.Patterson教授,米国ジョージアエ科大Shafer教授他3名の国外研究者の学術講演会を行った.
基盤研究の研究経過
【空間物理】音響信号の空間的な分離・定位方法に関して,複数受音と情報量基準の2つの方法論を研究した.非線形マイクロホンアレー受音方式においてビーム制御機能を実現した.情報量基準による音源分離法の視聴覚情報への拡張を試みた.
【信号構造】様々な音信号の分析・モデル化に関する研究を行った.楽器音や自動車のバンプ音などのモデル化に取り組むとともに,雑音環境下での音声符号化の品質向上方法も検討した.
【情報変換論】種々の劣化要因下での音声認識の精度向上に関する研究を行った.異なる環境下で学習された複数のHMMを選択的に利用し,雑音の混入に対して頑健な音声認識手法を提案した.音声の切り出しが不要な連続的な音声認識手法を提案した.
【言語論】ロバストでなめらかな音声対話システムの実現を目指し,対話のモデル化,漸進的な文理解手法の構築,複数の音声対話システムの統合手法等を研究した.また,平成11年度に収録した車内音声対話データベースの分析のための様々なツールの整備を行い,運転中の被験者の言語現象について詳細な解析を行った.
【認知論】複数音,移動音の知覚特性を様々な信号音を用いて精査した.合わせて視覚刺激との関連性を調査した.韻律の文理解に対する影響を明らかにするため,母音モーラ数の知覚が文理解に与える影響を調査した.
・データベース整備様々な実音響信号のデータベースの収集を継続して行った.また学外の様々な機関((社)音響学会,(財)自走協,音声認識コンソシアム等)より要請を受け,データベースの共同利用に関する検討を開始した.
応用システム
基盤研究の応用システムである車内音情報統合システムに関し,そのベースとなる実験車両を開発した.実験車両は,16チャネルの音声入出力機能,3チャンネルの画像入力機能,の他,車両位置,車両操作の情報を同時に同期記録を行なう機能を具備している.さらに,当該車両の上に連続音声認識,音声対話機能を用いた対話実験システムを設置し,これらのシステムを利用したデータの収集を開始した.
データベース
多様な音声,音響に関するデータベースの構築を進めている.これまでに整備されたデータベースは以下のとおり.(車内音声対話)実走行車内での車内音声対話データベースの設計を完了しその構築を開始した.走行自動車内において(1)ナビゲータとの直接対話(2)音声対話システムとの対話(3)Wizard of OZ(音声合成システム)との対話(4)携帯電話を介した対話,といった様々な対話状況での収録を行った.本年度末延べ500話者の音声を収録完了.当該データベースは,車内における環境音や音声に止まらず,運転作業と対話とのインタラクションをマルチメディア情報として記録する世界に類のないものである.
(子供の声)展示・展覧会場において,ゲーム的に発声を促し音声を取り込む機能を持った子供の声データの収録装置を設計し,これを用いた子供の声データベースの作成に着手した.本年度末までに延べ150人程度の音声を収録予定.
(同時通訳講演データベース)日本語講演,および英語講演に対して,のべ20名60時間の講演と同時通訳者による翻訳結果を同時に収録し,時間情報と共に書き起こしを行った.このコーパスは同時通訳システムの開発や通訳理論研究において貴重な資料となる.
(室内音場)個人毎の頭部音響伝達特性(延べ75名)及び,室内音響伝達特性(実験室内150ヶ所)のデータベース化を行なった.

Research Products

• [Publications] Hiroshi Saruwatari: "Speech Enhancement Using Nonlinear Microphone Array Based on Noise Adaptive Complementary Beamforming"IEICE TRANS.TUNDAMENTALS. Vol.E83-A,No.5. 866-876 (2000)
• [Publications] 河原達也: "日本語ディクテーション基本ソフトウェア(98年度版)"日本音響学会誌. 56巻4号. 255-259 (2000)
• [Publications] 武田一哉: "文部省COEプログラム統合音響情報研究拠点(CIAIR)-音声・音響情報処理の多角的研究-"音響学会誌. 56巻11号. 748-751 (2000)
• [Publications] 春日正男: "マルチメディア情報処理"映像情報メディア学会誌. Vol.54,No.7. 984-994 (2000)
• [Publications] 伊藤克亘: "どうすれば,データ共有を成功させることができるか(解説記事)(特集、ここまできた自然言語処理-例文の収集とその利用-)"情報処理. Vol.41,No.7. 781-786 (2000)
• [Publications] 西村竜一: "WEBベースコースウエアのための音声入力システムの開発"情報処理学会論文誌. Vol.42,No.3. (2001)
• [Publications] 戸田智基: "側抑制性重みづけを用いた雑音環境下におけるSTRAIGHT分析合成系の品質改善"電子情報通信学会論文誌 D-II. Vol.J83-D-II,No.11. 2180-2189 (2000)
• [Publications] 坂野秀樹: "時間領域平滑化群遅延により位相制御を用いた音質制御方式"電子情報通信学会論文誌 D-II. Vol.J83-D-II,No.11. 2276-2282 (2000)
• [Publications] 池田幹男: "バンドエリミネーションを用いたオーディオ信号へのデータハイディング"電子情報通信学会論文誌 D-II. Vol.J83-D-II,No.11. 2350-2359 (2000)
• [Publications] 寺島志郎: "SVDを用いたN-gram確率の線形空間表現"電子情報通信学会論文誌 D-II. Vol.J83-D-II,No.11. 2388-2396 (2000)
• [Publications] 清水泰博: "空間音響特性を配慮したスペースダイバーシチ型ロバスト音声認識"電子情報通信学会論文誌 D-II. Vol.J83-D-II,No.11. 2448-2456 (2000)
• [Publications] 李晃伸: "Phonetic Tied-Mixtureモデルを用いた大語彙連続音声認識"電子情報通信学会論文誌 D-II. Vol.J83-D-II,No.12. 2517-2525 (2000)
• [Publications] 河口信夫: "車内音声対話収集システムの開発"電子情報通信学会論文誌,DII. (2000)
• [Publications] K.Takeda: "AN ACOUSTIC MEASURE FOR PREDICTING RECOGNITION PERFORMANCE DEGRADATION"ICASSP2000. III of VI. 1739-1746 (2000)
• [Publications] A.Lee: "A New Phonetic Tied-Mixture Model for Efficient Decoding"ICASSP2000. III of VI. 1269-1272 (2000)
• [Publications] Y.Shimizu: "Speech Recognition Based on Space Diversity Using Distributed Multi-Microphone"ICASSP2000. III of VI. 1747-1750 (2000)
• [Publications] H.Saruwatari: "Speech Enhancement Using Nonlinear Microphone Array with Noise Adaptive Complementary Beamforming"ICASSP2000. II of VI. 1049-1056 (2000)
• [Publications] S.Kurita: "Evaluation of Blind Signal Separation Method Using Directivity Pattern Under Reverberant Conditions"ICASSP2000. Vol.V of VI. 3140-3143 (2000)
• [Publications] Ryuichi Nisimura: "Development of Speech Input System for WWW-based Courseware"ED-MEDIA 2000. (2000)
• [Publications] Nobuo Kawaguchi: "CONSTRUCTION OF SPEECH CORPUS IN MOVING CAR ENVIRONMENT"ICSLP 2000. Vol.III. 362-365 (2000)
• [Publications] S.Terashima: "Vector Space Representation of Language Probabilities through SVD of N-gram Matrix"ICSLP 2000. Vol.III. 995-998 (2000)
• [Publications] Yoshihide Kato: "Spoken Language Parsing based on Incremental Disambiguation"ICSLP 2000. Vol.III. 999-1002 (2000)
• [Publications] Yasuyuki Aizawa: "Spoken Language Corpus for Machine Ineterpretation Research"ICSLP 2000. Vol.III. 398-401 (2000)
• [Publications] Saruwatari.H: "BLIND SOURCE SEPARATION BASED ON SUBBAND ICA AND BEAMFORMING"ICSLP 2000. Vol.III. 94-97 (2000)
• [Publications] Kawahara.T: "FREE SOFTWARE TOOLKIT FOR JAPANESE LAREGE VOCABULARY CONTINUOUS SPEECH RECOGNITION"ICSLP 2000. Vol.IV. 476-479 (2000)
• [Publications] Hiroshi SARUWATARI: "Evaluation of Noise Adaptive Nonlinear Microphone Array Under Reverberant Conditions"WESTPRA VII. Vol.1. 79-82 (2000)
• [Publications] Satoshi KURITA: "Evaluation of Frequency-Domain Blind Signal Separation Using Directivity Pattern Under Reverberant Conditions"WESTPRA VII. Vol.1. 453-456 (2000)
• [Publications] Mikio IKEDA: "ROBUST AUDIO DATA HIDING BY USE OF TRELLIS CODING"WESTPRA VII. Vol.1. 413-416 (2000)
• [Publications] Takanori NISHINO: "INTERPOLATING HEAD RELATED TRANSFER FUNCTIONS"WESTPRA VII. Vol.1. 293-295 (2000)
• [Publications] Nobuo Kawaguchi: "Ad-Hoc On-Demand Communication System based on Mobile Agents"The 3^<rd> International Symposium on Wireless Personal Multimedia Communications WPMC2000. WPMC'2000. 1061-1066 (2000)
• [Publications] 梶田将司: "高等教育における情報通信技術活用のトレンド"分散システム/インターネット運用技術シンポジウム. 87-92 (2001)
• [Publications] 瀬川修: "端点検出を行わない連続音声認識の検討"日本音響学会講演論文集. 2-Q-4. 97-98 (2000)
• [Publications] 河村尊良: "特定帯域不使用モデルを用いた雑音環境下の音声認識"日本音響学会講演論文集. 2-Q-16. 121-122 (2000)
• [Publications] C.Chandra Sek: "ANCHOR POINT BASED APPROACH FOR RECOGNITION OF SUBWORD UNITS OF SPEECH"日本音響学会講演論文集. 2-Q-21. 131-132 (2000)
• [Publications] 坂野秀樹: "群遅延に基づく体相の距離尺度に関する検討"日本音響学会講演論文集. 1-2-17. 327-328 (2000)
• [Publications] 日比野正幸: "室内インパルス応答の時間領域での分割の検討"日本音響学会講演論文集. 1-7-3. 363-364 (2000)
• [Publications] 田島英和: "頭部伝達関数における前後の相違の調査"日本音響学会講演論文集. 3-P-10. 467-468 (2000)
• [Publications] 清水司: "停車中と運転中のドライバ発話の特徴"日本音響学会講演論文集. 2-Q-8. 105 (2000)
• [Publications] 村尾浩也: "対話事例を利用した音声対話システムの提案"日本音響学会講演論文集. 1-5-24. 47-48 (2000)
• [Publications] 加藤恒夫: "実走行環境下における非定常車内騒音の識別実験"日本音響学会講演論文集. 2-5-7. 63-64 (2000)
• [Publications] 猿渡洋: "帯域分割型ICAとアルゴリズムダイバーシチに基づくブラインドビームフォーマ"日本音響学会講演論文集. 2-7-15. 443-444 (2000)
• [Publications] 米田成吾: "方位角情報に基づくクラスタリングによる汎用HRTFの評価"日本音響学会講演論文集. 1-P-22. 635 (2001)
• [Publications] 田島英和: "頭部伝達関数を用いた前後知覚に関する検討"日本音響学会講演論文集. 1-P-25. 641 (2001)
• [Publications] 日比野正幸: "室内インパルス応答の時間領域分割モデル"日本音響学会講演論文集. 2-7-14. 545 (2001)
• [Publications] 河村尊良: "複数の帯域不使用HMMの選択に基づく音声認識の検討"日本音響学会講演論文集. 2-3-11. 75 (2001)
• [Publications] 木村敏幸: "主成分分析によるマルチチャンネル音響符号化の検討"日本音響学会講演論文集. 2-7-15. 547 (2001)
• [Publications] 瀬川修: "車内音声対話の自動書き起こしの検討"日本音響学会講演論文集. 3-8-9. 155 (2001)
• [Publications] 早川昭二: "音声対話システムを用いた車内対話の収集"日本音響学会講演論文集. 3-P-25. 213 (2001)
• [Publications] 吉田幸司: "低ビットレート音声符号化のための背景雑音信号のモデル化に関する検討"日本音響学会講演論文集. 3-Q-22. 385 (2001)
• [Publications] 清水司: "電話番号案内タスクにおける停車中と運転中のドライバ発話の特徴"日本音響学会講演論文集. 3-P-26. 215 (2001)
• [Publications] 坂野秀樹: "群遅延スペクトルの帯域幅の違いが零位相音と非零位騒音の知覚に与える影響"電子情報通信学会技術研究報告. EA2000-10. 1-8 (2000)
• [Publications] 中井勇祐: "重回帰分析による頭部伝達関数の推定"電子情報通信学会技術研究報告. EA2000-11. 9-14 (2000)
• [Publications] 沖田桂介: "室内音響特性を配慮した音声認識に関する検討"電子情報通信学会技術研究報告. EA2000-12. 15-20 (2000)
• [Publications] 武田一哉: "頑健な音声処理手法-多元信号の統合に基づく音声-"電子情報通信学会技術研究報告. NLC2000-27 SP2000-75. 1-6 (2000)
• [Publications] 西野隆典: "重回帰分析を用いた頭部伝達関数の推定"電子情報通信学会基礎・境界ソサイティ大会2000. SA-4-4. 317-318 (2000)
• [Publications] 河口信夫: "実走行車内音声対話コーパスの設計と特徴"第2回音声言語シンポジウム論文集. (2000)
• [Publications] 村尾浩也: "対話事例を利用した音声対話システム"電子情報通信学会技術研究報告第2回音声言語シンポジウム論文集. NLC2000-60 SP2000-108. 79-84 (2000)
• [Publications] 小川泰弘: "派生文法に基づく日本語動詞句のウイグル語への翻訳"自然言語処理. Vol.7,No.3. 57-77 (2000)
• [Publications] ムフタル・マフスット: "派生文法に基づくウイグル語-日本語機械翻訳へのアプローチ"電気関係学会東海支部連合大会講演論文集. 313 (2000)
• [Publications] 木村晋一: "音声対話MP3プレイヤーの実現とその評価"電気関係学会東海支部連合大会講演論文集. 563 (2000)
• [Publications] 植田智: "アドホネットワークにおける投票システムの実現"電気関係学会東海支部連合大会講演論文集. 611 (2000)
• [Publications] 森大輔: "左再帰規則を含むCFGに対する漸進的構文解析"電気関係学会東海支部連合大会講演論文集. 622 (2000)
• [Publications] 相澤靖之: "日米同時通訳のためのパラレル会話コーパスの分析"電気関係学会東海支部連合大会講演論文集. 629 (2000)
• [Publications] 浅井達哉: "マルチエージェントを用いた信念と意図の形式化"電気関係学会東海支部連合大会講演論文集. 648 (2000)
• [Publications] 小島隆弘: "論理プログラムヘの変換に基づく多エージェント系自己認識論理の計算法"電気関係学会東海支部連合大会講演論文集. 650 (2000)
• [Publications] 松原茂樹: "音声翻訳研究のための話し言葉コーパスの構築"情報処理第61回全国大会講演論文集. 350-351 (2000)
• [Publications] 河口信夫: "モバイルアドホネットワークにおけるコミュニケーション支援手法"情報処理学会研究報告. SIG-MBL-13. 55-60 (2000)
• [Publications] 戸崎貴資: "漸増的に端末を認識するアドホックネットワーク構築手法の評価"情報処理学会研究報告. SIG-MBL-14. 47-54 (2000)
• [Publications] 杉浦俊一: "モバイルエージェントを用いたファイル管理システムの提案"マルチメディア,分散,協調とモバイル(DICOMO2000)シンポジウム論文集. 145-150 (2000)
• [Publications] 宮越勇樹: "アドホネットワークにおける柔軟なグループ管理手法〜モバイルエージェントを用いた実現〜"マルチメディア,分散,協調とモバイル(DICOMO2000)シンポジウム論文集. 1-6 (2000)
• [Publications] 野村理朗: ""偽りの微笑"の知覚方略の検討"第64回日心大会2000. 認知17-3. 629 (2000)
• [Publications] 筧一彦: "電話と聴覚研究"日本音響学会誌. Vol.57,No1. 61 (2001)
• [Publications] Yuki Hirose: "PERCEPTION OF IDENTICAL VOWEL SEQUENCES IN JAPANESE CONVERSATIONAL SPEECH"ICSLP2000. 783-786 (2000)
• [Publications] 桜庭京子: "感情表現が言語的制約に及ぼす影響の発達的検討"電子情報通信学会技術研究報告. SP2000-39. 53-59 (2000)
• [Publications] 桜庭京子: 電子情報通信学会技術研究報告. TL2000-17. 25-32 (2000)
• [Publications] 野村理朗: "感情、及び性別における曖昧性認知に関わる脳内部位の同定-Event related fMRIを用いた検討-"電子情報通信学会技術研究報告. HCS2000-44. 39-46 (2000)
• [Publications] 岡田晃宏: "音の動きと音源の分離・融合"日本音響学会講演論文集. 1-2-6. 305-306 (2000)
• [Publications] 藤井洋之: "2音同時呈示条件における音源定位-相対的位置関係と定位位置-"日本音響学会聴覚研究会資料. H-2000-83. (2000)
• [Publications] 筧一彦: "マルチメディシステムの人間科学/ヒトの情報処理モデル"映像情報メディアハンドブック 映像情報メディア学会2000. 566-570 (2000)
• [Publications] 広瀬友紀: "文中における連続同一母音の継続時間長とモーラ数の関係およびその知覚"日本認知科学会第17回大会2000. 14-15 (2000)
• [Publications] 野村理朗: "微笑は概略的に認知されるのか?-"真の微笑"と"偽りの微笑"との比較-"日本認知科学会第17回大会2000. P1-36. 126-127 (2000)
• [Publications] 藤井洋之: "音源定位における同時呈示された他の音源の影響"第64回日心大会2000. 感覚・知覚12-3. 459 (2000)
• [Publications] 浅井泰行: "運動を介した視聴覚による物体定位能力の獲得"電子情報通信学会論文誌. VOL.J83-D-II,No7. 1676-1684 (2000)
• [Publications] M.Kawamoto: "A METHOD OF REAL-WORLD BLIND SEPARATION IMPLEMENT IN FREQUENCY DOMAIN"ICA 2000, Finland. 267-271 (2000)
• [Publications] Allan Kardec Barros: "ENHANCEMENT OF A SPEECH SIGNAL EMBEDDED IN NOISY ENVIORNMENT USING TWO MICROPHONES"ICA 2000, Finland. 423-428 (2000)
• [Publications] Ali MANSOUR: "A BATCH SUBSPACE ICAALGORITHM"Tenth IEEE Workshop on Statistical Signal and Array Processing, Pennsylvania USA. 63-67 (2000)
• [Publications] Ali MANSOUR: "A BATCH SUBSPACE ICA ALGORITHM"TENCON2000, Kuala Lumpur Malaysia. 26-32 (2000)
• [Publications] Ali MANSOUR: "Discussion of Simple Algorithms and Methods to Separate Nonstationary Signals"TENCON2000, Kuala Lumpur Malaysia. 78-85 (2000)
• [Publications] Jinji Chen: "Finding Correspondence between Visual and Auditory Events Based on Perceptual Grouping Laws across Different Modalities"2000 IEEF International Conference on Systems, Man and Cybernetics, Nashville USA. 242-247 (2000)
• [Publications] Jinji Chen: "Finding Correspondence between Visual and Auditory Events Based on Perceptual Grouping Laws across Different Modalities"7^<th> International Conference on Neural Information Processing 2000, Taejon Korea. 252-257 (2000)
• [Publications] Hitomichi Nakamura: "Acquiring Localization Ability by Self-orfanization in a Non-Linear Moter System"7^<th> International Conference on Neural Information Processing 2000, Taejon Korea. 952-957 (2000)
• [Publications] Hideki Kawahara: "Auditory Event Detection Based on a Time-Domain Fixed Point Analysis"WESTPRA VII. Vol.1. 255-258 (2000)
• [Publications] Parham Zolfaghari: "Investigation of analysis and synthesis parameters of straight by subjective evaluation"ICSLP 2000. Vol.III. 498-501 (2000)
• [Publications] Hideki Kawahara: "Accurate Vocal event detection method based on a fixed-point analysis of mapping from time to weighted average group delay"ICSLP 2000. Vol.IV. 664-667 (2000)
• [Publications] Parham Zolfaghari: "A sinusoidal model based on frequency-to-instantaneousfrequency mapping"ICSLP 2000. Vol.IV. 692-695 (2000)
• [Publications] 引地孝文: "笙の物理モデリング"電子情報通信学会技術研究報告. SP2000-135. 35-42 (2000)
• [Publications] 引地孝文: "フリーリード楽器の発音機構について"日本音響学会音楽音響研究会資料. MA00-2. 1-7 (2000)
• [Publications] 引地孝文: "笙の音響特性の検討"日本音響学会音楽音響研究会資料. MA00-26. 73-80 (2000)
• [Publications] 板倉文忠: "情報源符号化 歪みのあるデータ圧縮 第4章"培風館. 66-79 (2000)