多元音響信号の統合的理解

2001 Fiscal Year Annual Research Report

• Project/Area Number: 11CE2005
• Research Institution: Nagoya University
• Principal Investigator: 板倉 文忠 名古屋大学, 工学研究科, 教授 (30168299)
• Co-Investigator(Kenkyū-buntansha): 外山 勝彦 名古屋大学, 工学研究科, 助教授 (70217561) ; 大西 昇 名古屋大学, 情報メディア教育センター, 教授 (70185338) ; 筧 一彦 名古屋大学, 人間情報学研究科, 教授 (90262930) ; 武田 一哉 名古屋大学, 工学研究科, 助教授 (20273295)
• Keywords: 音声信号処理 / 空間音響 / 音声情報処理 / 言語情報処理 / 音認知 / 音データベース / 音声対話

Research Abstract

研究設備の整備等
学内措置により実験・研究スペースを確保するとともに,大規模実験設備(空間音響信号計測模擬設備)の設計設置,車内音情報統合実験車両の設計製作を行ない,拠点整備のための大規模なデータ収集設備,実験設備の整備を行った.13年度は3名の特別研究員(国内1,国外2),19名の共同研究員(研究分担者との「民間等との共同研究」による),および大学院学生により研究を遂行した.合計9回の研究集会(延べ参加人数300人)を開催した他,セミナー「ディジタルメディアテクノロジー」「Moter Theory Semminar」を開催,60名の参加者を得た.米国オハイオ州立大学の藤村靖教授の滞在研究(1か月)受け入れ,学術講演会を行った.
主たる課題と成果
【空間物理】音源分離方式の実環境下での動作性能を安定向上させるため,視覚情報との統合方法を検討し,その有効性を確認した。
【信号構造】様々な音信号の分析・モデル化に関する研究を行った.楽器音や自動車のバンプ音などのモデル化に取り組むとともに,楽器音の分析・合成方式を提案した。
【情報変換論】種々の劣化要因下での音声認識の精度向上に関する研究を行った.複数マイクロホンで受音された音声をスペクトル上で統合する雑音抑圧方法を提案した。HMMを用いた概念の獲得に関して検討を開始した。
【言語論】ロバストでなめらかな音声対話システムの実現を目指し,対話のモデル化,漸進的な文理解手法の構築,複数の音声対話システムの統合手法等を研究した.音声認識の結果得られた単語列から発話者の意図を正確に抽出するための統計的な発話理解方式を構築した。
【認知論】発話者の感情が聞き手にどのように知覚されるかをfMRIを用いた表情画像の知覚実験に基づき分析した。
データベース整備 様々な実音響信号のデータベースの収集を継続して行った.また学外の様々な機関((社)音響学会,(財)自走協,音声認識コンソシアム等)より要請を受け,データベースの共同利用に関する配布を開始した。
応用システム
基盤研究の応用システムである車内音情報統合システムに関し,そのベースとなる実験車両を開発した.実験車両は,16チャネルの音声入出力機能,3チャンネルの画像入力機能,の他,車両位置,車両操作の情報を同時に同期記録を行なう機能を具備している.さらに,当該車両の上に連続音声認識,音声対話機能を用いた対話実験システムを設置し,これらのシステムを利用したデータの収集を開始した.
データベース
多様な音声,音響に関するデータベースの構築を進めている.これまでに整備されたデータベースは以下のとおり.(車内音声対話)実走行車内での車内音声対話データベースの設計を完了しその構築を開始した.走行自動車内において(1)ナビゲータとの直接対話(2)音声対話システムとの対話(3)Wizard of OZ(音声合成システム)との対話(4)携帯電話を介した対話,といった様々な対話状況での収録を行った.本年度末延べ800話者の音声を収録完了.当該データベースは,車内における環境音や音声に止まらず,運転作業と対話とのインタラクションをマルチメディア情報として記録する世界に類のないものである.
(子供の声)展示・展覧会場において,ゲーム的に発声を促し音声を取り込む機能を持った子供の声データの収録装置を設計し,これを用いた子供の声データベースの作成に着手した.本年度末までに延べ300人の音声を収録を完了.
(同時通訳講演データベース)日本語講演,および英語講演に対して,のべ20名60時間の講演と同時通訳者による翻訳結果を同時に収録し,時間情報と共に書き起こしを行った.このコーパスは同時通訳システムの開発や通訳理論研究において貴重な資料となる.
(装着型マイクロホン音声)様々な生活環境下での音声認識の実現のために,装着型接話マイクを用いた受音方式の研究のための装着型マイクロホン音声データベースの構築を開始した。

Research Products

• [Publications] H.Kamiyanagida: "Direction ofArrival Estimation Using Nonlinear Microphone Array"IEICE TRANS.TUNDAMENTALS. Vol.E84-A, No.4. 999-1010 (2001)
• [Publications] 板野秀樹: "時間領域平滑化郡遅延を用いた短時間体相の効率的表現方法"電子情報通信学会論文誌,D-II. Vol.J84-D-II No.4. 621-628 (2001)
• [Publications] 河口信夫: "走行車室内音声対話収録システムの開発"電子情報通信学会論文誌,D-II. Vol.J84-D-II No.6. 909-917 (2001)
• [Publications] 西野隆典: "水平方向及び仰角方向に関する頭部伝達関数の補間"日本音響学会誌,Acoustical Science and Technology. 57巻11号. 685-692 (2001)
• [Publications] Hideki Banno: "The effect of group delay spectrum on timbre"Acoustical Science and Technology. 23,1. 1-9 (2002)
• [Publications] Takafumi Hikichi: "Measurements of the resonance frequencies and the rees vibration of the sho"Acoustical Science and Technology. 23,1. 25-27 (2002)
• [Publications] 小島隆弘: "多エージェント系自己認識論理の論理プログラムへの変換"人工知能学会論文誌. 17巻2号. 114-126 (2002)
• [Publications] C.Chandra Sekhar: "Recognition of consonant-vowel utterances using Support Vector Machines"ESANN2001 9th European Symposium On Artificial Neural Networks. 7-12 (2001)
• [Publications] O.Segawa: "Continuous speech recognition without end-point detection"IEEE Signal Processing Society, ICASSP, International Conference on Acoustics, Speech, and Signal Processing. Vol.I of VI. 245-248 (2001)
• [Publications] H.Saruwatari: "Blind source separation combining frequency-domain ICA and beam forming"IEEE Signal Processing Society, ICASSP, International Conference on Acoustics, Speech, and Signal Processing. Vol.I of VI. 2733-2736 (2001)
• [Publications] H.Saruwatari: "Direction of arrival estimation based on nonlinear microphone array"IEEE Signal Processing Society, ICASSP, International Conference on Acoustics, Speech, and Signal Processing. Vol.I of VI. 3033-3036 (2001)
• [Publications] Hideki Banno: "A Study on Perceptual Distance Measure for Phase Spectrum of Stimuli"IEEE Signal Processing Society, ICASSP, International Conference on Acoustics, Speech, and Signal Processing. Vol.I of VI. 3297-3300 (2001)
• [Publications] C.Chandra Sekhar: "Close-Class-Set Discrimination Method for Recognition of Stop_Consonant_Vowel Utterances using Support Vector Machines"ICANN2001 International Conference on Artificial Neural Networks. 399-404 (2001)
• [Publications] Y.Kawamura: "Robust speech recognition based on selective use of missing frequency band HMMs"Proc. of 7th European Conference on Speech Communication and technology (Eurospeech'01). Vol.2. 1115-1118 (2001)
• [Publications] N.Kawaguchi: "Multimedia data collection of in-car speech communication"Proc. of 7th European Conference on Speech Communication and technology (Eurospeech'01). Vol.3. 2027-2030 (2001)
• [Publications] Kawahara H: "Systematic FO Glitches around Nasal-Vowel Transitions"Proc. of 7th European Conference on Speech Communication and technology (Eurospeech'01). Vol.4. 2459-2462 (2001)
• [Publications] Yuuki Miyagoshi: "Flexible Group Management on Ad Hoc Network using Miyagoshi Mobile Agents"Wireless Personal Multimedia Communications (WPMC'2001). (2001)
• [Publications] Taisuke Itoh: "Acoustic Analysis and Recognition of Whispered Speech"ASRU2001 Workshop on Automatic Speech Recognition and Understanding Madonna di Campiglio. (2001)
• [Publications] Hiroya Murao: "Examplebased Query Generation for Spontaneous Speech"ASRU2001 Workshop on Automatic Speech Recognition and Understanding Madonna di Campiglio. (2001)
• [Publications] 西野隆典: "クラスタリング手法に基づく汎用頭部伝達関数の作成と評価"電子情報通信学会技術研究報告. EA2001-12. 1-8 (2001)
• [Publications] Parham Zolfaghari: "瞬時周波数に基づいたイベント同期型正弦派モデルについて"電子情報通信学会技術研究報告. EA2001-12. 59-66 (2001)
• [Publications] 河口信夫: "複数の音声対話システムの統合制御機構とその評価"情報処理学会音声言語処理研究会資料. Vol.2001, No55, 2001-SLP-36. 63-70 (2001)
• [Publications] 松原茂樹: "統計データに基づく話し言葉音声の係り受け解析"情報処理学会音声言語処理研究会資料. Vol.2001, No.55. 23-28 (2001)
• [Publications] 春木洋美: "耐タンパハードウェアを用いたモバイルエージェント保護手法"マルチメディア,分散,協調とモバイル(DICOMO2001)シンポジウム論文集. 43-48 (2001)
• [Publications] 引地孝文: "笙の物理モデルにおける制御パラメータの影響の検討"情報処理学会研究報告音楽情報科学. 2001-MUS-4141-11. 61-66 (2001)
• [Publications] 引地孝文: "笙の物理モデルの様々な演奏法生成への応用"音楽音響研究会資料. Vol.20, No.4MA2001-24. 37-38 (2001)
• [Publications] 坂野秀樹: "群遅延に基づく位相の聴覚的距離尺度"電子情報通信学会技術研究報告. DSP2001-91, SP2001-64. 23-29 (2001)
• [Publications] 伊藤太介: "ささやき声の音響分析と音声認識への応用"電子情報通信学会技術研究報告. DSP2001-98, SP2001-71. 59-64 (2001)
• [Publications] 樋口晋也: "言語情報を用いた音響モデルの作成"日本音響学会講演論文集. 1-Q-21. 181-182 (2001)
• [Publications] 瀬川修: "音声モニタリングによる対話理解方式の検"日本音響学会講演論文集. 1-Q-25. 189-190 (2001)
• [Publications] 伊藤太介: "囁き声の音声認識のための音響分析に関する検討"日本音響学会講演論文集. 1-Q-33. 205-206 (2001)
• [Publications] 坂義秀: "実走行中の車内データを用いた車内騒音の合成に関する検討"日本音響学会講演論文集. 2-P-15. 885-886 (2001)
• [Publications] 引地孝文: "笙の物理モデルの発振条件について"日本音響学会講演論文集. 3-5-9. 753-754 (2001)
• [Publications] 引地孝文: "笙の物理モデル合成法を用いた各種奏法の実現"日本音響学会講演論文集. 3-5-10. 755-756 (2001)
• [Publications] Parham Zolfaghari: "Glottal Event Synchronous analysis/synthesis based on Instantaneous Frequency"日本音響学会講演論文集. 1-2-23. 251-252 (2001)
• [Publications] 新出哲也: "遠隔マイクロフォン音声の重回帰による音声強調"2001年度電気関係学会東海支部連合大会講演論文集. 496 (2001)
• [Publications] 辻庸介: "すれ違い画像のオプティカルフローと車内騒音との関係"2001年度電気関係学会東海支部連合大会講演論文集. 512 (2001)
• [Publications] 加藤芳秀: "確率文脈自由文法を用いた斬進的構文解析"2001年度電気関係学会東海支部連合大会講演論文集. 559 (2001)
• [Publications] 青山龍: "音声対話システムのための事例に基づく発話生成手法の提案"2001年度電気関係学会東海支部連合大会講演論文集. 561 (2001)
• [Publications] 岩崎陽平: "無線機器間の接続指示手法の提案と実装"2001年度電気関係学会東海支部連合大会講演論文集. 649 (2001)
• [Publications] 山村和寿: "多エージェント系自己認識論理に基づく図形情報の形式化"2001年度電気関係学会東海支部連合大会講演論文集. 675 (2001)
• [Publications] 松原茂樹: "同時通訳コーパスの設計と構築"日本通訳学会. No.1. 85-102 (2001)
• [Publications] 河口信夫: "Cogma:動的ネットワーク環境における組み込み機器間の連携用ミドルウェア"情報処理学会コンピュータシステム・シンポジウム. 1-8 (2001)
• [Publications] 河口信夫: "実走行車内音声対話データベース"情報処理学会音声言語処理研究会資料. Vol.2001No.123 2001-SLP-39. 141-146 (2001)
• [Publications] 岩崎陽平: "Touch-and-Connect:無線機器間の接続指示手法"日本ソフトウェア科学会インタラクティブシステムとソフトウェアに関するワークショップ. (2001)
• [Publications] 木村晋一: "係り受け関係を用いた発話意図推定手法"情報処理学会第63回全国大会公演論文集. Vol.2. 197-198 (2001)
• [Publications] 伊藤太介: "実環境における囁き声の音声認識に関する検討"日本音響学会講演論文集. 1-5-11. 21-22 (2002)
• [Publications] 辻庸介: "車の前方映像のオプティカルフローと車内騒音との関係"日本音響学会講演論文集. 1-7-14. 757-758 (2002)
• [Publications] 荒木潤二: "呈示刺激、呈示時問の相違による音像定位精度の差に関する検討"日本音響学会講演論文集. 1-9-5. 449-450 (2002)
• [Publications] 河原英紀: "時間周波数表現における3種類の不動点と音響的特徴について"日本音響学会講演論文集. 2-9-13. 497-498 (2002)
• [Publications] 武田一哉: "走行状況別車内音声データベース"日本音響学会講演論文集. 3-P-10. 185-186 (2002)
• [Publications] 新出哲也: "遠隔マイクロフォンによる音声の重回帰による音声強調"日本音響学会講演論文集. 3-P-11. 187-188 (2002)
• [Publications] 多々良潔: "ピンマイクロフォン収録による音声データベースと音響モデルの作成に関する検討"日本音響学会講演論文集. 3-P-15. 195-196 (2002)
• [Publications] Emmanuel Dupoux: "New evidence for prelexical phonological processing in word recognition"Language and Cognitive Processes. 16(5/6). 491-505 (2001)
• [Publications] 寛一彦: "III 認知科学・社会福祉4.音響学"言語聴覚障害学基礎・臨床. 200-210 (2001)
• [Publications] 寛一彦: "人間と機械の音声認識-音声聴覚研究の学際性-"認知科学(Cognitive Studies). Vol.8, No.3. 207-211 (2001)
• [Publications] 櫻庭京子: "音声による感情表現の発達的検討"音声言語医学. Vol.43, No.1. 1-8 (2002)
• [Publications] Kazuhiko KAKEHI: "The activities of JCCS (Japanese Cognitive Science Society) -Possible mutual cooperative study area between JCCS and KSCS"The Third International Conference on Congnitive Science(ICCS 2001). (2001)
• [Publications] Ayako Shirase: "Acquisition of Japanese Compound Accent Rules :A Comparative Linguistic Study"The Third International Conference on Congnitive Science(ICCS 2001). 475-479 (2001)
• [Publications] Noriko Suzuki: "Social Effects on Vocal Rate Echoic mimicry Using Prosody-only Voice"Proc. of 7th European Conference on Speech Communication and technology (Eurospeech'01). vol.4. 2413-2416 (2001)
• [Publications] Michio Nomura: "Study on ambiguous facial expression and gender using fMRI"NeuroImage 13 IDEAL. Part2 of 2Parts. S454 (2001)
• [Publications] Hideki Ohaira: "Subliminal priming of valenced face unconsciously modulates subsequent detection of facial expression : fMRI evidence of affective priming"NeuroImage 13 IDEAL. Part2 of 2Parts. S455 (2001)
• [Publications] Jun Nomura: "Development of Sentence Patterns in Japanese-and -English-Acquiring Children : Analysis of Longitudinal Data from CHILDES"The Third International Conference on Congnitive Science(ICCS 2001,). 411-415 (2001)
• [Publications] Stephen G.Lambacher: "Influence of Discrimination Training on the Ability of Native Japanese to Identify the American English Mid and Low Vowels"日本認知科学会第18回大会. 35-37 (2001)
• [Publications] 藤井洋之: "発話映像に対する音声の話者性の適合性"日本認知科学会第18回大会. 54-55 (2001)
• [Publications] 沢田晴彦: "遅延聴覚フィールドバックを用いた人工吃による吃音モデルの検討"日本認知科学会第18回大会. 76-77 (2001)
• [Publications] 白勢彩子: "方言比較による複合名詞アクセント規則の獲得過程の検討"日本言語学会第122回大会予稿集. 269-274 (2001)
• [Publications] 沢田晴彦: "聴覚フィードバックによる発話の修正"第36回北陸心理学会大会. (2001)
• [Publications] 野村理朗: "曖昧表情のマッチング課題遂行時における脳活動-若年群における検討-"福井医科大学高エネルギー医学研究センター研究発表会. (2001)
• [Publications] 沢田晴彦: "遅延聴覚フィードバックによる発話潜時への影響"第4回認知神経心理学研究会. 26-27 (2001)
• [Publications] 白勢彩子: "複合名詞アクセント規則獲得過程の方言差"日本音声学会2001年度全国大会. 43-48 (2001)
• [Publications] 沢田晴彦: "遅延聴覚フィードバックへの順応と発話潜時の関係"日本音声学会2001年度全国大会. 55-60 (2001)
• [Publications] 野村理朗: "曖昧な表情と性別の認知における神経的基盤"日本顔学会誌. P-6-13. 79 (2001)
• [Publications] 藤井洋之: "2音呈示条件における音源定位の偏向現像の規定因〜周波数帯域の重なり及びレベル差の影響"電子情報通信学会技術研究報告. TL2001-21. 39-44 (2001)
• [Publications] 筧一彦: "機械と人間の音声コミュニケーション"電子情報通信学会技術研究報告. TL2001-17. 13-16 (2001)
• [Publications] 櫻庭京子: "感情判断と言語判断母語は外国語より感情認知がしやすいか"電子情報通信学会技術研究報告. TL2001-20. 33-38 (2001)
• [Publications] 白勢彩子: "言語の複雑さが複合名詞アクセント規則の獲得過程に及ぼす影響"日本音響学会講演論文集. 1-3-7. 429 (2001)
• [Publications] 藤井洋之: "2音の周波数帯域の重なり及びレベル差が音源定位に与える影響"日本音響学会講演論文集. 2-3-5. 497-498 (2001)
• [Publications] 西田鶴代: "移動感を伴う音源の定位"日本音響学会講演論文集. 2-3-6. 499 (2001)
• [Publications] 木村敏幸: "空間情報を利用したマルチチャンネル音響信号の符号化と音源定位"日本音響学会講演論文集. 3-Q-28. 711-712 (2001)
• [Publications] 羽田薫子: "表情刺激の処理時における神経活動-感情プライミング効果の検討-"日心第65回大会. 生理3PM002. 70 (2001)
• [Publications] 藤井洋之: "2音呈示条件での音源定位における時間的布置の影響"日心第65回. 感覚・知覚1AM018. 116 (2001)
• [Publications] 櫻庭京子: "日米語の感情表現が言語的制約に及ぼす影響の音響的比較"日心第65回大会. 感覚・知覚2AM007. 147 (2001)
• [Publications] 野村理朗: "ERPによる曖昧表情の認知過程の検討"日心第65回大会. 認知2PM057. 264 (2001)
• [Publications] 西田鶴代: "2つの仮現運動音の動き知覚"日本音響学会講演論文集. 1-9-9. 457-458 (2002)
• [Publications] 木村敏幸: "逆フィルタを用いた空間音響圧縮技術の拡がり感"日本音響学会講演論文集. 2-4-17. 595-596 (2002)
• [Publications] Stephen Lambacher: "The Influence of Identification Training on Identification and Production of American English Mid and Low Vowels by Native Japanese"日本音響学会講演論文集. 2-10-6. 275-276 (2002)
• [Publications] 白勢彩子: "鹿児島方言幼児の単語アクセント獲得に関する予備的検討"日本音響学会講演論文集. 3-9-7. 431-432 (2002)
• [Publications] Toru Tamaki: "A Method for Compensation of Image Distortion with Image Registration Technique"LEICE TRANS.INF. & SYST.. Vol.E84-D No.8. 990-998 (2001)
• [Publications] Allan Kardec Barros: "Separating Virtual and Real Objects Using Independent Component Analysis"LEICE TRANS.INF. & SYST.. Vol.E84-D No.9. 1241-1248 (2001)
• [Publications] Allan Kardec Barros: "Environment with Multiple Sources of Noise"IEEE Signal Processing Society, ICASSP, International Conference on Acoustics, Speech, and Signal Processing. Vol.I of VI. 629-632 (2001)
• [Publications] A.Mansour: "A New Geometrical Blind Separation of Sources Algorithm"World Multiconference on Systemics, Cybernetics and Informatics. 350-355 (2001)
• [Publications] A.Mansour: "A Simple ICA Algorithm Based on Geometrical Approach"International Symposium on Signal Processing and its Applications(ISSPA). 9-12 (2001)
• [Publications] 武市寛之: "図鑑検索システム-少数データからの検索候補の絞り込み-"電子情報通信学会2001年ソサイティ大会. D-5-4. 36 (2001)
• [Publications] 伊藤雅紀: "独立成分分析を用いた音源分離の性能評価"電子情報通信学会2001年ソサイティ大会. D-14-11. 241 (2001)
• [Publications] 丸吉政博: "3音源混合信号からの源信号分離"電子情報通信学会2001年ソサイティ大会. D-14-12. 242 (2001)
• [Publications] 安藤真也: "聴覚障害者のための警告音識別"電子情報通信学会2001年ソサイティ大会. D-14-18. 248 (2001)
• [Publications] 益村明人: "VRを利用した消火訓練システム"電子情報通信学会2001年ソサイティ大会. D-15-16. 265 (2001)
• [Publications] 平岩裕康: "文字情報を手がかりとした視覚障害者用環境理解支援システム"電子情報通信学会2001年ソサイティ大会. A-19-5. 347 (2001)
• [Publications] 鹿野清宏, 河原達也, 伊藤克亘, 武田一哉, 山本幹夫: "看声認識システム"オーム社. (2001)
• [Publications] 春日正男, 船田哲男, 林伸二, 武田一哉: "音声情報処理"コロナ社. (2001)
• [Publications] 大西昇: "昭晃堂ISBN:4-785saza6-9060-7"生体情報処理. (2001)