2003 Fiscal Year Annual Research Report

環境、話者、タスクへの適応性をもつユーザにやさしい音声認識アルゴリズムの研究

Research Project

Project/Area Number	15300060
Research Category	Grant-in-Aid for Scientific Research (B)
Research Institution	Nara Institute of Science and Technology
Principal Investigator	鹿野清宏奈良先端科学技術大学院大学, 情報科学研究科, 教授 (00263426)
Co-Investigator(Kenkyū-buntansha)	川波弘道奈良先端科学技術大学院大学, 情報科学研究科, 助手 (80335489) 李晃伸奈良先端科学技術大学院大学, 情報科学研究科, 助手 (80332766) 猿渡洋奈良先端科学技術大学院大学, 情報科学研究科, 助教授 (30324974)
Keywords	話者・環境適応 / 音声対話システム / ハンズフリー音声認識 / 音声による年齢層識別
Research Abstract	当初計画に従って、話者・環境適応アルゴリズムの研究を低SNRの条件で行った。実環境で常時稼動する音声対話システムの構築を行い、音声データの収集を行った。また、ハンズフリー音声認識システムとして空間スペクトル減算型マイクロフォンアレーを提案し、予備評価実験を行った。 (1)話者・環境適応アルゴリズム HMM十分統計量に基づく教師なし話者適応アルゴリズムと、スペクトルサブトラクション(SS)と雑音重畳による雑音に頑健な話者・環境適応アルゴリズムの研究を低SNRの条件で行った。Wiener filterとの比較を行ったが、SSとほぼ同様の性能であった。また、PDA利用環境、家庭内環境での環境雑音を収集して、アルゴリズムの評価も行い、適応アルゴリズムが良好な性能を示すことを確認した。 (2)ハンズフリー音声認識システムマイクロフォンアレー技術と雑音に頑健な音声認識アルゴリズムを組み合わせて、ハンズフリー音声認識実験システムを構築することを目的として、Griffith-Jim型アレーの改良として、空間スペクトル減算型マイクロフォンアレーを提案し、予備実験で、良好に動作することを確認した。 (3)統計的言語モデルと文法の融合 (4)の音声対話システムで収集した音声の書き起こしを行い、大人、子供別の言語モデルを構築し、認識制のを向上させた。 (4)実環境における人と機械の対話システムの構築生駒市の北コミュニティセンターに常設した音声案内システムを常時動作させ、大量の音声データと対話書き起こしコーパスを作成した。これに基づき、大人、子供別の音韻モデル、言語モデルを作成し、大幅に認識性能を向上させることができた。これを、大人、子供別のデコーダで動作させる並列でコーダとして実装して、認識性を向上させた。さらに、大人、子供の識別が従来より高い性能で行えることが確認でき、大人、子供別の応答文の生成が可能となり、より自然な対話が実現できた。

Research Products

(34 results)

All Other

All Publications (34 results)

[Publications] 西村竜一, 西原洋平, 鶴身玲典, 李晃伸, 猿渡洋, 鹿野清宏: "実環境研究プラットホームとしての音声情報案内システムの運用"電子情報通信学会論文誌. Vol.J87-D-II, No.3. 789-798 (2004)
[Publications] Y.Nakajima, H.Kashino, K.Shikano, N.Campbell: "RECOGNITION INPUT INTERFACE USING STETHOSCOPIC MICROPHONE ATTACHED TO THE SKIN"IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP2003). Vol.V. 708-711 (2003)
[Publications] R.Nisiniura, Y.Nishihara, R.Tsurumi, A.Lee, H.Saruwatari, K.Shikano: "Takemaru-kun : Speech-Oriented Information System for Real World Research Platform"International Workshop on Language Understanding and Agents for Real World Interaction. 70-78 (2003)
[Publications] S.Yamade, A.Lee, H.Saruwatari, K.Shikano: "Unsupervised Speaker Adaptation Based on HMM Sufficient Statistics in Various Noisy Environments"8th European Conference on Speech Communication and Technology (Eurospeech2003). II-1493-II-1496 (2003)
[Publications] S.Yoshizawa, K.Shikano: "Model-Integration Rapid Training based on Maximum Likelihood for Speech Recognition"8th European Conference on Speech Communication and Technology (Eurospeech2003). IV-2601-IV-2604 (2003)
[Publications] Y.Nakajima, H.Kashioka, N.Campbell, K.Shikano: "Non-Audible Murmur Recognition"8th European Conference on Speech Communication and Technology (Eurospeech2003). IV-2601-IV-2604 (2003)
[Publications] T.Nishiura, S.Nakamura.K.Miki, K.Shikano: "Environniental Sound Source Identification Based on Hidden Markov Model for Robust Speech Recognition"8th European Conference on Speech Communication and Technology (Eurospeech2003). IV-2157-IV-2160 (2003)
[Publications] P.Heracleous, Y.Nakajima, A.Lee, H.Saruwatari, K.Shikano: "Accurate Hidden Markov Models for Non-Audible Murmur (NAM) Recognition Based on Iterative Supervised Adaptation"IEEE Automatic Speech Recognition and Understanding Workshop. 73-76 (2003)
[Publications] Y.Nakajima, P.Heracleous, K.Shikano, Nick Campbell: "Non-Audible Murmur Recognition"Special Workshop in MAUI (SWIM). (CD-ROM). (2004)
[Publications] 山出慎吾, 馬場朗, 芳澤伸一, 李晃伸, 猿渡洋, 鹿野清宏: "実環境における頑健な音声認識のための音韻モデルの教師なし話者適応"電子情報通信学会論文誌D-II. (掲載予定). (2004)
[Publications] Akinobu Lee, Kiyohiso Shikano, Tatsuya Kawahara: "Real-Time Word Confidence Scoring using Local Posterior probabilities on Tree Trellis Search"IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP2004). (accepted). (2004)
[Publications] Ryuichi Nisimura, Akinobu Lee, Hiroshi Saruwatari, Kiyohiro Shikano: "Public Speech-Oriented Guidance System with Adult and Child Discrimination Capability"IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP2004). (accepted). (2004)
[Publications] 河原達也, 住吉貴志, 李晃伸, 板野秀樹, 武田一哉, 三村正人, 伊藤克亘, 伊藤彰則, 鹿野清宏: "連続音声認識コンソーシアム2002年度ソフトウェアの概要"情報処理学会研究報告. 2003-SLP-48-1(印刷中). (2003)
[Publications] 芳澤伸一, 鹿野清宏: "モデル統合に基づく高速EM学習法"情報処理学会研究報告. 2003-SLP-49-9(印刷中). (2003)
[Publications] 西村竜一, 中村敬介, 李晃仲, 猿渡洋, 鹿野清宏: "大人・子供に適応した音声情報案内のためのユーザ自動識別"情報処理学会研究報告. 2003-SLP-49-17(印刷中). (2003)
[Publications] 李晃伸, 河原達也, 鹿野清宏: "2パス探索アルゴリズムにおける高速な単語事後確率に基づく信頼度算出法"情報処理学会研究報告. 2003-SLP-49-48(印刷中). (2003)
[Publications] 鹿野清宏, 河原英紀, 河原達也, 武田一哉, 猿渡洋: "人にやさしい音声認識・合成基盤ソフトウェアの研究開発"情報処理学会研究報告. 2003-SLP-49-55(印刷中). (2003)
[Publications] 河原達也, 武田一哉, 伊藤克亘, 李晃伸, 鹿野清宏, 山田篤: "連続音声認識コンソーシアム活動報告"情報処理学会研究報告. 2003-SLP-49-57(印刷中). (2003)
[Publications] Panikos Heracleous, Yoshitaka Nakajima, Akinobu Lee, Hiroshi Saruwatari, Kiyohiro Shikano: "Non-Audible Murmur(NAM)Recognition Exploiting Adaptation Techniques"電子情報通信学会音声研究会. SP2003(印刷中). (2004)
[Publications] 中村敬介, 西村竜一, 李晃伸, 猿渡洋, 鹿野清宏: "実環境音声情報案内システムにおける環境雑音および不要発話の識別"電子情報通信学会音声研究会. SP2003(印刷中). (2004)
[Publications] 阪本浩一, 大橋靖明, 猿渡洋, 鹿野清宏: "空間的スペクトルサブトラクションを用いたハンズフリー音声認識"電子情報通信学会技術研究会報告. EA2003(印刷中). (2004)
[Publications] 中村敬介, 西村竜一, 李晃伸, 猿渡洋, 鹿野清宏: "実環境音声情報案内システムにおける子供発話の認識"日本音響学会講演論文集. 1-6-28. 55-56 (2003)
[Publications] 西村竜一, 李晃伸, 猿渡洋, 鹿野清宏: "実環境データに基づく音声情報案内システムのための話者年齢層自動識別"日本音響学会講演論文集. 2-6-19. 97-98 (2003)
[Publications] 芳澤伸一, 鹿野清宏: "最尤推定に基づく統合学習法"日本音響学会講演論文集. 3-6-2. 105-106 (2003)
[Publications] 阪本浩一, 李晃伸, 猿渡洋, 鹿野清宏: "Griffith-Jim型適応アレーと環境適応法を統合したハンズフリー音声認識"日本音響学会講演論文集. 3-6-6. 113-114 (2003)
[Publications] 李晃伸, 鹿野清宏, 河原達也: "音声認識エンジンJuliusにおける単語事後確認率を用いた信頼度算出"日本音響学会講演論文集. 3-6-8. 117-118 (2003)
[Publications] Panikos Heracleous, Yoshitaka Nakajima, Akinobu Lee, Hiroshi Saruwatari, Kiyohiro Shikano: "Recognition of Non-Audible-Murmur (NAM) based on iterative supervised adaptation"日本音響学会講演論文集. 3-Q-3. 131-132 (2003)
[Publications] 鹿野清宏, 西村竜一: "ロボット音声インタフェースにおける研究プラットフォーム"電気関係学会関西支部連合大会. S60. S11-5 (2003)
[Publications] 中村敬介, 西村竜一, 李晃伸, 猿渡洋, 鹿野清宏: "実環境音声認識システムのためのGMMを用いた環境雑音および不要発話の自動識別"日本音響学会講演論文集. 1-8-21. 47-48 (2004)
[Publications] 西原洋平, 西村竜一, 李晃伸, 猿渡洋, 鹿野清宏: "ユーザ層別並列モデルを用いた音声情報案内システム"日本音響学会講演論文集. 1-8-22. 49-50 (2004)
[Publications] 中島淑貴, 柏岡秀紀, ニック・キャンベル, 鹿野清宏: "無音声認識(NAM認識)におけるセンシング方法の改善"日本音響学会講演論文集. 3-Q-1. 145-146 (2004)
[Publications] Panikos Heracleous, Yoshitaka Nakajima, Akinobu Lee, Hiroshi Saruwatari, Kiyohiro Shikano: "Normal speech recognition exploiting advantages of the Non-Audible Murmur (NAM) microphone"日本音響学会講演論文集. 3-Q-2. 147-148 (2004)
[Publications] Randy Gomez, Akinobu Lee, Hiroshi Saruwatari, Kiyohiro Shikano: "Wiener Filtering-Based Robust Speech Recognition Under Low SNR"日本音響学会講演論文集. 3-Q-14. 171-172 (2004)
[Publications] 松本大典, 李晃伸, 猿渡洋, 鹿野清宏: "ロボット音声入力のための雑音および残響を考慮した音韻モデル"日本音響学会講演論文集. 3-Q-20. 183-184 (2004)

2003 Fiscal Year Annual Research Report

環境、話者、タスクへの適応性をもつユーザにやさしい音声認識アルゴリズムの研究

Principal Investigator

鹿野 清宏 奈良先端科学技術大学院大学, 情報科学研究科, 教授 (00263426)

Research Products

[Publications] 西村竜一, 西原洋平, 鶴身玲典, 李晃伸, 猿渡洋, 鹿野清宏: "実環境研究プラットホームとしての音声情報案内システムの運用"電子情報通信学会論文誌. Vol.J87-D-II, No.3. 789-798 (2004)

[Publications] Y.Nakajima, H.Kashino, K.Shikano, N.Campbell: "RECOGNITION INPUT INTERFACE USING STETHOSCOPIC MICROPHONE ATTACHED TO THE SKIN"IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP2003). Vol.V. 708-711 (2003)

[Publications] R.Nisiniura, Y.Nishihara, R.Tsurumi, A.Lee, H.Saruwatari, K.Shikano: "Takemaru-kun : Speech-Oriented Information System for Real World Research Platform"International Workshop on Language Understanding and Agents for Real World Interaction. 70-78 (2003)

[Publications] S.Yamade, A.Lee, H.Saruwatari, K.Shikano: "Unsupervised Speaker Adaptation Based on HMM Sufficient Statistics in Various Noisy Environments"8th European Conference on Speech Communication and Technology (Eurospeech2003). II-1493-II-1496 (2003)

[Publications] S.Yoshizawa, K.Shikano: "Model-Integration Rapid Training based on Maximum Likelihood for Speech Recognition"8th European Conference on Speech Communication and Technology (Eurospeech2003). IV-2601-IV-2604 (2003)

[Publications] Y.Nakajima, H.Kashioka, N.Campbell, K.Shikano: "Non-Audible Murmur Recognition"8th European Conference on Speech Communication and Technology (Eurospeech2003). IV-2601-IV-2604 (2003)

[Publications] T.Nishiura, S.Nakamura.K.Miki, K.Shikano: "Environniental Sound Source Identification Based on Hidden Markov Model for Robust Speech Recognition"8th European Conference on Speech Communication and Technology (Eurospeech2003). IV-2157-IV-2160 (2003)

[Publications] P.Heracleous, Y.Nakajima, A.Lee, H.Saruwatari, K.Shikano: "Accurate Hidden Markov Models for Non-Audible Murmur (NAM) Recognition Based on Iterative Supervised Adaptation"IEEE Automatic Speech Recognition and Understanding Workshop. 73-76 (2003)

[Publications] Y.Nakajima, P.Heracleous, K.Shikano, Nick Campbell: "Non-Audible Murmur Recognition"Special Workshop in MAUI (SWIM). (CD-ROM). (2004)

[Publications] 山出慎吾, 馬場朗, 芳澤伸一, 李晃伸, 猿渡洋, 鹿野清宏: "実環境における頑健な音声認識のための音韻モデルの教師なし話者適応"電子情報通信学会論文誌D-II. (掲載予定). (2004)

[Publications] Akinobu Lee, Kiyohiso Shikano, Tatsuya Kawahara: "Real-Time Word Confidence Scoring using Local Posterior probabilities on Tree Trellis Search"IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP2004). (accepted). (2004)

[Publications] Ryuichi Nisimura, Akinobu Lee, Hiroshi Saruwatari, Kiyohiro Shikano: "Public Speech-Oriented Guidance System with Adult and Child Discrimination Capability"IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP2004). (accepted). (2004)

[Publications] 河原達也, 住吉貴志, 李晃伸, 板野秀樹, 武田一哉, 三村正人, 伊藤克亘, 伊藤彰則, 鹿野清宏: "連続音声認識コンソーシアム2002年度ソフトウェアの概要"情報処理学会研究報告. 2003-SLP-48-1(印刷中). (2003)

[Publications] 芳澤伸一, 鹿野清宏: "モデル統合に基づく高速EM学習法"情報処理学会研究報告. 2003-SLP-49-9(印刷中). (2003)

[Publications] 西村竜一, 中村敬介, 李晃仲, 猿渡洋, 鹿野清宏: "大人・子供に適応した音声情報案内のためのユーザ自動識別"情報処理学会研究報告. 2003-SLP-49-17(印刷中). (2003)

[Publications] 李晃伸, 河原達也, 鹿野清宏: "2パス探索アルゴリズムにおける高速な単語事後確率に基づく信頼度算出法"情報処理学会研究報告. 2003-SLP-49-48(印刷中). (2003)

[Publications] 鹿野清宏, 河原英紀, 河原達也, 武田一哉, 猿渡洋: "人にやさしい音声認識・合成基盤ソフトウェアの研究開発"情報処理学会研究報告. 2003-SLP-49-55(印刷中). (2003)

[Publications] 河原達也, 武田一哉, 伊藤克亘, 李晃伸, 鹿野清宏, 山田篤: "連続音声認識コンソーシアム活動報告"情報処理学会研究報告. 2003-SLP-49-57(印刷中). (2003)

[Publications] Panikos Heracleous, Yoshitaka Nakajima, Akinobu Lee, Hiroshi Saruwatari, Kiyohiro Shikano: "Non-Audible Murmur(NAM)Recognition Exploiting Adaptation Techniques"電子情報通信学会音声研究会. SP2003(印刷中). (2004)

[Publications] 中村敬介, 西村竜一, 李 晃伸, 猿渡 洋, 鹿野清宏: "実環境音声情報案内システムにおける環境雑音および不要発話の識別"電子情報通信学会音声研究会. SP2003(印刷中). (2004)

[Publications] 阪本浩一, 大橋靖明, 猿渡洋, 鹿野清宏: "空間的スペクトルサブトラクションを用いたハンズフリー音声認識"電子情報通信学会技術研究会報告. EA2003(印刷中). (2004)

[Publications] 中村敬介, 西村竜一, 李晃伸, 猿渡洋, 鹿野清宏: "実環境音声情報案内システムにおける子供発話の認識"日本音響学会講演論文集. 1-6-28. 55-56 (2003)

[Publications] 西村竜一, 李晃伸, 猿渡洋, 鹿野清宏: "実環境データに基づく音声情報案内システムのための話者年齢層自動識別"日本音響学会講演論文集. 2-6-19. 97-98 (2003)

[Publications] 芳澤伸一, 鹿野清宏: "最尤推定に基づく統合学習法"日本音響学会講演論文集. 3-6-2. 105-106 (2003)

[Publications] 阪本浩一, 李晃伸, 猿渡洋, 鹿野清宏: "Griffith-Jim型適応アレーと環境適応法を統合したハンズフリー音声認識"日本音響学会講演論文集. 3-6-6. 113-114 (2003)

[Publications] 李晃伸, 鹿野清宏, 河原達也: "音声認識エンジンJuliusにおける単語事後確認率を用いた信頼度算出"日本音響学会講演論文集. 3-6-8. 117-118 (2003)

[Publications] Panikos Heracleous, Yoshitaka Nakajima, Akinobu Lee, Hiroshi Saruwatari, Kiyohiro Shikano: "Recognition of Non-Audible-Murmur (NAM) based on iterative supervised adaptation"日本音響学会講演論文集. 3-Q-3. 131-132 (2003)

[Publications] 鹿野清宏, 西村竜一: "ロボット音声インタフェースにおける研究プラットフォーム"電気関係学会関西支部連合大会. S60. S11-5 (2003)

[Publications] 中村敬介, 西村竜一, 李 晃伸, 猿渡洋, 鹿野清宏: "実環境音声認識システムのためのGMMを用いた環境雑音および不要発話の自動識別"日本音響学会講演論文集. 1-8-21. 47-48 (2004)

[Publications] 西原洋平, 西村竜一, 李 晃伸, 猿渡洋, 鹿野清宏: "ユーザ層別並列モデルを用いた音声情報案内システム"日本音響学会講演論文集. 1-8-22. 49-50 (2004)

[Publications] 中島淑貴, 柏岡秀紀, ニック・キャンベル, 鹿野清宏: "無音声認識(NAM認識)におけるセンシング方法の改善"日本音響学会講演論文集. 3-Q-1. 145-146 (2004)

[Publications] Panikos Heracleous, Yoshitaka Nakajima, Akinobu Lee, Hiroshi Saruwatari, Kiyohiro Shikano: "Normal speech recognition exploiting advantages of the Non-Audible Murmur (NAM) microphone"日本音響学会講演論文集. 3-Q-2. 147-148 (2004)

[Publications] Randy Gomez, Akinobu Lee, Hiroshi Saruwatari, Kiyohiro Shikano: "Wiener Filtering-Based Robust Speech Recognition Under Low SNR"日本音響学会講演論文集. 3-Q-14. 171-172 (2004)

[Publications] 松本大典, 李 晃伸, 猿渡洋, 鹿野清宏: "ロボット音声入力のための雑音および残響を考慮した音韻モデル"日本音響学会講演論文集. 3-Q-20. 183-184 (2004)

鹿野清宏奈良先端科学技術大学院大学, 情報科学研究科, 教授 (00263426)

[Publications] 中村敬介, 西村竜一, 李晃伸, 猿渡洋, 鹿野清宏: "実環境音声情報案内システムにおける環境雑音および不要発話の識別"電子情報通信学会音声研究会. SP2003(印刷中). (2004)

[Publications] 中村敬介, 西村竜一, 李晃伸, 猿渡洋, 鹿野清宏: "実環境音声認識システムのためのGMMを用いた環境雑音および不要発話の自動識別"日本音響学会講演論文集. 1-8-21. 47-48 (2004)

[Publications] 西原洋平, 西村竜一, 李晃伸, 猿渡洋, 鹿野清宏: "ユーザ層別並列モデルを用いた音声情報案内システム"日本音響学会講演論文集. 1-8-22. 49-50 (2004)

[Publications] 松本大典, 李晃伸, 猿渡洋, 鹿野清宏: "ロボット音声入力のための雑音および残響を考慮した音韻モデル"日本音響学会講演論文集. 3-Q-20. 183-184 (2004)