事象関連脳電位の音声認識フレームワークへの統合のための研究

2016 年度 実績報告書

• 研究課題/領域番号: 26870371
• 研究機関: 奈良先端科学技術大学院大学
• 研究代表者: サクリアニ サクティ 奈良先端科学技術大学院大学, 情報科学研究科, 助教 (00395005)
• 研究期間 (年度): 2014-04-01 – 2017-03-31
• キーワード: 音声認識 / 事象関連電位 / 脳波

研究実績の概要

本研究では、人間の知覚に基づき、脳活動計測の一種である事象関連電位（ERP）の研究をASR フレームワークに取り入れ、言語理解における人間の認知プロセスを分析し、自動音声認識(ASR) フレームワークで統合する可能性を検証しました:
（１）ERPによる日本語文での知識と意味のミスマッチ分析
（２）統計的ASRへの知識の統合
最初の年度は、（１）を中心に、研究をしました。特に，本研究では不全要因を（a） システム出力が誤りを含んでいた場合と(b) システム出力は正しいが，コミュニケーションが成立しない場合の２つの場面に分けて考えました．そのうち，前者の例としてASR誤りを，後者の例として未知語の出現を対象とし，それぞれの場面のEEGデータを分析し，コミュニケーション不全要因の検出を試みました．
今年はパート（1）を続け、（2）の研究にも焦点を当てました。近年の深層学習の進展と急速な進歩により、知識のASRへの統合のための深い学習を活用する様々なアプローチも検討しました。また、インドネシアとフランスの他のいくつかの研究機関と共同で共同ワークショップを開催するだけでなく、共同研究を行いました。

研究成果

• [国際共同研究] University of Indonesia (UI)/Bandung Institute of Technology (ITB)(Indonesia)
  • 国名: インドネシア
  • 外国機関名: University of Indonesia (UI)/Bandung Institute of Technology (ITB)
• [国際共同研究] International Research Institute MICA(ベトナム)
  • 国名: ベトナム
  • 外国機関名: International Research Institute MICA
• [国際共同研究] Lab d'Informatique de Grenoble (LIG)/Laboratoire Informatique d'Avignon (LIA)(France)
  • 国名: フランス
  • 外国機関名: Lab d'Informatique de Grenoble (LIG)/Laboratoire Informatique d'Avignon (LIA)
• [雑誌論文] Compressing Recurrent Neural Network with Tensor Train (2017)
  • 著者名/発表者名: Andros Tjandra, Sakriani Sakti, Satoshi Nakamura
  • 雑誌名: Proceedings of the 2017 International Joint Conference on Neural Networks (IJCNN 2017) 巻: 印刷中 ページ: 印刷中
  • 査読あり / 国際共著 / 謝辞記載あり
• [雑誌論文] Gated Recurrent Neural Tensor Network (2016)
  • 著者名/発表者名: Andros Tjandra, Sakriani Sakti, Ruli Manurung, Mirna Adriani, Satoshi Nakamura
  • 雑誌名: Proceedings of The 2016 International Joint Conference on Neural Networks (IJCNN 2016) 巻: Vol. 1 ページ: 448-456
  • DOI: 10.1109/IJCNN.2016.7727233
  • 査読あり / 国際共著 / 謝辞記載あり
• [雑誌論文] Removing Noise from Event-Related Potentials using a Probabilistic Generative Model with Grouped Covariance Matrices (2016)
  • 著者名/発表者名: Hayato Maki, Tomoki Toda, Sakriani Sakti, Graham Neubig, Satoshi Nakamura
  • 雑誌名: Proceedings of International Conference of the IEEE Engineering in Medicine and Biology Society 巻: Vol. 1 ページ: 3728-3731
  • DOI: 10.1109/EMBC.2016.7591538
  • 査読あり / 国際共著 / 謝辞記載あり
• [雑誌論文] Unsupervised Joint Estimation of Grapheme-to-Phoneme Conversion Systems and Acoustic Model Adaptation for Non-Native Speech Recognition (2016)
  • 著者名/発表者名: Satoshi Tsujioka, Sakriani Sakti, Koichiro Yoshino, Graham Neubig, Satoshi Nakamura
  • 雑誌名: Proceedings of Interspeech 2016 巻: Vol. 1 ページ: 3091 - 3095
  • 査読あり / 国際共著 / 謝辞記載あり
• [雑誌論文] Supervised Learning of Acoustic Models in a Zero Resource Setting to Improve DPGMM Clustering (2016)
  • 著者名/発表者名: Michael Heck, Sakriani Sakti, Satoshi Nakamura
  • 雑誌名: Proceedings of Interspeech 2016 巻: Vol. 1 ページ: 1310 - 1314
  • 査読あり / 国際共著 / 謝辞記載あり
• [雑誌論文] Transferring Emphasis in Speech Translation Using Hard-Attentional Neural Network Models (2016)
  • 著者名/発表者名: Quoc Truong Do, Sakriani Sakti, Graham Neubig, Satoshi Nakamura
  • 雑誌名: Proceedings of Interspeech 2016 巻: Vol. 1 ページ: 2533 - 2537
  • 査読あり / 国際共著 / 謝辞記載あり
• [雑誌論文] Iterative Training of A DPGMM-HMM Acoustic Unit Recognizer in A Zero Resource Scenario (2016)
  • 著者名/発表者名: Michael Heck, Sakriani Sakti, Satoshi Nakamura
  • 雑誌名: Proceedings of IEEE Spoken Language Technology Workshop (SLT 2016) 巻: Vol. 1 ページ: 57-63
  • DOI: 10.1109/SLT.2016.7846245
  • 査読あり / 国際共著 / 謝辞記載あり
• [雑誌論文] Deep Bottleneck Features And Sound-Dependent i-Vectors for Simultaneous Recognition of Speech and Environmental Sounds (2016)
  • 著者名/発表者名: Sakriani Sakti, Seiji Kawanishi, Graham Neubig, Koichiro Yoshino, Satoshi Nakamura
  • 雑誌名: Proceedings of IEEE Spoken Language Technology Workshop (SLT 2016) 巻: Vol. 1 ページ: 35-42
  • DOI: 10.1109/SLT.2016.7846242
  • 査読あり / 国際共著 / 謝辞記載あり
• [雑誌論文] Incongruity Detection on ASR Outputs based on EEG Signals (2016)
  • 著者名/発表者名: Sakriani Sakti, Yu Odagaki, Takafumi Sasakura, Graham Neubig, Tomoki Toda, Satoshi Nakamura
  • 雑誌名: Proceedings of ASJ 2016 巻: Vol. 1 ページ: 83-84
  • 謝辞記載あり
• [雑誌論文] A Noise Reduction Method Using Spatial Prior of Event-Related Potentials (2016)
  • 著者名/発表者名: Hayato Maki, Tomoki Toda, Sakriani Sakti, Graham Neubig, Satoshi Nakamura
  • 雑誌名: Proceedings of ASJ 2016 巻: Vol. 1 ページ: 627-628
  • 謝辞記載あり
• [雑誌論文] The NAIST ASR for IWSLT: A Multi-architecture DNN System Combination Approach (2016)
  • 著者名/発表者名: Michael Heck, Quoc Truong Do, Sakriani Sakti, Graham Neubig, Satoshi Nakamura
  • 雑誌名: Proceedings of ASJ 2016 巻: Vol. 1 ページ: 337-338
  • 謝辞記載あり
• [雑誌論文] Multi-Task Deep Neural Networks for Speech and Environmental Sound Recognition (2016)
  • 著者名/発表者名: Seiji Kawanishi, Sakriani Sakti, Koichiro Yoshino, Graham Neubig, Satoshi Nakamura
  • 雑誌名: Proceedings of ASJ 2016 巻: Vol. 1 ページ: 163-164
  • 謝辞記載あり
• [雑誌論文] Non-native Automatic Speech Recognition Utilizing Acoustic Data-driven Pronunciation Learning and Acoustic Model Adaptation (2016)
  • 著者名/発表者名: Satoshi Tsujioka, Sakriani Sakti, Koichiro Yoshino, Graham Neubig, Satoshi Nakamura
  • 雑誌名: Proceedings of ASJ 2016 巻: Vol. 1 ページ: 75-76
  • 謝辞記載あり
• [雑誌論文] Exploring Bottleneck Features for Emotional Speech Recognition (2016)
  • 著者名/発表者名: Kohei Mukaihara, Sakriani Sakti, Koichiro Yoshino, Graham Neubig, Satoshi Nakamura
  • 雑誌名: Proceedings of ASJ 2016 巻: Vol. 1 ページ: 161-162
  • 謝辞記載あり
• [学会発表] Compressing Recurrent Neural Network with Tensor Train (2017)
  • 著者名/発表者名: Andros Tjandra
  • 学会等名: The 2017 International Joint Conference on Neural Networks (IJCNN 2017)
  • 発表場所: Anchorage, Alaska, USA
  • 年月日: 2017-05-14 – 2017-05-19
  • 国際学会
• [学会発表] Iterative Training of A DPGMM-HMM Acoustic Unit Recognizer in A Zero Resource Scenario (2016)
  • 著者名/発表者名: Michael Heck
  • 学会等名: IEEE Spoken Language Technology Workshop (SLT 2016)
  • 発表場所: San Diego, USA
  • 年月日: 2016-12-13 – 2016-12-16
  • 国際学会
• [学会発表] Deep Bottleneck Features And Sound-Dependent i-Vectors for Simultaneous Recognition of Speech and Environmental Sounds (2016)
  • 著者名/発表者名: Sakriani Sakti
  • 学会等名: IEEE Spoken Language Technology Workshop (SLT 2016)
  • 発表場所: San Diego, USA
  • 年月日: 2016-12-13 – 2016-12-16
  • 国際学会
• [学会発表] Unsupervised Joint Estimation of Grapheme-to-Phoneme Conversion Systems and Acoustic Model Adaptation for Non-Native Speech Recognition (2016)
  • 著者名/発表者名: Satoshi Tsujioka
  • 学会等名: Interspeech
  • 発表場所: San Fransisco, USA
  • 年月日: 2016-09-08 – 2016-09-12
  • 国際学会
• [学会発表] Supervised Learning of Acoustic Models in a Zero Resource Setting to Improve DPGMM Clustering (2016)
  • 著者名/発表者名: Michael Heck
  • 学会等名: Interspeech
  • 発表場所: San Fransisco, USA
  • 年月日: 2016-09-08 – 2016-09-12
  • 国際学会
• [学会発表] Transferring Emphasis in Speech Translation Using Hard-Attentional Neural Network Models (2016)
  • 著者名/発表者名: Quoc Truong Do
  • 学会等名: Interspeech
  • 発表場所: San Fransisco, USA
  • 年月日: 2016-09-08 – 2016-09-12
  • 国際学会
• [学会発表] Removing Noise from Event-Related Potentials using a Probabilistic Generative Model with Grouped Covariance Matrices (2016)
  • 著者名/発表者名: Hayato Maki
  • 学会等名: International Conference of the IEEE Engineering in Medicine and Biology Society
  • 発表場所: Orlando, Florida, USA
  • 年月日: 2016-08-16 – 2016-08-20
  • 国際学会
• [学会発表] Gated Recurrent Neural Tensor Network (2016)
  • 著者名/発表者名: Sakriani Sakti
  • 学会等名: The 2016 International Joint Conference on Neural Networks (IJCNN 2016)
  • 発表場所: Vancouver, Canada
  • 年月日: 2016-07-24 – 2016-07-29
  • 国際学会
• [学会・シンポジウム開催] The 5th International Workshop on Spoken Language Technologies for Under-resourced Languages (SLTU'16) (2016)
  • 発表場所: Yogyakarta, Indonesia
  • 年月日: 2016-05-09 – 2016-05-12