2014 Fiscal Year Research-status Report
事象関連脳電位の音声認識フレームワークへの統合のための研究
| Project/Area Number |
26870371
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
サクリアニ サクティ 奈良先端科学技術大学院大学, 情報科学研究科, 助教 (00395005)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | 音声認識 / 事象関連電位 / 脳波 |
|---|
| Outline of Annual Research Achievements |
本研究では、人間の知覚に基づき、脳活動計測の一種である事象関連電位（ERP）の研究をASR フレームワークに取り入れ、言語理解における人間の認知プロセスを分析し、自動音声認識(ASR) フレームワークで統合する可能性を検証する:
（１）ERPによる日本語文での知識と意味のミスマッチ分析
（２）統計的ASRへの知識の統合
2014年度は、（１）を中心に、研究を行った。特に，本研究では不全要因を（a） システム出力が誤りを含んでいた場合と(b) システム出力は正しいが，コミュニケーションが成立しない場合の２つの場面に分けて考える．そのうち，前者の例としてASR誤りを，後者の例として未知語の出現を対象とし，それぞれの場面のEEGデータを分析し，コミュニケーション不全要因の検出を試みた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2014年度は、音声処理関連と神経科学の学会に参加して情報収集を行うと共に、研究成果を発表することができた。音声認識や脳活動計測の研究に関して多くの研究者と議論も交わすことができた。ERPによる日本語文での知識と意味のミスマッチ分析について：（a）システム出力が誤りを含んでいた場合と(b) システム出力は正しいが，コミュニケーションが成立しない場合の２つの研究をすることができた。そのうち，前者の例としてASR誤りを，後者の例として未知語の出現を対象とし，それぞれの場面のEEGデータを分析し，コミュニケーション不全要因の検出を試みた．実験の結果，ASR誤り時のERP(Event-Related brain Potential) 波形から，意味理解の成否に関連してN400 とP600 成分に差異が確認され，構築した識別器では，チャンスレートよりも有意に高い識別精度を示した．また，未知語知覚の脳波実験では，ERP 成分としては未知語知覚時にN400 が，既知語知覚時にはP600 の振幅が有意に増大し，構築した識別器では，チャンスレートよりも有意に高い識別精度を示した．両実験から，コミュニケーション不全要因を知覚したときのEEG 信号に差異が生じることが確認された．
|
| Strategy for Future Research Activity |
今後の課題として、研究計画にあげた項目の継続的作業を検討している。2015 年度研究計画は（２）統計的ASRへの知識の統合（知識統合の分析および設計、システム開発、性能評価）を実施する予定である。統計的ASRへの知識の統合について：
(a) 新たな評価方法の構築: ERP 実験の結果を分析し、コミュニケーションの中で人間の脳が言葉をどのように処理し、単語誤りをどのように知覚するかを直接的に示す新たなASR 評価方法を確立する。
（b） 分析と設計: 認知知識の統合方法を分析し、知識を統計的ASR に統合したフレームワークの設計および開発を行う。
(c) システム開発: 提案したシステムにより、より意味を持つ発話内容の認識に注力したASR 性能の改善に向けて、文単位の言語モデルとデコーディング検索に関する認知知識を統合する様々な手法を検討する。
(d) 性能評価: 提案したフレームワークの効果について応用システムの中で評価する。
|
| Causes of Carryover |
2014年度は、ERPによる日本語文での知識と意味のミスマッチ分析を実施し、研究費も消耗品の購入見合わせによる若干の残高があったがほぼ予定通り執行した。
|
| Expenditure Plan for Carryover Budget |
今後の課題として、研究計画にあげた作業項目を引き続き実行する必要がある。(a) 新たな評価方法の構築: ERP 実験の結果を分析し、コミュニケーションの中で人間の脳が言葉をどのように処理し、単語誤りをどのように知覚するかを直接的に示す新たなASR 評価方法を確立する；（b） 分析と設計: 認知知識の統合方法を分析し、知識を統計的ASR に統合したフレームワークの設計および開発を行う；(c) システム開発: 提案したシステムにより、より意味を持つ発話内容の認識に注力したASR 性能の改善に向けて、文単位の言語モデルとデコーディング検索に関する認知知識を統合する様々な手法を検討する；(d) 性能評価: 提案したフレームワークの効果について応用システムの中で評価する。よって、次年度も2014年度の若干の残高を合わせ、使用計画の通り執行する予定である。
|
-
-
-
-
-
-
[Journal Article] 単語視認時の脳波信号を用いた未知語知覚検出2014
Author(s)
Takafumi Sasakura, Sakti Sakriani, Neubig Graham, Tomoki Toda, Satoshi Nakamura
-
Journal Title
SIG-SLUD-B402
Volume: Vol. 1
Pages: pp. 57-62
Acknowledgement Compliant
-
-
-
-
-
-
-
