• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

事象関連脳電位の音声認識フレームワークへの統合のための研究

研究課題

研究課題/領域番号 26870371
研究種目

若手研究(B)

配分区分基金
研究分野 認知科学
知覚情報処理
研究機関奈良先端科学技術大学院大学

研究代表者

サクリアニ サクティ  奈良先端科学技術大学院大学, 情報科学研究科, 助教 (00395005)

研究期間 (年度) 2014-04-01 – 2017-03-31
研究課題ステータス 完了 (2016年度)
配分額 *注記
3,900千円 (直接経費: 3,000千円、間接経費: 900千円)
2015年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
2014年度: 2,210千円 (直接経費: 1,700千円、間接経費: 510千円)
キーワード音声情報処理 / 脳認知科学 / 音声認識 / 事象関連電位 / 脳波
研究成果の概要

本研究では、人間の知覚に基づき、脳活動計測の一種である事象関連電位の研究をASR フレームワークに取り入れ、言語理解における人間の認知プロセスを分析し、ASR フレームワークで統合する可能性を検証しました。ERPによる日本語文での知識と意味のミスマッチ分析について、コミュニケーション不全要因を知覚したときのEEG 信号に差異が生じることが確認された.知識を組み込むために、ASR におけるいくつかのフレームワークを首尾よく調査しました。また、インドネシア、ベトナム、フランスのいくつかの研究機関と共同研究がありました。

報告書

(4件)
  • 2016 実績報告書   研究成果報告書 ( PDF )
  • 2015 実施状況報告書
  • 2014 実施状況報告書
  • 研究成果

    (48件)

すべて 2017 2016 2015 2014 その他

すべて 国際共同研究 (3件) 雑誌論文 (20件) (うち国際共著 8件、 査読あり 13件、 謝辞記載あり 20件、 オープンアクセス 1件) 学会発表 (24件) (うち国際学会 8件) 学会・シンポジウム開催 (1件)

  • [国際共同研究] University of Indonesia (UI)/Bandung Institute of Technology (ITB)(Indonesia)

    • 関連する報告書
      2016 実績報告書
  • [国際共同研究] International Research Institute MICA(ベトナム)

    • 関連する報告書
      2016 実績報告書
  • [国際共同研究] Lab d'Informatique de Grenoble (LIG)/Laboratoire Informatique d'Avignon (LIA)(France)

    • 関連する報告書
      2016 実績報告書
  • [雑誌論文] Compressing Recurrent Neural Network with Tensor Train2017

    • 著者名/発表者名
      Andros Tjandra, Sakriani Sakti, Satoshi Nakamura
    • 雑誌名

      Proceedings of the 2017 International Joint Conference on Neural Networks (IJCNN 2017)

      巻: 印刷中

    • 関連する報告書
      2016 実績報告書
    • 査読あり / 国際共著 / 謝辞記載あり
  • [雑誌論文] Gated Recurrent Neural Tensor Network2016

    • 著者名/発表者名
      Andros Tjandra, Sakriani Sakti, Ruli Manurung, Mirna Adriani, Satoshi Nakamura
    • 雑誌名

      Proceedings of The 2016 International Joint Conference on Neural Networks (IJCNN 2016)

      巻: Vol. 1 ページ: 448-456

    • DOI

      10.1109/ijcnn.2016.7727233

    • 関連する報告書
      2016 実績報告書
    • 査読あり / 国際共著 / 謝辞記載あり
  • [雑誌論文] Removing Noise from Event-Related Potentials using a Probabilistic Generative Model with Grouped Covariance Matrices2016

    • 著者名/発表者名
      Hayato Maki, Tomoki Toda, Sakriani Sakti, Graham Neubig, Satoshi Nakamura
    • 雑誌名

      Proceedings of International Conference of the IEEE Engineering in Medicine and Biology Society

      巻: Vol. 1 ページ: 3728-3731

    • DOI

      10.1109/embc.2016.7591538

    • 関連する報告書
      2016 実績報告書
    • 査読あり / 国際共著 / 謝辞記載あり
  • [雑誌論文] Unsupervised Joint Estimation of Grapheme-to-Phoneme Conversion Systems and Acoustic Model Adaptation for Non-Native Speech Recognition2016

    • 著者名/発表者名
      Satoshi Tsujioka, Sakriani Sakti, Koichiro Yoshino, Graham Neubig, Satoshi Nakamura
    • 雑誌名

      Proceedings of Interspeech 2016

      巻: Vol. 1 ページ: 3091-3095

    • 関連する報告書
      2016 実績報告書
    • 査読あり / 国際共著 / 謝辞記載あり
  • [雑誌論文] Supervised Learning of Acoustic Models in a Zero Resource Setting to Improve DPGMM Clustering2016

    • 著者名/発表者名
      Michael Heck, Sakriani Sakti, Satoshi Nakamura
    • 雑誌名

      Proceedings of Interspeech 2016

      巻: Vol. 1 ページ: 1310-1314

    • 関連する報告書
      2016 実績報告書
    • 査読あり / 国際共著 / 謝辞記載あり
  • [雑誌論文] Transferring Emphasis in Speech Translation Using Hard-Attentional Neural Network Models2016

    • 著者名/発表者名
      Quoc Truong Do, Sakriani Sakti, Graham Neubig, Satoshi Nakamura
    • 雑誌名

      Proceedings of Interspeech 2016

      巻: Vol. 1 ページ: 2533-2537

    • 関連する報告書
      2016 実績報告書
    • 査読あり / 国際共著 / 謝辞記載あり
  • [雑誌論文] Iterative Training of A DPGMM-HMM Acoustic Unit Recognizer in A Zero Resource Scenario2016

    • 著者名/発表者名
      Michael Heck, Sakriani Sakti, Satoshi Nakamura
    • 雑誌名

      Proceedings of IEEE Spoken Language Technology Workshop (SLT 2016)

      巻: Vol. 1 ページ: 57-63

    • DOI

      10.1109/slt.2016.7846245

    • 関連する報告書
      2016 実績報告書
    • 査読あり / 国際共著 / 謝辞記載あり
  • [雑誌論文] Deep Bottleneck Features And Sound-Dependent i-Vectors for Simultaneous Recognition of Speech and Environmental Sounds2016

    • 著者名/発表者名
      Sakriani Sakti, Seiji Kawanishi, Graham Neubig, Koichiro Yoshino, Satoshi Nakamura
    • 雑誌名

      Proceedings of IEEE Spoken Language Technology Workshop (SLT 2016)

      巻: Vol. 1 ページ: 35-42

    • DOI

      10.1109/slt.2016.7846242

    • 関連する報告書
      2016 実績報告書
    • 査読あり / 国際共著 / 謝辞記載あり
  • [雑誌論文] Incongruity Detection on ASR Outputs based on EEG Signals2016

    • 著者名/発表者名
      Sakriani Sakti, Yu Odagaki, Takafumi Sasakura, Graham Neubig, Tomoki Toda, Satoshi Nakamura
    • 雑誌名

      Proceedings of ASJ 2016

      巻: Vol. 1 ページ: 83-84

    • 関連する報告書
      2016 実績報告書
    • 謝辞記載あり
  • [雑誌論文] A Noise Reduction Method Using Spatial Prior of Event-Related Potentials2016

    • 著者名/発表者名
      Hayato Maki, Tomoki Toda, Sakriani Sakti, Graham Neubig, Satoshi Nakamura
    • 雑誌名

      Proceedings of ASJ 2016

      巻: Vol. 1 ページ: 627-628

    • 関連する報告書
      2016 実績報告書
    • 謝辞記載あり
  • [雑誌論文] The NAIST ASR for IWSLT: A Multi-architecture DNN System Combination Approach2016

    • 著者名/発表者名
      Michael Heck, Quoc Truong Do, Sakriani Sakti, Graham Neubig, Satoshi Nakamura
    • 雑誌名

      Proceedings of ASJ 2016

      巻: Vol. 1 ページ: 337-338

    • 関連する報告書
      2016 実績報告書
    • 謝辞記載あり
  • [雑誌論文] Multi-Task Deep Neural Networks for Speech and Environmental Sound Recognition2016

    • 著者名/発表者名
      Seiji Kawanishi, Sakriani Sakti, Koichiro Yoshino, Graham Neubig, Satoshi Nakamura
    • 雑誌名

      Proceedings of ASJ 2016

      巻: Vol. 1 ページ: 163-164

    • 関連する報告書
      2016 実績報告書
    • 謝辞記載あり
  • [雑誌論文] Non-native Automatic Speech Recognition Utilizing Acoustic Data-driven Pronunciation Learning and Acoustic Model Adaptation2016

    • 著者名/発表者名
      Satoshi Tsujioka, Sakriani Sakti, Koichiro Yoshino, Graham Neubig, Satoshi Nakamura
    • 雑誌名

      Proceedings of ASJ 2016

      巻: Vol. 1 ページ: 75-76

    • 関連する報告書
      2016 実績報告書
    • 謝辞記載あり
  • [雑誌論文] Exploring Bottleneck Features for Emotional Speech Recognition2016

    • 著者名/発表者名
      Kohei Mukaihara, Sakriani Sakti, Koichiro Yoshino, Graham Neubig, Satoshi Nakamura
    • 雑誌名

      Proceedings of ASJ 2016

      巻: Vol. 1 ページ: 161-162

    • 関連する報告書
      2016 実績報告書
    • 謝辞記載あり
  • [雑誌論文] A Study On Natural Expressive Speech: Automatic Memorable Spoken Quote Detection2015

    • 著者名/発表者名
      Fajri Koto, Sakriani Sakti, Graham Neubig, Tomoki Toda, Mirna Adriani, Satoshi Nakamura
    • 雑誌名

      Springer Lecture Notes

      巻: Vol. 1

    • 関連する報告書
      2014 実施状況報告書
    • 査読あり / 謝辞記載あり
  • [雑誌論文] Unknown Word Detection based on Event-Related Brain Desynchronization Responses2015

    • 著者名/発表者名
      Takafumi Sasakura, Sakriani Sakti, Graham Neubig, Tomoki Toda, Satoshi Nakamura
    • 雑誌名

      Springer Lecture Notes

      巻: Vol. 1

    • 関連する報告書
      2014 実施状況報告書
    • 査読あり / 謝辞記載あり
  • [雑誌論文] Combination of Two-dimensional Cochleogram and Spectrogram Features for Deep Learning- based ASR2015

    • 著者名/発表者名
      Andros Tjandra, Sakriani Sakti, Graham Neubig, Tomoki Toda, Mirna Adriani, Satoshi Nakamura
    • 雑誌名

      Proceedings of IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2015)

      巻: Vol. 1 ページ: 4525-4529

    • 関連する報告書
      2014 実施状況報告書
    • 査読あり / 謝辞記載あり
  • [雑誌論文] COLLECTION AND ANALYSIS OF A JAPANESE-ENGLISH EMPHASIZED SPEECH CORPORA2014

    • 著者名/発表者名
      Do Quoc Truong, Sakriani Sakti, Graham Neubig, Tomoki Toda and Satoshi Nakamura
    • 雑誌名

      Proc. of Oriental-COCOSDA 17t

      巻: - ページ: 77-82

    • DOI

      10.1109/icsda.2014.7051435

    • 関連する報告書
      2014 実施状況報告書
    • 査読あり / オープンアクセス / 謝辞記載あり
  • [雑誌論文] An Event-Related Brain Potential Study on the Impact of Speech Recognition Errors2014

    • 著者名/発表者名
      Sakriani Sakti, Yu Odagaki, Takafumi Sasakura, Graham Neubig, Tomoki Toda, Satoshi Nakamura
    • 雑誌名

      Proceedings of Asia Pacific Signal and Information Processing Association (APSIPA)

      巻: Vol. 1 ページ: 1-4

    • DOI

      10.1109/apsipa.2014.7041620

    • 関連する報告書
      2014 実施状況報告書
    • 査読あり / 謝辞記載あり
  • [雑誌論文] 単語視認時の脳波信号を用いた未知語知覚検出2014

    • 著者名/発表者名
      Takafumi Sasakura, Sakti Sakriani, Neubig Graham, Tomoki Toda, Satoshi Nakamura
    • 雑誌名

      SIG-SLUD-B402

      巻: Vol. 1 ページ: 57-62

    • NAID

      130008057614

    • 関連する報告書
      2014 実施状況報告書
    • 謝辞記載あり
  • [学会発表] Compressing Recurrent Neural Network with Tensor Train2017

    • 著者名/発表者名
      Andros Tjandra
    • 学会等名
      The 2017 International Joint Conference on Neural Networks (IJCNN 2017)
    • 発表場所
      Anchorage, Alaska, USA
    • 年月日
      2017-05-14
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] Iterative Training of A DPGMM-HMM Acoustic Unit Recognizer in A Zero Resource Scenario2016

    • 著者名/発表者名
      Michael Heck
    • 学会等名
      IEEE Spoken Language Technology Workshop (SLT 2016)
    • 発表場所
      San Diego, USA
    • 年月日
      2016-12-13
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] Deep Bottleneck Features And Sound-Dependent i-Vectors for Simultaneous Recognition of Speech and Environmental Sounds2016

    • 著者名/発表者名
      Sakriani Sakti
    • 学会等名
      IEEE Spoken Language Technology Workshop (SLT 2016)
    • 発表場所
      San Diego, USA
    • 年月日
      2016-12-13
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] Unsupervised Joint Estimation of Grapheme-to-Phoneme Conversion Systems and Acoustic Model Adaptation for Non-Native Speech Recognition2016

    • 著者名/発表者名
      Satoshi Tsujioka
    • 学会等名
      Interspeech
    • 発表場所
      San Fransisco, USA
    • 年月日
      2016-09-08
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] Supervised Learning of Acoustic Models in a Zero Resource Setting to Improve DPGMM Clustering2016

    • 著者名/発表者名
      Michael Heck
    • 学会等名
      Interspeech
    • 発表場所
      San Fransisco, USA
    • 年月日
      2016-09-08
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] Transferring Emphasis in Speech Translation Using Hard-Attentional Neural Network Models2016

    • 著者名/発表者名
      Quoc Truong Do
    • 学会等名
      Interspeech
    • 発表場所
      San Fransisco, USA
    • 年月日
      2016-09-08
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] Removing Noise from Event-Related Potentials using a Probabilistic Generative Model with Grouped Covariance Matrices2016

    • 著者名/発表者名
      Hayato Maki
    • 学会等名
      International Conference of the IEEE Engineering in Medicine and Biology Society
    • 発表場所
      Orlando, Florida, USA
    • 年月日
      2016-08-16
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] Gated Recurrent Neural Tensor Network2016

    • 著者名/発表者名
      Sakriani Sakti
    • 学会等名
      The 2016 International Joint Conference on Neural Networks (IJCNN 2016)
    • 発表場所
      Vancouver, Canada
    • 年月日
      2016-07-24
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] Deep Neural Networkを用いた音声と環境音のマルチタスク学習2016

    • 著者名/発表者名
      川西 誠司
    • 学会等名
      日本音響学会 春季研究発表会
    • 発表場所
      桐蔭横浜大学(神奈川県横浜市)
    • 年月日
      2016-03-09
    • 関連する報告書
      2015 実施状況報告書
  • [学会発表] 英語習熟度を考慮した発音辞書と音響モデル逐次適応による非母語音声認識2016

    • 著者名/発表者名
      辻岡 聡
    • 学会等名
      日本音響学会 春季研究発表会
    • 発表場所
      桐蔭横浜大学(神奈川県横浜市)
    • 年月日
      2016-03-09
    • 関連する報告書
      2015 実施状況報告書
  • [学会発表] ボトルネック特徴量を用いた感情音声認識の検討2016

    • 著者名/発表者名
      向原 康平
    • 学会等名
      日本音響学会 春季研究発表会
    • 発表場所
      桐蔭横浜大学(神奈川県横浜市)
    • 年月日
      2016-03-09
    • 関連する報告書
      2015 実施状況報告書
  • [学会発表] A Study of Social-Affective Communication: Automatic Prediction of Emotion Triggers and Responses in Television Talk Shows2015

    • 著者名/発表者名
      Nurul Lubis
    • 学会等名
      2015 IEEE Automatic Speech Recognition and Understanding
    • 発表場所
      Scottsdale(米国)
    • 年月日
      2015-12-13
    • 関連する報告書
      2015 実施状況報告書
  • [学会発表] The NAIST English Speech Recognition System for IWSLT 20152015

    • 著者名/発表者名
      Michael Heck
    • 学会等名
      12th International Workshop on Spoken Language Translation (IWSLT)
    • 発表場所
      Da Nang (ベトナム)
    • 年月日
      2015-12-03
    • 関連する報告書
      2015 実施状況報告書
  • [学会発表] 感情音声認識におけるCNNおよびDNNボトルネック特徴量の検討2015

    • 著者名/発表者名
      向原 康平
    • 学会等名
      第109回音声言語情報処理研究会 (SIG-SLP)
    • 発表場所
      名古屋工業大学(愛知県名古屋市)
    • 年月日
      2015-12-02
    • 関連する報告書
      2015 実施状況報告書
  • [学会発表] Construction and Analysis of Social-Affective Interaction Corpus in English and Indonesian2015

    • 著者名/発表者名
      Nurul Lubis
    • 学会等名
      Oriental COCOSDA 2016
    • 発表場所
      Shanghai(中国)
    • 年月日
      2015-10-28
    • 関連する報告書
      2015 実施状況報告書
  • [学会発表] 非母語音声の認識のための実音声を用いた発音辞書獲得2015

    • 著者名/発表者名
      辻岡 聡
    • 学会等名
      第107回音声言語情報処理研究会 (SIG-SLP)
    • 発表場所
      上諏訪温泉 かたくら諏訪湖ホテル(長野県諏訪市)
    • 年月日
      2015-07-16
    • 関連する報告書
      2015 実施状況報告書
  • [学会発表] ボトルネック特徴量を用いた感情音声の認識2015

    • 著者名/発表者名
      向原 康平
    • 学会等名
      第107回音声言語情報処理研究会 (SIG-SLP)
    • 発表場所
      上諏訪温泉 かたくら諏訪湖ホテル(長野県諏訪市)
    • 年月日
      2015-07-16
    • 関連する報告書
      2015 実施状況報告書
  • [学会発表] Combination of Two-dimensional Cochleogram and Spectrogram Features for Deep Learning-based ASR2015

    • 著者名/発表者名
      Andros Tjandra
    • 学会等名
      the IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2015)
    • 発表場所
      Brisbane, Australia
    • 年月日
      2015-04-19 – 2015-04-25
    • 関連する報告書
      2014 実施状況報告書
  • [学会発表] A Study On Natural Expressive Speech: Automatic Memorable Spoken Quote Detection2015

    • 著者名/発表者名
      Graham Neubig
    • 学会等名
      the 6th International Workshop on Spoken Dialog Systems (IWSDS)
    • 発表場所
      Busan, Korea
    • 年月日
      2015-01-11 – 2015-01-13
    • 関連する報告書
      2014 実施状況報告書
  • [学会発表] Unknown Word Detection based on Event-Related Brain Desynchronization Responses2015

    • 著者名/発表者名
      Takafumi Sasakura
    • 学会等名
      the 6th International Workshop on Spoken Dialog Systems (IWSDS)
    • 発表場所
      Busan, Korea
    • 年月日
      2015-01-11 – 2015-01-13
    • 関連する報告書
      2014 実施状況報告書
  • [学会発表] 単語視認時の脳波信号を用いた未知語知覚検出2014

    • 著者名/発表者名
      Takafumi Sasakura
    • 学会等名
      SIG-SLUD
    • 発表場所
      東京工業大学すずかけ台キャンパス(神奈川県横浜市)
    • 年月日
      2014-12-15
    • 関連する報告書
      2014 実施状況報告書
  • [学会発表] An Event-Related Brain Potential Study on the Impact of Speech Recognition Errors2014

    • 著者名/発表者名
      Sakriani Sakti
    • 学会等名
      Asia Pacific Signal and Information Processing Association (APSIPA)
    • 発表場所
      Siem Reap, Cambodia
    • 年月日
      2014-12-09 – 2014-12-12
    • 関連する報告書
      2014 実施状況報告書
  • [学会発表] 違和感が事象関連電位に与える影響について2014

    • 著者名/発表者名
      Yu Odagaki
    • 学会等名
      Japan Neuroscience
    • 発表場所
      パシフィコ横浜(神奈川県横浜市)
    • 年月日
      2014-09-11 – 2014-09-13
    • 関連する報告書
      2014 実施状況報告書
  • [学会発表] Memorable Spoken Quote Corpora of TED Public Speaking2014

    • 著者名/発表者名
      Fajri Koto
    • 学会等名
      the 17th Oriental COCOSDA
    • 発表場所
      Phuket, Thailand
    • 年月日
      2014-09-09 – 2014-09-12
    • 関連する報告書
      2014 実施状況報告書
  • [学会・シンポジウム開催] The 5th International Workshop on Spoken Language Technologies for Under-resourced Languages (SLTU'16)2016

    • 発表場所
      Yogyakarta, Indonesia
    • 年月日
      2016-05-09
    • 関連する報告書
      2016 実績報告書

URL: 

公開日: 2014-04-04   更新日: 2022-02-16  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi