第二言語話者による英語発話理解技術の研究

• 研究課題/領域番号: 22520598
• 研究種目: 基盤研究(C)
• 配分区分: 補助金
• 応募区分: 一般
• 研究分野: 外国語教育
• 研究機関: 同志社大学
• 研究代表者: 山本 誠一 同志社大学, 理工学研究科, 教授 (20374100)
• 研究分担者: 西田 昌史 (西田 昌文) 同志社大学, 理工学研究科, 准教授 (80361442)
• 研究期間 (年度): 2010 – 2012
• 研究課題ステータス: 完了 (2012年度)
• 配分額: 3,900千円 (直接経費: 3,000千円、間接経費: 900千円); 2012年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円); 2011年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円); 2010年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
• キーワード: 音声認識 / 言語処理 / CALL / 言語モデル

研究概要

本研究ではシステムからの問いかけに対する応答発話を課題文として日本語で表示するtranslation game形式により,学習者の応答発話を制約すると共に,学習者コーパスから収集した第二言語話者がおかし易い文法上の誤りを含んだ表現も受理する言語モデルを利用した音声対話型CALLシステムの構成法について検討を行った。具体的な成果としては、(1)英語母語話者による5段階の主観評価値を付与した学習者コーパスの開発、(2)それを利用した言語モデルの開発とそれを組み込んだ音声対話型CALLシステムの開発、更に,(3)課題文の英語表現とは大きく隔たった想定外発話を検出するための手法として,ngramと有限オートマトン(FSA)による拘束を実現した言語モデルを用いる音声認識器の音響尤度差,認識結果の編集距離以外に,比較的類似の表現が見受けられる想定外発話をモデル化した想定外発話モデルとの音響尤度差,編集距離を素性として使用する手法の開発である。

研究成果

• [雑誌論文] Selection and Rejection of Recognition Results Obtained with Multiple Recognizers of Various Recognition Units Using Support Vector Machine (2012)
  • 著者名/発表者名: N. Suzuki, T. Tanaka, M. Nishida, S. Yamamoto
  • 雑誌名: Journal of Signal Processing 巻: Vol. 16, No. 4 ページ: 327-330
  • NAID: 130004457025
  • 査読あり
• [雑誌論文] Speaker Clustering in Multi-party Conversation (2011)
  • 著者名/発表者名: M. Nishida, Y. Ishikawa, S. Yamamoto
  • 雑誌名: Proceedings of the 3rd Nordic Symposium on Multimodal Communication. NEALT Proceedings Series 巻: Vol. 15 ページ: 56-61
  • 査読あり
• [雑誌論文] Speaker Clustering in Multi-party Conversation (2011)
  • 著者名/発表者名: M.Nishida
  • 雑誌名: NEALT Proceedings Series 巻: 15 ページ: 56-61
  • 査読あり
• [雑誌論文] Analysis on the Efficiency of Statistical Measures to Identify Network Structure of Chaos Coupled Systems (2010)
  • 著者名/発表者名: Y. Ueoka, T. Suzuki, and S. Yamamoto
  • 雑誌名: J. of Modern Physics C 巻: vol. 21, No. 8 ページ: 1065-1079
  • 査読あり
• [雑誌論文] 林克彦、渡辺太郎、塚田元、磯崎英樹、山本誠一 (2010)
  • 著者名/発表者名: 統計的機械翻訳におけるマージン最大化学習
  • 雑誌名: 人工知能学会論文誌 巻: Vol. 25, No. 5 ページ: 593-601
  • 査読あり
• [雑誌論文] 統計的機械翻訳におけるマージン最大化学習 (2010)
  • 著者名/発表者名: 林克彦
  • 雑誌名: 人工知能学会誌 巻: 25 ページ: 593-601
  • 査読あり
• [雑誌論文] Analysis on the Efficiency of Statistical Measures to Identify Network Structure of Chaos Coupled Systems (2010)
  • 著者名/発表者名: Yuta Ueoka
  • 雑誌名: J.of Modern Physics C 巻: 21 ページ: 1065-1079
  • 査読あり
• [雑誌論文] Gaze and Turn-taking Behavior in Casual Conversational Interactions
  • 著者名/発表者名: K. Jokinen, H. Furukawa, M. Nishida, S. Yamamoto
  • 雑誌名: ACM Trans. Interactive Intelligent Systems, Tiis 巻: Vol. 6 Issue 2,(to publish)
  • 査読あり
• [学会発表] Differences in Interactional Attitudes in Native and Second Language Conversations: Quantitative Analyses of Multimodal Three-Party Corpus (2013)
  • 著者名/発表者名: S. Yamamoto, K. Taguchi, I. Umata, K. Kabashima, M. Nishida
  • 学会等名: Cogsci2013
  • 発表場所: Berlin, Germany (to appear)
• [学会発表] A Preliminary Investigation on Improving Chinese Pinyin to Character Conversion Using MI Based Automatic Lexical Formation (2013)
  • 著者名/発表者名: J. Zhang , W. Li , X. Wang, M. Nishida, and S. Yamamoto
  • 学会等名: IEICE Technical Report
  • 発表場所: (SP-2012-98, pp. 1-5)
• [学会発表] A Study on Perceptual Training of Mandarin Tone 2 and Tone 3 by Japanese Learners (2013)
  • 著者名/発表者名: J. Zhang, Y. Sun, T. Zou, X. Wang, M. Nishida, and S. Yamamoto
  • 学会等名: IEICE Technical Report
  • 発表場所: (SP-2012-99, pp. 7-12)
• [学会発表] 学習者コーパスを利用した音声対話型CALLシステムにおける想定外発話検出手法 (2013)
  • 著者名/発表者名: 永井祐、王暁芸、西田昌史、山本誠一
  • 学会等名: 電子情報通信学会 技報
  • 発表場所: (SP-2012-100)
• [学会発表] An MI Criterion Based Word Segmentation Method and Its Application to Chinese Pinyin-to-word Conversion (2013)
  • 著者名/発表者名: J. Zhang , W. Li , X. Wang, M. Nishida, and S. Yamamoto
  • 学会等名: Proc. 2013 IEICE General Conf.,
  • 発表場所: (D-14-2)
• [学会発表] 学習者コーパスを利用した音声対話型 CALLシステムの開発 (2013)
  • 著者名/発表者名: 王暁芸、永井祐、西田昌史、山本誠一
  • 学会等名: 信学会総全大会
  • 発表場所: (D-14-7)
• [学会発表] Differences in Interactional Attitudes in Native and Second Language Conversations: Quantitative Analyses of Multimodal Three-Party Corpus (2013)
  • 著者名/発表者名: S. Yamamoto
  • 学会等名: CogSci 2013
  • 発表場所: Berlin, Gemany
• [学会発表] A Preliminary Investigation on Improving Chinese Pinyin-to-Character Conversion Using MI Based Automatic Lexical Formation (2013)
  • 著者名/発表者名: Jinsong ZHANG
  • 学会等名: IEICE Technical Report, SP-2012-98
  • 発表場所: Doshisha University
• [学会発表] A Study on Perceptual Training of Mandarin Tone 2 and Tone 3 by Japanese Learners (2013)
  • 著者名/発表者名: Jinsong ZHANG
  • 学会等名: IEICE Technical Report, SP-2012-99
  • 発表場所: 同志社大学
• [学会発表] 学習者コーパスを利用した音声対話型CALLシステムにおける想定外発話検出手法 (2013)
  • 著者名/発表者名: 永井 祐
  • 学会等名: 電子情報通信学会 音声研究会
  • 発表場所: 同志社大学
• [学会発表] An MI Criterion Based Word Segmentation Method and Its Application to Chinese Pinyin-to-word Conversion (2013)
  • 著者名/発表者名: Jinsong ZHANG
  • 学会等名: 2013 IEICE General Conf.
  • 発表場所: 岐阜大学
• [学会発表] 学習者コーパスを利用した音声対話型CALLシステムの開発 (2013)
  • 著者名/発表者名: 王 暁芸
  • 学会等名: 電子情報通信学会総合大会
  • 発表場所: 岐阜大学
• [学会発表] Multimodal Corpus of Multi-party Conversations in Second Language (2012)
  • 著者名/発表者名: S.Yamazaki
  • 学会等名: Int.Conf.on Language Resources and Evaluation2012
  • 発表場所: Lutfi Kirdar Conv.& Exhib.Cent.(Turkey)
  • 年月日: 2012-05-26
• [学会発表] Automatic Speech Recognition with Confidence Measures Obtained by Multiple Recognizers of Various Recognition Units (2012)
  • 著者名/発表者名: N.Suzuki
  • 学会等名: Int.Workshop on Nonlinear Circuits, Commun.and Signal Processing 2012
  • 発表場所: Waikiki Beach Marriot Resort & Spa (Hawaii)
  • 年月日: 2012-03-02
• [学会発表] Sentence Classification with Grammatical Errors and those Out of Scope of Grammar Assumption for Dialogue-based CALL Systems (2012)
  • 著者名/発表者名: Y. Nagai, T. Senzai, S. Yamamoto, M. Nishida
  • 学会等名: Proc. of TSD2012
  • 発表場所: (616-623, Brno, Czech Republic, Springer)
• [学会発表] Multimodal Corpus of Conversations in Mother Tongue and Second Language by Same Interlocutors (2012)
  • 著者名/発表者名: K. Kabashima, M. Nishida, K. Jokinen, S. Yamamoto
  • 学会等名: Workshop on Eye Gaze in Intelligent Human Machine Interaction: Eye Gaze and Multimodality
  • 発表場所: Santa Monica, Cal
• [学会発表] Multimodal Corpus of Multi-party Conversations in Second Language (2012)
  • 著者名/発表者名: S. Yamasaki, H. Furukawa, M. Nishida, K. Jokinen, S. Yamamoto
  • 学会等名: LREC2012
  • 発表場所: Istanbul, Turkey(416-421)
• [学会発表] Automatic Speech Recognition with Confidence Measures Obtained by Multiple Recognizers of Various Recognition Units (2012)
  • 著者名/発表者名: N. Suzuki, T. Tanaka, M. Nishida, and S. Yamamoto
  • 学会等名: NCSP 2012
  • 発表場所: Hawaii
• [学会発表] 音声対話型CALLシステムでの信頼度評価の検討 (2012)
  • 著者名/発表者名: 千歳智久,永井祐,西田昌史,山本誠一
  • 学会等名: 信学会総全大会
• [学会発表] 音声対話型CALLシステムの認識性能評価 (2012)
  • 著者名/発表者名: 飛田麻夕子,千歳智久,永井祐,西田昌史,山本誠一
  • 学会等名: 信学会総全大会
• [学会発表] Multimodal Corpus of Multi-party Conversations in Second Language (2012)
  • 著者名/発表者名: S. Yamasaki
  • 学会等名: LREC 2012
  • 発表場所: Istanbul, Turkey
• [学会発表] Sentence Classification with Grammatical Errors and those Out of Scope of Grammar Assumption for Dialogue-based CALL Systems (2012)
  • 著者名/発表者名: Y. Nagai
  • 学会等名: TSD 2012
  • 発表場所: Brno, Czech Republic
• [学会発表] Multimodal Corpus of Conversations in Mother Tongue and Second Language by Same Interlocutors (2012)
  • 著者名/発表者名: K. Kabashima
  • 学会等名: Workshop on Eye Gaze in Intelligent Human Machine Interaction: Eye Gaze and Multimodality
  • 発表場所: Santa Monica ,USA
• [学会発表] Using Features from a Bilingual Alignment Model in Transliteration Mining (2011)
  • 著者名/発表者名: T.Fukunishi
  • 学会等名: The 5^<th> International Joint Conference on Natural Language Processing
  • 発表場所: Shangri-La hotel (Thailand)
  • 年月日: 2011-11-10
• [学会発表] A Multimodal Corpus for Modeling Turn Management in Multi-party Conversations (2011)
  • 著者名/発表者名: H.Furukawa
  • 学会等名: Oriental COCOSDA
  • 発表場所: National Chiao Tung Univ.(Taiwan)
  • 年月日: 2011-10-27
• [学会発表] The Application of Bayesian Alignment Techniques to Transliteration Generation and Mining (2011)
  • 著者名/発表者名: A.Finch
  • 学会等名: Int.Universal Commun.Symposium2011
  • 発表場所: Gumi Convention and Exhibition Cent.(Korea)
  • 年月日: 2011-10-13
• [学会発表] Speaker Clustering Based on Non-negative Matrix Factorization (2011)
  • 著者名/発表者名: M.Nishida
  • 学会等名: INTERSPEECH2011
  • 発表場所: Firenze Fiera venue (Italy)
  • 年月日: 2011-08-16
• [学会発表] Speaker Clustering in Multi-party Conversation and Research on CALL Systems (2011)
  • 著者名/発表者名: M.Nishida
  • 学会等名: Nordic Symposium on Multi-modal Symposium
  • 発表場所: Helsinki University (Finland)
  • 年月日: 2011-05-09
• [学会発表] 日本語母語話者を対象としたモデル選択と話者適応に基づく英語音声認識 (2011)
  • 著者名/発表者名: 椛島康輔
  • 学会等名: 2011年 電子情報通信学会総合大会
  • 発表場所: 東京都市大学(紙上開催)
  • 年月日: 2011-03-14
• [学会発表] Using Features from a Bilingual Alignment Model in Transliteration Mining (2011)
  • 著者名/発表者名: T. Fukunishi, A. Finch, S. Yamamoto, E. Sumita
  • 学会等名: The 5th International Joint Conference on Natural Language Processing
  • 発表場所: Chiang Mai, Thailand(49-57)
• [学会発表] The Application of Bayesian Alignment Techniques to Transliteration Generation and Mining (2011)
  • 著者名/発表者名: A. Finch, K. Yasuda, T. Fukunishi, S. Yamamoto, E. Sumita
  • 学会等名: The 5th International Universal Communication Symposium, IUCS2011
  • 発表場所: Gumi, Korea
• [学会発表] A Multimodal Corpus for Modeling Turn Management in Multi-party Conversations (2011)
  • 著者名/発表者名: H. Furukawa, M. Nishida, K. Jokinen, S. Yamamoto
  • 学会等名: Oriental COCOSDA
  • 発表場所: Hsinchu, Taiwan
• [学会発表] Speaker Clustering Based on Non-negative Matrix Factorization (2011)
  • 著者名/発表者名: M. Nishida, S. Yamamoto
  • 学会等名: Proceeding of INTERSPEECH2011
  • 発表場所: Firenze
• [学会発表] Speaker Clustering in Multi-party Conversation and Research on CALL Systems (2011)
  • 著者名/発表者名: M. Nishida, S. Yamamoto
  • 学会等名: Nordic Symposium on Multi-modal Symposium
  • 発表場所: Helsinki
• [学会発表] 日本語母語話者を対象としたモデル選択と話者適応に基づく英語音声認識 (2011)
  • 著者名/発表者名: 椛島康輔、西田昌史,山本誠一
  • 学会等名: 信学会総全大会
• [学会発表] Turn alignment using eye-gaze and speech in spoken interaction (2010)
  • 著者名/発表者名: Kristiina Jokinen
  • 学会等名: Interspeech2010 11^<th> Annual Conference of the International Speech Communication Association
  • 発表場所: Makuhari Messe, Chiba
  • 年月日: 2010-09-29
• [学会発表] Hierarchical Phrase-based Machine Translation with Word-based Reordering Model (2010)
  • 著者名/発表者名: Katsuhiko Hayashi
  • 学会等名: The 23rd International Conference on Computational Linguistics (Coling2010)
  • 発表場所: Beijing International Convention Center, Beijing
  • 年月日: 2010-08-26
• [学会発表] 単語並び換えモデルを考慮した統計的階層句機械翻訳システム (2010)
  • 著者名/発表者名: 林克彦
  • 学会等名: 情報処理学会第196回自然言語処理研究会
  • 発表場所: 東京工業大学(東京)
  • 年月日: 2010-05-27
• [学会発表] Demonstration of Conversational Eye-gaze Data (2010)
  • 著者名/発表者名: Kristiina Jokinen
  • 学会等名: LREC2010-7th Language Resources and Evaluation Conference
  • 発表場所: Mediterranean Conference Center, Marta
  • 年月日: 2010-05-20
• [学会発表] Turn alignment using eye-gaze and speech in spoken interaction (2010)
  • 著者名/発表者名: K. Jokinen, K. Harada, M. Nishida, S. Yamamoto
  • 学会等名: Proceedings of INTERSPEECH2010
  • 発表場所: Makuhari Messe(018-2021)
• [学会発表] Hierarchical Phrase-based Machine Translation with Word-based Reordering Model (2010)
  • 著者名/発表者名: K. Hayashi, H. Tsukada, K. Sudo, K. Kevin and S. Yamamoto
  • 学会等名: Computational Linguistics
  • 発表場所: (Computational Linguistics)
• [学会発表] Demonstration of Conversational Eye-gaze Data (2010)
  • 著者名/発表者名: K. Jokinen, S. Yamamoto, M. Nishida
  • 学会等名: Workshop of Multimodal Corpus of LREC2010
• [学会発表] 単語並び換えモデルを考慮した統計的階層句機械翻訳システム (2010)
  • 著者名/発表者名: 林克彦、塚田元,須藤克仁,Kevin Duh,山本誠一
  • 学会等名: 情報処理学会自然言語処理研究会