舌の超音波画像及び顔・唇のビデオ画像による視覚音声認識

• 研究課題/領域番号: 23520467
• 研究種目: 基盤研究(C)
• 配分区分: 基金
• 応募区分: 一般
• 研究分野: 言語学
• 研究機関: 会津大学
• 研究代表者: WILSON Ian 会津大学, コンピュータ理工学部, 教授 (50444930)
• 研究期間 (年度): 2011 – 2013
• 研究課題ステータス: 完了 (2013年度)
• 配分額: 4,810千円 (直接経費: 3,700千円、間接経費: 1,110千円); 2013年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円); 2012年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円); 2011年度: 2,210千円 (直接経費: 1,700千円、間接経費: 510千円)
• キーワード: ultrasound / video / tongue / articulation / jaw / 超音波 / ビデオ / 舌 / 調音 / acoustics / optical flow / pixel-wise / computer lipreading / stress / pitch

研究概要

（１）顎の動きを集めたビデオのデータに関して、CVC音節の中にある母音での下顎皮膚の伸張を計測したところ、頭子音だけが大きな影響力を持つ事が分かった。（２）英語を話す際の舌の位置を集めた超音波のデータに関して、ネイティブスピーカーは英語を母国語としない日本人より、より効率のいい位置で舌を休ませる。（３）MUTISと呼ぶ、特徴空間を写像し解釈する最適な方法に着目したことに関して、MUTISのより高次元な場所は最も人々を識別することに有効であること、VSSの低次元な場所のデータは主に音素を識別することに最も有効であることを示した。VSSのデータの軌道はL１とL２との違いをはっきりと示している。

研究成果

• [雑誌論文] Effect of syllable onset, coda, and nucleus on degree of skin stretching over the mandible. (2013)
  • 著者名/発表者名: Wilson, I. and Erickson, D.（連携研究者）
  • 雑誌名: Proc. of International Congress of Acoustics. 巻: 19 ページ: 060269-060269
  • DOI: 10.1121/1.4799467
• [雑誌論文] Normalization and matching routine for comparing first and second language tongue trajectories (2013)
  • 著者名/発表者名: Moriya, S., Y.Yaguchi, N.Terunuma, T.Sato, & I.Wilson
  • 雑誌名: Journal of the Acoustical Society of America 巻: vol.134, No.5, Pt.2 号: 5_Supplement ページ: 4244-4244
  • DOI: 10.1121/1.4831607
  • NAID: 110009889298
• [雑誌論文] Coarticulatory effects of lateral tongue bracing in first and second language English speakers. (2013)
  • 著者名/発表者名: Kanada, S., Wilson, I., Gick, B., Erickson, D.（連携研究者）
  • 雑誌名: Acoustical Society of America, Fall Meeting, San Francisco 巻: 134 (5) 号: 5_Supplement ページ: 4244-4244
  • DOI: 10.1121/1.4831608
  • 査読あり
• [雑誌論文] 舌特徴空間における言語学習者の違いを比較するための正規化とマッチング手法 (2013)
  • 著者名/発表者名: Moriya, S., Y. Yaguchi, N. Terunuma, T. Sato, & I. Wilson
  • 雑誌名: IEICE Technical Report 巻: vol.113, No.308, SP2013-80 ページ: 53-57
• [雑誌論文] 舌特徴空間における言語学習者の違いを比較するための正規化とマッチング手法 (2013)
  • 著者名/発表者名: S. Moriya, Y. Yaguchi, N. Terunuma, T. Sato, I. Wilson
  • 雑誌名: IEICE Technical Report 巻: 113 ページ: 53-57
• [雑誌論文] Articulating rhythm in L1 and L2 English : Focus on jaw and F0 (2012)
  • 著者名/発表者名: Wilson, I., D.Erickson, & N.Horiguchi
  • 雑誌名: Proceedings of the 2012 Autumn Meeting of the Acoustical Society of Japan (ASJ) ページ: 319-322
• [雑誌論文] Finding phoneme trajectories in a feature space of sound and midsagittal ultrasound tongue images (2012)
  • 著者名/発表者名: Yaguchi, Y., N.Horiguchi, & I.Wilson
  • 雑誌名: In IEEE Proceedings of the 4th International Conference on Awareness Science and Technology (iCAST 2012) ページ: 156-162
  • DOI: 10.1109/icawst.2012.6469606
• [雑誌論文] Video recordings of L1 and L2 jaw movement: Effect of syllable onset on jaw opening during syllable nucleus (2012)
  • 著者名/発表者名: Y. Abe, I. Wilson, D. Erickson
  • 雑誌名: Journal of the Acoustical Society of America 巻: 132 号: 3_Supplement ページ: 2005-2005
  • DOI: 10.1121/1.4755428
• [雑誌論文] Pitch and intensity in the speech of Japanese speakers of English: Comparison with L1 speakers (2012)
  • 著者名/発表者名: J. Okada, I. Wilson, M. Yoshizawa
  • 雑誌名: Journal of the Acoustical Society of America 巻: 132 号: 3_Supplement ページ: 2004-2004
  • DOI: 10.1121/1.4755421
• [雑誌論文] Comparing L1 and L2 phoneme trajectories in a feature space of sound and midsagittal ultrasound tongue images (2012)
  • 著者名/発表者名: Sano, K., Y.Yaguchi, & I.Wilson
  • 雑誌名: Journal of the Acoustical Society of America 巻: vol.132, No.3, Pt.2 号: 3_Supplement ページ: 1934-1934
  • DOI: 10.1121/1.4755107
• [雑誌論文] Articulating rhythm in L1 and L2 English: Focus on jaw and F0 (2012)
  • 著者名/発表者名: I. Wilson, D. Erickson, N. Horiguchi
  • 雑誌名: Proceedings of the 2012 Autumn Meeting of the Acoustical Society of Japan 巻: 2012 ページ: 319-322
• [学会発表] Lateral tongue bracing in Japanese and English (2013)
  • 著者名/発表者名: Wilson, I., J.Villegas, & T.Doi
  • 学会等名: Paper presented at Ultrafest VI
  • 発表場所: Edinburgh, Scotland
  • 年月日: 2013-11-08
• [学会発表] Articulatory and laryngeal contributions to rhythm in English (2013)
  • 著者名/発表者名: Erickson, D. & I.Wilson
  • 学会等名: the Joint Research Meeting of the Dept. of Linguistic Theory and Structur
  • 発表場所: NINJAL, Tokyo, Japan (Poster presented)
  • 年月日: 2013-03-02
• [学会発表] Lateral tongue bracing in Japanese and English (2013)
  • 著者名/発表者名: I. Wilson, J. Villegas, T. Doi
  • 学会等名: Ultrafest VI
  • 発表場所: Edinburgh, Scotland
• [学会発表] Articulatory and laryngeal contributions to rhythm in English (2013)
  • 著者名/発表者名: D. Erickson, I. Wilson
  • 学会等名: Joint Research Meeting of the Dept. of Linguistic Theory and Structure, NINJAL
  • 発表場所: NINJAL (Tachikawa, Tokyo)
• [学会発表] How accurately people follow articulation instructions (2012)
  • 著者名/発表者名: Wilson, I. & N.Horiguchi
  • 学会等名: Paper presented at the 4th Pronunciation in Second Language Learning and Teaching conference (PSLLT 2012)
  • 発表場所: Vancouver, Canada
  • 年月日: 2012-08-24
• [学会発表] 発音習得のための超音波舌画像に対する音素片マッピング [Mapping phonemes to midsagittal tongue images for pronunciation learning] (2012)
  • 著者名/発表者名: Yaguchi, Y., N.Horiguchi, & I.Wilson
  • 学会等名: the joint meeting of the Technical Committees for Pattern Recognition and Media Understanding (PRMU) and Signal Processing (SP) of the Institute of Electronics, Information and Communication Engineers (IEICE)
  • 発表場所: Sendai, Japan (Paper presented)
  • 年月日: 2012-02-10
• [学会発表] How accurately people follow articulation instructions (2012)
  • 著者名/発表者名: I. Wilson, N. Horiguchi
  • 学会等名: 4th Pronunciation in Second Language Learning and Teaching Conference (PSLLT)
  • 発表場所: SFU (Vancouver, Canada)
• [学会発表] 発音習得のための超音波舌画像に対する音素片マッピング
  • 著者名/発表者名: 矢口勇一、堀口尚哉、イアン・ウィルソン
  • 学会等名: 社団法人電子情報通信学会 信学技報
  • 発表場所: 東北大学
• [備考]
  • URL: http://clrlab1.u-aizu.ac.jp/index_j.html
• [備考] CLR Phonetics Lab
  • URL: http://clrlab1.u-aizu.ac.jp
• [備考]
  • URL: http://clrlab1.u-aizu.ac.jp/index_j.html