没入体感型英語スピーチ学習システムの開発と検証：視線方向と音声要素に基づく研究

2016 Fiscal Year Annual Research Report

• Project/Area Number: 16H03079
• Research Institution: Kyushu University
• Principal Investigator: 冬野 美晴 九州大学, 芸術工学研究院, 助教 (30642681)
• Co-Investigator(Kenkyū-buntansha): 山下 友子 芝浦工業大学, 工学部, 助教 (10726334) ; 川瀬 義清 西南学院大学, 文学部, 教授 (20108616) ; 土屋 慶子 東海大学, 公私立大学の部局等, 准教授 (20631823) ; 山田 祐樹 九州大学, 基幹教育院, 准教授 (60637700) ; 中島 祥好 九州大学, 芸術工学研究院, 教授 (90127267) ; 齊藤 剛史 九州工業大学, 大学院情報工学研究院, 准教授 (10379654)
• Project Period (FY): 2016-04-01 – 2020-03-31
• Keywords: 仮想現実 / パブリックスピーキング / スピーチ教育 / プレゼンテーション / 英語教育 / 学習支援システム

Outline of Annual Research Achievements

本研究の目的は、日本人が英語によるパブリックスピーキング（スピーチ、プレゼンテーション等）を効果的に行うために、ジェスチャや緊張マネジメント等を含めたパフォーマンスを体感的に学習できる仮想現実（ＶＲ：バーチャルリアリティ）学習システムを開発し、大学教育に導入し効果を測ることである。パブリックスピーキングスキルは国際化が進む社会の中で強く求められているにも関わらず、一斉指導の難しさや自己練習の難しさ、また定量的観点に基づく教材の不足が指摘されている。本研究によって自己練習が可能な学習システムが開発されれば、教育に資すると期待される。
28年度にはまず、パブリックスピーキングの行動・心理実験を行い、話者のストレス計測や動作分析によりそれらの数値特徴を明らかにした。特に話者がスピーチ中の心拍変動解析を行った。次に、学習者がスピーチ練習を行う際に、本番に近い緊張感を与えることができるバーチャルオーディエンス動画を、三次元コンピュータグラッフィクスと全天周映像の実写版のそれぞれで制作した。これらの動画を用いて、緊張感についての評価実験を行い、バーチャルオーディエンスがいない条件よりも有意に緊張度が高まることを確認した。更に、研究代表者らがこれまでの研究で蓄積した、話速度とアイコンタクト動作の数値指標を設定し、学習者のパフォーマンスを自動的に評価するプログラムを構築し、バーチャルオーディエンスと併せてＶＲ学習システムに組み込んだ。システムはヘッドマウントディスプレイと各種センサにより動作する。更に、以上のシステムについて、平成29年度4月に特許出願を行う準備を整えた。

Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

計画通りにシステムを構築することができ、更に開発したシステムを基に、当初は計画していなかった特許出願を行うべく準備を進めることができた。

Strategy for Future Research Activity

英語を母語としない被験者に対して、開発したヘッドマウントディスプレイによる学習システムの教育効果検証実験を実施する。並行して、スマートフォン版の学習システム（アプリケーション）を開発する。

Research Products

• [Journal Article] Semantic Structure, Speech Units and Facial Movements: Multimodal Corpus Analysis of English Public Speaking (2017)
  • Author(s): Fuyuno, M., Yamashita, Y., Saitoh, T., Nakajima, Y.
  • Journal Title: EPiC Series in Language and Linguistics Volume: 1 Pages: 447-461
  • Peer Reviewed / Open Access / Acknowledgement Compliant
• [Journal Article] Head pose estimation and motion analysis of public speaking videos (2017)
  • Author(s): Komiya, R., Saitoh, T., Fuyuno, M., Yamashita, Y., Nakajima, Y.
  • Journal Title: International Journal of Software Innovation Volume: 5 Pages: 57-71
  • Peer Reviewed / Acknowledgement Compliant
• [Journal Article] 英語パブリックスピーキングにおける音声ポーズパターンとアイコンタクト動作パターンがパフォーマンスの総合評価へ及ぼす影響に関する統計的考察 (2017)
  • Author(s): 冬野美晴, 山下友子
  • Journal Title: マルチモーダルコーパスデータに基づくパブリックスピーチの統計的解析 Volume: なし Pages: 1-15
  • Acknowledgement Compliant
• [Journal Article] Head pose estimation and movement analysis for speech scene, Proc. of 15th IEEE/ACIS International Conference on Computer and Information Science (2016)
  • Author(s): Komiya, R., Saitoh, T., Fuyuno, M., Yamashita, Y., Nakajima, Y.
  • Journal Title: Proc. of 15th IEEE/ACIS International Conference on Computer and Information Science Volume: なし Pages: 409-413
  • Peer Reviewed / Acknowledgement Compliant
• [Presentation] スピーチ訓練のためのバーチャルオーディエンスの開発と検証 (2016)
  • Author(s): 冬野美晴, 山田祐樹
  • Organizer: 日本教育メディア学会
  • Place of Presentation: 奈良教育大学
  • Year and Date: 2016-11-26 – 2016-11-26
• [Presentation] Developing effective instructions to decrease Japanese speaker' s nervousness during English and Japanese public speeches: Evidence from psychological and physiological measurements (2016)
  • Author(s): Fuyuno, M., Yamada, Y., Yamashita, Y., Yoshitaka Nakajima.
  • Organizer: 31st International Congress of Psychology 2016 (ICP2016)
  • Place of Presentation: パシフィコ横浜
  • Year and Date: 2016-07-25 – 2016-07-25
  • Int'l Joint Research
• [Presentation] Multimodal Corpus Approach to Speech Psychology: The Effect of Public Speakers’ Facial Movements on Audience Reception (2016)
  • Author(s): Fuyuno, M., Yamashita, Y., Saitoh, T., Nakajima, Y.
  • Organizer: 31st International Congress of Psychology 2016 (ICP2016)
  • Place of Presentation: パシフィコ横浜
  • Year and Date: 2016-07-25 – 2016-07-25