• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2015 年度 実施状況報告書

英語映像アーカイブのマルチモーダルコーパス化と分析:言語学と工学の融合

研究課題

研究課題/領域番号 15K12416
研究機関九州大学

研究代表者

冬野 美晴  九州大学, 芸術工学研究科(研究院), 助教 (30642681)

研究分担者 山下 友子  九州大学, 芸術工学研究科(研究院), 助教 (10726334)
中島 祥好  九州大学, 芸術工学研究科(研究院), 教授 (90127267)
齊藤 剛史  九州工業大学, その他の研究科, 准教授 (10379654)
研究期間 (年度) 2015-04-01 – 2018-03-31
キーワードコーパス言語学 / マルチモーダルコーパス / スピーチ / パブリックスピーキング / 英語学習 / プレゼンテーション / 動作分析
研究実績の概要

本研究の目的は、日本人英語学習者が英語によるパブリックスピーキングを行う際に、効果的なパフォーマンスを行うための音声およびジェスチャー上の条件を明らかにし指導に役立てるため、英語母語話者・英語学習者による英語スピーチアーカイブをデータベース(マルチモーダルコーパス化)し、音声分析と2D&3D動作解析によって分析することである。
本年度は非英語母語話者(英語学習者)および英語母語話者それぞれのスピーチ・パフォーマンスの収集を計画の第一目的と設定し、それぞれの動画・音声データ・スクリプトデータを集めマルチモーダルデータベースを作成した。更に計画よりも順調に進捗し、それらのデータを音声・動作・発話内容の観点から分析し、新たな分析方法を確立した。分析の成果は国際学会等で発表した。
まず、非英語母語話者データについては既存のデータに加えて日本人英語学習者を中心とした英語学習者のデータを新たに録画・録音することに成功し、英語暗唱スピーチデータ、英語自由スピーチデータの双方でデータの拡充を行った。また、それらのデータを応用言語学と画像工学の観点から分析し、特に話者の顔向きの角度推定に成功した。これにより半自動的に動作の詳細なアノテーションを行えるようになった。また、発話内容と音声データのクロス分析を行い、スピーチ中の適切なポーズ位置について新たな知見を得た。
英語母語話者データについてはアメリカ大学卒業祝辞スピーチ等新たなデータを収集した。特に、スポンテニアスなスピーチで話者がスクリプトを参照しているシーンのデータを得られたことから、スクリプトを参照する頻度や参照している時間長などを分析することで、日本人向けの教育に応用しやすい分析成果に繋がった。

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

本年度の計画は英語母語話者および非英語母語話者(英語学習者)のスピーチパフォーマンスデータを収集(既存データの整理による構築を中心とする計画であった)しデータベース化することであったが、当初の計画以上に進展し、双方について新たなデータを録画・録音することに成功した。更に分析方法についても、発話内容と音声情報のクロス分析、および動作解析の観点から新たな分析方法を発見し、今後の研究に大いに役立つ成果を得た。よって当初の計画以上の進展が見られたと判断した。

今後の研究の推進方策

28年度は音声・動作・発話内容の3つのモードを統合的に分析する方法について検討し、複数の分析方法を検証する。とくに非英語母語話者については新たなデータも収集し、効率的な分析を念頭においた収集方法について技術的な模索を行う。並行して、これまでの研究成果から指導に応用可能なデータを抽出し、参考情報(モデル情報)として大学英語カリキュラムに組み込める形に編成する。
29年度は大学英語教育において参考情報を活用し教育効果の検証を行う。

次年度使用額が生じた理由

消耗品文房具が予測よりも節約でき計475円の次年度使用額が発生した。

次年度使用額の使用計画

データベースの更なる拡充を計画していることから、ストレージデバイス等がより必要になる見込みである。次年度使用額は次年度予算に加えストレージデバイス等の消耗品費の一部として使用する。

  • 研究成果

    (10件)

すべて 2016 2015 その他

すべて 国際共同研究 (1件) 雑誌論文 (3件) (うち査読あり 2件、 謝辞記載あり 1件) 学会発表 (5件) (うち国際学会 5件) 備考 (1件)

  • [国際共同研究] National University of Ireland(Ireland)

    • 国名
      アイルランド
    • 外国機関名
      National University of Ireland
  • [雑誌論文] Three Aspects of Public Speeches with Competent Speakers: Speech Pauses, Head Movements, and Lexical Choices2015

    • 著者名/発表者名
      Yamashita, Y. & Fuyuno, M.
    • 雑誌名

      STEM Journal

      巻: 5 ページ: 215-231

    • 査読あり / 謝辞記載あり
  • [雑誌論文] アメリカの大学の卒業式における著名人による祝辞スピーチの録画映像の分析:音声の無音区間と顔上げ動作2015

    • 著者名/発表者名
      山下友子・冬野美晴
    • 雑誌名

      ATEM Journal

      巻: 20 ページ: 33-44

    • 査読あり
  • [雑誌論文] アジア圏グローバルビジネスパーソンを対象とした英語スキルのニーズ分析:グローバル人材育成教育に向けた考察2015

    • 著者名/発表者名
      冬野美晴
    • 雑誌名

      Studies in English Teaching and Learning in East Asia

      巻: 5 ページ: 13-27

  • [学会発表] スピーチ指導のための顔特徴点を用いた話者頭部の動き解析2016

    • 著者名/発表者名
      小宮凜子, 齊藤剛史, 冬野 美晴, 山下 友子, 中島 祥好
    • 学会等名
      電子情報通信学会総合大会
    • 発表場所
      九州大学
    • 年月日
      2016-03-16 – 2016-03-16
    • 国際学会
  • [学会発表] Semantic Structure, Speech Units and Facial Movements: Multimodal Corpus Analysis of English Public Speakin2016

    • 著者名/発表者名
      Fuyuno, M., Yamashita, Y., Saitoh, T., & Nakajima, Y.
    • 学会等名
      8th International Conference on Corpus Linguist
    • 発表場所
      university of Malaga
    • 年月日
      2016-03-02 – 2016-03-02
    • 国際学会
  • [学会発表] Analysis and application of multimodal corpora of English public speaking by EFL learners: Toward evidence-based teaching2015

    • 著者名/発表者名
      Miharu Fuyuno
    • 学会等名
      International Conference on Corpus Linguistics and Technology Advancement 2015
    • 発表場所
      Hong Kong Institution of Education
    • 年月日
      2015-12-17 – 2015-12-17
    • 国際学会
  • [学会発表] マルチモーダルコーパスを用いた英語母語話者によるパブリックスピーキング・パフォーマンスの分析:発話速度・ジェスチャー・語彙特性の観点から2015

    • 著者名/発表者名
      冬野 美晴, 山下 友子
    • 学会等名
      英語コーパス学会第41回全国研究大会
    • 発表場所
      愛知大学
    • 年月日
      2015-10-04 – 2015-10-04
    • 国際学会
  • [学会発表] An analysis of speech pauses, head movements, and lexical choices in graduation speeches at the universities in the United States2015

    • 著者名/発表者名
      Yamashita, Y. & Fuyuno, M.
    • 学会等名
      The 19th STEM International Conference
    • 発表場所
      Nazare University
    • 年月日
      2015-05-16 – 2015-05-16
    • 国際学会
  • [備考] 研究室ウェブサイト

    • URL

      http://global-human-resource.net/

URL: 

公開日: 2017-01-06  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi