• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

英語映像アーカイブのマルチモーダルコーパス化と分析:言語学と工学の融合

研究課題

研究課題/領域番号 15K12416
研究種目

挑戦的萌芽研究

配分区分基金
研究分野 教育工学
研究機関九州大学

研究代表者

冬野 美晴  九州大学, 芸術工学研究院, 助教 (30642681)

研究分担者 山下 友子  芝浦工業大学, 工学部, 助教 (10726334)
中島 祥好  九州大学, 芸術工学研究院, 教授 (90127267)
齊藤 剛史  九州工業大学, 大学院情報工学研究院, 准教授 (10379654)
研究期間 (年度) 2015-04-01 – 2018-03-31
研究課題ステータス 完了 (2017年度)
配分額 *注記
3,770千円 (直接経費: 2,900千円、間接経費: 870千円)
2017年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
2016年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2015年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
キーワードマルチモーダルコーパス / パブリックスピーキング / 英語教育 / モーショントラッキング / スピーチ / プレゼンテーション / 音声解析 / アイコンタクト / コーパス / マルチモーダル / 行動分析 / コーパス言語学 / 動作分析 / スピーチ教育 / 英語学習
研究成果の概要

日本人英語学習者が英語によるパブリックスピーキング を行う際に、効果的なパフォーマンスを行うための音声およびジェスチャー上の条件を明らかにし指導に役立てるべく、英語母語話者・英語学習者による英語スピーチアーカイブをデータベース(マルチモーダルコーパス) 化し、音声分析と2D・3D動作解析によって分析した。マルチモーダルコーパス研究においては、従来の分析は手作業によるアノテーションデータを用いて行われることが多く、定量的な分析は工学など他の学術分野で独立して行われることが多かった。本研究ではデータをテキスト分析、音声分析、動作解析の3視点から統合的に分析し、定量的な指標を得た。

報告書

(4件)
  • 2017 実績報告書   研究成果報告書 ( PDF )
  • 2016 実施状況報告書
  • 2015 実施状況報告書
  • 研究成果

    (23件)

すべて 2018 2017 2016 2015 その他

すべて 国際共同研究 (1件) 雑誌論文 (9件) (うち査読あり 7件、 オープンアクセス 1件、 謝辞記載あり 5件) 学会発表 (11件) (うち国際学会 9件) 備考 (1件) 産業財産権 (1件)

  • [国際共同研究] National University of Ireland(Ireland)

    • 関連する報告書
      2015 実施状況報告書
  • [雑誌論文] Multimodal analysis of public speaking performance by EFL learners: Applying deep learning to understanding how successful speakers use facial movement2018

    • 著者名/発表者名
      Fuyuno, M., Komiya, R., and Saitoh, T.
    • 雑誌名

      The Asian Journal of Applied Linguistics

      巻: 4 ページ: 117-129

    • 関連する報告書
      2017 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] The effect of virtual eyes on psychological nervousness of public speakers2017

    • 著者名/発表者名
      Fuyuno, M., Yamashita, Y., Nakajima, Y.
    • 雑誌名

      Proceedings of the 33rd Annual Meeting of the International Society for Psychophysics

      巻: 33 ページ: 128-131

    • 関連する報告書
      2017 実績報告書
    • 査読あり
  • [雑誌論文] 英語パブリックスピーキングにおける音声ポーズパターンとアイコンタクト動作パターンがパフォーマンスの総合評価へ及ぼす影響に関する統計的考察2017

    • 著者名/発表者名
      冬野美晴, 山下友子
    • 雑誌名

      マルチモーダルコーパスデータに基づくパブリックスピーチの統計的解析

      巻: なし ページ: 1-15

    • 関連する報告書
      2016 実施状況報告書
    • 謝辞記載あり
  • [雑誌論文] スピーチ指導のための映像情報を用いた話者の顔解析2017

    • 著者名/発表者名
      小宮凛子, ワラポン・チンサティ, 齊藤剛史, 冬野美晴
    • 雑誌名

      DIA2017

      巻: なし ページ: 195-200

    • 関連する報告書
      2016 実施状況報告書
    • 査読あり / 謝辞記載あり
  • [雑誌論文] Head pose estimation and motion analysis of public speaking videos2017

    • 著者名/発表者名
      Komiya, R., Saitoh, T., Fuyuno, M., Yamashita, Y., Nakajima, Y.
    • 雑誌名

      International Journal of Software Innovation

      巻: 5 ページ: 57-71

    • 関連する報告書
      2016 実施状況報告書
    • 査読あり / 謝辞記載あり
  • [雑誌論文] Head pose estimation and movement analysis for speech scene2017

    • 著者名/発表者名
      Komiya, R., Saitoh, T., Fuyuno, M., Yamashita, Y., Nakajima, Y.
    • 雑誌名

      Proc. of 15th IEEE/ACIS International Conference on Computer and Information Science

      巻: なし ページ: 409-413

    • 関連する報告書
      2016 実施状況報告書
    • 査読あり / 謝辞記載あり
  • [雑誌論文] Three Aspects of Public Speeches with Competent Speakers: Speech Pauses, Head Movements, and Lexical Choices2015

    • 著者名/発表者名
      Yamashita, Y. & Fuyuno, M.
    • 雑誌名

      STEM Journal

      巻: 5 ページ: 215-231

    • 関連する報告書
      2015 実施状況報告書
    • 査読あり / 謝辞記載あり
  • [雑誌論文] アメリカの大学の卒業式における著名人による祝辞スピーチの録画映像の分析:音声の無音区間と顔上げ動作2015

    • 著者名/発表者名
      山下友子・冬野美晴
    • 雑誌名

      ATEM Journal

      巻: 20 ページ: 33-44

    • NAID

      130007817494

    • 関連する報告書
      2015 実施状況報告書
    • 査読あり
  • [雑誌論文] アジア圏グローバルビジネスパーソンを対象とした英語スキルのニーズ分析:グローバル人材育成教育に向けた考察2015

    • 著者名/発表者名
      冬野美晴
    • 雑誌名

      Studies in English Teaching and Learning in East Asia

      巻: 5 ページ: 13-27

    • 関連する報告書
      2015 実施状況報告書
  • [学会発表] 没入型バーチャル・リアリティによる英語パブリックスピーキング練習用システムの開発:マルチモーダルコーパス分析に基づく教材の展開2017

    • 著者名/発表者名
      冬野美晴
    • 学会等名
      外国語教育メディア学会全国大会
    • 関連する報告書
      2017 実績報告書
  • [学会発表] Analyzing Public Speaking for EAP Pedagogy: Factors of Better Performance2017

    • 著者名/発表者名
      Fuyuno, M., Komiya, R., Saitoh, T
    • 学会等名
      Faces of English 2: Teaching and Researching Academic and Professional English
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] Quantitative analysis of English public speaking presented by Japanese EFL learners2017

    • 著者名/発表者名
      Liu, S., Nakajima, Y., Yamashita, Y., Fuyuno, M.
    • 学会等名
      the 6th Conference of the Asia-Pacific Society for the Cognitive Sciences of Music
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] スピーチ指導のための顔特徴点を用いた話者頭部の動き解析2016

    • 著者名/発表者名
      小宮凜子, 齊藤剛史, 冬野 美晴, 山下 友子, 中島 祥好
    • 学会等名
      電子情報通信学会総合大会
    • 発表場所
      九州大学
    • 年月日
      2016-03-16
    • 関連する報告書
      2015 実施状況報告書
    • 国際学会
  • [学会発表] Semantic Structure, Speech Units and Facial Movements: Multimodal Corpus Analysis of English Public Speakin2016

    • 著者名/発表者名
      Fuyuno, M., Yamashita, Y., Saitoh, T., & Nakajima, Y.
    • 学会等名
      8th International Conference on Corpus Linguist
    • 発表場所
      university of Malaga
    • 年月日
      2016-03-02
    • 関連する報告書
      2015 実施状況報告書
    • 国際学会
  • [学会発表] Developing effective instructions to decrease Japanese speaker' s nervousness during English and Japanese public speeches: Evidence from psychological and physiological measurements2016

    • 著者名/発表者名
      Fuyuno, M., Yamada, Y., Yamashita, Y., Yoshitaka Nakajima
    • 学会等名
      31st International Congress of Psychology 2016 (ICP2016)
    • 発表場所
      パシフィコ横浜
    • 関連する報告書
      2016 実施状況報告書
    • 国際学会
  • [学会発表] Multimodal Corpus Approach to Speech Psychology: The Effect of Public Speakers’ Facial Movements on Audience Reception2016

    • 著者名/発表者名
      Fuyuno, M., Yamashita, Y., Saitoh, T., Nakajima, Y.
    • 学会等名
      31st International Congress of Psychology 2016 (ICP2016)
    • 発表場所
      パシフィコ横浜
    • 関連する報告書
      2016 実施状況報告書
    • 国際学会
  • [学会発表] 日本人大学生の英語プレゼンテーションにおける効果的な間の取り方2016

    • 著者名/発表者名
      山下友子, 冬野美晴, 横森大輔
    • 学会等名
      日本認知科学会研究分科会「間合い―時空間インタラクション」
    • 発表場所
      東京工業大学
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] Analysis and application of multimodal corpora of English public speaking by EFL learners: Toward evidence-based teaching2015

    • 著者名/発表者名
      Miharu Fuyuno
    • 学会等名
      International Conference on Corpus Linguistics and Technology Advancement 2015
    • 発表場所
      Hong Kong Institution of Education
    • 年月日
      2015-12-17
    • 関連する報告書
      2015 実施状況報告書
    • 国際学会
  • [学会発表] マルチモーダルコーパスを用いた英語母語話者によるパブリックスピーキング・パフォーマンスの分析:発話速度・ジェスチャー・語彙特性の観点から2015

    • 著者名/発表者名
      冬野 美晴, 山下 友子
    • 学会等名
      英語コーパス学会第41回全国研究大会
    • 発表場所
      愛知大学
    • 年月日
      2015-10-04
    • 関連する報告書
      2015 実施状況報告書
    • 国際学会
  • [学会発表] An analysis of speech pauses, head movements, and lexical choices in graduation speeches at the universities in the United States2015

    • 著者名/発表者名
      Yamashita, Y. & Fuyuno, M.
    • 学会等名
      The 19th STEM International Conference
    • 発表場所
      Nazare University
    • 年月日
      2015-05-16
    • 関連する報告書
      2015 実施状況報告書
    • 国際学会
  • [備考] 研究室ウェブサイト

    • URL

      http://global-human-resource.net/

    • 関連する報告書
      2015 実施状況報告書
  • [産業財産権] パブリックスピーキング支援装置、及びプログラム2017

    • 発明者名
      冬野美晴、山下友子、齊藤剛史、中島祥好
    • 権利者名
      冬野美晴、山下友子、齊藤剛史、中島祥好
    • 産業財産権種類
      特許
    • 産業財産権番号
      2017-077706
    • 出願年月日
      2017
    • 関連する報告書
      2017 実績報告書

URL: 

公開日: 2015-04-16   更新日: 2019-03-29  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi