• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Design of a speech training method using VR technology for transferring articulation and sound symbols of native English speakers

Research Project

Project/Area Number 20K19936
Research Category

Grant-in-Aid for Early-Career Scientists

Allocation TypeMulti-year Fund
Review Section Basic Section 62030:Learning support system-related
Research InstitutionKyushu University (2022)
The University of Tokyo (2020-2021)

Principal Investigator

Fukushima Shogo  九州大学, システム情報科学研究院, 准教授 (30761861)

Project Period (FY) 2020-04-01 – 2023-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2021: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
Fiscal Year 2020: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
Keywordsバーチャルリアリティ / 学習支援 / 第二言語習得 / 語学学習 / 学習支援システム / VR / 実演 / 音声合成 / シャドーイング / 音象徴 / フォント
Outline of Research at the Start

音読などの音声訓練において、英語母語話者の声と顔を学習者のものに変換する技術を検討する。そのためにVR環境で自身の正しい発話を繰り返し視聴することで正しい調音に導く。また、英単語の学習において、単語と画像などの非言語情報の連合記憶を形成することは重要である。ここでは、単語の音や文字に、その意味や印象を埋め込む共感覚的な言語表示法を検討する。そのために、単語の意味や印象をフォントで再現する。

Outline of Final Research Achievements

In order for English learners to learn correct articulation and language sense, we examined an articulation learning system that transforms and presents the native English speaker's voice and face into that of the learner. We also studied a learning system that reproduces the meaning of words by using the body and tools in a virtual space in order to understand English language senses. In the former case, we developed a technology to convert a native English speaker's voice into a learner's voice, and verified its applicability to shadowing learning. For the latter, we implemented and evaluated a learning system that reproduces the meaning of words in a virtual space by using body and tools in order to understand the sense of English language, and also worked on generating learnable transitive verbs from objects in the virtual environment.

Academic Significance and Societal Importance of the Research Achievements

本研究では特にバーチャルリアリティ技術を使って英語の学習手法をデザインし直すことに取り組み、その学習効果として記憶の再生テストを使った評価を行った。今後HMDなどのバーチャルリアリティ技術が日常のあらゆる場面で利用されることを想定し、どのような手法で人の学習支援に利用できるかを実機を使いながら評価したことが本研究の学術的貢献である。

Report

(4 results)
  • 2022 Annual Research Report   Final Research Report ( PDF )
  • 2021 Research-status Report
  • 2020 Research-status Report
  • Research Products

    (2 results)

All 2023 2021

All Presentation (2 results)

  • [Presentation] IVRにおけるユーザーの動作に基づく学習語彙の生成手法に関する基礎検討2023

    • Author(s)
      阪本啓悟, 福嶋政期
    • Organizer
      信学技報, vol. 122, no. 440, MVE2022-57, pp. 50-55, 2023年3月.
    • Related Report
      2022 Annual Research Report
  • [Presentation] 英単語学習時の実演効果を誘発するVRアプリケーションのデザイン ~ 背景描画の効果 ~2021

    • Author(s)
      宮澤要二, 福嶋政期, ハウタサーリ アリ, 苗村 健
    • Organizer
      信学技報, vol. 121, no. 221, MVE2021-29, pp. 19-24
    • Related Report
      2021 Research-status Report

URL: 

Published: 2020-04-28   Modified: 2024-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi