2019 Fiscal Year Research-status Report
Development of foreign language speaking materials using speech recognition system and VR chatbot
| Project/Area Number |
19K00879
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
大前 智美 大阪大学, サイバーメディアセンター, 准教授 (00379108)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
渡邉 ゆきこ 沖縄大学, 人文学部, 教授 (60320529)
小渡 悟 沖縄国際大学, 産業情報学部, 准教授 (90369207)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | ICT活用 / 外国語教育 / 音声認識 / VR |
|---|
| Outline of Annual Research Achievements |
本研究では，発音教育のゴールを従来の「正しい」発音の習得ではなく，「通じる」発音の習得とし、その基準を音声認識システムに正確に入力できることと定義した。この定義に基づき，音声合成と音声認識の両機能をもつWeb Speech APIを活用し，個々の教員の主観に頼らなければならなかった発音の評価を自動化し，発音練習の独習を実現させると同時に，音声合成機能を使ってインプット教材を作り，録音や編集の手間を大幅に軽減した。これにより，「正しさ」ではなく「通じる」発音による大量のインプットとアウトプットを導き出すことが可能となり，これまでのような与えられた表現のみを学習するのではなく，学習者自身の言いたいことを外国語で表現することができるような基礎を築くことが可能となる。また，本研究ではVR技術を使った音声チャット教材の開発を目指している。VR技術を利用することで実際にその場にいるような臨場感，没入感を体感でき，学習者がVR環境の中で繰り返し成功体験を重ねることで，発話への心理的障壁を和らげ，また各レベルでのコミュニケーションの可能性と問題点に気付かせるという意図もある。
初年度は中国語音声教材の開発と，多言語対応にむけたシステム開発を行い，ユーザインターフェイスの改良を行った。その後，ドイツ語を始め，英語・韓国語・フランス語等の複数言語の教材を蓄積し，活用されている。VR活用面では，外国語の運用練習においての臨場感のある360度映像が活用できることを確認している。教室内において映像をプロジェクタで投影することで情報を共有したり，VRゴーグルを着用させた学習者のみに映像を見せて他の学習者との情報差を作るなど，運用練習の際に情報の与え方を選択することができる。360度映像とVR機材の組み合わせは学習者が興味を持ちやすく，発話のためのモチベーションが顕著に向上することを確認できた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
初年度はパイロット版で開発してきた音声認識ソフトST labを，本格的に多言語対応させるため，ユーザインターフェイスの改良を行った。中国語に特化した機能と多言語対応可能な機能との切り分けを行い，「音読練習」は多言語対応させることとした。また，VRでは360度映像の有効性が確認できたことより，学習者がHMDとコントローラを装着することでVR空間内を移動，ならびに，VR空間内の物体を操作することができるシステムを構築することとした。さらに，ARを教育に活用する試みも広く行われていることから，スマートフォンで単語学習を行える試作システムの構築を試みた。
インターフェイス改良後は，ドイツ語版教材の作成を行い，研究代表者により授業実践を行った。さらに中国語教育実践で培った学習データの分析を行っている。VR・ARの試作システムでは，今後は試作したVR学習システム・AR学習システムを用いた講義を行い，使用感などの意見を収集するとともに学習効果の測定・評価を行っていきたい。
研究代表者・分担者が属するe-learning教育学会や共催学会のシンポジウム等で本課題開発システムのワークショップを行い，現在では日本国内だけでなく海外も含め34組織で本システムST labが使用されている。
|
| Strategy for Future Research Activity |
本研究課題は現在のところ，おおむね順調に進んでいる。パイロット版を多言語かつ多人数に対応できるよう全面的に改修を行っているところではあるが，喜ばしいことに想定していた以上の組織・教員の利用希望に応じるため，当初予定していたシステム設計を変更せざるを得ないところも出てきており，システム設計を改めて見直し，多くの組織・教員・学習者の利用に耐えうるシステムへの改修が必要となっている。
また，本課題2年目以降は多言語対応による教材の開発と授業実践，さらにはプロトタイプとして中国語版でのファストフード店や空港をテーマとしたVR画像とキャラクターを利用した本格的なVR教材の開発を進める予定である。
さらに海外の大学・教育機関からの利用希望も数件きており、日本語ネイティブが見つけづらい海外における日本語教育の場での利用も見込まれる。
それに加え，これまでの学習者データの分析を行い，学習者へのフィードバック可能なインターフェイス改良と学習者の習得内容や学習の進捗度に関する問題点をラーニングアナリティクスやディスコースアナリティクスなどの手法を用いて分析し，問題点を明らかにする。
|
