2020 Fiscal Year Annual Research Report
Classroom support system for mass teaching using 360-degree media
| Project/Area Number |
18K02874
|
|---|
| Research Institution | Osaka Institute of Technology |
|---|
Principal Investigator |
矢野 浩二朗 大阪工業大学, 情報科学部, 准教授 (10612442)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
村上 裕美 関西外国語大学短期大学部, 英米語学科, 准教授 (80300284)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | バーチャルリアリティ / オンライン授業 / AIエージェント |
|---|
| Outline of Annual Research Achievements |
昨年度開発した、Oculus Go対応のHMD間通信アプリについては、Oculus Goが販売終了となる事が発表されたため、学校現場に展開していくことは事実上不可能になった。それゆえ、本アプリの開発はいったん終了し、Pico Neo 2など、6DOF HMD向けのアプリケーションの開発に新たに取り組むことになった。
さらに、新型コロナウイルス感染症により外部の教育機関および研究代表者の本務校でも対面でのHMDを用いた実証実験が困難になったため、当初の計画を修正し、インターネットでVR内の教員と学生を接続するオンライン授業用のシステムの開発を行うことにした。即ちユーザー（教員）がVR空間内に入り、アバターを選択して、撮影用のVRシーンに移動する。そちらには教材提示用のバーチャルスクリーンと撮影用バーチャルカメラがあり、ユーザーはアバターを操作しながら、スクリーンを用いてカメラに向かい授業を行う。バーチャルカメラは動画としてその様子を記録したり、ライブ映像としてオンラインミーティングアプリに配信することが可能である。このシステムを用い、研究代表者の本務校のオンライン授業においてアバターによるVRライブ講義を実践し、受講した学生からは高評価を得られた。
一方で、AIエージェントを用いた没入型英会話教材については、上記の理由から新たにPico Neo 2向けのアプリの開発を行った。本システムでは教員が容易に任意のアバターを導入し、シーン内でのポーズなどをVR内で設定できる機能を実装した。エージェントの会話AIについてはDialogflowを採用し、Dialogflowのコンソールを用いて会話パターンをデザインし、VRのエージェントに反映させることを可能にした。さらに、学習者がVR空間でエージェントと会話する際は、学習者は音声認識あるいはテキスト入力で会話することを実現した。
|
