多様な受講環境における講義状況の把握が容易な双方向型ハイブリッド講義環境モデル
| Project/Area Number |
21K12184
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62030:Learning support system-related
|
|---|
| Research Institution | Osaka Institute of Technology |
|---|
Principal Investigator |
西口 敏司 大阪工業大学, 情報科学部, 教授 (80362565)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2021: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
|
|---|
| Keywords | ハイブリッド講義 / 双方向型 / オンライン講義 / 講義状況の観測 / 臨場感 / 可視化 |
|---|
| Outline of Research at the Start |
コロナ禍における大学の講義で利用されているWeb 会議システムなどのツールは，講義において重要な講師と受講者の間の非言語的な情報の交換が得意ではなく，また，対面とオンラインの同時開講(ハイブリッド講義) を考慮した設計とはなっていないという問題がある．
そこで本研究課題では，多様な受講環境が存在するハイブリッド講義における講師の講義行動や受講者の受講行動を，カメラや端末操作履歴の観察結果に基づいて推定し，講師と受講者の注目対象，視聴対象，同調反応などを含む講義状況を講義の参加者間で共有することで，講義状況の把握が容易な双方向型ハイブリッド講義環境を構成するためのモデルの構築を目指す．
|
| Outline of Annual Research Achievements |
本研究課題は，多様な受講環境が存在するハイブリッド講義における講師と受講者の行動を観察し，その観察結果に基づいて講義状況を把握しやすい双方向型ハイブリッド講義環境を構築することを目指している．具体的には，カメラや端末操作履歴などを用いて講師と受講者の注目対象，視聴対象，同調反応などを推定し，それらの情報を講義の参加者間で共有する仕組みを作成することが目標である．
2023年度の研究では，特にメタバース空間上のVR環境で受講する受講者の受講状況を観測する機能を構築した．受講者は没入型ヘッドマウントディスプレイ（HMD）とコントローラを装着し，オンラインで実習型のメタバース空間に参加する．この実習型メタバース空間は，リハビリテーションを想定した講師による高齢者アバターとのコミュニケーション課題を学ぶ授業空間として設計した．
受講者の受講状況の観察においては，顔の向き，視線方向，姿勢の動きに注目した．これらのデータは，没入型HMDとコントローラから得られる情報を基に収集される．具体的には，受講者の顔の向き，視線方向，および上半身（頭部位置と両腕）の姿勢情報を取得した．さらに，上半身の姿勢データを基にインバースキネマティクス（IK）を用いて両足の姿勢情報も推定し，これらのデータを基に受講者のアバターを制御することを試みた．なお，装着型の簡易モーションキャプチャデバイスを利用すれば，より正確な姿勢検出も可能である．
これにより，受講者の動きや視線の変化を詳細に観察し，授業空間の参加者間でその情報を共有することで，双方向型ハイブリッド講義環境の構築に向けた有用なデータを収集することができた．今後は，さらに多様な講義環境や異なるデバイスとの連携を検討し，より実用的で効果的なハイブリッド講義環境の構築を目指して研究を進める予定である．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
2023年度は，メタバース空間上で受講するオンライン受講者の顔向き，視線方向，姿勢情報を没入型HMDとコントローラで獲得し，頭部位置と両腕の情報から両足の状況をインバースキネマティクス（IK）で推定し，アバターを制御するシステムを構築した．また，受講者の状況を推定する手法を構築し，単独での動作確認を行った．
しかしながら，複数名での実験や，それに基づくプロトタイプシステムの改良が進んでいない．この遅れの原因の一つとして，実装に想定以上の時間がかかり，改良の検討の着手が遅れたことが挙げられる．
|
| Strategy for Future Research Activity |
2024年度の研究推進方策として，プロトタイプシステムの更なる改良を目指す．まず，受講者用端末については，カメラ付きノートPCに加えて，スマートフォンやタブレットなど各種デバイスの特性に応じた受講形態に対応するための受講状況推定手法を検討する．スマートフォンやタブレットを用いた受講形態については，これらのデバイスが持つモーションセンサやタッチセンサの情報を活用し，受講環境や受講状況の把握を目指す．
次に，講師の講義行動の観測に基づく講義状況の推定については，外部カメラを用いて講師の姿勢を検出し，講師の身振り手振りの様子を推定する手法を開発する．さらに，講師が使用する電子スライドなどの提示タイミングを獲得することで，講義の進行状況を把握する手法も検討する．また，講師の音声データから基本周波数（F0）やピッチを検出し，講師の口述状況を詳しく把握する方法も探る．
これらの状況推定結果を基に，多様な受講環境で受講する複数の受講者の受講状況を可視化する手法をプロトタイプシステム上に実現することを目指す．講義中の講師の進行に影響を与えずに講義状況を容易に把握できるように，受講者を表現するアバターキャラクタの可視化を工夫する．この可視化手法により，講師や他の受講者が一目で受講状況を全体的に把握できるようにする．
具体的には，アバターキャラクタの表情や動作を用いて受講者の注意度や理解度をリアルタイムで表示するなど，直感的に状況を理解できる仕組みを開発する予定である．さらに，受講者の視線方向や姿勢情報を活用し，講義に対する関心度や集中度を示す指標を導入することで，講師が受講者の反応を即座に把握し，講義内容の調整や質の向上に役立てることを目指す．
|
Report
(3 results)
Research Products
(3 results)
