| 研究課題/領域番号 |
21K12184
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分62030:学習支援システム関連
|
|---|
| 研究機関 | 大阪工業大学 |
|---|
研究代表者 |
西口 敏司 大阪工業大学, 情報科学部, 教授 (80362565)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| 研究課題ステータス |
交付 (2022年度)
|
| 配分額 *注記 |
4,030千円 (直接経費: 3,100千円、間接経費: 930千円)
2023年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2022年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2021年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
|
|---|
| キーワード | ハイブリッド講義 / 双方向型 / オンライン講義 / 講義状況の観測 / 臨場感 / 可視化 |
|---|
| 研究開始時の研究の概要 |
コロナ禍における大学の講義で利用されているWeb 会議システムなどのツールは，講義において重要な講師と受講者の間の非言語的な情報の交換が得意ではなく，また，対面とオンラインの同時開講(ハイブリッド講義) を考慮した設計とはなっていないという問題がある．
そこで本研究課題では，多様な受講環境が存在するハイブリッド講義における講師の講義行動や受講者の受講行動を，カメラや端末操作履歴の観察結果に基づいて推定し，講師と受講者の注目対象，視聴対象，同調反応などを含む講義状況を講義の参加者間で共有することで，講義状況の把握が容易な双方向型ハイブリッド講義環境を構成するためのモデルの構築を目指す．
|
| 研究実績の概要 |
本研究課題では，多様な受講環境が存在するハイブリッド講義における講師の講義行動や受講者の受講行動をカメラや端末操作履歴を観察し，観察結果に基づいて推定した講師と受講者の注目対象，視聴対象，同調反応などを含む講義状況を，講義の参加者間で共有することで，講義状況の把握が容易な双方向型ハイブリッド講義環境を構成するためのモデルの構築を目指している．
本年度は，オンライン上でカメラ付きノートPCを使用して受講する個々の受講者の受講状況を観測し，講師に集約して提示するプロトタイプシステムをWebアプリケーションとして構築した．
まず，受講者がWebカメラ付きノートPCを利用してオンライン受講する状況を想定して受講者の状況を獲得する．Webカメラはオンライン会議などを想定して人物の顔を撮影することを想定して設置されていることから，受講者の顔に関連する情報を獲得するために利用する．具体的にはWebカメラの映像を入力とし，オープンソースのライブラリを使用して顔検出および顔向き検出を行い，PCの前に存在しているか，PCに顔を向けているかを推定する．さらに，キー入力の有無を検出することで，何かしらのメモを取っている状況を推定する．
各受講者のノートPC上で獲得した情報を，MQTTプロトコルを使用してサーバ上に集約し，Flaskフレームワークで作成したWebアプリケーションを用いて，個々の受講者の状況および受講者全体の状況を，疑似カラーおよび棒グラフで可視化する仕組みを構築した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
本年度(2022年度)は，オンライン受講者のノートPC等に設置されたWebカメラの映像から，顔の有無および向きの検出，および，キー入力の有無の情報を獲得し，MQTTプロトコルを用いて集約した結果をWebアプリケーションによって可視化するプロトタイプシステムを構築し，少人数での動作確認を行ったが，10名規模での実験や，それに基づくプロトタイプシステムの改良が進んでいない．
これらについて，コロナ禍関連対応の業務の増加により，検討の着手が遅れたことなどが原因の一つである．
|
| 今後の研究の推進方策 |
今後は，プロトタイプシステムの改良を目指す．受講者用端末として，カメラ付きノートPCだけでなく，各種デバイスの特性に応じた受講形態に対応する受講状況の推定手法について検討する．スマートフォンやタブレットを用いた受講形態については，デバイスが持つモーションセンサやタッチセンサの情報に基づき，受講環境や受講状況の把握を目指す． VRヘッドマウントディスプレイを用いた受講形態については，受講者の顔方向や視線方向など，受講行動に関するより豊富な情報が獲得できることから，これらの情報に基づく受講状況の把握を目指す．
講師の講義行動の観測に基づく講義状況の推定については，講師による講義の様子を観測する外部カメラによる講師の姿勢検出に基づき，講師の身振り手振りの様子を推定する手法や，電子スライドの提示タイミングなどの獲得による講義進行の様子の把握，さらに，講師音声のピッチ検出などに基づく口述状況などの把握を検討する．
これらの状況推定結果に基づき，多様な受講環境において受講している複数受講者の受講状況の可視化手法をプロトタイプシステム上に実現する手法について検討する．講義中の講師の講義進行に影響を与えずに講義状況の把握を容易とするために，受講者を表現するアバタキャラクタの形状や色を状況に合わせて変化させることなどで，一目で受講状況の全体的な把握が可能な提示手法を検討する．
|
