| 研究課題/領域番号 |
21K12184
|
|---|
| 研究機関 | 大阪工業大学 |
|---|
研究代表者 |
西口 敏司 大阪工業大学, 情報科学部, 教授 (80362565)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| キーワード | ハイブリッド講義 / 双方向型 |
|---|
| 研究実績の概要 |
本研究課題では，多様な受講環境が存在するハイブリッド講義における講師の講義行動や受講者の受講行動をカメラや端末操作履歴を観察し，観察結果に基づいて推定した講師と受講者の注目対象，視聴対象，同調反応などを含む講義状況を，講義の参加者間で共有することで，講義状況の把握が容易な双方向型ハイブリッド講義環境を構成するためのモデルの構築を目指している．
本年度は，対面の複数の受講者やオンライン上の個々の受講者の受講状況を推定するための観測に関する手法を検討した．対面やオンライン上など環境や，利用端末の違いなどを含む多様な受講環境を考慮し，カメラで撮影した映像や端末操作履歴に基づく受講行動を観測し，受講者の注目対象や視聴対象などの受講状況を推定する手法を構築した．
まず，オンライン受講の際に使用するノートPCなどに設置されたWebカメラの映像を入力とし，オープンソースのOpenFaceライブラリを使用して，顔方向，視線方向，および，顔の表情に関連するAction Unitを検出した．Action Unitの組み合わせから，オンライン受講中の受講者の顔に表出されると考えられる，無表情，真剣な表情，難しそうな表情，笑顔表情，眠気表情を推定する仕組みを構築した．また，ノートPCの画面を左上，右上，左下，右下に４分割し，視線方向からどの領域を見ているかを推定する仕組みを構築した．
今後，顔方向に基づく顔の上げ下げ情報や，キー入力およびマウス操作情報に基づく，ノートをとる動作の推定機能等の付与を行う予定である．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
本年度は，オンライン受講者のノートPC等に設置されたWebカメラの映像から，視線方向，Action Unitに関連する情報を検出し，ノートPCの画面上のどの領域を見ているか，および，オンライン講義受講中に表出する可能性のある表情の推定を行ったが，顔方向情報に基づく集中度やノートティキング状況の推定にかかる検討までの着手が遅れている．また，PCだけでなく，スマートフォンやタブレット，VRヘッドマウントディスプレイを用いた受講形態に関する検討が進んでいない．これらについて，コロナ禍関連対応の業務の増加により，検討の着手が遅れたことなどが原因の一つである．
|
| 今後の研究の推進方策 |
今後，ノートPCだけでなく，各種デバイスの特性に応じた受講形態に対応する受講状況の推定手法について検討する．スマートフォンについてはモバイルでの受講となることや画面サイズが小さいことから，デバイスの傾きや加速度情報などから受講環境や受講状況の把握を目指す．タブレットについては，ある程度画面が大きいものの視線方向の推定は困難と考えられることから，主に顔方向情報や画面へのタッチ情報に基づく受講状況の把握を検討する．VRヘッドマウントディスプレイを用いた受講では，受講者の顔方向や視線方向など，受講行動に対するよりリッチな情報が安定的に獲得可能であることが特徴であるため，これらの情報を獲得し，受講講状況の把握を目指す．
また，講師の講義行動の観測に基づく講義状況の推定について検討していく．講師の講義行動の観測手法として，外部カメラによる講師の姿勢検出に基づき，講師の身振り手振りの様子を推定する手法や，電子スライドの提示タイミングなどの獲得による講義進行の様子の把握，また，講師音声のピッチ検出などに基づく口述状況などの把握を検討している．
さらに，多様な受講環境において受講している複数受講者の受講状況の可視化手法について検討する．講義中の講師の講義進行に影響を与えずに講義状況の把握を容易とするために，アバタキャラクタの形状や色を状況に合わせて変化させることなどで，一瞥で状況の把握が可能な提示手法を検討していく．
|
| 次年度使用額が生じた理由 |
コロナ禍の影響により，研究遂行に必要なPCなどのデバイスの入手が困難であったり，各学会の参加がオンラインになるなどして，当該年度における旅費の支出が低額になったことから，次年度使用が生じた．次年度使用額と当該年度以降分として請求した助成金は，研究成果の発表や情報収集のための参加費・旅費，および，プロトタイプシステム開発のための物品等に使用する計画である．
|
