学習者の社会共有的調整を支援する非言語情報活用システムの開発

• 研究課題/領域番号: 23K25697
• 補助金の研究課題番号: 23H01000 (2023)
• 研究種目: 基盤研究(B)
• 配分区分: 基金 (2024); 補助金 (2023)
• 応募区分: 一般
• 審査区分: 小区分09070:教育工学関連
• 研究機関: 静岡大学
• 研究代表者: 大島 律子 静岡大学, 情報学部, 教授 (70377729)
• 研究分担者: 藤橋 卓也 大阪大学, 大学院情報科学研究科, 助教 (10785520) ; 猿渡 俊介 大阪大学, 大学院情報科学研究科, 准教授 (50507811) ; 大島 純 静岡大学, 情報学部, 教授 (70281722)
• 研究期間 (年度): 2023-04-01 – 2027-03-31
• 研究課題ステータス: 交付 (2024年度)
• 配分額: 18,460千円 (直接経費: 14,200千円、間接経費: 4,260千円); 2026年度: 4,940千円 (直接経費: 3,800千円、間接経費: 1,140千円); 2025年度: 4,940千円 (直接経費: 3,800千円、間接経費: 1,140千円); 2024年度: 4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円); 2023年度: 4,030千円 (直接経費: 3,100千円、間接経費: 930千円)
• キーワード: 社会共有的調整 / 非言語行動データ / センシング技術 / 学習の振り返り / マルチモーダル分析 / IoT/センシング / センサバッジ / 協調学習 / 非言語データ解析

研究開始時の研究の概要

21世紀型スキルに代表される知識創造型人材育成の重要性が高まるにつれ，高等教育においては他者との協調を通じて学ぶ専門的内容だけでは なく，その活動を成功させる要因となる「協調に関する適切な知識とスキル」もまた学ぶべき事柄とされ，その重要性が指摘されている.学習支援研究の領域では，学習者自身が主体的に学習活動をモニタ・評価し，改善するための情報やツールの提供に関する研究が行われるようになってきているが，その多くが学習者の認識に基づく主観的な評価情報を提供するにとどまっている.本研究ではセンサバッジを用いて非言語行動データを収集し，そのデータを元に客観的な評価情報提供を実現しようとするものである.

研究実績の概要

本研究は，協調学習で学習者が困難を感じると言われている社会共有的調整（Socially Shared Regulation of Learning: SSRL）に着目し，この調整をより適切に展開するために有益な情報をマルチモーダルな観点から収集・提供することを目指すものである．グループ活動中の非言語行動データ（頭の動きほか）と言語データ（発話）を解析し，最終的にはわかりやすく指標化し学習者に提供する仕組みを構築することを目指すものである．
今年度は，IoT/センシング技術チームにおいては，主にデータ収集方法の改良として，先行研究で開発したSRP badgeで収集するデータの精度を向上させることを目的とし，複数の観点から基礎的な実験を行った．具体的には，市販デバイスとUWBモジュールとの相互接続性に関する検証や，Ultra Wide Bandを用いた3次元位置測位の高速化，そして信号解析システムに関する検討などに着手した．
一方，学習科学チームにおいては，学習活動における非言語データ収集において意味あるものとそうでないものがあることに着目し，意味あるものを同定するために言語データと非言語データを併せた分析に着手した．これは，社会共有的調整という観点から学習活動の支援や評価を行う際に重要であり，今後，どのような非言語データを収集できれば良いかを検討する上で重要な意味を持つ．グループ活動中の発話データとSRP badgeで収集した頭部活動量の計測データを用いてマルチモーダル学習分析（MmLA）を実施し，頭部活動量とtransactivity（他者の推論に基づく推論）という言語的特性の間の関連性が示唆されるという結果を得ている．

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

初年度はデータ収集方法の検討に取り組む計画となっており遂行は順調である．

今後の研究の推進方策

定期的に行う学会発表をマイルストーンとすること，２つの研究チームの相互連携を密接に行いながら研究を進める．

研究成果

• [学会発表] Ultra Wide Bandを用いた高精度位置測位システムの一検討 (2024)
  • 著者名/発表者名: 藤原 拓也，波田 凌太朗，作田 岬紀，山口 隼平，木崎 一廣，藤橋 卓也，渡辺 尚，猿渡 俊介
  • 学会等名: 第110回モバイルコンピューティングと新社会システム (MBL) 第81回ユビキタスコンピューティングシステム (UBI) IEICEセンサネットワークとモバイルインテリジェンス研究会 (SeMI) 合同研究発表会
• [学会発表] Ultra Wide Bandを用いた3次元位置測位の高速化に関する基礎検討 (2024)
  • 著者名/発表者名: 作田 岬紀，波田 凌太朗，藤原 拓也，山口 隼平，木崎 一廣，藤橋 卓也，渡辺 尚，猿渡 俊介
  • 学会等名: 情報処理学会全国大会
• [学会発表] Ultra Wide Bandを用いた高精度位置測位のための信号解析システムに関する一検討 (2024)
  • 著者名/発表者名: 波田 凌太朗，作田 岬紀，藤原 拓也，山口 隼平，木崎 一廣，藤橋 卓也，渡辺 尚，猿渡 俊介
  • 学会等名: 情報処理学会全国大会
• [学会発表] An IoT System for Collaboration Analytics in Hybrid Learning Environments (2023)
  • 著者名/発表者名: Takuya Fujiwara, Shunpei Yamaguchi, Takumasa Ishioka, Ritsuko Oshima, Jun Oshima, Kazuhiro Kizaki, Takuya Fujihashi, Shunsuke Saruwatari, Takashi Watanabe
  • 学会等名: IEEE International Conference on Advanced Learning Technologies (ICALT)
  • 国際学会
• [学会発表] Multimodality in Transactive Discourse: Integration of MmLA and SSNA (2023)
  • 著者名/発表者名: Lu, J., Yamaguchi, S., Oshima, J., Saruwatari, S., & Oshima, R.
  • 学会等名: Fifth International Conference on Quantitative Ethnography
  • 国際学会
• [学会発表] Transactive な協調的問題解決のマルチモーダル学習分析 (2023)
  • 著者名/発表者名: 盧峻，山口隼平， 大島純，大島律子，猿渡俊介
  • 学会等名: 日本教育工学会2023年秋季全国大会
• [学会発表] 協調学習に参加する学習者の社会的スキルの変化にグループ編成が及ぼす影響 (2023)
  • 著者名/発表者名: 熊澤伶桜奈，大島純，大島律子
  • 学会等名: 日本教育工学会2023 年秋季全国大会
• [学会発表] ハイブリッド環境のコラボレーションを抽出するIoTシステム構築に関する一検討 (2023)
  • 著者名/発表者名: 藤原拓也，山口隼平，石岡卓将，盧峻，大島律子，大島純，木崎一廣，藤橋卓也，猿渡俊介，渡辺尚
  • 学会等名: マルチメディア、分散、協調とモバイル (DICOMO2023) シンポジウム
• [学会発表] Transactivity and knowledge co-construction in collaborative problem solving (2023)
  • 著者名/発表者名: Vogel, F., Weinberger, A., Hong, D., Wang, T., Glazewski, K., Hmelo-Silver, C. E., Uttamchandani, S., Mott, B., Lester, J., Oshima, J., Oshima, R., Yamashita, S., Lu, J., Brandl, L., Richters, C., Stadler, M., Fischer, F., Radkowitsch, A., Schmidmaier, R., … Noroozi, O.
  • 学会等名: The 16th International Conference on Computer-Supported Collaborative Learning
  • 国際学会
• [学会発表] 市販デバイスとUWBモジュールとの相互接続性に関する検証，電子情報通信学会ソサイエティ大会 (2023)
  • 著者名/発表者名: 作田 岬紀，藤原 拓也，山口 隼平，木崎 一廣，藤橋 卓也，猿渡 俊介，渡辺 尚
  • 学会等名: 電子情報通信学会ソサイエティ大会
• [学会発表] An IoT-based Multimedia System for Fine-grained Multimodal Learning Analytics (2023)
  • 著者名/発表者名: Shunpei Yamaguchi
  • 学会等名: International Conference on Quantitative Ethnography
  • 国際学会