学習者の社会共有的調整を支援する非言語情報活用システムの開発

• Project/Area Number: 23K25697
• Project/Area Number (Other): 23H01000 (2023)
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund (2024); Single-year Grants (2023)
• Section: 一般
• Review Section: Basic Section 09070:Educational technology-related
• Research Institution: Shizuoka University
• Principal Investigator: 大島 律子 静岡大学, 情報学部, 教授 (70377729)
• Co-Investigator(Kenkyū-buntansha): 藤橋 卓也 大阪大学, 大学院情報科学研究科, 助教 (10785520) ; 猿渡 俊介 大阪大学, 大学院情報科学研究科, 准教授 (50507811) ; 大島 純 静岡大学, 情報学部, 教授 (70281722)
• Project Period (FY): 2023-04-01 – 2027-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥18,460,000 (Direct Cost: ¥14,200,000、Indirect Cost: ¥4,260,000); Fiscal Year 2026: ¥4,940,000 (Direct Cost: ¥3,800,000、Indirect Cost: ¥1,140,000); Fiscal Year 2025: ¥4,940,000 (Direct Cost: ¥3,800,000、Indirect Cost: ¥1,140,000); Fiscal Year 2024: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000); Fiscal Year 2023: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
• Keywords: 社会共有的調整 / 非言語行動データ / センシング技術 / 学習の振り返り / マルチモーダル分析 / IoT/センシング / センサバッジ / 協調学習 / 非言語データ解析

Outline of Research at the Start

21世紀型スキルに代表される知識創造型人材育成の重要性が高まるにつれ，高等教育においては他者との協調を通じて学ぶ専門的内容だけでは なく，その活動を成功させる要因となる「協調に関する適切な知識とスキル」もまた学ぶべき事柄とされ，その重要性が指摘されている.学習支援研究の領域では，学習者自身が主体的に学習活動をモニタ・評価し，改善するための情報やツールの提供に関する研究が行われるようになってきているが，その多くが学習者の認識に基づく主観的な評価情報を提供するにとどまっている.本研究ではセンサバッジを用いて非言語行動データを収集し，そのデータを元に客観的な評価情報提供を実現しようとするものである.

Outline of Annual Research Achievements

本研究は，協調学習で学習者が困難を感じると言われている社会共有的調整（Socially Shared Regulation of Learning: SSRL）に着目し，この調整をより適切に展開するために有益な情報をマルチモーダルな観点から収集・提供することを目指すものである．グループ活動中の非言語行動データ（頭の動きほか）と言語データ（発話）を解析し，最終的にはわかりやすく指標化し学習者に提供する仕組みを構築することを目指すものである．
今年度は，IoT/センシング技術チームにおいては，主にデータ収集方法の改良として，先行研究で開発したSRP badgeで収集するデータの精度を向上させることを目的とし，複数の観点から基礎的な実験を行った．具体的には，市販デバイスとUWBモジュールとの相互接続性に関する検証や，Ultra Wide Bandを用いた3次元位置測位の高速化，そして信号解析システムに関する検討などに着手した．
一方，学習科学チームにおいては，学習活動における非言語データ収集において意味あるものとそうでないものがあることに着目し，意味あるものを同定するために言語データと非言語データを併せた分析に着手した．これは，社会共有的調整という観点から学習活動の支援や評価を行う際に重要であり，今後，どのような非言語データを収集できれば良いかを検討する上で重要な意味を持つ．グループ活動中の発話データとSRP badgeで収集した頭部活動量の計測データを用いてマルチモーダル学習分析（MmLA）を実施し，頭部活動量とtransactivity（他者の推論に基づく推論）という言語的特性の間の関連性が示唆されるという結果を得ている．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

初年度はデータ収集方法の検討に取り組む計画となっており遂行は順調である．

Strategy for Future Research Activity

定期的に行う学会発表をマイルストーンとすること，２つの研究チームの相互連携を密接に行いながら研究を進める．

Research Products

• [Presentation] Ultra Wide Bandを用いた高精度位置測位システムの一検討 (2024)
  • Author(s): 藤原 拓也，波田 凌太朗，作田 岬紀，山口 隼平，木崎 一廣，藤橋 卓也，渡辺 尚，猿渡 俊介
  • Organizer: 第110回モバイルコンピューティングと新社会システム (MBL) 第81回ユビキタスコンピューティングシステム (UBI) IEICEセンサネットワークとモバイルインテリジェンス研究会 (SeMI) 合同研究発表会
• [Presentation] Ultra Wide Bandを用いた3次元位置測位の高速化に関する基礎検討 (2024)
  • Author(s): 作田 岬紀，波田 凌太朗，藤原 拓也，山口 隼平，木崎 一廣，藤橋 卓也，渡辺 尚，猿渡 俊介
  • Organizer: 情報処理学会全国大会
• [Presentation] Ultra Wide Bandを用いた高精度位置測位のための信号解析システムに関する一検討 (2024)
  • Author(s): 波田 凌太朗，作田 岬紀，藤原 拓也，山口 隼平，木崎 一廣，藤橋 卓也，渡辺 尚，猿渡 俊介
  • Organizer: 情報処理学会全国大会
• [Presentation] An IoT System for Collaboration Analytics in Hybrid Learning Environments (2023)
  • Author(s): Takuya Fujiwara, Shunpei Yamaguchi, Takumasa Ishioka, Ritsuko Oshima, Jun Oshima, Kazuhiro Kizaki, Takuya Fujihashi, Shunsuke Saruwatari, Takashi Watanabe
  • Organizer: IEEE International Conference on Advanced Learning Technologies (ICALT)
  • Int'l Joint Research
• [Presentation] Multimodality in Transactive Discourse: Integration of MmLA and SSNA (2023)
  • Author(s): Lu, J., Yamaguchi, S., Oshima, J., Saruwatari, S., & Oshima, R.
  • Organizer: Fifth International Conference on Quantitative Ethnography
  • Int'l Joint Research
• [Presentation] Transactive な協調的問題解決のマルチモーダル学習分析 (2023)
  • Author(s): 盧峻，山口隼平， 大島純，大島律子，猿渡俊介
  • Organizer: 日本教育工学会2023年秋季全国大会
• [Presentation] 協調学習に参加する学習者の社会的スキルの変化にグループ編成が及ぼす影響 (2023)
  • Author(s): 熊澤伶桜奈，大島純，大島律子
  • Organizer: 日本教育工学会2023 年秋季全国大会
• [Presentation] ハイブリッド環境のコラボレーションを抽出するIoTシステム構築に関する一検討 (2023)
  • Author(s): 藤原拓也，山口隼平，石岡卓将，盧峻，大島律子，大島純，木崎一廣，藤橋卓也，猿渡俊介，渡辺尚
  • Organizer: マルチメディア、分散、協調とモバイル (DICOMO2023) シンポジウム
• [Presentation] Transactivity and knowledge co-construction in collaborative problem solving (2023)
  • Author(s): Vogel, F., Weinberger, A., Hong, D., Wang, T., Glazewski, K., Hmelo-Silver, C. E., Uttamchandani, S., Mott, B., Lester, J., Oshima, J., Oshima, R., Yamashita, S., Lu, J., Brandl, L., Richters, C., Stadler, M., Fischer, F., Radkowitsch, A., Schmidmaier, R., … Noroozi, O.
  • Organizer: The 16th International Conference on Computer-Supported Collaborative Learning
  • Int'l Joint Research
• [Presentation] 市販デバイスとUWBモジュールとの相互接続性に関する検証，電子情報通信学会ソサイエティ大会 (2023)
  • Author(s): 作田 岬紀，藤原 拓也，山口 隼平，木崎 一廣，藤橋 卓也，猿渡 俊介，渡辺 尚
  • Organizer: 電子情報通信学会ソサイエティ大会
• [Presentation] An IoT-based Multimedia System for Fine-grained Multimodal Learning Analytics (2023)
  • Author(s): Shunpei Yamaguchi
  • Organizer: International Conference on Quantitative Ethnography
  • Int'l Joint Research