2023 Fiscal Year Research-status Report

Development of Adaptive Learning Support Robot Service Ennvironment with Multimodal Multilayered Rule-base

Research Project

Project/Area Number	22K02664
Research Institution	Bunkyo University
Principal Investigator	阿部秀尚文教大学, 情報学部, 教授 (00397853)
Project Period (FY)	2022-04-01 – 2025-03-31
Keywords	知的ロボットサービス / マルチモーダルルールベース / 教育支援 / 英語学習支援 / 大規模言語モデル活用
Outline of Annual Research Achievements	本研究では，信号レベルを記号化する機械学習モデルによる結果と記号である言葉を処理する自然言語処理とを組み合わせ，専門家の知識を記述するマルチモーダル多階層ルールベースの構築と効果的な適用を実現するための評価モデルの構築環境の開発により，教師が行っている対話指導場面での業務知識に基づく行動選択の基準を言語化した知識として得ることができる環境の実現を目指している．本研究では，一斉授業および個別学習における授業遂行の中でも教員補助が必要な対話練習を題材に，各教師による柔軟な教授戦略を再現するロボットサービスおよび学習状況把握システムの実現に向け，開発を行っている．これにより，マルチモーダル多階層ルールベースを利用し，ルールの適用に際して機械学習モデルによる行動選択を取り入れ，教師の評価との照合により，学習者がより意欲的に学習に取り組める学習環境を実現する．本年度は，前年度に開発したマルチモーダル多階層ルールベースを利用したロボットサービスの開発を進めるとともに，課題に関連して，教師による教材作成支援について大規模言語モデル（LLM: Larger Language Model）を利用した手法の開発を行った．当該ロボットサービスの開発状況については，人工知能学会第129回知識ベースシステム研究会において，発表を行った．また，LLMを用いた中学生向け英語教材作成支援手法については，情報処理学会関西支部第19回行動変容と社会システム研究会において，研究成果の発表を行った．
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 本年度は，機械学習手法による画像認識を利用した学習者の状況認識と発話の音声認識，自然言語処理結果をマルチモーダル多階層ルールベースによって統合したロボットサービスの開発を進めた．また，研究課題に関連して，英語による対話による学習を行うための教材支援において，大規模言語モデルによる英語対話文生成と従来の自然言語処理として研究されてきた類語特定による言い換えを統合した手法について，研究するに至った．以上により，高性能計算機およびGPUによる機械学習モデル，言語モデルの構築と実行を行う必要が増大したため，計画を前倒して必要な計算機及びGPUボードの入手と設定を行った．マルチモーダル多階層ルールベースを利用したロボットサービスを通じ，学習者ごとの学習状況を把握するシステムの開発にあたっては，システム化についての検討を進めたが，実装には至らなかった．
Strategy for Future Research Activity	本年度は，大規模言語モデルと従来型の言語モデルを利用した英語による対話練習教材の作成支援手法を加えた，マルチモーダル多階層ルールベースに基づく英語教育支援ロボットサービスの開発と評価を進めていく．大規模言語モデルと従来型の言語モデルを利用した英語による対話練習教材の作成支援手法については，内容について専門家による評価を行い，学習者のレベルに合わせて適切な教材作成となる手法とする．これにより，教師は，対話練習における教授法に関する専門知識に基づいてマルチモーダル多階層ルールベースの入力がより円滑に行うことが可能になると考えられる．併せて，学習者の状況認識を利用した，マルチモーダル多階層ルールベースに基づくロボットサービスのルール適用に関する評価モデル構築システムの作成を行っていく．ここまでに構築したマルチモーダル多階層ルールベースに基づくロボットサービスおよび各種システムを統合し，適応的に振る舞いが変化する個別化可能なロボットサービスを実現させ，評価実験を行っていく予定である．
Causes of Carryover	本年度は，研究成果発表に伴う旅費支出について，オンラインによる発表が可能な研究会での研究成果発表を行たため，予定額より少額となった．一方，画像認識モデル，および学習者のレベルに合わせた言い換えを実施するための言語モデルの両モデルの構築及び実行のため，計算サーバとGPUボードを購入した．このため，物品費が予定より多く生じた．来年度は，本年度に取得した対話ロボットを活用して，マルチモーダル多階層ルールベースに基づく英語教育支援ロボットサービスと学習者状況把握システムを実装し，評価実験を行っていく．また，本年度に取得した計算サーバ，GPUボードを活用して，ルール適用評価モデルの構築を行う．以上の研究成果を旅費を用いた国内研究成果発表，および英語校正を利用した上での海外研究成果発表としていく．