2022 Fiscal Year Research-status Report
Development of Adaptive Learning Support Robot Service Ennvironment with Multimodal Multilayered Rule-base
| Project/Area Number |
22K02664
|
|---|
| Research Institution | Bunkyo University |
|---|
Principal Investigator |
阿部 秀尚 文教大学, 情報学部, 教授 (00397853)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 知的ロボットサービス / マルチモーダルルールベース / 教育支援 / 入力支援インタフェース |
|---|
| Outline of Annual Research Achievements |
本研究では，信号レベルを記号化する機械学習モデルによる結果と記号である言葉を処理する自然言語処理とを組み合わせ，専門家の知識を記述するマルチモーダル多階層ルールベースの構築と効果的な適用を実現するための評価モデルの構築環境の開発により，教師が行っている対話指導場面での業務知識に基づく行動選択の基準を言語化した知識として得ることができる環境の実現を目指している．
本研究では，一斉授業および個別学習における授業遂行の中でも教員補助が必要な対話練習を題材に，各教師による柔軟な教授戦略を再現するロボットサービス実現のため，マルチモーダル多階層ルールベースの開発を行う．さらに，ルールの適用に際して，機械学習モデルによる行動選択を取り入れ，教師の評価との照合により，学習者がより意欲的に学習に取り組める学習環境を実現する．
本年度は，マルチモーダル多階層ルールベースの記述形式をJSONを用いて定め，この形式のルールベースを出力する入力支援インタフェースの開発を行った．また，深層ニューラルネットワークを用いた行動認識プログラムの開発，および音声認識サービスからの認識結果の統合を試みた．
このうち，マルチモーダル多階層ルールベースの入力支援インタフェースについては，通常のWebアプリケーションによく見られる入力フォームによる入力画面に加え，チャットのようにマルチモーダルな情報を教師とやり取りを行いながら入力を行えるインタフェースを実装した．本インタフェースの実装については，研究成果として第85回情報処理学会全国大会において発表した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は，マルチモーダル多階層ルールベースの記述形式の策定，および入力支援インタフェースの実装に加え，本マルチモーダル多階層ルールベースを利用可能なロボットサービスの実装を行う計画であった．
ロボット本体への多言語化パッケージの導入に伴い，日本語と英語の発音がJavaによるプログラムで同一のSDKによって利用できることは確認できたが，本研究の先行研究により確認できた英語の聞き取り結果と当該パッケージでの出力結果の差異について，検証に時間を要した．
マルチモーダル多階層ルールベースに基づく英語教育における対話指導の動作を行うロボットサービスの実装に当たっては，画像による行動認識と音声認識による言語的な成否の判定を行う必要があるため，一体的に開発を行っていく必要がある．
|
| Strategy for Future Research Activity |
今後は，昨年度得られた知見を基に，マルチモーダル多階層ルールベースを利用したロボットサービスの実装を積極的に進めていく．そのため，対話型ロボットSotaへの追加ライセンスの購入を当初計画より多く行うとともに，実装に必要なクラウドサービスのライセンス購入を行う．併せて，ロボットサービスを実行するプログラムの実装を行う．
さらに，本年度前半には，対話練習ロボットサービスを利用し，その周辺環境からデータを収集するシステムを構築し，得られた訓練データ集合から機械学習モデルの生成を行う．ここで学習される業務知識の選択モデルは，収集されたデータによる言語化が難しい細かな特徴について，特徴の抽出，あるいは合成により属性から構成される．本機構をロボットによる行動選択に適用し，適応的にロボットサービスの振る舞いが変化することを確認する．
また，本年度後半には，学習者の習熟状況についての教示の入力，および学習モデルの特徴量を統計情報として可視化するインタフェースを実装する．本インタフェースを通じて入力された専門家による教示と各ルールの適用状況に関するデータから，機械学習アルゴリズムによって評価モデルを構築できることを評価実験によるデータ収集を行う予定である．
|
| Causes of Carryover |
本年度は，出張による研究成果発表を宿泊を伴わず行えたこと，およびオンラインによる学会参加による研究資料収集が予定より安価に済んだことにより，当初計画よりも使用額が少なくなった．また，既存の機材（備品）の活用により，新規購入の機材に対する購入額が当初計画より少ない結果となった．
来年度については，研究成果発表をより積極的に行うため，ロボットサービス実装のために必要なライセンスおよび機材の購入を早期に追加して行う予定である．また，研究成果の発表のため，必要な旅費については増大することを計画している．
|
