| Project/Area Number |
23K25724
|
|---|
| Project/Area Number (Other) |
23H01027 (2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 09080:Science education-related
|
|---|
| Research Institution | Mukogawa Women's University |
|---|
Principal Investigator |
福井 哲夫 武庫川女子大学, 社会情報学部, 教授 (70218890)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
川添 充 大阪公立大学, 国際基幹教育機構, 教授 (10295735)
吉冨 賢太郎 大阪公立大学, 国際基幹教育機構, 准教授 (10305609)
白井 詩沙香 大阪大学, サイバーメディアセンター, 講師 (30757430)
中村 泰之 名古屋大学, 教養教育院, 教授 (70273208)
|
|---|
| Project Period (FY) |
2023-04-01 – 2027-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥18,330,000 (Direct Cost: ¥14,100,000、Indirect Cost: ¥4,230,000)
Fiscal Year 2026: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2025: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2024: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2023: ¥5,070,000 (Direct Cost: ¥3,900,000、Indirect Cost: ¥1,170,000)
|
|---|
| Keywords | マルチモーダル学習 / 音声入力 / 数式入力インタフェース / 数学文書エディタ / 数学学習支援 / 音声認識 / 数学eラーニング / 学習支援環境 |
|---|
| Outline of Research at the Start |
教育DXが進められる中，数式の取り扱いが障壁となり，十分に活用できない状況にある。我々は，この問題を解決するため，仮名漢字変換のように候補を提示して入力できるキーボードベースの数式入力インタフェースの開発に成功した。しかし，超スマート社会に向け，数式入力手段も場面や目的に応じた多様な選択肢を提供する必要がある。そこで，本研究の目的は．数学教材を作成する教育者だけでなく，数学知識をデジタルに記録する生徒・学生・一般人のためにキーボード，タッチスクリーン，音声入力などマルチモーダルな数式入力UIにより数学文書編集やオンラインコミュニケーション機能を備えた数学eラーニング環境を実現することにある。
|
| Outline of Annual Research Achievements |
本研究では，数学教材を作成（デジタル化）する教師のためだけでなく，ICTを活用して，数学的知識や思考を身につけようとする生徒・学生・一般人のために，多様な場面に対応し，キーボード，タッチスクリーン，音声入力などマルチモーダルな数式入力インタフェースを実現し，数学文書編集可能で円滑なオンラインコミュニケーション機能を備えた数学 e ラーニング環境を実現することにある．
そのために，５つの課題に分けて取り組んだ．まず我々が提案する数式予測変換の仕組みを取り入れた（課題１）マルチモーダルな数式入力UIの研究に取り組む．次に，学習者への支援の観点から，思考過程の計算式や図示が楽にできて，教師にチャットで質問できる環境を実現するために（課題２）マルチモーダルな数学文書エディタの開発と評価および（課題３）数学チャットシステムの改善と評価に取り組む．最後に教育者支援の観点から，提案システムの教材サンプル等を公開・提供し，教育者同士でも情報交換できるようにするために（課題４）数学eラーニングのためのマルチモーダルUIを備えた教育・学習支援環境の構築および（課題５）数学教育・学習支援環境活用のためのワークショップ・コミュニティの開催を目的とする．
令和5年度は，（課題１）を中心に，音声による数式入力UIを強化し，マルチモーダルな数式入力インタフェースとして一定の成果を示すことができた．この成果を（課題２）の数学文書エディタに実装し，構築した公開用サーバを通じて公開するとともに，eラーニングシステムの学会で発表した．カナダのトロント大学で開発された数学チャットシステムを（課題３）に利用するため，9月に訪問して国際共同研究の打ち合わせを行ない，業務委託によって，数学eラーニングサーバの構築および数式チャットシステムのプラグイン開発を進めた．これによって，（課題３）の評価のための準備が整った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
令和5年度の計画は，（課題１）のマルチモーダルな数式入力UIの技術を進展させ，そのUIを実装した（課題２）の数学文書エディタを数学eラーニングに活用できるようにすること，また，（課題３）の数式チャットシステムの開発・準備を進めることにある．実施した具体的内容を時系列順に報告する．
令和5年４月--８月：音声による数式入力UIを強化するため，中学数学レベルまで成功していた認識範囲を高校数学Ⅰまで拡張し，評価実験によってマルチモーダルな数式入力インタフェースとして一定の成果を示すことができた．その成果を「数学ソフトウェアとその効果的教育利用に関する研究」研究集会にて口頭発表し，その論文が数理解析研究所講究録2273巻に掲載された．
令和5年９月：（課題３）に必要な，カナダのトロント大学で開発された数学チャットシステムMC2に我々のUIを実装させる国際共同研究を進めるため，トロント大学Sohee Kang教授および開発者のトレント大学Pollanen教授のところに白井詩沙香講師（大阪大学），中村泰之教授（名古屋大学）とともに訪問して打ち合わせを行なった．実践運用に向けた改善の方向性や完成後の研究協力に関して話し合い，快諾を得た．
令和5年10月--12月：上記の数学チャットシステム導入のため，新たに数学eラーニングサーバを業者委託により構築し，（課題１）のUI実装に成功した．これらの成果は科学技術教育の国際会議TALE24にて発表した．
令和６年1月--3月：（課題２）のマルチモーダルUIを備えた統合的数学文書エディタを数学eラーニングシステム用のオープンソースプラグインとして開発し，前年度構築したWebサーバを通じて公開するとともに，eラーニングシステムの全国大会「日本ムードルムート2024」で発表したところ，発表内容がベストイノベーション部門で準優勝となり，大いに評価を受けた．
|
| Strategy for Future Research Activity |
2024年度は，まず（課題１）のマルチモーダルな数式入力UIの研究を継続する．技術的に高校数学Iまで実現している音声入力を実用レベルに引き上げるため，扱う数学分野を拡大する．年度前半に，アルバイト等を使って数式の音声読み上げサンプルデータを収集し，認識できる数学分野を線形代数・微分積分まで拡大したい．その後，約40人の被験者で認識精度の評価実験を実施する計画である．並行して，主に研究代表者が１台のPCを使って数式予測のためのマルチモーダルな機械学習アルゴリズムを検討し，2024年度後半にかけてUIとしての認識率およびユーザビリティ（使いやすさ）を向上させる予定である．これら，マルチモーダルな数式入力UIを開発・評価し，その後成果を公開するためにWebサーバを構築しており，2024年度はその運用のためのレンタル・保守業務委託が必要である．
一方，（課題２）マルチモーダルUIを備えた統合的数学文書エディタの開発と評価については研究分担者白井詩沙香氏（大阪大学）との共同研究で進め，2024年度は線形代数教育に必要な行列の入出力やグラフ化機能を強化して，数学eラーニングシステムに活用できるようにする．これにより，オンライン数学問題中にグラフが挿入できるため，それを活用した微積分・線形代数の教育教材を開発するとともに，次年度には構築ずみのLMSサーバを利用して被験者学習実験を実施してその有効性を検証していきたい．
また，（課題３）数学チャットシステムは（課題１，２）の進展に応じて開発UIとシームレスに連携できるよう，改良する計画である．
2023年度における成果は，2024年度7月の数学教育に関する国際会議ICME-15にて，白井氏との共同研究として発表予定であり，12月には理数系教育に関する国際会議にて発表する計画で，これらの海外渡航旅費は分担金支給にて賄う．
|
