• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

数学eラーニングのためのマルチモーダルな数式入力UIの研究と学習支援環境の構築

研究課題

研究課題/領域番号 23K25724
補助金の研究課題番号 23H01027 (2023)
研究種目

基盤研究(B)

配分区分基金 (2024)
補助金 (2023)
応募区分一般
審査区分 小区分09080:科学教育関連
研究機関武庫川女子大学

研究代表者

福井 哲夫  武庫川女子大学, 社会情報学部, 教授 (70218890)

研究分担者 川添 充  大阪公立大学, 国際基幹教育機構, 教授 (10295735)
吉冨 賢太郎  大阪公立大学, 国際基幹教育機構, 准教授 (10305609)
白井 詩沙香  大阪大学, サイバーメディアセンター, 講師 (30757430)
中村 泰之  名古屋大学, 教養教育院, 教授 (70273208)
研究期間 (年度) 2023-04-01 – 2027-03-31
研究課題ステータス 交付 (2024年度)
配分額 *注記
18,330千円 (直接経費: 14,100千円、間接経費: 4,230千円)
2026年度: 4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2025年度: 4,030千円 (直接経費: 3,100千円、間接経費: 930千円)
2024年度: 4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)
2023年度: 5,070千円 (直接経費: 3,900千円、間接経費: 1,170千円)
キーワードマルチモーダル学習 / 音声入力 / 数式入力インタフェース / 数学文書エディタ / 数学学習支援 / 音声認識 / 数学eラーニング / 学習支援環境
研究開始時の研究の概要

教育DXが進められる中,数式の取り扱いが障壁となり,十分に活用できない状況にある。我々は,この問題を解決するため,仮名漢字変換のように候補を提示して入力できるキーボードベースの数式入力インタフェースの開発に成功した。しかし,超スマート社会に向け,数式入力手段も場面や目的に応じた多様な選択肢を提供する必要がある。そこで,本研究の目的は.数学教材を作成する教育者だけでなく,数学知識をデジタルに記録する生徒・学生・一般人のためにキーボード,タッチスクリーン,音声入力などマルチモーダルな数式入力UIにより数学文書編集やオンラインコミュニケーション機能を備えた数学eラーニング環境を実現することにある。

研究実績の概要

本研究では,数学教材を作成(デジタル化)する教師のためだけでなく,ICTを活用して,数学的知識や思考を身につけようとする生徒・学生・一般人のために,多様な場面に対応し,キーボード,タッチスクリーン,音声入力などマルチモーダルな数式入力インタフェースを実現し,数学文書編集可能で円滑なオンラインコミュニケーション機能を備えた数学 e ラーニング環境を実現することにある.
そのために,5つの課題に分けて取り組んだ.まず我々が提案する数式予測変換の仕組みを取り入れた(課題1)マルチモーダルな数式入力UIの研究に取り組む.次に,学習者への支援の観点から,思考過程の計算式や図示が楽にできて,教師にチャットで質問できる環境を実現するために(課題2)マルチモーダルな数学文書エディタの開発と評価および(課題3)数学チャットシステムの改善と評価に取り組む.最後に教育者支援の観点から,提案システムの教材サンプル等を公開・提供し,教育者同士でも情報交換できるようにするために(課題4)数学eラーニングのためのマルチモーダルUIを備えた教育・学習支援環境の構築および(課題5)数学教育・学習支援環境活用のためのワークショップ・コミュニティの開催を目的とする.
令和5年度は,(課題1)を中心に,音声による数式入力UIを強化し,マルチモーダルな数式入力インタフェースとして一定の成果を示すことができた.この成果を(課題2)の数学文書エディタに実装し,構築した公開用サーバを通じて公開するとともに,eラーニングシステムの学会で発表した.カナダのトロント大学で開発された数学チャットシステムを(課題3)に利用するため,9月に訪問して国際共同研究の打ち合わせを行ない,業務委託によって,数学eラーニングサーバの構築および数式チャットシステムのプラグイン開発を進めた.これによって,(課題3)の評価のための準備が整った.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

令和5年度の計画は,(課題1)のマルチモーダルな数式入力UIの技術を進展させ,そのUIを実装した(課題2)の数学文書エディタを数学eラーニングに活用できるようにすること,また,(課題3)の数式チャットシステムの開発・準備を進めることにある.実施した具体的内容を時系列順に報告する.
令和5年4月--8月:音声による数式入力UIを強化するため,中学数学レベルまで成功していた認識範囲を高校数学Ⅰまで拡張し,評価実験によってマルチモーダルな数式入力インタフェースとして一定の成果を示すことができた.その成果を「数学ソフトウェアとその効果的教育利用に関する研究」研究集会にて口頭発表し,その論文が数理解析研究所講究録2273巻に掲載された.
令和5年9月:(課題3)に必要な,カナダのトロント大学で開発された数学チャットシステムMC2に我々のUIを実装させる国際共同研究を進めるため,トロント大学Sohee Kang教授および開発者のトレント大学Pollanen教授のところに白井詩沙香講師(大阪大学),中村泰之教授(名古屋大学)とともに訪問して打ち合わせを行なった.実践運用に向けた改善の方向性や完成後の研究協力に関して話し合い,快諾を得た.
令和5年10月--12月:上記の数学チャットシステム導入のため,新たに数学eラーニングサーバを業者委託により構築し,(課題1)のUI実装に成功した.これらの成果は科学技術教育の国際会議TALE24にて発表した.
令和6年1月--3月:(課題2)のマルチモーダルUIを備えた統合的数学文書エディタを数学eラーニングシステム用のオープンソースプラグインとして開発し,前年度構築したWebサーバを通じて公開するとともに,eラーニングシステムの全国大会「日本ムードルムート2024」で発表したところ,発表内容がベストイノベーション部門で準優勝となり,大いに評価を受けた.

今後の研究の推進方策

2024年度は,まず(課題1)のマルチモーダルな数式入力UIの研究を継続する.技術的に高校数学Iまで実現している音声入力を実用レベルに引き上げるため,扱う数学分野を拡大する.年度前半に,アルバイト等を使って数式の音声読み上げサンプルデータを収集し,認識できる数学分野を線形代数・微分積分まで拡大したい.その後,約40人の被験者で認識精度の評価実験を実施する計画である.並行して,主に研究代表者が1台のPCを使って数式予測のためのマルチモーダルな機械学習アルゴリズムを検討し,2024年度後半にかけてUIとしての認識率およびユーザビリティ(使いやすさ)を向上させる予定である.これら,マルチモーダルな数式入力UIを開発・評価し,その後成果を公開するためにWebサーバを構築しており,2024年度はその運用のためのレンタル・保守業務委託が必要である.
一方,(課題2)マルチモーダルUIを備えた統合的数学文書エディタの開発と評価については研究分担者白井詩沙香氏(大阪大学)との共同研究で進め,2024年度は線形代数教育に必要な行列の入出力やグラフ化機能を強化して,数学eラーニングシステムに活用できるようにする.これにより,オンライン数学問題中にグラフが挿入できるため,それを活用した微積分・線形代数の教育教材を開発するとともに,次年度には構築ずみのLMSサーバを利用して被験者学習実験を実施してその有効性を検証していきたい.
また,(課題3)数学チャットシステムは(課題1,2)の進展に応じて開発UIとシームレスに連携できるよう,改良する計画である.
2023年度における成果は,2024年度7月の数学教育に関する国際会議ICME-15にて,白井氏との共同研究として発表予定であり,12月には理数系教育に関する国際会議にて発表する計画で,これらの海外渡航旅費は分担金支給にて賄う.

報告書

(1件)
  • 2023 実績報告書
  • 研究成果

    (25件)

すべて 2024 2023 その他

すべて 国際共同研究 (1件) 雑誌論文 (8件) (うち国際共著 1件、 査読あり 3件、 オープンアクセス 1件) 学会発表 (14件) (うち国際学会 4件、 招待講演 1件) 備考 (2件)

  • [国際共同研究] University of Toronto/Trent University(カナダ)

    • 関連する報告書
      2023 実績報告書
  • [雑誌論文] 数学オンラインテストのペンストロークデータの可視化と自信度の推定2023

    • 著者名/発表者名
      藤本 和伶、中村 泰之
    • 雑誌名

      コンピュータ&エデュケーション

      巻: 54 号: 0 ページ: 34-41

    • DOI

      10.14949/konpyutariyoukyouiku.54.34

    • ISSN
      2186-2168, 2188-6962
    • 年月日
      2023-06-01
    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 音声認識による数式入力UIの開発と課題2023

    • 著者名/発表者名
      福井哲夫, 白井詩沙香
    • 雑誌名

      数理解析研究所講究録「数学ソフトウェアとその効果的教育利用に関する研究」

      巻: 2273 ページ: 22-29

    • 関連する報告書
      2023 実績報告書
  • [雑誌論文] Feature Expansion of the Equation Editor in Mathematics Classroom Collaborator (MC2) for Smartphones2023

    • 著者名/発表者名
      Shizuka Shirai, Marco Pollanen, Sohee Kang, Tetsuo Fukui
    • 雑誌名

      2023 IEEE International Conference on Teaching, Assessment, and Learning for Engineering (TALE)

      巻: - ページ: 606-609

    • DOI

      10.1109/tale56641.2023.10398400

    • 関連する報告書
      2023 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] MathTOUCH Editor: Rich-text Editor for Math E-learning Using an Intelligent Math Input Interface2023

    • 著者名/発表者名
      Shizuka Shirai, Takahiro Nakahara, Tetsuo Fukui
    • 雑誌名

      Journal of Information Processing

      巻: 31 号: 0 ページ: 775-785

    • DOI

      10.2197/ipsjjip.31.775

    • ISSN
      1882-6652
    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] 線形代数授業におけるオンライン問題の活用と学習分析2023

    • 著者名/発表者名
      吉冨 賢太郎
    • 雑誌名

      JSiSE Research Report

      巻: 38 No.2 ページ: 81-86

    • 関連する報告書
      2023 実績報告書
  • [雑誌論文] 数学オンライン問題の問題点2023

    • 著者名/発表者名
      吉冨 賢太郎
    • 雑誌名

      Bulletin of JSSAC

      巻: 29 No.2 ページ: 45-57

    • 関連する報告書
      2023 実績報告書
  • [雑誌論文] STACK を利用した線形代数教材の開発と授業設計2023

    • 著者名/発表者名
      吉冨 賢太郎
    • 雑誌名

      Bulletin of JSSAC

      巻: 30 No.1 ページ: 20-23

    • 関連する報告書
      2023 実績報告書
  • [雑誌論文] Classification of Answers in Math Online Tests by Visualizing Graph Similarity2023

    • 著者名/発表者名
      Saburo Higucih, Yasuyuki Nakamura
    • 雑誌名

      Companion Proceedings of the 14th International Learning Analytics and Knowledge Conference

      巻: - ページ: 197-199

    • 関連する報告書
      2023 実績報告書
  • [学会発表] 数式を含む文書作成のためのリッチテキストエディタプラグインの開発2024

    • 著者名/発表者名
      Shizuka Shirai, Takahiro Nakahara, Tetsuo Fukui
    • 学会等名
      日本ムードルムート2024
    • 関連する報告書
      2023 実績報告書
  • [学会発表] STACK問題タイプの解答データ分析手法の検討2024

    • 著者名/発表者名
      中村泰之, 樋口三郎, 吉冨賢太郎, 宮崎佳典, 中原敬広, 川添充, 福井哲夫, 白井詩沙香
    • 学会等名
      日本ムードルムート2024
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Network analysis of solution processes in mathematics online tests2024

    • 著者名/発表者名
      Asahi Kurihara, Yasuyuki Nakamura
    • 学会等名
      International Meeting of the STACK Community 2024
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Classification of Answers in Math Online Tests by Visualizing Graph Similarity2024

    • 著者名/発表者名
      Saburo Higuchi, Yasuyuki Nakamura
    • 学会等名
      The 14th International Learning Analytics and Knowledge Conference
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] 視線データからの解答過程の分析における時系列情報を含むヒートマップによる可視化の有効性2024

    • 著者名/発表者名
      岩田 蒼良,中村 泰之
    • 学会等名
      教育システム情報学会2023年度学生研究発表会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Feature Expansion of the Equation Editor in Mathematics Classroom Collaborator (MC2) for Smartphones2023

    • 著者名/発表者名
      Shizuka Shirai, Marco Pollanen, Sohee Kang, Tetsuo Fukui
    • 学会等名
      2023 IEEE International Conference on Teaching, Assessment, and Learning for Engineering (TALE)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] 音声認識による数式入力UIの開発と課題2023

    • 著者名/発表者名
      福井哲夫, 白井詩沙香
    • 学会等名
      数理解析研究所RIMS 共同研究(公開型)「数学ソフトウェアとその効果的教育利用に関する研究」
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 数式を含む文書作成エディタの開発と応用事例2023

    • 著者名/発表者名
      白井詩沙香, 中原敬広, 福井哲夫
    • 学会等名
      第48回教育システム情報学会プレカンファレンス
    • 関連する報告書
      2023 実績報告書
    • 招待講演
  • [学会発表] 線形代数授業におけるオンライン問題の活用と学習分析2023

    • 著者名/発表者名
      吉冨 賢太郎
    • 学会等名
      JSiSE 2023年度第2回研究会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 数学オンライン問題の問題点2023

    • 著者名/発表者名
      吉冨 賢太郎
    • 学会等名
      日本数式処理学会 第16期第3回 教育分科会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] STACK を利用した線形代数教材の開発と授業設計2023

    • 著者名/発表者名
      吉冨 賢太郎
    • 学会等名
      日本数式処理学会第32回全国大会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Visualization of Knowledge Map based on STACK Answer Data2023

    • 著者名/発表者名
      Lilin Wang, Yasuyuki Nakamura, Takahiro Nakahara
    • 学会等名
      International Meeting of the STACK Community 2023
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] 数学オンラインテストにおける解答の推移の三次元可視化と分析2023

    • 著者名/発表者名
      高田知樹,中村泰之
    • 学会等名
      第48回教育システム情報学会全国大会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 学習者のモチベーションへの働きかけを考慮した 数学オンラインテストにおけるフィードバック方略2023

    • 著者名/発表者名
      篠田有史,中村泰之
    • 学会等名
      第48回教育システム情報学会全国大会
    • 関連する報告書
      2023 実績報告書
  • [備考] MathTOUCHで数式をもっと自由に

    • URL

      https://mathtouch.org

    • 関連する報告書
      2023 実績報告書
  • [備考] MathTOUCHによるMoodleシステムと数学チャットプラグイン

    • URL

      https://mathud.org

    • 関連する報告書
      2023 実績報告書

URL: 

公開日: 2023-04-18   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi