• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

マルチモーダルな数式入力UIの研究と数学学習支援環境

研究課題

研究課題/領域番号 20K12117
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分62030:学習支援システム関連
研究機関武庫川女子大学

研究代表者

福井 哲夫  武庫川女子大学, 社会情報学部, 教授 (70218890)

研究期間 (年度) 2020-04-01 – 2024-03-31
研究課題ステータス 完了 (2023年度)
配分額 *注記
4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2022年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2021年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2020年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
キーワードマルチモーダル学習 / 音声入出力 / 数式入力インタフェース / 数学文書エディタ / 知的学習支援システム / 数学eラーニング / 手書き入力 / 音声入力 / 数学学習支援
研究開始時の研究の概要

我々は,世界的に重視されているSTEM教育の数学的デジタル教材を作成しやすくするため,数式を読み書きするような文字列から変換候補を提示して入力できるキーボードベースの数式入力インタフェースの開発に成功した。しかし,超スマート社会時代の到来に向け,数式入力手段も場面や利用者の目的レベルに応じて多様な選択肢を提供する必要がある。そこで,本研究では.数学教材を作成する先生だけでなく,数学知識を検索・計算し,答えをデジタルに記録する生徒・学生・一般人のために手書き入力,音声入力などマルチモーダルな数式入力UIを備えた数学文書編集可能な学習支援環境の実現を目指す。

研究成果の概要

前研究課題で取り組んできた数式曖昧文字列からのAI予測変換による数式入力UIに,音声認識技術を導入し,音声による数式入力を実現した。これにより利用者の多様な場面に対応したキーボード・タッチスクリーン・音声入力などマルチモーダルな数式入力UIが提供できた。そのUIを実装した数学eラーニング教材作成のための数学統合文書エディタを独自開発し,オープンソースとして公開した。また,このシステムを検証するため,関数グラフ作成による学習教材を含む数学学習支援環境を試作し,高校生約60名に授業実践したとろ,高い満足度が得られた。これらの成果は学会で発表するとともに開発システムを公開サーバにて公開した。

研究成果の学術的意義や社会的意義

本研究のAIによる数式曖昧文字列予測変換は,数式の音声の読み上げ文字と親和性が高く,低コストで中学数学レベルの数式の音声認識が実現できることを示した。しかし,数式は似たような発音が多く100 %の認識率を目指すには限界がある。本研究では,音声のみではなく,キーボード・タッチスクリーン入力と組み合わせたマルチモーダルな数式入力UIを実現しており,誤認や入力ミスに対して修正のしやすさが向上したことにある。社会的意義として,マルチモーダルなUIを備えた数学文書エディタを公開したことによって,教師による教材作成支援だけでなく,多様な場面に対応した数学学習支援環境を提供できるようになった。

報告書

(5件)
  • 2023 実績報告書   研究成果報告書 ( PDF )
  • 2022 実施状況報告書
  • 2021 実施状況報告書
  • 2020 実施状況報告書
  • 研究成果

    (25件)

すべて 2024 2023 2022 2021 その他

すべて 雑誌論文 (11件) (うち国際共著 1件、 査読あり 5件) 学会発表 (13件) (うち国際学会 3件、 招待講演 1件) 備考 (1件)

  • [雑誌論文] 音声認識による数式入力UIの開発と課題2023

    • 著者名/発表者名
      福井哲夫, 白井詩沙香
    • 雑誌名

      数理解析研究所講究録「数学ソフトウェアとその効果的教育利用に関する研究」

      巻: 2273 ページ: 22-29

    • 関連する報告書
      2023 実績報告書
  • [雑誌論文] Feature Expansion of the Equation Editor in Mathematics Classroom Collaborator (MC2) for Smartphones2023

    • 著者名/発表者名
      Shizuka Shirai, Marco Pollanen, Sohee Kang, Tetsuo Fukui
    • 雑誌名

      2023 IEEE International Conference on Teaching, Assessment, and Learning for Engineering (TALE)

      巻: - ページ: 606-609

    • DOI

      10.1109/tale56641.2023.10398400

    • 関連する報告書
      2023 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] MathTOUCH Editor: Rich-text Editor for Math E-learning Using an Intelligent Math Input Interface2023

    • 著者名/発表者名
      Shizuka Shirai, Takahiro Nakahara, Tetsuo Fukui
    • 雑誌名

      Journal of Information Processing

      巻: 31 号: 0 ページ: 775-785

    • DOI

      10.2197/ipsjjip.31.775

    • ISSN
      1882-6652
    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] 日本語音声認識とGUIによるマルチモーダル数式入力方式の試作2023

    • 著者名/発表者名
      石丸琴海,妹尾美侑,白井詩沙香,福井哲夫
    • 雑誌名

      情報処理学会第85回全国大会研究報告

      巻: 1W-03 ページ: 1-2

    • 関連する報告書
      2022 実施状況報告書
  • [雑誌論文] 数式を含む講義動画に対応した字幕表示システムの構築2023

    • 著者名/発表者名
      白井詩沙香,中原敬広,福井哲夫
    • 雑誌名

      情報処理学会第85回全国大会研究報告

      巻: 4H-05 ページ: 1-2

    • 関連する報告書
      2022 実施状況報告書
  • [雑誌論文] グラフ作成ツールによる高校数学向け学習教材2022

    • 著者名/発表者名
      猪岡柚葉,宇都宮若菜,國仙紗也香,福井哲夫
    • 雑誌名

      数理解析研究所講究録「数学ソフトウェアとその効果的教育利用に関する研究」

      巻: 2236 ページ: 117-126

    • 関連する報告書
      2022 実施状況報告書
  • [雑誌論文] Development of Online Support Tools for Creating STEM Educational Materials2022

    • 著者名/発表者名
      Tetsuo Fukui, Shizuka Shirai
    • 雑誌名

      2022 IEEE International Conference on Teaching, Assessment, and Learning for Engineering (TALE)

      巻: - ページ: 730-733

    • DOI

      10.1109/tale54877.2022.00131

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり
  • [雑誌論文] 数学eラーニングのための数式予測変換方式によるリッチテキストエディタの試作と評価2022

    • 著者名/発表者名
      白井詩沙香, 中原敬広,福井哲夫
    • 雑誌名

      第36回教育学習支援情報システム(CLE)研究会 情報処理学会研究報告

      巻: Vol. 2022-CLE-36, No.2 ページ: 1-6

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり
  • [雑誌論文] 数学デジタル文書読み上げツールの開発2021

    • 著者名/発表者名
      長谷川陽和,原知鈴,福井哲夫
    • 雑誌名

      FIT2021 第20回情報科学技術フォーラム予稿集

      巻: -

    • 関連する報告書
      2021 実施状況報告書
  • [雑誌論文] 解説動画作成のための数学文書読み上げテキストへの変換2021

    • 著者名/発表者名
      福井哲夫,長谷川陽和,原知鈴
    • 雑誌名

      数理解析研究所講究録 RIMS 共同研究(公開型)「数学ソフトウェアとその効果的教育利用に関する研究」

      巻: 2208 ページ: 1-9

    • 関連する報告書
      2021 実施状況報告書
  • [雑誌論文] 数学eラーニングのための数式曖昧入力変換方式によるリッチテキストエディタの開発2021

    • 著者名/発表者名
      白井詩沙香,中原敬広,福井哲夫
    • 雑誌名

      情報処理学会第83回全国大会講演論文集

      巻: 7F-02 ページ: 1-2

    • NAID

      170000186549

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり
  • [学会発表] 数式を含む文書作成のためのリッチテキストエディタプラグインの開発2024

    • 著者名/発表者名
      Shizuka Shirai, Takahiro Nakahara, Tetsuo Fukui
    • 学会等名
      日本ムードルムート2024
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Feature Expansion of the Equation Editor in Mathematics Classroom Collaborator (MC2) for Smartphones2023

    • 著者名/発表者名
      Shizuka Shirai, Marco Pollanen, Sohee Kang, Tetsuo Fukui
    • 学会等名
      2023 IEEE International Conference on Teaching, Assessment, and Learning for Engineering (TALE)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] 音声認識による数式入力UIの開発と課題2023

    • 著者名/発表者名
      福井哲夫, 白井詩沙香
    • 学会等名
      数理解析研究所RIMS 共同研究(公開型)「数学ソフトウェアとその効果的教育利用に関する研究」
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 数式を含む文書作成エディタの開発と応用事例2023

    • 著者名/発表者名
      白井詩沙香, 中原敬広, 福井哲夫
    • 学会等名
      第48回教育システム情報学会プレカンファレンス
    • 関連する報告書
      2023 実績報告書
    • 招待講演
  • [学会発表] 日本語音声認識とGUIによるマルチモーダル数式入力方式の試作2023

    • 著者名/発表者名
      石丸琴海,妹尾美侑,白井詩沙香,福井哲夫
    • 学会等名
      情報処理学会第85回全国大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 数式を含む講義動画に対応した字幕表示システムの構築2023

    • 著者名/発表者名
      白井詩沙香, 中原敬広,福井哲夫
    • 学会等名
      情報処理学会第85回全国大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] Development of Online Support Tools for Creating STEM Educational Materials2022

    • 著者名/発表者名
      Tetsuo Fukui, Shizuka Shirai
    • 学会等名
      2022 IEEE International Conference on Teaching, Assessment, and Learning for Engineering (TALE)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] グラフ作成ツールによる高校数学向け学習教材2022

    • 著者名/発表者名
      猪岡柚葉,宇都宮若菜,國仙紗也香,福井哲夫
    • 学会等名
      数理解析研究所RIMS 共同研究(公開型)「数学ソフトウェアとその効果的教育利用に関する研究」
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 数学eラーニングのための数式予測変換方式によるリッチテキストエディタの試作と評価2022

    • 著者名/発表者名
      白井詩沙香, 中原敬広,福井哲夫
    • 学会等名
      第36回教育学習支援情報システム(CLE)研究会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] Math E-learning Question Specification and XML Exporter for STACK by using Visual Programming Language2021

    • 著者名/発表者名
      Yasuyuki Nakamura, Takahiro Nakahara, Mitsuru Kawazoe, Kentaro Yoshitomi,Tetsuo Fukui, Shizuka Shirai, Katsuya Kato, Tetsuya Taniguchi
    • 学会等名
      The 14th International Congress on Mathematical Education
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] 数学デジタル文書読み上げツールの開発2021

    • 著者名/発表者名
      長谷川陽和,原知鈴,福井哲夫
    • 学会等名
      FIT2021 第20回情報科学技術フォーラム
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 解説動画作成のための数学文書読み上げテキストへの変換2021

    • 著者名/発表者名
      福井哲夫,長谷川陽和,原知鈴
    • 学会等名
      数理解析研究所RIMS 共同研究(公開型)「数学ソフトウェアとその効果的教育利用に関する研究」
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 数学eラーニングのための数式曖昧入力変換方式によるリッチテキストエディタの開発2021

    • 著者名/発表者名
      白井詩沙香,中原敬広,福井哲夫
    • 学会等名
      情報処理学会第83回全国大会
    • 関連する報告書
      2020 実施状況報告書
  • [備考] MathTOUCHで数式をもっと自由に

    • URL

      https://mathtouch.org

    • 関連する報告書
      2023 実績報告書 2022 実施状況報告書

URL: 

公開日: 2020-04-28   更新日: 2025-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi