2022 Fiscal Year Research-status Report
マルチモーダルな数式入力UIの研究と数学学習支援環境
| Project/Area Number |
20K12117
|
|---|
| Research Institution | Mukogawa Women's University |
|---|
Principal Investigator |
福井 哲夫 武庫川女子大学, 生活環境学部, 教授 (70218890)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | マルチモーダル学習 / 音声入出力 / 数式入力インタフェース / 数学文書エディタ / 知的学習支援システム / 数学eラーニング |
|---|
| Outline of Annual Research Achievements |
本研究では，数学教材を作成（デジタル化）する教師のためだけでなく，ICTを活用して，数学的知識や思考を身につけようとする生徒・学生・一般人のために，多様な場面に対応し，キーボード，タッチスクリーン，音声入力などマルチモーダルな数式入力インタフェースを実現し，数学的統合文書エディタに実装して，デジタルメモや解答入力など数学eラーニングと連携できる学習支援環境を構築・公開することを目的とする．
長期化するコロナ禍の影響により，令和２年度は研究エフォートが下がり，本研究課題の進捗は大きく遅れる結果となった。そのため研究計画を一年延長し、令和４年度は当初令和３年に実施する内容を順調に実施した。具体的には、まず前年度試作した数学文書エディタに統合するためのグラフ作成ツールの学習教材サンプルの充実を図り、その成果を「数学ソフトウェアとその効果的教育利用に関する研究」研究集会にて発表した。次に、研究協力者の白井詩沙香氏（大阪大学講師）と数学講義動画サンプルの字幕を生成し、数式を表示できる字幕システムの開発を行い、その成果を情報処理学会の第85回全国大会にて発表した。また、年度の後半には、学生アルバイトにより数式の音声読み上げデータを収集し、音声認識のための数式辞書テーブルを作成し、中学数学レベルではあるが音声による数式入力インタフェースの試作に成功した。その成果も情報処理学会の第85回全国大会にて発表した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
遅れの理由は，長期化するコロナ禍の影響により初年度（令和２年度）の大幅な遅れを十分に回復するまでには至らなかったためである．そのため研究計画を一年延長し、令和４年度は当初令和３年に実施する内容を順調に実施した。
令和４年４月-８月：学習支援環境を充実させるため、令和2年度から開発を進めてきた「自然な記述のグラフ作成ツール」の学習教材サンプルを蓄積し、構築済み公開用サーバ上でシステムの試用とサンプルの提示機能を実現した。その成果を「数学ソフトウェアとその効果的教育利用に関する研究」研究集会にて口頭発表し、その論文が数理解析研究所講究録2236巻に掲載された。
令和４年９月-10月：白井詩沙香氏（大阪大学・研究協力者）との共同研究として、数式を含む講義動画に対応した字幕表示システムの構築に取り組んだ。吉冨賢太郎氏（大阪公立大学・研究協力者）の担当する数学授業の講義動画を提供してもらい、数式を含む音声字幕を表示するシステムの有効性を検証した。この成果を、令和5年3月の情報処理学会第85回全国大会にて発表した。
令和４年11月：業者委託により構築した公開用サーバに新たにLMSサービス機能(Moodleシステム)を追加し、数学学習支援環境の整備を行なった。これにより数式のための研究成果を実際の学習へ応用できる準備が整った。
令和4年12月-令和5年3月：前年度に確立した数式読み上げツールによる辞書を基礎として，数式の音声認識アルゴリズムの確立に取り組んだ。方策として，既に開発済みの数式予測変換モジュールと既存の音声認識APIを組み合わせ，中学校数学レベルの数式入力に有効であることを検証した．検証には数式読み上げの音声サンプルを学生アルバイトによって収集し、音声認識のための辞書テーブルを構築できた。この成果は令和5年3月の情報処理学会第85回全国大会にて発表した。
|
| Strategy for Future Research Activity |
令和5年度の前半は，業者委託により既に構築ずみの公開用サーバに対し，前年度までに開発した数学文書の音声読み上げツールやグラフ作成ツール、数学文書エディタを公開していく．また、音声入力できる数式の分野を高校・大学レベルにまで拡大するべく、音声データを収集し、音声認識辞書を強化していきたい。
令和5年度中盤は，キーボード，タッチスクリーン，音声入力などマルチモーダルな数式入力インタフェースを実現し，最終目標であるそれらのインタフェースを数学的統合文書エディタに実装していく。
令和5年度後半には，この数学文書エディタを，数学eラーニングに応用・検証するために、学習教材サンプルを蓄積し、被験者による模擬授業等を計画して、有効性を検証していきたい。これらの成果は随時学会等で発表するとともに、学習支援環境サーバに蓄積し、公開していく。
|
| Causes of Carryover |
上記研究進捗状況で報告したように，新型コロナ感染拡大の影響が長期化し，令和２年度に大幅に遅れた研究を，令和３から4年度だけで３年分挽回することは困難であった．また，令和３から４年度は順調に研究を遂行できたものの，順次得られた成果を対面で発表する場が少なく，特に予定していた国際会議等の海外出張旅費を執行できなかったため，研究期間を延長し、次年度に使用額が生じることとなった．
令和5年度は，まず，既に構築ずみの随時成果物を公開していくための公開用サーバへの学習サンプルコンテンツ更新および保守費を業務委託費として執行する計画である．これにより，開発した数学統合文書エディタを，数学eラーニングに応用・検証することができる．また，得られた成果を学会等で研究発表するための旅費も必要と考える．
|
| Remarks |
成果物である数式入力インタフェースをMathTOUCHと呼ぶ。そのUIを応用した開発ツールを含む数学学習支援環境を試用できる公開用サーバのURLである。
|
