| 研究課題/領域番号 |
20K12117
|
|---|
| 研究機関 | 武庫川女子大学 |
|---|
研究代表者 |
福井 哲夫 武庫川女子大学, 生活環境学部, 教授 (70218890)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2023-03-31
|
| キーワード | マルチモーダル学習 / 手書き入力 / 音声入出力 / 数式入力インタフェース / 数学文書エディタ / 知的学習支援システム / 数学eラーニング |
|---|
| 研究実績の概要 |
本研究では，数学教材を作成（デジタル化）する教師のためだけでなく，ICTを活用して，数学的知識や思考を身につけようとする生徒・学生・一般人のために，多様な場面に対応し，キーボード，タッチスクリーン，手書き入力，音声入力などマルチモーダルな数式入力インタフェースを実現し，数学的統合文書エディタに実装して，デジタルメモや解答入力など数学eラーニングと連携できる学習支援環境を構築・公開することを目的とする．
長期化するコロナ禍の影響により，令和２年度は研究エフォートが下がり，本研究課題の進捗は大きく遅れる結果となったが，令和3年度は徐々に回復し，順調に次の（１）数式予測アルゴリズムの新たな機械学習へと発展させるための検討準備，（２）音声数式入力のための数式読み上げルールの確立と検証，（３）GPUワークステーションの機械学習計算のためのソフトウェア環境の整備・開発，（４）外部アルバイトによる学習教示データサンプルの収集とデータ整備を実施した．
（２）では応用成果として数学文書の音声読み上げツールを開発し，情報処理学会等で発表し，反響を得た．この成果は次の音声数式認識のアルゴリズム検討のための重要な礎となる．（４）で整備した学習教示データサンプルは，（１）の数式予測アルゴリズムに当てはめられるように改良し，（３）の機械学習計算のためのソフトウェアを備えたGPUワークステーションを使って，数式予測精度向上を目指す準備が整った．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
遅れの理由は，長期化するコロナ禍の影響により初年度（令和２年度）の大幅な遅れを十分に回復するまでには至らなかったためである．それでも，令和３年度は計画を着々と進めることができた．
（１）数式予測アルゴリズムの新たな機械学習へと発展させるために，まず，不安定であった数式入力のためのキーワード辞書を大幅に見直し，改良した．予備実験では予測精度が約85％と良好な結果を示した．
（２）音声数式入力のためには，数式読み上げルールを確立しておく必要がある．そのために入力された数式を読み上げ文字列に変換するツールを開発し，高校数学の教科書の数式が正しく読み上げできることを検証した．本開発ツールは，理数系教育者がオンデマンド動画教材を作成するための数式音声読み上げデータ構築に貢献できる．本研究成果は2021年８月25日のFIT（情報科学フォーラム）にて発表し，反響が得られた．
（３）2021年11月に令和２年度導入のGPUワークステーションへ機械学習計算のためのソフトウェアMATLAB（マスワークス）を購入・整備し，本格計算の前の動作検証や基本テストなどを実施した．
（４）上記（２）の研究に伴い，2021年8月は外部アルバイトにより音声読み上げの正しさを約4000個の数式サンプルを入力させ検証を行った．また，11月には（３）のシステムの予備テストのための機械学習データサンプル収集のため，さらに2022年1月にはそのデータ整理のため学生アルバイトによる作業を実施してもらい，本格計算のための準備を進めることができた．
また，2022年2月には，最終目標である数学学習支援環境の検証で必要な数学的統合文書エディタの開発にも取り組み，プロトタイプを作成した．その成果は2022年3月に情報処理学会の第36回教育学習支援情報システム(CLE)研究会で発表した．
|
| 今後の研究の推進方策 |
令和４年度の前半は，一つには，業者委託により公開用サーバを準備し，前年度までに開発した数学文書の音声読み上げツールを公開していく．このサーバは随時成果物を公開していくために使用する．
前半もう一つの目標として，前年度までに確立した，数式の読み上げルール・辞書を基礎として，数式の音声認識アルゴリズムの確立に取り組む．方策として，本研究にて既に開発済みの数式読み文字列を数式へ予測変換するモジュールと既存の日本語音声認識APIを組み合わせ，数式入力に有効であるかを検証していく．検証には膨大な数式のサンプルでテストする必要があり，学生アルバイトを被験者に実験する予定である．
令和4年度中盤は，タブレット端末を使った手書き数式データを収集し，数式画像データの特徴や学習者の行動を分析し，目標である手書き数式の認識・入力のためのアルゴリズムの検討を始める．手書き数式データの収集には，既に名古屋大学の中村泰之教授のグループの研究が興味深く，研究協力を仰ぎ快諾を得ている．さらなるデータの収集が必要な場合は，学生アルバイトを雇って実施したいと考える．また，令和4年度後半にかけて，収集データから数式の認識アルゴリズムを試行計算するために，前年度導入の機械学習計算のためのソフトウェアMATLAB（マスワークス）が整備されたGPUワークステーションを使う予定である．
令和4年度後半には，それまでの成果が得られれば，マルチモーダルな数式入力インタフェースに組み込んで発展させる計画である．しかし，最終目標であるそれらのインタフェースを数学文書エディタに組み込み，数学eラーニングに応用・検証するまでには，さらなる研究期間が必要ではないかと予想する．その場合は，本研究課題の期間延長も視野に検討を進めたい．
|
| 次年度使用額が生じた理由 |
上記研究進捗状況で報告したように，新型コロナ感染拡大の影響が長期化し，令和２年度に大幅に遅れた研究を，令和３年度だけで2年分挽回することは困難であった．また，令和３年度は順調に研究を遂行できたものの，順次得られた成果を対面で発表する場が少なく，特に予定していた国際会議等の海外出張旅費を執行できなかったため，次年度に使用額が生じることとなった．
令和４年度は，まず，随時成果物を公開していくための公開用サーバ構築・保守費を業務委託費として執行する計画である．次に，音声数式認識や手書き数式のための被験者データの収集や整理・分析作業補助に学生アルバイトを雇う計画である．収集する数式サンプルは音声，手書きそれぞれ約６千サンプルを想定しており，単純には延べ12000分＝200時間かかるため，20時間のアルバイト料×10人を計画している．また，対面による研究発表・研究打ち合わせも徐々に増えてきているため，情勢が許せば，国内・国外の旅費も必要と考える．
|
