• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of a real-time multilingual learning support system for arithmetic/mathematics classes using AI

Research Project

Project/Area Number 24K00416
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 09040:Education on school subjects and primary/secondary education-related
Research InstitutionKyoto University of Education

Principal Investigator

黒田 恭史  京都教育大学, 教育学部, 教授 (70309079)

Co-Investigator(Kenkyū-buntansha) 山内 祐平  東京大学, 大学院情報学環・学際情報学府, 教授 (50252565)
中俣 尚己  大阪大学, 国際教育交流センター, 准教授 (00598518)
濱田 麻里  京都教育大学, 教育学部, 教授 (80228543)
Project Period (FY) 2024-04-01 – 2027-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥18,590,000 (Direct Cost: ¥14,300,000、Indirect Cost: ¥4,290,000)
Fiscal Year 2026: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2025: ¥6,630,000 (Direct Cost: ¥5,100,000、Indirect Cost: ¥1,530,000)
Fiscal Year 2024: ¥7,540,000 (Direct Cost: ¥5,800,000、Indirect Cost: ¥1,740,000)
KeywordsAI活用 / 多言語対応 / 算数・数学学習支援
Outline of Research at the Start

本研究では、小学校から高等学校までの算数・数学授業において、子ども自らがスムーズに活用可能な、AIによるリアルタイム多言語対応翻訳システムを開発するとともに、システムをオープンソース化(無償公開)することで、全国での広範な普及を目的とする。
システムの精度検証は、京都教育大学附属小学校から高等学校の算数・数学の授業で実施する。留学生が実際の授業に参加し、翻訳の精度などについてのチェックを行い、システムの改善に努める。
普及においては、既に多言語対応版動画学習コンテンツでの実績から、文部科学省、京都市、奈良市、横浜市、浜松市、川崎市、越前市、出雲市等の教育委員会との連携を図る。

Outline of Annual Research Achievements

本研究では、小学校から高等学校までの算数・数学授業において、子ども自らがスムーズに活用可能な、AIによるリアルタイム多言語対応翻訳システムを開発するとともに、システムをオープンソース化(無償公開)することで、全国での広範な普及を目的とする。システムの精度検証は、京都教育大学附属学校、及び日本全国の学校での算数・数学の授業で実施する。留学生にも実際の授業に参加してもらい、翻訳の精度などについてのチェックを行い、システムの改善に努める。
2024年度の計画では、次の5点を目標とした。1)算数・数学授業における黒板、教科書、プリント等に記された日本語の文章・数式等から、何を必要な翻訳対象とするのかを検討し、決定する。2)黒板、教科書、プリント等に記された日本語の文章・数式等の画像から、必要な日本語を認識・抽出し、それらをタブレット画面上に活字として母語翻訳する機能とともに、母語での自動音声読み上げ機能システムを開発する。3)算数・数学授業における教員と児童生徒の対話を分類・整理し、どの程度の分量と内容を翻訳対象とするのかについて検討・決定する。4)教員と児童生徒間の対話によるやりとりを、母語に翻訳してタブレット上の活字と自動音声に変換することと、外国人の子どもが母語で発話した内容を日本語へ翻訳してタブレット上の活字と自動音声に変換するシステムを開発する。5)プロトタイプを完成させ、事前の検証を行う。

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

「研究実績の概要」に記した、2024年度の計画における1)~5)の項目についての進捗状況は、以下のとおりである。
1)「算数・数学授業における黒板等に記された文章・数式等から、何を必要な翻訳対象とするのか」については、画像読み取りの予備実験を通して、数式を除いた日本語の文書全般を翻訳対象とすることにした。2)「黒板等に記された日本語を認識・抽出し、タブレット画面上に母語翻訳、自動音声読み上げ機能システム」については、安定した情報を学習者に提供するために、教師用タブレットで画面を読み込んだものを学習者用タブレットに配信して、そこで各母語に翻訳するというシステム仕様とした。3)「教員と児童生徒の対話を分類・整理し、どの程度の分量と内容を翻訳対象とするのか」については、基本的には全ての教員の発話を翻訳すること、また児童生徒の対話については必要に応じてボタン操作で発話を翻訳することとした。4)「教員と児童生徒間の日本語の対話を、母語に翻訳してタブレット上に活字化と自動音声に変換することと、その逆の翻訳」については、教師と児童生徒間の対話をリアルタイムに日本語文字起こしするとともに、各母語にリアルタイム翻訳するシステムを開発し、さらに自動音声読み上げ機能で母語での音声発話を実現した。また、その逆の母語から日本語への翻訳も可能とした。5)「プロトタイプを完成させ、事前の検証を行う」については、附属小学校1校、附属中学校1校、附属高等学校1校での通常の算数・数学授業(外国人児童生徒なし、留学生翻訳確認)での予備実験を経て、外国人の在籍する京都市立小学校1校(英語)、中学校1校(中国語、ベトナム語、ネパール語)、愛知県豊田市立中学校1校(ブラジルポルトガル語)、大阪府立高等学校(定時制)1校(ネパール語)での実証実験を行い、精度検証を行った。

Strategy for Future Research Activity

2024年度に計画した項目については、計画通りの遂行ができたことから、予定通り2025年度の計画を推進していくとともに、新たな課題についても取り組んでいく予定である。
2025年度の計画にある、附属小学校、中学校、高等学校での算数・数学授業においてプロトタイプを試行し、その精度についてさらに検証していく。とりわけ、日本語の文字起こしの精度が、翻訳の精度に大きく影響することが判明したことから、教師の教室内での動きを踏まえたマイク指向性の検証、児童生徒の発話の適切な検出方法の考案について実験を通して明らかにする。
新たな課題としては、安定的・持続的な運用についての検証を行っていく。既に、京都府京田辺市立小学校1校(中国語)、京都市立中学校1校(中国語、モンゴル語、フィリピン語)において、年間を通して実証実験を行ってもらうための準備を、学校及び教育委員会と進めており、教師や児童生徒が容易に恒常的に活用することでの教育効果と課題の検証を行う予定である。

Report

(1 results)
  • 2024 Research-status Report
  • Research Products

    (3 results)

All 2024

All Presentation (3 results) (of which Invited: 1 results)

  • [Presentation] 生成AIは外国人の子どもの言語の壁をどこまで打ち破れるか 算数・数学授業での実践を通して2024

    • Author(s)
      黒田恭史
    • Organizer
      日本教育学会第83回発表要旨集録(名古屋大学・愛知工業大学,オンライン開催)
    • Related Report
      2024 Research-status Report
  • [Presentation] シンポジウム:AIやビッグデータがもたらす数学教育へのインパクト 「生成AIのサポートで学ぶ」と「生成AIについて学ぶ」こと2024

    • Author(s)
      黒田恭史
    • Organizer
      数学教育学会秋季例会(大阪大学,ハイブリッド開催)
    • Related Report
      2024 Research-status Report
    • Invited
  • [Presentation] メタバースによるアバターの登場が教育にもたらすインパクト2024

    • Author(s)
      黒田恭史
    • Organizer
      関西教育学会第76回大会発表要旨集(京都大学)
    • Related Report
      2024 Research-status Report

URL: 

Published: 2024-04-11   Modified: 2025-12-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi