AI技術に基づいた「見える」手話の授業基盤の開発と活用

• 研究課題/領域番号: 23K00733
• 研究種目: 基盤研究(C)
• 配分区分: 基金
• 応募区分: 一般
• 審査区分: 小区分02100:外国語教育関連
• 研究機関: 近畿大学
• 研究代表者: 長谷川 由美 近畿大学, 生物理工学部, 准教授 (40585220)
• 研究分担者: 田中 省作 立命館大学, 文学部, 教授 (00325549) ; 本田 久平 大分工業高等専門学校, 電気電子工学科, 教授 (40342589)
• 研究期間 (年度): 2023-04-01 – 2027-03-31
• 研究課題ステータス: 交付 (2023年度)
• 配分額: 4,290千円 (直接経費: 3,300千円、間接経費: 990千円); 2026年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円); 2025年度: 390千円 (直接経費: 300千円、間接経費: 90千円); 2024年度: 780千円 (直接経費: 600千円、間接経費: 180千円); 2023年度: 2,080千円 (直接経費: 1,600千円、間接経費: 480千円)
• キーワード: 手話 / 高解像度カメラ / 授業基盤 / AI

研究開始時の研究の概要

視覚言語である手話は, 視覚情報という特異さもあり, 充分な授業基盤が提供されていない. そこで, 本研究では, 複数台の高解像度ビデオカメラで授業の様子を撮影し, 授業の全体を撮影するだけでなく, 映像に映っている各手話話者（学習者, 教員）を紐づけして, 切り取る映像処理の技術, 切り取られた映像を拡大して提示する技術などを確立させる. それによって, 学習者にも教員にも, お互いの手話をよく見ることができるようになり, 柔軟な手話授業が可能となる. さらに, 本研究で開発された技術を実際の授業などで試用し, その実用性と有用性を検証しながら, 活用方法の提案を行う.

研究実績の概要

初年度である今年度は、今年度以前に撮影した手話の授業の映像を参考に、教室内に設置する高解像度ビデオカメラの設置場所、撮影可能範囲などを把握し、実際の撮影に備えてのシミュレーションを行うことがテーマであった。教室の形や大きさによって、カメラの位置をかなり変更する必要があった。また、受教室にいる学習者数によっても、かなり映り方が変わるので要注意である。また、学習者数の密度が高くなると、自由会話をする際に、他者の体などに隠れてしまい、手話がうまく撮影できないことが多くなるため、注意が必要であ　る。カメラの設置場所は、今後においても課題の一つである。
また、映像内の人物の検出、切り出し、紐づけ技術の開発は、すでにスタートさせていはいるが、問題点が残る。映像内の特定の人物を検出し、その人物が画像内で動き回っても追跡できるようにしたいが、特定の人物の検出がうまくいかず、実際に教室にいる人数よりも、検出した人の数が多くなってしまったりすることもあった。今後の課題であり、技術的にも改善が必要であろう。
そして、技術的な点のみではなく、撮影される側―主に手話を学ぶ学生―が、カメラの存在をあまり気にせずに楽しく授業に参加できる学ぶ環境を作っていく教員側の配慮も重要である。
初年度は、研究成果を口頭発表や論文投稿できるほどには進めることができなかったが、来年度は、積極的に進めていきたいと考えている。

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

実際に撮影を行い試行錯誤を行った上で、授業の様子を撮影するために適した機材（主にカメラ）、カメラの位置など、何度かシミュレーションを行う事ができたので、おおむね順調に進展していると判断した。

今後の研究の推進方策

撮影を行う教室の形や大きさ、教室にいる学習者の人数や密度などを考慮した上で、撮影環境を整えることが必要である。このような点を考慮したうえで、撮影に適した環境をまとめる必要がある。その撮影環境が映像内の人物の検出、切り出し、紐づけに影響を及ぼすと思われる。今後は、まず、撮影に適した教室環境についての考察を行った上で、映像内の人物の紐づけ技術の開発が次年度以降のポイントとなる。

研究成果

• [雑誌論文] 手関節の AI 認識を用いた指文字学習支援 Web システム (2023)
  • 著者名/発表者名: 本田久平, 田中省作, 長谷川由美, 宮崎佳典
  • 雑誌名: 日本教育工学会2023年春季全国大会 巻: 3-S04D2 ページ: 251-252
  • 査読あり
• [学会発表] オンライン上での手話がみんなによく「見える」服と背景の色の組み合わせ －アンケート調査とカラーユニバーサルデザインに基づく分析－ (2023)
  • 著者名/発表者名: 長谷川由美, 片山一郎
  • 学会等名: 障害学会第20回大会
• [学会発表] 手関節の AI 認識を用いた指文字学習支援 Web システム (2023)
  • 著者名/発表者名: 本田久平, 田中省作, 長谷川由美, 宮崎佳典
  • 学会等名: 日本教育工学会 2023年春季全国大会