| Project/Area Number |
23K00733
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 02100:Foreign language education-related
|
|---|
| Research Institution | Kindai University |
|---|
Principal Investigator |
長谷川 由美 近畿大学, 生物理工学部, 准教授 (40585220)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
田中 省作 立命館大学, 文学部, 教授 (00325549)
本田 久平 大分工業高等専門学校, 電気電子工学科, 教授 (40342589)
|
|---|
| Project Period (FY) |
2023-04-01 – 2027-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2026: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2025: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Fiscal Year 2024: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2023: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
|
|---|
| Keywords | 手話 / 高解像度カメラ / 授業基盤 / AI |
|---|
| Outline of Research at the Start |
視覚言語である手話は, 視覚情報という特異さもあり, 充分な授業基盤が提供されていない. そこで, 本研究では, 複数台の高解像度ビデオカメラで授業の様子を撮影し, 授業の全体を撮影するだけでなく, 映像に映っている各手話話者（学習者, 教員）を紐づけして, 切り取る映像処理の技術, 切り取られた映像を拡大して提示する技術などを確立させる. それによって, 学習者にも教員にも, お互いの手話をよく見ることができるようになり, 柔軟な手話授業が可能となる. さらに, 本研究で開発された技術を実際の授業などで試用し, その実用性と有用性を検証しながら, 活用方法の提案を行う.
|
| Outline of Annual Research Achievements |
初年度である今年度は、今年度以前に撮影した手話の授業の映像を参考に、教室内に設置する高解像度ビデオカメラの設置場所、撮影可能範囲などを把握し、実際の撮影に備えてのシミュレーションを行うことがテーマであった。教室の形や大きさによって、カメラの位置をかなり変更する必要があった。また、受教室にいる学習者数によっても、かなり映り方が変わるので要注意である。また、学習者数の密度が高くなると、自由会話をする際に、他者の体などに隠れてしまい、手話がうまく撮影できないことが多くなるため、注意が必要であ る。カメラの設置場所は、今後においても課題の一つである。
また、映像内の人物の検出、切り出し、紐づけ技術の開発は、すでにスタートさせていはいるが、問題点が残る。映像内の特定の人物を検出し、その人物が画像内で動き回っても追跡できるようにしたいが、特定の人物の検出がうまくいかず、実際に教室にいる人数よりも、検出した人の数が多くなってしまったりすることもあった。今後の課題であり、技術的にも改善が必要であろう。
そして、技術的な点のみではなく、撮影される側―主に手話を学ぶ学生―が、カメラの存在をあまり気にせずに楽しく授業に参加できる学ぶ環境を作っていく教員側の配慮も重要である。
初年度は、研究成果を口頭発表や論文投稿できるほどには進めることができなかったが、来年度は、積極的に進めていきたいと考えている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
実際に撮影を行い試行錯誤を行った上で、授業の様子を撮影するために適した機材（主にカメラ）、カメラの位置など、何度かシミュレーションを行う事ができたので、おおむね順調に進展していると判断した。
|
| Strategy for Future Research Activity |
撮影を行う教室の形や大きさ、教室にいる学習者の人数や密度などを考慮した上で、撮影環境を整えることが必要である。このような点を考慮したうえで、撮影に適した環境をまとめる必要がある。その撮影環境が映像内の人物の検出、切り出し、紐づけに影響を及ぼすと思われる。今後は、まず、撮影に適した教室環境についての考察を行った上で、映像内の人物の紐づけ技術の開発が次年度以降のポイントとなる。
|
