聴覚障害児の言語習得を支援するための手話学習ソフトの研究開発

2020 Fiscal Year Research-status Report

• Project/Area Number: 18K11994
• Research Institution: Komazawa University
• Principal Investigator: 服部 哲 駒澤大学, グローバル・メディア・スタディーズ学部, 教授 (60387082)
• Co-Investigator(Kenkyū-buntansha): 柴田 邦臣 津田塾大学, 学芸学部, 准教授 (00383521) ; 松本 早野香 大妻女子大学, 社会情報学部, 准教授 (90575549)
• Project Period (FY): 2018-04-01 – 2022-03-31
• Keywords: 手話 / 学習 / コミュニケーション / モバイル / アプリ / 評価実験 / 機能強化

Outline of Annual Research Achievements

本研究の目的は、日常のコミュニケーションの中で記録される手話映像を活用し、聴覚障害児の言語である、手話と読み書き能力双方の習得を支援するための手話学習ソフトを開発し実証することによって、彼ら・彼女らの言語習得におけるタブレット端末の新しい活用方法を、タブレットアプリという具体的な形として明らかにすることである。そして、2020年度は、前年度に実施した本試作アプリの評価実験の結果として明らかになった試作アプリの問題点の解決策を検討し、本試作アプリに実装した。
具体的には、音声認識のミスや文字入力が適切に動作しないこと、表示できる単語の少なさについて、前者については文字入力を確定させる方法を変更し、後者については手話だけでなく、本研究グループがこれまでに開発した音声入力により写真やイラストを提示するアプリとの統合を試み、手話動画が登録されていない単語については、写真やイラストを検索・表示するようにした。また、同じキーワード(タグ)が付与されている手話動画や写真・イラストが複数ある場合、それらの中から意図した意味のものを選択できるようにした。
その他には、並べた手話を同期をとって連続再生する機能、間違えて並べてしまった手話動画を手話動画の並びから削除する機能、保存した手話動画の並びを削除する機能を開発した。前年度に実施した評価実験の結果を踏まえ、主に手話動画の並びを編集する機能を充実させた。これらの機能の拡充は、本アプリを実用化するうえで不可欠な要素となる。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

本研究課題で提案するアプリの基本機能の実装、評価実験の実施、それに基づくアプリの機能強化を行っており、その点では「おおむね順調に研究が進んでいる」と言える。しかし、アプリの実用性を公開できるレベルに高めること、研究成果の発表が十分ではないため、「やや遅れている」と判断した。

Strategy for Future Research Activity

これまで本研究では、福祉領域での調査とモバイルテクノロジーの進歩を踏まえたアプリ開発の両方面からのアプローチし、それらを融合することによって、本研究課題の提案アプリの基本機能を実装してきた。そして評価実験を行い、その有用性・課題を明らかにし、その課題の解決策を実装した。
しかし評価実験で指摘された課題をすべて解決できているわけではない。たとえば、本アプリに登録されている手話動画に映っている人やアングル、大きさのばらつきの解決、助詞などを含んだ文章表現などである。これらの解決策を探る必要がある。また、本研究成果の学術および広く社会への発表も今後に残された課題である。2021年度は本研究成果を積極的に発表していきたい。

Causes of Carryover

本研究では、本研究課題に取り組む以前に整えたアプリ開発環境を有効活用しながら、必要な機材を追加してきた。しかしタブレット端末を含む情報通信技術の発展に伴い、アプリ開発環境や実行環境を再構築する必要がある。また、今年度は本研究成果を積極的に発表していく。アプリ開発環境と実行環境の再構築、研究成果の発表、これらが使用計画である。