2017 Fiscal Year Research-status Report
聴覚障害学生支援のためのウェブベース遠隔情報保障システムに関する研究
| Project/Area Number |
15K01056
|
|---|
| Research Institution | Tsukuba University of Technology |
|---|
Principal Investigator |
若月 大輔 筑波技術大学, 産業技術学部, 准教授 (50361887)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
内藤 一郎 筑波技術大学, 産業技術学部, 教授 (00237182)
|
|---|
| Project Period (FY) |
2015-04-01 – 2019-03-31
|
| Keywords | 遠隔情報保障 / 聴覚障害 / 手話通訳 / 文字通訳（要約筆記） / ウェブアプリケーション / 音声認識 / クラウドソーシング / タイムライン |
|---|
| Outline of Annual Research Achievements |
我々は高等教育を受ける聴覚障害学生支援のために，遠隔から文字通訳（要約筆記）と手話通訳を実施できる遠隔情報保障システムの研究開発を進めてきた．しかし，従来のシステムは運用コストやネットワークの確保に課題があった．本研究では，これらの課題解決を目指し，ウェブベースの遠隔情報保障の実現を目指している．
平成２９年度は，本研究で研究開発を進めているウェブベース遠隔文字通訳システムcaptiOnlineに，新たにタイムライン形式で情報保障を行なえる機能を設けた．具体的には，大学の講義やイベントに参加する人々が，イベントの状況や講演者などの音声情報を文字や写真で投稿し，それらをタイムライン形式で閲覧できる仕組みを試作した．実際のスポーツイベントでこの機能を利用して，聴覚障害者に対する情報保障実験を実施した．その結果，タイムライン形式の情報保障が聴覚障害者の情報保障に役立つこと，投稿者は必ずしも情報保障の専門家である必要はないこと，投稿の負担も小さいことが示唆された．
また，平成２８年度に実装した文章中に画像を挿入できる機能を利用して，数式や図表が含まれた文字通訳の有効性を検証する実験を行なった．数学の模擬授業を対象として，アンケートと理解度確認テストで評価を行なった．実験参加者のアンケート回答から，数式や図表を含む字幕は，従来の字幕に比べて違和感や疲労感があるわけではないことがわかった．理解度確認テストについては，数式や図表を含む字幕を利用したほうが好成績を収めることができ，授業理解に効果があることがわかった．
タイムライン形式の情報保障は，不特定多数の人が情報保障に携わることができるクラウドソーシング型情報保障の可能性を示唆するもので，今後も検討を重ねる必要がある．数式や図表を含む字幕については効果が確認できたので，現場で利用する際に適したインタフェースについて検討したい．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
平成２７年度から本研究で検討を進めているウェブベース遠隔情報保障について，captiOnlineというシステムを構築してきた．平成２８年度は音声認識による文字通訳機能の実装，数式や図表などの画像を文字通訳に挿入する機能の実装，クラウドソーシングの考え方を導入した文字通訳の検討を行なってきた．
平成２９年度は，クラウドソーシングの考え方をもとに，専門家以外の不特定多数の人も聴覚障害者の情報保障に携わることができるタイムライン型の情報保障の提案と，その機能をcaptiOnlineに実装し評価実験を実施した．実験を通して得られた成果をまとめて公表を行なった．また，平成２８年度に実装した文字通訳に数式や図表を挿入する機能について，模擬授業を対象とした評価実験を実施した．実験結果の詳細については現在分析中であり，今後成果を公表する予定である．
平成２７年度から平成２９年度にかけて，主にウェブベースの遠隔文字通訳システムについて研究開発を行ってきた．研究成果をcaptiOnlineに実装し公開して，様々な団体や企業に使用していただき実績を重ねている（http://capti.info.a.tsukuba-tech.ac.jp/）．
一方，本研究の当初の目的であるウェブベースの遠隔手話通訳システムについては，平成２７年度の実写とCGを併用したハイブリッド手話表現手法の提案を含め，最適な実装方法を引き続き検討している段階であり，具体的なシステムの試作や評価に着手できていない状況である．具体的には，ウェブベースで手話を撮影し，エンコードを行い利用者へリアルタイム配信する方法と，複数人で手話通訳を実施する際の通訳者の切り替えと，通訳者どうしの相互支援を円滑にするインタフェースの設計が課題となっている．
|
| Strategy for Future Research Activity |
これまで得られた成果をもとに，次世代のウェブベース遠隔情報保障の実現に向けた検討を進める．
従来の文字だけでなく，数式や図表を画像として挿入した表示について評価実験を行なった結果，良好な結果が得られつつあるので，さらに分析を進めて研究成果を公表する予定である．文字通訳で実際に利用するにあたり，文字通訳者が数式や図表などの画像を効率よく挿入するためのインタフェースについては，まだ具体的な検討を行なっていない．先行研究の調査をしつつ最適な方法を提案し評価実験を行いたい．
タイムライン型の情報保障については，専門家ではない人による投稿が聴覚障害者の情報保障になり得ることが示唆された．平成２９年度に実施したスポーツイベントに対する実験結果をもとに，どのような投稿が特に役立つのかを分析して，それらの投稿に特化した入力インタフェースの検討を行なう．また，投稿者から有用な情報を投稿してもらうためのインセンティブをどのように与えることができるかについても調査，検討を行なう．
進捗が遅れているウェブベース遠隔手話通訳については，最適な手話映像の伝送方法について引き続き検討を進める．現場の手話通訳では通訳者どうしの表現の確認や，聴覚障害者が通訳内容を理解しているかなどを確認するためのインタラクションが発生することがある．遠隔で手話通訳を行なう場合，これらのインタラクションが損なわれる可能性があるので，代替手段を考慮したシステムを設計する必要がある．
最終的に，本研究で検討を重ねた遠隔文字通訳，タイムライン型情報保障および遠隔手話通訳のシステムを統合し，多様なニーズに応えることができる次世代のウェブベース遠隔情報保障の実現を目指す．
|
| Causes of Carryover |
平成２９度はウェブベースの遠隔手話通訳を検討するためのシステム試作や実験についての費用を計画していたが，進捗がやや遅れているため一部の予算の執行が滞る状態となった．
平成３０年度は，ウェブベースの遠隔手話通訳の検討を進め，システムの試作と評価実験の人件費と謝金に使用する計画である．また，本研究に関連が深い国内外の学会などにおける発表や講演のために旅費を使用する．当初から計画されていた導入する物品ならびに実験実施に必要な人件費・謝金の使用については変更はない．
|
