2015 Fiscal Year Research-status Report
聴覚障害学生支援のためのウェブベース遠隔情報保障システムに関する研究
| Project/Area Number |
15K01056
|
|---|
| Research Institution | Tsukuba University of Technology |
|---|
Principal Investigator |
若月 大輔 筑波技術大学, 産業技術学部, 准教授 (50361887)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
内藤 一郎 筑波技術大学, 産業技術学部, 教授 (00237182)
|
|---|
| Project Period (FY) |
2015-04-01 – 2019-03-31
|
| Keywords | 遠隔情報保障 / 聴覚障害 / 手話通訳 / 文字通訳（要約筆記） / ウェブアプリケーション / 音声認識 |
|---|
| Outline of Annual Research Achievements |
我々は高等教育を受ける聴覚障害学生支援のために，遠隔から文字通訳（要約筆記）と手話通訳を実施できる遠隔情報保障システムの研究開発を進めてきた．しかし，現地のネットワーク確保や，運用にかかるコストに課題があることが明らかになってきた．本研究では，これらの課題解決を目指し，専用の機材を使用せず，ネットワークの制限を受けにくいウェブベースの遠隔情報保障システムの実現を目指す．
聴覚障害者の主な情報保障には手話通訳と文字通訳がある．平成２７年度はこれらの通訳を遠隔からウェブベースで行うためのプロトタイプシステムの検討と試作を行った．具体的には，遠隔情報保障の機能をウェブサーバ上に実装し，ウェブブラウザのみで現場の映像と音声の送受信，通訳に必要なリソースの共有，通訳の提供と利用ができるプロトタイプシステムの構築を行った．
文字通訳については，これまで開発してきたウェブベース遠隔文字通訳システムに，新たに音声認識を導入した．また，従来の文字通訳ではプレーンテキストによる通訳が基本であったが，数式や図などを含めた通訳を可能にするために，リッチテキストが扱えるようにシステム改修を行っている．今後は新たに追加した機能の評価を行う予定である．さらに，新システムの開発と並行して，現システムを関係団体に利用してもらい，運用面や安定性の課題改善の検討を重ねた．
手話通訳については，映像による通信が多く，ネットワーク通信速度の影響を受けやすい．そこで，本研究では通信量を減らすために，身体のＣＧモデルに対して顔と手指を実写で合成したハイブリッド手話表現を考案し，ウェブブラウザで送受信できるシステムを試作した．実写映像の転送はモーションJPEGで実装したが，より圧縮率の高いエンコード法を利用し通信効率を改善する．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成２７年度は，ウェブブラウザ間で文字や画像データ，ファイル共有が可能，かつ音声と映像でコミュニケーション可能なウェブアプリケーションを作成し，実行速度や通信速度，信頼性などについて性能評価を行うことを目的として研究を進めた．
まず，文字通訳に必要な文字や画像データ，音声の通信が可能なウェブアプリケーションシステムを構築した．従来の日本語の文字通訳では，複数の文字入力者が互いに協調しながら音声から字幕データを入力する連係入力という方法がとられることが多い．本システムでは，サーバに接続したブラウザ間で，連係入力や入力者間のコミュニケーションのためのデータを通信し，共有できるようにした．また，新たにＷｅｂＳｐｅｅｃｈＡＰＩを利用した音声認識を実装し，評価の準備を進めている．そして，構築した遠隔文字通訳システムを関係する文字通訳団体に使用してもらい，システム運用や安定性について検討している．現在，議会のリアルタイム文字通訳での試用や，文字通訳者の練習会での活用を進めている．
次に，手話映像を効率よく送受信するために，ＣＧモデルと実写映像を組み合わせたハイブリッド手話表現を考案し，その実装を行った．手話は手指のかたちや動きだけでなく，顔（表情や頷きなど）がコミュニケーションする上で重要である．ハイブリッド手話表現では，情報が多い手指と顔を実写とし，それ以外の身体をＣＧモデルで表現する．ＣＧモデルをリアルタイムで動かすためのモーションデータの取得は，Ｋｉｎｅｃｔのスケルトントラッキングを利用した．実写映像を手指と顔に限定し，身体をモーションデータのみとすることで，通信量を大幅に削減することができる．試作システムでは，通信状況が良好な状況において，３０ｆｐｓで提示可能であることを確認した．
|
| Strategy for Future Research Activity |
今後は，平成２７年度に得られた成果をもとに，新たなウェブベースの遠隔文字通訳と遠隔手話通訳の検討を進める．
現在までの進捗状況で述べたように，構築したウェブベースの遠隔文字通訳システムについては，新たに音声認識による音声の文字化を実装した．しかし，現状の音声認識では文字化の精度は十分ではない．そこで，入力者が音声認識を効率よく活用する方法と，音声認識で入力者のコミュニケーションをサポートする方法について検討する．前者は，音声認識で誤って出力された文を訂正する方法などの，字幕を生成するために音声認識を活用する方法を検討する．後者については，それぞれ遠隔地にいる入力者間の連絡に音声認識を活用する．現在の入力者間の連絡用の文字チャット機能に音声認識を活用することで，字幕入力時でも連絡しあうことが可能な環境を構築し評価を行いたい．
また，一般的な文字通訳ではプレーンテキストによる通訳が基本だが，数式な図などについてはうまく文字化することができないことが課題であった．そこで，リッチテキストが扱えるようにシステムの改修を行い，文字通訳結果の読みやすさや内容の理解について評価を行う．
一方，ウェブベースの遠隔手話通訳については，ハイブリッド手話表現を考案し，ウェブ上で送受信するところまでは実装したが，システム全体の設計には至っていない．実際現場で行われている手話通訳の状況を調査し，利点と課題を整理したうえでシステムの設計と実装を行う予定である．さらに，単に現場の手話通訳を遠隔で実施できるようにするだけなく，手話通訳の履歴を参照できるような次世代の遠隔手話通訳システムの実現を目指したい．
最終的に，本研究で検討を重ねた遠隔文字通訳と遠隔手話通訳のシステムを統合し，利用者の多様なニーズに応えることができるウェブベースの遠隔情報保障の枠組みの構築を目指す．
|
| Causes of Carryover |
平成２７年度は，ウェブベースの遠隔情報保障システム実現のためのプロトタイプシステムの試作と評価に費やした．
当初の計画では，サーバとクライアントの双方について実装を行い，性能等の調査を行う予定であったが，システムを構築する上で特に重要なサーバ側の機能に重点を置き前倒しで研究を進めた．このため，クライアント用のノートPCとタブレット端末等の導入の費用と，それに伴う実験実施のための費用を，次年度以降に使用することが妥当であると判断した．
|
| Expenditure Plan for Carryover Budget |
平成２８年度はサーバ側の機能だけでなく，クライアント側の機能や利用しやすさについて研究を進める予定である．導入する物品ならびに実験実施に必要な謝金の使用については変更はない．
|
Research Products
(5 results)
-
-
-
[Remarks] 薄葉，インテルステノ・ブダペスト大会でのリアルタイム字幕に関する報告，日本の速記，916:14-20
-
[Remarks] 信濃毎日新聞，一般質問の内容 画面に表示 軽井沢町会が試験運用，2015年6月10日朝刊
-
[Remarks] 信濃毎日新聞，議場発言 その場で文字化 軽井沢町議会 試験運用，2016年2月27日朝刊
