2019 Fiscal Year Research-status Report
聴覚障害者のためのモバイル端末文字通訳システムに関する研究
| Project/Area Number |
19K02996
|
|---|
| Research Institution | Tsukuba University of Technology |
|---|
Principal Investigator |
若月 大輔 筑波技術大学, 産業技術学部, 准教授 (50361887)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 遠隔情報保障 / 聴覚障害 / 文字通訳 / モバイル端末 / ウェブアプリケーション / 音声認識 |
|---|
| Outline of Annual Research Achievements |
研究代表者は，これまでに誰もが手軽に遠隔から聴覚障害者の情報保障ができるように，ウェブベースのリアルタイム遠隔情報保障システムについて研究開発を重ねてきた．その成果の1つとして，遠隔文字通訳システムcaptiOnlineを構築した．同システムでは，文字通訳を担う人はPCを利用することを想定していたが，近年のスマートフォンなどのモバイル端末の急速な普及により，モバイル端末による遠隔文字通訳システムが求められるようになってきた．
2019年度は，captiOnlineを参考にしてモバイル端末文字通訳を実現するための基礎システムの構築を行った．モバイル端末はPCとユーザインタフェースが大きく異なるが，いずれの使用者でもシステムを同時に利用することができるように，画面構成のデザインを検討している．特にモバイル端末は，PCと異なり表示に利用できる画面上の面積が小さいため，必要な機能に優先順位をつけて実装を進めている．
また，情報保障の入力インタフェースとしてモバイル端末のみの利用を想定すると，従来の字幕形式とは異なる形式の文字通訳システムを設計できる．モバイル端末での普及や利用が進んでいるソーシャル・ネットワーキング・サービスで提供されているタイムライン形式での文字通訳を検討した．プロトタイプシステムを構築し，様々なリアルタイムな文字通訳が必要なイベント等で実験を実施した．さらに，手話の内容を文字通訳（以下，手話文字通訳）する方法についても検討した．手話を読める文字通訳者は希少であるため，専門家でなくても手話を読める人がモバイル端末を利用して，クラウドソーシングで文字化を担当できるシステムを試作して実験を実施した．これらの，モバイル端末を利用したタイムライン形式の文字通訳や，クラウドソーシングを活用した文字通訳は次世代の文字通訳として期待できるため，継続して検討を重ねていく．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究代表者がこれまで研究開発を進めてきた，ウェブベース文字通訳システムcaptiOnlineを参考にして，モバイル端末文字通訳システムのベースとなる基礎システムを構築した．モバイル端末のクライアント画面は，一般的なウェブアプリで採用されているHTMLとJavaScriptを採用して実装を進めた．文字通訳はリアルタイムで行われるため，ウェブ上で高速かつ低遅延な通信が可能なWebSocketを採用した．本システムを利用してモバイル端末に適したウェブベース文字通訳および音声認識を活用した文字通訳者支援について実験を行うための準備を進めている．
これまでの文字通訳において連係入力を行う際には，前後間の文を厳密に接続する必要があった．今後，文の重複や多少の抜けがあっても，自然に文を接続できるスマート連係入力の実現を検討するための基礎データとして，captiOnlineによって入力ログの収集を開始している．
また，タイムライン形式の文字通訳と，クラウドソーシングを活用した文字通訳について検討した．前者については，スポーツイベントを中心とした実験を行い，得られた知見を公表した．後者については，手話文字通訳を対象とした適切なインタフェースを模索し，研究成果を公表した．これらは，当初の研究計画に含まれていなかったが，モバイル端末を利用した新たな文字通訳として非常に価値があると考えられるため検討を進めた．
|
| Strategy for Future Research Activity |
2019年度に構築を進めた基礎システムを元に，モバイル端末に適したウェブベース文字通訳に検討する．モバイル端末における入力はタップ，フリック，ピンチなどPCと異なる操作が多いため，それらの特性を考慮した文入力や修正機能を備えたクライアントを試作する．特にフリックやタップによる手動文字入力と，音声入力の相補的入力方法についてもインタフェースを試作し利用しやすさなどについて調査する．
モバイル端末の文字通訳クライアントを設計すると同時に，音声認識による文字通訳者支援についても検討する．文字化を担当する人が聞き逃しや聞き溜めができなかったときに，音声認識結果から重要な用語を抽出して提示することによって，参照したり入力の補助に利用したりできるかどうかを調査する．
2019年度はモバイル端末を利用した文字通訳に大きく関連する研究として，タイムライン形式の文字通訳と，クラウドソーシングを活用した文字通訳について検討を進めた．これらは，今後モバイル端末文字通訳に適した方法になる可能性があるため，次年度以降も継続して研究を進めて行く予定である．
|
| Causes of Carryover |
2019年度は本研究を進める上で重要な基本システムの構築に時間と助成金を費やした．2020年度は当該システムを元にした実験システムの構築とこれを使用した実験に必要な経費，ならびに成果の公表に必要な投稿や掲載にかかる費用，必要な旅費について助成金を使用する計画である．
|
