| 研究課題/領域番号 |
19K02996
|
|---|
| 研究機関 | 筑波技術大学 |
|---|
研究代表者 |
若月 大輔 筑波技術大学, 産業技術学部, 教授 (50361887)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2023-03-31
|
| キーワード | 遠隔情報保障 / 聴覚障害 / 文字通訳 / モバイル端末 / ウェブアプリケーション / 音声認識 |
|---|
| 研究実績の概要 |
本研究で得られた知見をもとに，ウェブベース文字通訳システムcaptiOnlineを更新して，その成果を社会に還元する取り組みをおこなった．2021年3月現在，企業や大学，自治体など200を超える多くの団体にcaptiOnlineを提供して，様々な現場で活用していただいている．利用団体からのフィードバックをもとに，より使いやすいシステムになるよう改修を進めた．
また，従来の文字通訳による文字のみの通常字幕と，通常字幕に数式や図表を挿入したハイブリッド字幕が付与された模擬授業の実験結果を分析した．ハイブリッド字幕は通常字幕と同等以上の学習効果を見込めることや，一般的な字幕付きの授業における字幕注視の割合や，字幕と授業コンテンツ間の視線行動の特徴を明らかにした．これらの字幕利用者の学習効果と視線行動についての研究成果を，国際会議や論文で公表した．
さらに，2019年度より検討を開始したタイムライン形式での文字通訳システムについて，成果にもとづきシステムの改修をおこなった．リアルイベント等を対象にして，一般の参加者各々がもつ，あるいはその場で得た情報をタイムライン形式で共有する形式の新たな情報保障システムであり，オンラインイベントを中心として継続して実証実験を重ねている．また，同様に検討を進めている手話を文字通訳するシステムも改修をおこなった．同システムは，手話映像を短い区間に分けて，クラウドソーシングでワーカに手話を文字化してもらい，統合して字幕化する方法を採用している．音声の文字通訳で一般的な連係入力の方法を導入したことで，ワーカどうしが連係できるようになり字幕の欠落や重複をより少なくすることができた．これらの成果も国際会議などで公表した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
本研究では，聴覚障害者のサポートを目的として，モバイル端末による情報保障方法について研究を進めている．2019年度の研究開始当初から，文字通訳を行う専門家の入力インタフェースの効率化や改善を目指しているが，新たに，文字通訳の専門家以外が文字通訳に携わる方法についての検討も開始している．
これまで主に，専門家の文字通訳の改善手段として，「この式」や「あの図」といった指示語をともなう文字通訳を改善する方法を検討してきた．従来の文字通訳による文字のみの通常字幕に対して，指示語部分に対応する数式や図表の画像を挿入したハイブリッド字幕提案し，その学習効果や聴覚障害者の字幕に対する視線行動について分析を重ねてきた．現在は，文字通訳に画像を効率良く挿入する方法について検討している．
文字通訳システムをウェブ上に実装，つまりウェブアプリにすることで，スマートフォン等のモバイル端末での文字通訳の可能性が出てきた．これまで，専門家ではない人によるモバイル端末を用いた文字通訳について検討した．これは，参加者がもつ，あるいはその場で得た情報を文字や映像，音声としてタイムライン形式で互いに共有することで情報保障を実現する．リアルスポーツイベントやオンラインイベントで実証実験を重ねている．また，手話を読める人による手話の直接的な文字化についても，ウェブベースの手話文字通訳システムを構築して研究を進めている．クラウドソーシングの枠組みで互いに短い手話の文字化をおこなって統合することで文字化をするシステムを構築した．
これらの研究成果を実用できるかたちで社会に還元するのも本研究の目的の1つである．現在，ウェブベース文字通訳システムcaptiOnlineや，タイムライン形式の情報保障システムを公開して好評を得ている．
|
| 今後の研究の推進方策 |
2020年度の研究成果として，字幕に数式や図表の画像を挿入したハイブリッド字幕は，文字のみの通常字幕と比較しても同等以上の学習効果を見込めることが明らかになった．しかし，従来の字幕入力者用インタフェースでは画像を扱うことが想定されておらず，ハイブリッド字幕をリアルタイムに作成することは困難である．対象の図表や数式を効率良く切り取る方法，挿入する方法を提案し，ハイブリッド字幕をリアルタイムに生成できるシステムの構築を目指す．
また，文字通訳の専門家をサポートするために，継続してモバイル端末用の文字通訳インタフェース，ならびに音声認識の活用についても継続して検討する．モバイル端末ではフリック入力など，キーボードの文字入力とは異なるため，それらの特性を活かしたインタフェースの構築を目指す．音声認識は字幕そのものを生成するために使用されることが一般的だが，遠隔環境では困難な入力担当者相互のリアルタイムコミュニケーションや，聞き逃しをサポートするために音声認識を活用することも検討する．
本研究で研究開発したcaptiOnlineやタイムライン形式の情報保障システム，手話文字通訳システムは実験用に構築したものではあるが，必要な人がすぐに実用可能なように今後も研究開発を進める．これまでと同様に，より多くの方に活用していただき，そのフィードバックを元にして本研究を推進していく．
|
| 次年度使用額が生じた理由 |
2020年度は，昨年度構築した基本システムをもとにした実験システムの構築と維持，動作テストおよび研究成果を公表するための準備と論文掲載料に助成金を使用した．
新型コロナウイルス感染症防止のため，対面による実験実施のための経費の使用が困難となり，研究成果の公表のための旅費も不要となったが，旅費についてはオンラインによる発表に対応するために必要な準備にあてた．
次年度使用額については，今年度実施が困難であった実験と分析，成果の公表およびその旅費として使用する予定である．
|
| 備考 |
講演等：◆2021年2月21日 ウェブベース文字通訳システムcaptiOnline-;聴覚障害者の情報保障について考える-，第2回みんなの学会-コミュニケーションを支えるテクノロジー-，◆2020年12月4日 聴覚障害者のための遠隔情報保障の歩みとこれから―ウェブベース遠隔情報保障時代の到来―，情報処理学会アクセシビリティ研究会（AAC）第14回研究会， 他5件
|
