| 研究課題/領域番号 |
19K02996
|
|---|
| 研究機関 | 筑波技術大学 |
|---|
研究代表者 |
若月 大輔 筑波技術大学, 産業技術学部, 教授 (50361887)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2023-03-31
|
| キーワード | 遠隔情報保障 / 聴覚障害 / 文字通訳 / モバイル端末 / ウェブアプリケーション / 音声認識 |
|---|
| 研究実績の概要 |
本研究で得られた知見をもとに，ウェブベース文字通訳システムcaptiOnlineを更新し，成果を社会還元する取り組みを継続した．さらに，利用者からのフィードバックを多く取り入れ，より利便性の高いシステムになるよう改善を重ねた．2022年3月現在，300を超える大学や自治体，企業，NPO法人などの団体に対してcaptiOnlineを提供している．近年新型コロナ感染症対策として，オンライン化されたイベントや授業，会議など，従来の対面での文字通訳が困難な場面においても，captiOnlineを活用することにより遠隔で文字通訳が可能になったと好評を得ている．
2020年度は，一般的な文字のみの字幕に数式や図表を挿入したハイブリッド字幕について，有効性が見込めることを明らかにした．2021年度は字幕へ図表を適切かつ容易に挿入する方法を検討するために，captiOnlineに画像等を入力するためのインタフェースを実装した．ローカルに保存された画像や，インターネットの画像などを，ファイル選択やドラッグアンドドロップで追加し，字幕内に埋め込むことができる機能を追加した．現在，利用者に同機能を公開して，使用感や意見などを広く集めている．
対面でのコミュニケーションが困難になった近年では，テレビ会議システムなどを利用したライブ型の方法だけでなく，動画配信を利用したオンデマンド型の方法も急速に普及してきた．聴覚障害者にとってオンデマンド型の映像を利用する際，情報保障として字幕が重要になる．しかし，字幕の1文が長かったり，表示時間が適切でなかったりした際に，読み落としや読み間違いが発生し，内容の理解が困難なことがある．そこで本研究では，新たに字幕を構成する文をリスト化して，それらの文に適切な映像や静止画を付与する方法を提案し，試作したシステムによる研究成果を公表した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
2022年度は，さらに増加したcaptiOnlineの利用者からのフィードバックをもとに，これまで本研究で検討を重ねてきた様々な機能をアップデートし利便性を高めた．また，ハイブリッド字幕のインタフェース実装と，新たなモバイル端末文字通訳としてオンデマンド型の映像コンテンツに適した方法を提案した．
字幕に図表を挿入したハイブリッド字幕の効果について検討した2020年度の研究結果をもとに，2021年度はそのインタフェースの実装を中心に研究を進めた．新たに画像を入力できる機能（画像パネル）を作成し，字幕の適切な場所にそれらの画像を挿入できるようにcaptiOnlineを改修した．画像パネルには，PCに保存されている画像や，ブラウザで表示されるインターネット上の画像をドラッグアンドドロップ，あるいはクリップボードにコピーした画像をペーストできるようにした．画像パネルに入力された画像をクリックすることで，容易に挿入することができる．captiOnlineに備わっている字幕文を訂正する機能（文訂正パネル）と連携させることで，任意の場所へ画像を挿入できるようにした．画像パネルの機能をcaptiOnlineの利用者に広く公開して，フィードバックを得て検討を重ねた．
新たに，オンデマンド型の映像コンテンツに適した字幕の提供方法として，字幕を構成する文をリスト化して，各字幕文に対応した映像や静止画を付与する方法を提案した．従来の字幕は，映像の再生時間に合わせて，字幕文の表示タイミングや表示時間を設定して，映像に付与されるのが一般的であった．本研究ではこの発想を逆転して，字幕をメインのコンテンツと考え，映像や静止画が各字幕文に付与される方法を考案した．利用者が字幕文を読み進めることで映像や静止画を適切に切り替える，ウェブアプリケーションcaptioNoveLを試作し，成果を公表した．
|
| 今後の研究の推進方策 |
2021年度は，これまで構築してきたcaptiOnlineに画像パネルを新たに設け，ハイブリッド字幕を作成するためのインタフェースを実装した．今後は，利用者からの意見を取り入れて，画像入力インタフェースの改良と評価をおこなう予定である．また，ハイブリッド字幕における画像の挿入位置について，現在は画像を右寄せして字幕文を回り込ませる１種類のみの配置となっている．画像の配置方法についても右寄せや，行内の配置など，適した方法を検討したい．
文字通訳の専門家をサポートするために，継続してモバイル端末用の文字通訳インタフェースについて検討する．遠隔で連係入力により文字通訳を実施する場合，わずかな通信遅延により，同じ文を入力するなどの衝突が発生することがある．研究当初の計画通り，このような衝突を防ぐ方法を検討したい．また，近年，音声認識の精度が向上し，文字通訳の現場においても，認識結果のうち誤認識部分を人が修正するような文字通訳の方法も増えてきた．音声認識と人とがうまく連係するような方法も視野にいれて研究を進める．さらに，2021年度に新たに提案した，オンデマンド型コンテンツの文字通訳についても検討を重ね，研究成果の公表につなげたい．
本研究で開発したcaptiOnlineや，タイムライン形式の情報保障システム，手話文字通訳システム，そして新たなcaptioNoveLは，実験用のシステムであるが，必要な人がすぐに実用可能なように構築されている．今後も，実際にシステムを利用している方々からのフィードバックも大切にしながら，研究開発から社会還元を視野にいれた研究を推進していく．
|
| 次年度使用額が生じた理由 |
2021年度は，昨年度構築した基本システムをもとにした実験システムの構築と維持，動作テストおよび研究成果を公表するための準備に助成金を使用した．新型コロナウイルス感染症防止のため，対面による実験実施のための経費の使用が困難となり，研究成果の公表のための旅費も不要となったが，旅費についてはオンラインによる発表に対応するために必要な準備にあてた．次年度使用額については，今年度実施が困難であった実験と分析，成果の公表およびその旅費として使用する予定である．
|
| 備考 |
◆2022年3月3日，captiOnlineワークショップ，チームW・研修センター，オンライン
◆2022年1月17日 オンライン文字通訳提供者向けセミナー─聴覚障がい児童・学生支援─，認定NPO法人長野サマライズ・センター，オンライン
|
