• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2016 年度 実施状況報告書

聴覚障害学生支援のためのウェブベース遠隔情報保障システムに関する研究

研究課題

研究課題/領域番号 15K01056
研究機関筑波技術大学

研究代表者

若月 大輔  筑波技術大学, 産業技術学部, 准教授 (50361887)

研究分担者 内藤 一郎  筑波技術大学, 産業技術学部, 教授 (00237182)
研究期間 (年度) 2015-04-01 – 2019-03-31
キーワード遠隔情報保障 / 聴覚障害 / 手話通訳 / 文字通訳(要約筆記) / ウェブアプリケーション / 音声認識 / クラウドソーシング
研究実績の概要

我々は高等教育を受ける聴覚障害学生支援のために,遠隔から文字通訳(要約筆記)と手話通訳を実施できる遠隔情報保障システムの研究開発を進めてきた.しかし,現地のネットワーク確保や,運用にかかるコストに課題があることが明らかになってきた.本研究では,これらの課題解決を目指し,専用の機材を使用せず,ネットワークの制限を受けにくいウェブベースの遠隔情報保障システムの実現を目指す.
平成28年度は昨年度に作成したウェブベース遠隔文字通訳システムcaptiOnlineを改修し,実用的な場面で活用できるよう機能を充実させた.特に,遠隔情報保障で重要な音声を,より高品質に伝送するためのコーデックを採用し,低帯域なネットワーク環境でも対応できるようにした.また,次世代の情報保障を実現する機能として,文章中に画像を容易に挿入できる機能を実装し,数式や図表を含めた文字通訳を実現できるようにした.しかし,今年度は評価するには至らなかったため,次年度以降に行なう予定である.
当初の計画に従って,実環境におけるテストを兼ねて,本研究に関連する成果の公表やデモンストレーションの際に,本システムを利用して通訳者と利用者のデータを収集してまとめた.また,システムの研究開発と並行して,本システムを関係団体や企業に利用してもらい,安定性や実用的な機能について検討を重ねている.現在,企業や大学などの文字通訳が必要な現場で活用されている.
平成28年度の障害者差別解消法施行にともない,情報保障の需要は増加するものと考えられる.本システムは文字通訳の専門家が利用するシステムとして設計したが,専門家以外の人々も携わることができる方法の検討を行った.具体的には,音声認識と人とが協調できる方法,クラウドソーシングの考え方を導入した不特定多数の人が文字通訳に参加できる方法である.次年度以降も引き続きこれらの検討を進める予定である.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

平成28年度は,ウェブベース遠隔文字通訳システムcaptiOnlineの音声伝達機能,音声認識機能の改修ならびに数式などを挿入するための機能を実装した.また,本システムで文字通訳の利用者と通訳者のデータを収集してまとめ,成果を公表した.従来システムと比較して準備が容易であり,文字通訳に必要な機能も十分に備えていることがわかった.
音声伝達機能については,旧システムではノイズなどにより聞き取りにくいことがあるといった問題があったため,Opusコーデックを採用した.同コーデックは主にインターネット上で対話的な用途で利用され,遠隔情報保障用の音声伝達に適している.これにより,より低帯域なネットワークで高品質な音声を伝達できるようになった.
音声認識についてはブラウザ上で利用できる音声認識機能のWebSpeechAPIを利用して実装した.認識結果をそのまま文字通訳として提示する機能を実装したが,情報の正確性が重要な教育現場において,修正なしで利用するのは困難であった.そこで,送出前後に訂正できる機能を実装した.一方,遠隔情報保障においては通訳者同士の意思の疎通が難しい.文字通訳を行っている状況で音声や文字チャットで連絡し合うのは困難であるため,音声認識を利用して連絡できる機能を実装した.また,次世代の情報保障を実現する機能として,数式や図表の画像を挿入できる機能を実装した.同機能の評価実験や,挿入する数式や図表の画像をどのように取得,あるいは作成するかの課題については今後の検討課題である.
当初の計画にはなかったが,専門家以外の人々も携わることができる機能の検討を行った.クラウドソーシングの考え方を導入した不特定多数の人が文字通訳に参加できる状況を想定しcaptiOnlineによる文字通訳実験を行い,通訳者の特性について分析を行った.今後は必要な機能について検討を進めたい.

今後の研究の推進方策

次年度以降は,平成28年度までに改修したシステムと,得られた成果をもとに,次世代のウェブベース遠隔情報保障の実現に向けた検討を進める.
音声認識機能で文字化した結果を,そのまま文字通訳結果として利用することは困難であることを確認した.そのため,得られた認識結果の文字列を送出前後で容易に訂正できる機能を実装した.また,入力者間のコミュニケーションのための文字チャットを音声認識で行える機能も実装した.次年度以降はこれらの実装した機能について評価を行なう.
一般的なプレーンテキストによる文字通訳では,数式や図表などをわかりやすく文字化することが困難であった.そこで,システムを改修してリッチテキストを扱えるようにし,文字の修飾や画像を挿入できる機能を実装した.今年度は機能の評価に至らなかったため,次年度は数式や図表を含んだ文字通訳の実験を行ない,読みやすさや理解度について検討する.
これまで情報保障は専門家のみが行なうものとして,本システムの研究開発を行ってきた.しかし,文字通訳の場合は,音声認識の結果の修正や,クラウドソーシングによる不特定多数による文字化など,一人ひとりの負担を軽減できる可能性がある.今後は専門家でなくても情報保障が可能な方法についても検討したい.
次世代の情報保障システムの構築にあたって,ウェブベース遠隔手話通訳の研究開発も大きな目的の1つである.手話通訳を行なうためにはウェブ上で映像を効率よく配信,共有する方法が必須である.様々な検討とテストを重ねたが,特筆すべき成果は得られなかった.平成27年度のハイブリッド手話表現も含めて手話映像の配信方法を含めて最適な方法を提案し,システム全体の設計を行なう.
最終的に,本研究で検討を重ねた遠隔文字通訳と遠隔手話通訳のシステムを統合し,多様なニーズに応えることができる次世代のウェブベース遠隔情報保障の実現を目指す.

次年度使用額が生じた理由

平成28年度は,昨年度に試作したプロトタイプシステムをもとにして,ウェブベース遠隔文字通訳システムcaptiOnlineの構築と機能改修,評価実験および成果の公表に助成金を使用した.
本システムに新たに実装した音声認識と数式画像挿入など機能の評価実験を行なう予定であった.しかし,機能の実装に時間を要してしまい今年度実施するには至らず,本件についての人件費と謝金の使用がなかった.また,研究開発を進めてきたウェブベース遠隔文字通訳システムの成果を海外の学会にて公表したが,研究代表者が現地へ行くことができず本件の旅費の使用がなかった.未使用分の旅費の一部は英文ジャーナルの投稿料として使用した.

次年度使用額の使用計画

平成29年度は今年度実装した機能の評価実験の人件費・謝金に使用する計画である.また,本研究の成果を効果的に公表するために,本研究に関連が深い国内外の学会などにおける発表や講演のために旅費を使用する.当初から計画されていた導入する物品ならびに実験実施に必要な人件費・謝金の使用については変更はない.

備考

2017年4月20日 NHKグローバルメディアサービス勉強会「聴覚障害者のための遠隔文字通訳」(東京)/2016年7月11日 夢ナビLIVE2016 学問の講義ライブ 「伝わる! 伝える! 聴覚障がい者支援技術」(東京)/2016年7月11日 夢ナビLIVE2016 夢ナビTALK 「伝わる!伝える!聴覚障がい者の情報保障」(東京)
上記の講演などで,本研究成果の一部を公表した.

  • 研究成果

    (11件)

すべて 2017 2016 その他

すべて 雑誌論文 (5件) (うち査読あり 2件、 謝辞記載あり 5件) 学会発表 (5件) (うち国際学会 1件、 招待講演 1件) 備考 (1件)

  • [雑誌論文] Development of Web-Based Remote Speech-to-Text Interpretation System captiOnline2017

    • 著者名/発表者名
      Daisuke Wakatsuki, Nobuko Kato, Takeaki Shionome, Sumihiro Kawano, Tomoyuki Nishioka and Ichiro Naito
    • 雑誌名

      Journal of Advanced Computational Intelligence and Intelligent Informatics (JACIII)

      巻: Vol.21, No.2 ページ: 310-320

    • DOI

      10.20965/jaciii.2017.p0310

    • 査読あり / 謝辞記載あり
  • [雑誌論文] Crowdsourced Real-Time Captioning of Sign Language by Deaf and Hard-of-Hearing People2017

    • 著者名/発表者名
      J. Zhang, Y. Shiraishi, D. Wakatsuki, K. Kumai and A. Morishima
    • 雑誌名

      International Journal of Pervasive Computing and Communications (IJPCC)

      巻: Vol.13, issue.1 ページ: 印刷中

    • DOI

      10.1108/IJPCC-02-2017-0014

    • 査読あり / 謝辞記載あり
  • [雑誌論文] 映像に付与された字幕の定量評価に関する検討2017

    • 著者名/発表者名
      田中宏樹,若月大輔
    • 雑誌名

      電子情報通信学会技術研究報告

      巻: Vol.116, No.519 ページ: 49-54

    • 謝辞記載あり
  • [雑誌論文] クラウドソーシングによる字幕情報保障に関する基礎的検討ーウェブベース遠隔文字通訳システムcaptiOnlineスマートフォン版の開発ー2017

    • 著者名/発表者名
      塩野目剛亮,若月大輔,白石優旗,張建偉,森嶋厚行,平賀瑠美
    • 雑誌名

      電子情報通信学会技術研究報告

      巻: Vol.116, No.519 ページ: 91-95

    • 謝辞記載あり
  • [雑誌論文] ウェブベース遠隔手話通訳のための手話映像生成に関する基礎的検討2016

    • 著者名/発表者名
      若月大輔
    • 雑誌名

      筑波技術大学テクノレポート

      巻: Vol.24、No.1 ページ: 100-101

    • 謝辞記載あり
  • [学会発表] クラウドソーシング型情報保障におけるタスク分割の基礎的検討2017

    • 著者名/発表者名
      若月大輔, 張建偉, 白石優旗, 熊井克仁, 森嶋厚行
    • 学会等名
      2017年電子情報通信学会総合大会
    • 発表場所
      名古屋市
    • 年月日
      2017-03-22 – 2017-03-25
  • [学会発表] 通訳クラウドソーシングにおける不完全なタスク結果の統合手法2017

    • 著者名/発表者名
      橋本大空, 白石優旗, 張建偉, 若月大輔, 関洋平, 森嶋厚行
    • 学会等名
      情報処理学会第79回全国大会
    • 発表場所
      名古屋市
    • 年月日
      2017-03-16 – 2017-03-18
  • [学会発表] ウェブを活用した聴覚障害者のための遠隔情報保障2016

    • 著者名/発表者名
      若月大輔
    • 学会等名
      聴覚障害者のための字幕付与技術シンポジウム2016
    • 発表場所
      京都市
    • 年月日
      2016-11-12 – 2016-11-12
    • 招待講演
  • [学会発表] ウェブベース遠隔文字通訳システム『captiOnline』2016

    • 著者名/発表者名
      若月大輔
    • 学会等名
      第12回日本聴覚障害学生高等教育支援シンポジウム
    • 発表場所
      つくば市
    • 年月日
      2016-09-08 – 2016-09-09
  • [学会発表] Improvement of the Educational Environment of Hearing Impaired Students Using a Web-Based Remote Speech-to-Text Caption System2016

    • 著者名/発表者名
      D.Wakatsuki, N.Kato, T.Shionome, S.Kawano, T.Nishioka and I.Naito
    • 学会等名
      12th Asia Pacific Congress on Deafness 2016
    • 発表場所
      New Zealand
    • 年月日
      2016-07-07 – 2016-07-09
    • 国際学会
  • [備考] ウェブを活用した聴覚障害者のための情報保障実験サイト

    • URL

      https://capti.info.a.tsukuba-tech.ac.jp/

URL: 

公開日: 2018-01-16  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi