• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Study on Web-based Remote Information Support System for Deaf and Hard of Hearing

Research Project

Project/Area Number 15K01056
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Research Field Educational technology
Research InstitutionTsukuba University of Technology

Principal Investigator

Wakatsuki Daisuke  筑波技術大学, 産業技術学部, 准教授 (50361887)

Co-Investigator(Kenkyū-buntansha) 内藤 一郎  筑波技術大学, 産業技術学部, 教授 (00237182)
Project Period (FY) 2015-04-01 – 2020-03-31
Project Status Completed (Fiscal Year 2019)
Budget Amount *help
¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
Fiscal Year 2018: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2017: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2016: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2015: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Keywords遠隔情報保障 / 聴覚障害 / 手話通訳 / 文字通訳(要約筆記) / ウェブアプリケーション / 音声認識 / クラウドソーシング / タイムライン
Outline of Final Research Achievements

In order to support the social participation for the deaf and hard of hearing people, information support such as speech-to-text interpretation and sign language interpretation has been provided. In recent years, a network-based remote information support system has been studied. However, there were problems in operating the system and preparation of a dedicated network. To solve these problems, we have studied and developed a system that enables remote information support using only a Web browser.
As a result of our study, we developed a remote speech-to-text interpretation system, "captiOnline," which allows users to generate and view captions in real time in a Web browser, and promoted its use. A method to share the information obtained by the users in the type of a timeline to ensure information support was also studied. In addition, we proposed Information Support 2.0, which supported not only information that can be seen and heard, but also knowledge appropriate for the situation.

Academic Significance and Societal Importance of the Research Achievements

従来の遠隔情報保障の課題が解決されたことで,聴覚障害者の遠隔情報保障がより身近なものになった.場所的,時間的な制限が緩和され様々な場面での情報保障が可能になった.研究成果をもとに開発した遠隔文字通訳システムcaptiOnlineは,一般的なPCやスマートフォンとインターネット回線のみで利用できる使い勝手の良さから,多くの団体や企業で採用され実用化されている.また,利用者どうしがタイムラインに投稿し合う相補的な情報保障の検討は,新たな情報保障の形式として期待できるものである.

Report

(6 results)
  • 2019 Annual Research Report   Final Research Report ( PDF )
  • 2018 Research-status Report
  • 2017 Research-status Report
  • 2016 Research-status Report
  • 2015 Research-status Report
  • Research Products

    (44 results)

All 2019 2018 2017 2016 2015 Other

All Journal Article (23 results) (of which Int'l Joint Research: 4 results,  Peer Reviewed: 9 results,  Acknowledgement Compliant: 5 results) Presentation (10 results) (of which Int'l Joint Research: 1 results,  Invited: 1 results) Remarks (11 results)

  • [Journal Article] First Evaluation of Information Support of everyone by everyone for everyone TimeLine (ISeeeTL) applied to Deaf and Hard of Hearing People Watching Sport2019

    • Author(s)
      Rumi Hiraga, Daisuke Wakatsuki, Yuhki Shiraishi, Masayuki Inoue, Yuka Kogo, Yoshiki Fukunaga, Makoto Kobayashi, Manabi Miyagi, Takeaki Shionome, Jianwei Zhang and Atsuyuki Morishima
    • Journal Title

      AAATE2019: The 15 th International Conference of the Association for the Advancement of Assistive Technology in Europe

      Volume: -

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed
  • [Journal Article] クラウドソーシングを用いた手話文字通訳~ライブ動画配信を活用したシステムの試作~2019

    • Author(s)
      田中康平,若月大輔,皆川洋喜,
    • Journal Title

      電子情報通信学会技術研究報告

      Volume: 119(322) Pages: 95-100

    • Related Report
      2019 Annual Research Report
  • [Journal Article] 字幕付き講義場面における聴覚障害学生の視線行動の分析2019

    • Author(s)
      新井達也,若月大輔,塩野目剛亮
    • Journal Title

      電子情報通信学会技術研究報告

      Volume: 119(165) Pages: 35-39

    • Related Report
      2019 Annual Research Report
  • [Journal Article] クラウドソーシングによる手話文字通訳のためのタスクの基礎的検討2019

    • Author(s)
      田中康平,若月大輔,皆川洋喜
    • Journal Title

      電子情報通信学会技術研究報告

      Volume: Vol.118, No.491 Pages: 165-170

    • Related Report
      2018 Research-status Report
  • [Journal Article] 誰もが互いに助け合える情報保障─タイムラインによるリアルスポーツ観戦時の聴覚障害者の情報保障─2019

    • Author(s)
      若月大輔
    • Journal Title

      ヒューマンインタフェース学会誌

      Volume: Vol.21,No.1 Pages: 28-33

    • Related Report
      2018 Research-status Report
  • [Journal Article] A Task Assignment Method Considering Inclusiveness and Activity Degree2018

    • Author(s)
      Hirotaka Hashimoto, Masaki Matsubara, Yuhki Shiraishi, Daisuke Wakatsuki, Jianwei Zhang, and Atsuyuki Morishima
    • Journal Title

      Proceedings of The Second IEEE Workshop on Human-in-the-loop Methods and Human Machine Collaboration in BigData (IEEE HMData2018)

      Volume: N/A Pages: 3498-3503

    • Related Report
      2018 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] A Study on Information Support for Deaf and Hard-of-Hearing People Using Sports Game Timeline2018

    • Author(s)
      Daisuke Wakatsuki, Rumi Hiraga, Makoto Kobayashi, Yuhki Shiraishi, Takeaki Shionome, Jianwei Zhang, Yoshiki Fukunaga, Manabi Miyagi, Atsuyuki Morishima
    • Journal Title

      The 2018 IEEE International Conference on Systems, Man, and Cybernetics(IEEE SMC2018)

      Volume: N/A Pages: 2244-2249

    • Related Report
      2018 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] A Preliminary Observation on the Effect of Visual Information in Learning Environmental Sounds for Deaf and Hard of Hearing People2018

    • Author(s)
      Yuu Kato, Rumi Hiraga, Daisuke Wakatsuki, Keiichi Yasu
    • Journal Title

      Computers Helping People with Special Needs - 16th International Conference (ICCHP 2018) Proceedings, Part I

      Volume: N/A Pages: 183-186

    • Related Report
      2018 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Skill-and-Stress-Aware Assignment of Crowd-Worker Groups to Task Streams2018

    • Author(s)
      Katsumi Kumai, Masaki Matsubara, Yuhki Shiraishi, Daisuke Wakatsuki, Jianwei Zhang, Takeaki Shionome, Hiroyuki Kitagawa and Atsuyuki Morishima
    • Journal Title

      The sixth AAAI Conference on Human Computation and Crowdsourcing

      Volume: N/A Pages: 88-97

    • Related Report
      2018 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] クラウドソーシングによる字幕情報保障に関する基礎的検討(第3報) ―実況音声の発話内容分類とワーカの入力結果の分析―2018

    • Author(s)
      塩野目剛亮,若月大輔,白石優旗,張建偉,森嶋厚行,平賀瑠美
    • Journal Title

      電子情報通信学会技術研究報告

      Volume: Vol.118, No.180 Pages: 5-10

    • Related Report
      2018 Research-status Report
  • [Journal Article] スポーツ観戦に関するタイムラインを用いた聴覚障害者の情報保障の検討2018

    • Author(s)
      若月大輔, 平賀瑠美, 小林真, 白石優旗, 塩野目剛亮, 張建偉, 福永克己, 宮城愛美, 森嶋厚行
    • Journal Title

      信学技報

      Volume: 117(502) Pages: 109-114

    • Related Report
      2017 Research-status Report
  • [Journal Article] 聴覚障害児を対象とした環境音学習のための音響特徴量の可視化に関する基礎的検討2018

    • Author(s)
      加藤優, 平賀瑠美, 若月大輔, 安啓一
    • Journal Title

      情報処理学会研究報告アクセシビリティ(AAC)

      Volume: 2018-AAC-6 Pages: 1-4

    • Related Report
      2017 Research-status Report
  • [Journal Article] Development of Web-Based Remote Speech-to-Text Interpretation System captiOnline2017

    • Author(s)
      Daisuke Wakatsuki, Nobuko Kato, Takeaki Shionome, Sumihiro Kawano, Tomoyuki Nishioka and Ichiro Naito
    • Journal Title

      Journal of Advanced Computational Intelligence and Intelligent Informatics

      Volume: 21 Issue: 2 Pages: 310-320

    • DOI

      10.20965/jaciii.2017.p0310

    • NAID

      130007520115

    • ISSN
      1343-0130, 1883-8014
    • Year and Date
      2017-03-20
    • Related Report
      2016 Research-status Report
    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] Group rotation management in real-time crowdsourcing2017

    • Author(s)
      Kumai Katsumi、Zhang Jianwei、Shiraishi Yuhki、Wakatsuki Daisuke、Kitagawa Hiroyuki、Morishima Atsuyuki
    • Journal Title

      Proc. 19th International Conference on Information Integration and Web-based Applications & Services (iiWAS 2017)

      Volume: - Pages: 23-31

    • DOI

      10.1145/3151759.3151767

    • Related Report
      2017 Research-status Report
    • Peer Reviewed
  • [Journal Article] Complement of incomplete task results for real-time crowdsourcing interpretation2017

    • Author(s)
      Shionome Takeaki、Hashimoto Hirotaka、Zhang Jianwei、Shiraishi Yuhki、Wakatsuki Daisuke、Seki Yohei、Morishima Atsuyuki
    • Journal Title

      Proceedings of the 21th International Conference on Asian Language Processing (IALP 2017)

      Volume: - Pages: 359

    • DOI

      10.1109/ialp.2017.8300617

    • Related Report
      2017 Research-status Report
    • Peer Reviewed
  • [Journal Article] 聴覚障害者に対する災害情報伝達に関する基礎的検討(第2報)‐筑波技術大学学生寄宿舎の防災訓練を対象とした実験‐2017

    • Author(s)
      若月大輔, 倉田成人
    • Journal Title

      信学技報

      Volume: 117(188) Pages: 39-44

    • Related Report
      2017 Research-status Report
  • [Journal Article] 生活・社会アクセシビリティ~デフ・リケジョ~2017

    • Author(s)
      加藤優, 中原夕夏, 赤間怜菜, 西山小百合, 小林なな恵, 平井見奈, 平賀瑠美, 加藤伸子, 若月大輔, 大塚和彦
    • Journal Title

      情報処理学会研究報告アクセシビリティ(AAC)

      Volume: 2017-AAC-5 Pages: 39-44

    • Related Report
      2017 Research-status Report
  • [Journal Article] 聴覚障害者の環境音学習における視覚情報の効果検証2017

    • Author(s)
      加藤優, 平賀瑠美, 若月大輔, 松原正樹, 寺澤洋子
    • Journal Title

      情報処理学会研究報告アクセシビリティ(AAC)

      Volume: 2017-AAC-4 Pages: 1-5

    • Related Report
      2017 Research-status Report
  • [Journal Article] クラウドソーシングによる字幕情報保障に関する基礎的検討(第2報) ―音声情報と入力・送出文との対応,および個人の入力行動分析―2017

    • Author(s)
      塩野目剛亮, 若月大輔, 白石優旗, 張建偉, 森嶋厚行, 平賀瑠美
    • Journal Title

      信学技法

      Volume: 117(66) Pages: 57-62

    • NAID

      40021259989

    • Related Report
      2017 Research-status Report
  • [Journal Article] Crowdsourced Real-Time Captioning of Sign Language by Deaf and Hard-of-Hearing People2017

    • Author(s)
      J. Zhang, Y. Shiraishi, D. Wakatsuki, K. Kumai and A. Morishima
    • Journal Title

      International Journal of Pervasive Computing and Communications (IJPCC)

      Volume: Vol.13, issue.1 Issue: 1 Pages: 2-25

    • DOI

      10.1108/ijpcc-02-2017-0014

    • Related Report
      2016 Research-status Report
    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] 映像に付与された字幕の定量評価に関する検討2017

    • Author(s)
      田中宏樹,若月大輔
    • Journal Title

      電子情報通信学会技術研究報告

      Volume: Vol.116, No.519 Pages: 49-54

    • Related Report
      2016 Research-status Report
    • Acknowledgement Compliant
  • [Journal Article] クラウドソーシングによる字幕情報保障に関する基礎的検討ーウェブベース遠隔文字通訳システムcaptiOnlineスマートフォン版の開発ー2017

    • Author(s)
      塩野目剛亮,若月大輔,白石優旗,張建偉,森嶋厚行,平賀瑠美
    • Journal Title

      電子情報通信学会技術研究報告

      Volume: Vol.116, No.519 Pages: 91-95

    • Related Report
      2016 Research-status Report
    • Acknowledgement Compliant
  • [Journal Article] ウェブベース遠隔手話通訳のための手話映像生成に関する基礎的検討2016

    • Author(s)
      若月大輔
    • Journal Title

      筑波技術大学テクノレポート

      Volume: Vol.24、No.1 Pages: 100-101

    • NAID

      120005896038

    • Related Report
      2016 Research-status Report
    • Acknowledgement Compliant
  • [Presentation] ISeee: パラスポーツにおける情報保障2018

    • Author(s)
      平賀瑠美, 若月大輔, 小林真, 白石優旗, 塩野目剛亮, 張建偉, 福永克己, 宮城愛美, 森嶋厚行
    • Organizer
      電子情報通信学会2018年総合大会
    • Related Report
      2017 Research-status Report
  • [Presentation] 聴覚障害者のためのスポーツ観戦時の情報保障の基礎的検討2018

    • Author(s)
      若月大輔, 平賀瑠美, 小林真, 白石優旗, 塩野目剛亮, 張建偉, 福永克己, 宮城愛美, 森嶋厚行
    • Organizer
      電子情報通信学会2018年総合大会
    • Related Report
      2017 Research-status Report
  • [Presentation] スポーツ観戦時の視覚障害者に対する情報支援2018

    • Author(s)
      小林真, 平賀瑠美, 若月大輔, 福永克己, 張建偉, 塩野目剛亮, 宮城愛美, 森嶋厚行, 白石優旗
    • Organizer
      電子情報通信学会2018年総合大会
    • Related Report
      2017 Research-status Report
  • [Presentation] クラウドワーカの能力とインクルージョン性を考慮したタスク割当て手法2018

    • Author(s)
      橋本大空, 松原正樹, 白石優旗, 張建偉, 若月大輔, 森嶋厚行
    • Organizer
      第10回データ工学と情報マネジメントに関するフォーラム(DEIM2018)
    • Related Report
      2017 Research-status Report
  • [Presentation] クラウドソーシング型情報保障におけるタスク分割の基礎的検討2017

    • Author(s)
      若月大輔, 張建偉, 白石優旗, 熊井克仁, 森嶋厚行
    • Organizer
      2017年電子情報通信学会総合大会
    • Place of Presentation
      名古屋市
    • Year and Date
      2017-03-22
    • Related Report
      2016 Research-status Report
  • [Presentation] 通訳クラウドソーシングにおける不完全なタスク結果の統合手法2017

    • Author(s)
      橋本大空, 白石優旗, 張建偉, 若月大輔, 関洋平, 森嶋厚行
    • Organizer
      情報処理学会第79回全国大会
    • Place of Presentation
      名古屋市
    • Year and Date
      2017-03-16
    • Related Report
      2016 Research-status Report
  • [Presentation] ウェブベース遠隔文字通訳システム『captiOnline』2016

    • Author(s)
      若月大輔
    • Organizer
      第12回日本聴覚障害学生高等教育支援シンポジウム
    • Place of Presentation
      つくば市
    • Year and Date
      2016-09-08
    • Related Report
      2016 Research-status Report
  • [Presentation] Improvement of the Educational Environment of Hearing Impaired Students Using a Web-Based Remote Speech-to-Text Caption System2016

    • Author(s)
      D.Wakatsuki, N.Kato, T.Shionome, S.Kawano, T.Nishioka and I.Naito
    • Organizer
      12th Asia Pacific Congress on Deafness 2016
    • Place of Presentation
      New Zealand
    • Year and Date
      2016-07-07
    • Related Report
      2016 Research-status Report
    • Int'l Joint Research
  • [Presentation] ウェブを活用した聴覚障害者のための遠隔情報保障2016

    • Author(s)
      若月大輔
    • Organizer
      聴覚障害者のための字幕付与技術シンポジウム2016
    • Place of Presentation
      京都市
    • Related Report
      2016 Research-status Report
    • Invited
  • [Presentation] ウェブベース遠隔文字通訳システム『captiOnline』2015

    • Author(s)
      若月大輔
    • Organizer
      日本聴覚障害学生高等教育支援シンポジウム
    • Place of Presentation
      クローバープラザ(福岡県春日市)
    • Year and Date
      2015-12-19
    • Related Report
      2015 Research-status Report
  • [Remarks] スポーツ観戦における「ISeee TimeLine」実験を実施(いきいき茨城ゆめ大会リハーサル大会)

    • URL

      https://www.tsukuba-tech.ac.jp/activity/23632/ntut_2019061201.html

    • Related Report
      2019 Annual Research Report
  • [Remarks] スポーツ観戦における「Iseee TimeLine」実験を実施(いきいき茨城ゆめ国体デモ競技)

    • URL

      https://www.tsukuba-tech.ac.jp/activity/23632/ntut_2019102101.html

    • Related Report
      2019 Annual Research Report
  • [Remarks] スポーツ観戦における「ISeee TimeLine」実験を実施(ブラインドサッカー)

    • URL

      https://www.tsukuba-tech.ac.jp/activity/23632/hi_2019122703.html

    • Related Report
      2019 Annual Research Report
  • [Remarks] スポーツ観戦における「ISeee TimeLine」実験を実施(卓球バレー)

    • URL

      https://www.tsukuba-tech.ac.jp/activity/23632/ntut_2020022101.html

    • Related Report
      2019 Annual Research Report
  • [Remarks] スポーツ観戦における「ISeee TimeLine」実験を実施(ボッチャ)

    • URL

      https://www.tsukuba-tech.ac.jp/activity/23632/ntut_2020022102.html

    • Related Report
      2019 Annual Research Report
  • [Remarks] 聴覚障害者に観戦アプリ 茨城国体で実証試験:地域:読売新聞オンライン

    • URL

      https://www.yomiuri.co.jp/local/ibaraki/news/20190323-OYTNT50121/

    • Related Report
      2018 Research-status Report
  • [Remarks] ウェブを活用した聴覚障害者のための情報保障実験サイト

    • URL

      https://capti.info.a.tsukuba-tech.ac.jp/

    • Related Report
      2017 Research-status Report 2016 Research-status Report
  • [Remarks] ウェブを活用した聴覚障害者のための情報保障実験サイト

    • URL

      http://capti.info.a.tsukuba-tech.ac.jp/

    • Related Report
      2015 Research-status Report
  • [Remarks] 薄葉,インテルステノ・ブダペスト大会でのリアルタイム字幕に関する報告,日本の速記,916:14-20

    • Related Report
      2015 Research-status Report
  • [Remarks] 信濃毎日新聞,一般質問の内容 画面に表示 軽井沢町会が試験運用,2015年6月10日朝刊

    • Related Report
      2015 Research-status Report
  • [Remarks] 信濃毎日新聞,議場発言 その場で文字化 軽井沢町議会 試験運用,2016年2月27日朝刊

    • Related Report
      2015 Research-status Report

URL: 

Published: 2015-04-16   Modified: 2021-02-19  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi