Research on Web-Based Manual Speech-to-Text Captioning using Mobile Devices for Deaf or Hard of Hearing
| Project/Area Number |
19K02996
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 09070:Educational technology-related
|
|---|
| Research Institution | Tsukuba University of Technology |
|---|
Principal Investigator |
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
Fiscal Year 2022: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2021: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2020: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2019: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
|
|---|
| Keywords | 遠隔情報保障 / 聴覚障害 / 文字通訳 / モバイル端末 / ウェブアプリケーション / 音声認識 / ウェブアプリ |
|---|
| Outline of Research at the Start |
教育機関で学ぶ聴覚障害者を支援するために，ノートテイクやPC要約筆記などの音声を文字化して提供する文字通訳が行われている．PCを利用した文字通訳では，タイピングや連係入力などの特殊な技能が文字通訳者に求められ，人材確保や通訳者の養成が課題となっている．本研究では，PCを用いない次世代の文字通訳手法として，モバイル端末文字通訳を提案する．具体的にはタップ，フリック，ピンチなどのモバイル端末特有の操作特性を考慮したインタフェースの考案，音声認識を活用した文字通訳者支援，通訳者間の連係をやさしくするスマート連係入力，文字と画像を融合したハイブリッド文字通訳について研究を行う．
|
| Outline of Final Research Achievements |
I have developed a Web-based system for manual speech-to-text captioning, which is one of information support methods for deaf or hard of hearing (DHH) . Without the need for specialized applications, users and captioners can easily view and generate text caption using only a web browser on a mobile terminal. In addition, by leveraging speech recognition, I have implemented features to support the skills of captioners. Furthermore, a hybrid caption that can insert images into the text caption was implemented, and the user's learning behavior and learning effects were clarified.
As results that were not included in the original plan, we proposed a method for non-professional captioners and a new captioning method for on-demand video content, and examined its effectiveness.
|
| Academic Significance and Societal Importance of the Research Achievements |
本研究は，文字通訳の専門性や，人材確保とその養成の課題を解決するために，モバイル端末の特性を活かした次世代の文字通訳を提案するものである．提案法をcaptiOnline4として実装し，ウェブブラウザのみでの文字通訳を実現した．ネットワークや情報機器の専門知識が不要となり，誰でもオンライン文字通訳を容易に利用できるようになった．音声認識を活用した文字通訳者間の連絡や，聞き溜めのサポートも可能にした．これらの成果によって，文字通訳者に求められる技能の敷居を下げることができ，先に挙げた課題解決の一助になったと考える．captiOnline4は，令和4年度末で320を超える団体に利用するまでに至った．
|
Report
(5 results)
Research Products
(19 results)
-
-
-
-
[Journal Article] Hybrid Caption Including Formula or Figure for Deaf and Hard-of-Hearing Students2021
Author(s)
Wakatsuki Daisuke、Arai Tatsuya、Shionome Takeaki、Tsukuba University of Technology 4-3-15 Amakubo, Tsukuba, Ibaraki 305-8520, Japan、Teikyo University 1-1 Toyosatodai, Utsunomiya, Tochigi 320-8551, Japan
-
Journal Title
Journal of Advanced Computational Intelligence and Intelligent Informatics
Volume: 25
Issue: 2
Pages: 187-194
DOI
NAID
ISSN
1343-0130, 1883-8014
Year and Date
2021-03-20
Related Report
Peer Reviewed / Open Access
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
