Research of the system displays dictated text of simultaneous plural voices by plural speakers
| Project/Area Number |
19K21745
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 9:Education and related fields
|
|---|
| Research Institution | Tsukuba University of Technology |
|---|
Principal Investigator |
鈴木 拓弥 筑波技術大学, 産業技術学部, 准教授 (10553935)
|
|---|
| Project Period (FY) |
2019-06-28 – 2022-03-31
|
| Project Status |
Granted (Fiscal Year 2020)
|
| Budget Amount *help |
¥4,940,000 (Direct Cost: ¥3,800,000、Indirect Cost: ¥1,140,000)
Fiscal Year 2021: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2020: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2019: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
|
|---|
| Keywords | 聴覚障害 / 音声認識 / 字幕 / UI / 学習支援 / 教示支援 / 情報保障 / 複数話者 / 多人数 / 集団 |
|---|
| Outline of Research at the Start |
聴覚障害者と聴者が混じり集団での学習や会議を行う場での支援は，現時点では聴者に情報発信量を制限させる性質があるものが多い．挙手の上，交代で発言するなどの工夫である．このことが，情報交換の質量を落とすと考えられてしまう場合もあること，また聴覚障害者の心理的負担となり，参加への躊躇など孤立につながりかねないケースも見受けられる．
本研究では，集団において発せられる音声の文字情報化システムを，情報発信量に制限を加えずとも，聴覚障害者が漏れなく内容を取得できるようにするための新たな手法を開発する。また、開発した手法の有効性を検証する．
|
| Outline of Annual Research Achievements |
2020年度は本研究の二年目として，以下の事項に取り組んだ。
（1）初年度開発した「同時多発音声の字幕提示システム（音声認識を中心とした同時多発音声の字幕提示UI）」の改修：昨年度実施した障害当事者に対する評価を元に，UIの改修及び機能の改修を行った．具体的にはデザインの不適格性（誤操作を招く表現）や初期設定項目の追加，エンターで入力確定とするなどの操作性の向上，音声認識時の処理待ちを強制終了する機能，Twitterによるソーシャルログイン機能，短縮コード及びQRコードによる招待機能，入力中のテキストのリアルタイム共有機能等の改修，機能強化を行った．また，開発したシステムを正式なサービスとしてリリースした．開発したシステムは，Universal（普遍），Union（結び）と，Talker（話者）を結合し，UniTalkerと命名した．
（2）同時多発音声の字幕提示システムの検証：正式リリース後，アプリケーションの有効性の評価を行った．評価は与えられた条件に従って聴者と聴覚障害者とで会話する対人コミュニケーション実験（健聴者と聴覚障害者が混じり会話する場面を模擬した実験，実験参加聴覚障害者4名，健聴者12名）と，実験後の質問紙，ヒアリング調査によって行った．
（3）今年度実績の成果発表・公表状況：システムのリリース，HCIInternational2020及び情報処理学会アクセシビリティ研究会第14回研究会における発表，みんなの学会における講演．
（4）次年度予定：（2）において示したの結果を取りまとめ，研究論文として投稿予定である．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
申請時の予定では，2020年度の予定を「2019年度の成果を受けたシステム改良，実験，口頭発表」と予定しており，全て予定通り実施した．実験は聴覚障害者（筑波技術大学生），健聴者（静岡大学生）の協力のもとで実施し，試作した複数話者の音声同時字幕提示システムを用い，指定した課題設定に従って実験対象者同士で会話してもらう会話実験とした．会話にはZoom等の遠隔会議システムを用い，画面及び音声を共有した．既に実験結果の集計，分析を終えており，最終年度の予定である論文執筆に既に着手済である．当初の計画以上に進展していると判断した．
|
| Strategy for Future Research Activity |
次年度は以下の予定で推進する．
2021年度：2020年度の成果を受けたシステムの改良及び，成果のまとめと論文執筆
|
Report
(2 results)
Research Products
(3 results)
