2019 Fiscal Year Research-status Report
Research of the system displays dictated text of simultaneous plural voices by plural speakers
| Project/Area Number |
19K21745
|
|---|
| Research Institution | Tsukuba University of Technology |
|---|
Principal Investigator |
鈴木 拓弥 筑波技術大学, 産業技術学部, 准教授 (10553935)
|
|---|
| Project Period (FY) |
2019-06-28 – 2022-03-31
|
| Keywords | 聴覚障害 / 音声認識 / 字幕 / UI / 学習支援 / 教示支援 |
|---|
| Outline of Annual Research Achievements |
令和元年度は本研究の初年度として，以下の事項に取り組んだ．
（1）音声認識を中心とした同時多発音声の字幕提示UIの検討：音声を認識し，字幕提示するためのUIについて検討した．UIについて，主に「1）SkypeやLineなどの従来のチャットソフトウェアに準じたインタフェース」，「2）発言者別に表示領域を区切る，あるいは発言毎にブロック分けするなど発言者の識別が容易となる新たなインタフェース」の二種に分け，UIをデザインした．UIデザインでは，「発言者が識別しやすいこと」，「発言のタイミングが認識しやすいこと」，「発言から字幕が提示されるまでの時間差を短縮すること」，「誤認識やかな漢字変換の誤りを修正しやすいこと」，「口話に不慣れな聴覚障害者が文字入力しやすいこと」の五点を主な要件として検討した．
（2）同時多発音声の字幕提示システムの開発：上記（1）の検討結果を受け，音声認識による字幕提示ソフトウェアのプロトタイプを試作した．試作後，複数の企業及び就労している聴覚障害者に依頼して当事者評価を実施した．当事者評価は複数の健聴者の中に少数の聴覚障害者が混じり会話する場面を模した会議を実施し，開発したUIの有効性について検証した．検証の結果，発言から字幕提示までのタイムラグの短さが高く評価された．一方で変換ボタンデザインの不適格性などのUIの改善点，また，入力中のテキスト共有機能など，多くの要望が示された．次年度，これらを改善する予定である．
（3）次年度予定：（2）において示した機能改善を実施の上，改善したプロトタイプを用い，健聴者と聴覚障害者が混じり会話する場面を模擬した実証実験を実施予定である．
（4）研究成果発表：以上の成果の一部について，Human-Computer Interaction 2020に投稿し，採択された．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
申請時のスケジュールでは，初年度はプロトタイプ開発及び評価を予定しており，予定通り進めることができた．成果の発表は次年度以降を予定していたが，既に一部の成果について海外の学会に投稿し，採録されるなど当初計画以上に進展していると判断した．
|
| Strategy for Future Research Activity |
次年度以降は以下の通り推進する．
・2020年度：2019年度の成果を受けた改良と，実験，発表
・2021年度：2020年度の成果を受けた改良と，再実験，成果のまとめと論文執筆
2020年度は2019年度に得られた知見を反映したプロトタイプの改善を実施し，改善後のソフトウェアを用いて聴覚障害者10名以上（筑波技術大学生），健聴者20名以上（静岡大学生）の協力のもと，実験を実施する．実験では上記協力者を健聴学生数名（2名）と聴覚障害学生1名に分けてこれを1組とし，組毎に試作した複数話者の音声同時字幕提示システムを用い，指定した課題設定に従って実験対象者同士で会話してもらう．会話にはSkype等の遠隔会議システムを用い，画面及び音声を共有する．実験終了後にアンケート調査やヒアリング調査を実施する．所要時間は事前説明や実験後のアンケートへの回答も含め，全体として80～90分前後を予定する．
|
| Causes of Carryover |
2019年度は当初予定以上に順調に進行し，2020年度は当初予定になかった国際学会における発表が行える見込みとなった．これにより2020年度において当初予定にない海外渡航費が必要となり，2019年度執行予定であった一部の予算を他の研究費等から充当するなどして確保し，2020年度において執行することとしたため．
|
