| Project/Area Number |
23K25692
|
|---|
| Project/Area Number (Other) |
23H00995 (2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 09070:Educational technology-related
|
|---|
| Research Institution | Yamato University |
|---|
Principal Investigator |
小林 彰夫 大和大学, 情報学部, 教授 (10741168)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
北岡 教英 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (10333501)
西崎 博光 山梨大学, 大学院総合研究部, 教授 (40362082)
安 啓一 筑波技術大学, 産業技術学部, 准教授 (70407352)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥11,310,000 (Direct Cost: ¥8,700,000、Indirect Cost: ¥2,610,000)
Fiscal Year 2025: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
Fiscal Year 2024: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2023: ¥4,940,000 (Direct Cost: ¥3,800,000、Indirect Cost: ¥1,140,000)
|
|---|
| Keywords | 聴覚障害者 / 音声認識 / 声質変換 / 音声コミュニケーション / オンラインコミュニケーション / ろう・難聴 / 情報保障 |
|---|
| Outline of Research at the Start |
新型コロナ感染症の流行では、大学で多くの講義等でオンラインコミュニケーションが著しく増加した。聴覚障害者と健聴者とのオンラインコミュニケーションに着目すると、筆談 (チャット)は煩雑で時間がかかる。また、通信品質の低い音声は健聴者・障害者ともに聞き取りが困難である。そこで本研究課題では、健聴者と障害者双方に視覚情報(字幕)および聴覚情報(音声)の両者を併用して提示することにより頑健なオンラインコミュニケーションを実現する、音声言語処理技術に基づく拡張型音声コミュニケーションアシスタントを研究する。
|
| Outline of Annual Research Achievements |
本研究では、聴覚障害者と健聴者の円滑なオンラインコミュニーケーションの実現を目的としている。本年度は、音声認識およびコミュニーションの分析に共する収集済みの聴覚障害者の音声データに対するアノテーション付与を行った。 これらの多くは、既存のオンライン会議システムを用いて映像・音声を収録したものである。聴覚障害者の音声認識では調音音声学や音韻論に基づく音韻的な特徴を併用する手法を導入することにより認識性能の改善を図った。また聴覚障害者の聴取に関して、聴者と聴覚障害者で構成されるグループでの雑音環境下の音声コミュニケーションにおける聞き取りやすさの改善について検討を行った。
本年度は、既存の手法であるSpeakerBeam（目的話者と妨害話者の混合音に対するマスクを生成して目的話者音声のみを抽出する手法）を採用した。聴覚障害者を対象とした主観評価および客観評価（HASPIおよびHASQI）いずれの評価においても抽出した音声が元の混合音に比べて聞き取りやすくなったことがわかった。特に、主観評価では、目的話者の音声に対する妨害話者音声のSN比が小さい（目的話者音声が聞き取りにくくなる）場合に、目的音抽出の効果が最もよく現れた。一方、SN比が大きくなる（目的話者音声が聞き取りやすくなる）につれて効果が低くなっており、また目的音を抽出した音声のほうがもとの音声（目的話者と妨害話者の混合音）よりも主観評価のばらつきが小さく、聴力が異なる障害者間でも聞き取りやすさの評価が安定していることがわかった。
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
発話聴取およびオンラインコミュニケーション実験で予定していた研究協力者の協力に関して、実験協力者のプライバシー保護の事由により学内倫理審査に諮ったが、承認が大幅に遅延したことにともない、実験開始時期の変更を行ったため。
|
| Strategy for Future Research Activity |
聴覚障害者の音声データの収集が不十分であることから、障害学生などを対象にオンライン対話の収集を進めていく。また、音声を聴取した際の発話明瞭度に関して、健聴者の主観評価を行う。これは、声質変換等の技術により聴覚障害者の不明瞭な発話の明瞭度を改善する際の基準が必要となるためである。声質変換については、健聴者や聴覚障害者が主観評価した際にもっとも明瞭かつ個人性を損なわない手法の研究開発に着手する。音声認識は健聴者と聴覚障害者のコミュニケーションにおける補助的な支援方法（本研究では音声コミュニケーションが主体であるため）にあたるが、音声データの蓄積にあわせて性能改善を図っていく。
|
