| 研究課題/領域番号 |
19K12905
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分90150:医療福祉工学関連
|
|---|
| 研究機関 | 大阪工業大学 |
|---|
研究代表者 |
松井 謙二 大阪工業大学, ロボティクス&デザイン工学部, 教授 (30613682)
|
|---|
| 研究分担者 |
中藤 良久 九州工業大学, 大学院工学研究院, 教授 (10599955)
加藤 弓子 聖マリアンナ医科大学, 医学部, 研究員 (10600463)
水町 光徳 九州工業大学, 大学院工学研究院, 准教授 (90380740)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2022-03-31
|
| 研究課題ステータス |
完了 (2021年度)
|
| 配分額 *注記 |
3,250千円 (直接経費: 2,500千円、間接経費: 750千円)
2021年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2020年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2019年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
|
|---|
| キーワード | 機械読唇 / 発声支援 / 変分オートエンコーダー / 口形素 / 深度画像 / 携帯端末 / 人工喉頭 / 口唇画像認識 / モバイル端末 / 子音認識 / 音声合成 |
|---|
| 研究開始時の研究の概要 |
本研究の目的は、見た目に健常者と同等で周囲の視線を気にすることなく使える拡声装置あるいは発声支援装置の開発である。さらに、低コスト、軽量で簡単に使え、ユーザー適応可能な装置の開発を目指す。スマホおよび口唇画像情報を最大限利用し、今までの人工喉頭とは全く異なり、スマホにアプリをインストールするだけで利用可能なシステムを構築する。具体的には、主に食道発声ユーザーに向けた音声強調および小型拡声器を用いたワイヤレス拡声機能、人工喉頭を主として用いるユーザーに向けた読唇⇒音声合成による発声機能をそれぞれ実現し、多様な特性に適応可能なスマホ利用発声支援機能群を実現することを目標とする。
|
| 研究成果の概要 |
本研究は,喉頭摘出者のように発声が困難なユーザーに対して、“既存のデバイスが使える”,“目立たない外観である”,“使いやすいインターフェースである”という発声支援装置開発を目標としている.具体的にはスマートフォンのような携帯型のデバイスを用いた口唇認識と音声合成による発声支援装置の開発を行っている.先ずPC上で36種類の口形素を単位としてVAEとCNNを用いた画像認識による読唇を行った。次に携帯端末に実装し使用感評価を行った。また認識性能向上のため深度画像を用いて主に子音の認識性能向上を目指した。現在までに20単語、特定話者で90%程度の性能を確認している。
|
| 研究成果の学術的意義や社会的意義 |
喉頭摘出者など病気や事故で発声が困難になった場合、電気式人工喉頭や食道発声等の代用音声を用いる．しかしこれらは使用時に目立つことや習得に時間がかかることが課題である．実際にユーザからは“既存のデバイスが使える”，“目立たない外観である”，“使いやすいインターフェースである”ことが望まれている．このことから機械読唇による発声支援が研究されている．本研究の特徴は口形素と変分オートエンコーダを用いて単語登録が極めて容易な機械読唇によるフレーズ認識方式であり、携帯端末への実装も行いその効果や課題を検証した．また、深度画像を用いて機械読唇での子音認識の精度向上を図っており、実証実験に向けて意義は大きい．
|
