| Project/Area Number |
22K19828
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 62:Applied informatics and related fields
|
|---|
| Research Institution | Shizuoka University |
|---|
Principal Investigator |
甲斐 充彦 静岡大学, 工学部, 准教授 (60283496)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中川 聖一 中部大学, 工学部, 客員教授 (20115893)
山本 一公 中部大学, 工学部, 教授 (40324230)
|
|---|
| Project Period (FY) |
2022-06-30 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
Fiscal Year 2024: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2022: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
|
|---|
| Keywords | 脳波 / 想起音声認識 / 深層学習 / 特徴表現 / 位相特徴 / 注意機構 / ブレインコンピュータインターフェース（BCI） / 表現学習 |
|---|
| Outline of Research at the Start |
口唇や舌などの発声器官を動かさないで言葉を想起した場合に生じる頭皮脳波(EEG)を用いて、発声しようとした言葉を認識する想起音声認識システムを開発する。脳内活動を知るセンサーの中でEEGは脳コンピュータインタフェース（BCI）向けに有望であるが、脳内活動以外の影響が極めて大きく、単純な単語想起でも実用的な精度が得られていない。そこで、音声情報処理や深層学習分野での知見を活用し、(a)脳波に重畳する脳活動以外の影響の除去や特徴抽出法の開発、(b)想起音声特徴を捉える脳波収録法と特徴表現学習法の開発、(c)想起音声の認識モデルおよび学習データ生成手法の開発、の3点を計画実施して改善を図る。
|
| Outline of Annual Research Achievements |
本研究課題では、口唇、舌、咽頭、喉頭などの発声器官を動かさないで言葉を想起した場合に生じる頭皮脳波(EEG)を用いて、発声しようとした言葉（以降、想起音声と呼ぶ）を認識するシステムを開発する。脳内活動を知るセンサーの中でEEGは脳コンピュータインタフェース（BCI）向けに有望であるが、脳内活動以外の影響が極めて大きく、単純な単語想起でも実用的な精度が得られていない。従来、この種の問題は認識対象を短時間の言語音や数種類の単語の想起内容に限定し、限定された短い区間の脳波信号を用いたパターン認識問題として研究されているが、まだ実用的な認識精度が得られていない。
そこで、音声情報処理や深層学習分野での知見を活用し、これまで研究を進めてきたニューラルネットワークに基づく想起音声認識モデルを基本として、脳波の時間的な特徴と空間的な特徴をより良く捉えるための特徴抽出法と認識モデル化手法について改善を図り、新たな方法を提案した。具体的には、音声情報処理分野で有効性が示されていた相対位相の特徴抽出法を応用し、複数チャンネル信号から空間的特徴をよりよく捉える特徴抽出法を考案した。もう一つのアプローチとして、想起音声認識タスク向けの時空間の特徴表現の自動獲得を意図し、畳み込みニューラルネットワークと注意機構を組み合わせた認識モデルの構造を新たに考案した。
これらの提案手法の有効性を確認するため、音素を想起した複数の被験者による脳波データを用いて評価実験を行った。その結果、これら二つの提案手法はそれぞれで認識精度の改善が得られ、同データセットを用いた関連研究における結果と比較して顕著に認識精度が改善された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
想起音声認識の課題のための特徴抽出法および特徴表現学習を考慮した認識モデルの考案については、他の関連研究でも利用されているデータセットで評価を行い性能改善を得た。これらの成果は国際会議で発表するため投稿準備を進めている。
今年度にはこれらの提案手法の改善と評価実験により基本仕様を固めベースライン評価を揃えることを重視したため、想起音声特徴を捉える脳波収録法と特徴表現学習法の考案については関連研究の文献調査に基づき方針を検討するまでの進捗となった。
|
| Strategy for Future Research Activity |
今年度に考案した複数チャンネルを考慮した特徴抽出法と注意機構を導入した認識モデルの二つのアプローチは、それぞれ独立にその効果を確認できたが、組み合わせることで相補的な働きによってより良い特徴表現獲得が期待される。そこで、組み合わせの効果を高める認識モデルの考案と実験を更に進め、認識精度の更なる改善を図る。
また、近年では運動想起のような脳波データを多く収録しやすいタスクでの深層学習モデルの研究発表が増えているため、他の深層学習の分野で注目される特徴表現モデルの転移学習の観点からも新たに認識・学習モデルの考案と実験を進める。そして、新たに購入予定の脳波計を利用して、時間的な構造を考慮した想起音声特徴を捉えるための脳波データ収録方法に基づいて新たにデータ収集を開始し、そのデータ分析および特徴表現学習モデル構築を進める。
|
