| 研究課題/領域番号 |
20K00838
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分02100:外国語教育関連
|
|---|
| 研究機関 | 会津大学 |
|---|
研究代表者 |
Pyshkin Evgeny 会津大学, コンピュータ理工学部, 上級准教授 (50794088)
|
|---|
| 研究分担者 |
Mozgovoy Maxim 会津大学, コンピュータ理工学部, 准教授 (60571776)
BLAKE John 会津大学, コンピュータ理工学部, 上級准教授 (80635954)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2023-03-31
|
| 研究課題ステータス |
完了 (2022年度)
|
| 配分額 *注記 |
3,770千円 (直接経費: 2,900千円、間接経費: 870千円)
2022年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
2021年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2020年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
|
|---|
| キーワード | CAPT / prosody / speech visualization / pitch estimation / multimodal feedback / multi-language CAPT / suprasegmentals / proximal developement / CAPT personalization / pitch visualization / L2 education / mobile technology / speech processing / Speech processing / Audio-visual feedback / ASR / Langauge prosody / CALL / mobile |
|---|
| 研究開始時の研究の概要 |
2020: Redesigning the digital signal processing (DSP) core for platform independence of components used in CAPT, ASR and phonology research.
2021: Developing the mobile aps using our DSP library based on the stack of modern mobile development technologies.
2022: Evaluation in classrooms situations.
|
| 研究成果の概要 |
この研究では、信号・音声認識と音声処理アルゴリズムに基づくCAPTシステムの進化を探求。デジタル信号処理コアを開発し、ピッチ抽出、音声活動検出、ダイナミックタイムワープに基づくピッチ推定を含む。DTWベースのメトリクス、拡張音声転写、音声およびビデオ出力を含むマルチモーダルフィードバックを提供。評価的、指導的、行動的要素を含むフィードバックを可能にし、さらなる多言語化のための基盤となり得るシステムを評価。
|
| 研究成果の学術的意義や社会的意義 |
The project advances a prosody-based CAPT system using signal and speech processing algorithms for speech visualization and providing a multimodal feedback to learners. Applying the approach to different language groups has a strong impact to improving communication skills of language learners.
|
