2011 Fiscal Year Research-status Report
舌の超音波画像及び顔・唇のビデオ画像による視覚音声認識
| Project/Area Number |
23520467
|
|---|
| Research Institution | The University of Aizu |
|---|
Principal Investigator |
WILSON Ian 会津大学, コンピュータ理工学部, 准教授 (50444930)
|
|---|
| Project Period (FY) |
2011-04-28 – 2014-03-31
|
| Keywords | computer lipreading / ultrasound / video / tongue / jaw / stress / pitch |
|---|
| Research Abstract |
５月～７月ー私たちの研究に関する過去の論文を読む。研究に必要な機器や本を買う。８月ー香港で開催された国際学会（International Congress of Phonetic Sciences ）に参加。他の参加者と討論したり、私たちのアイディアをどう進展させるかを掘り下げた。９月～１２月ー画像処理に詳しい矢口勇一助教と週１回のミーティングを開き、一緒に画像処理の知識を卒業生に教え、顔にマーカーを付けて顔の動き録画し、それをを研究する論文を書き上げた。また、自動的に発音中の顔の動きやその録画ビデオから正確な情報を得ることに成功し、様々な人々からデータを集め、解析することができた。１月ー共に研究を行うために、Donna Erickson教授が私たちの研究に訪問。顎の動きと発音の強さと高さがネイティブとそうでない者ではどう違うのかを研究した。また、その論文を国際学会に提出。２月ー東北大学で開催されるPRMU(電子情報通信学会 パターン認識・メディア理解研究会)に矢口助教と共に作成した論文を発表。３月ーICPR (International Conference on Pattern Recognition) に論文を提出。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
We finished doing everything that we had planned for the first year.
|
| Strategy for Future Research Activity |
We will continue as planned by creating a database of face movies (video) and tongue movies (ultrasound), to develop a system of automatically reading the tongue and/or face during speech. We hope to present our work at Interspeech, ICPR, and the Acoustical Society of America this year.
|
| Expenditure Plans for the Next FY Research Funding |
We will use the FY 2012 budget for honoraria to graduate and undergraduate students who are assisting with programming and data collection/analysis. We will also use some budget for travel to present our research results at international conferences.
|
Research Products
(2 results)
