| Project/Area Number |
23H00493
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (A)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
北岡 教英 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (10333501)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
小林 彰夫 大和大学, 情報学部, 教授 (10741168)
山本 一公 中部大学, 工学部, 教授 (40324230)
西崎 博光 山梨大学, 大学院総合研究部, 教授 (40362082)
入部 百合絵 愛知県立大学, 情報科学部, 教授 (40397500)
西村 良太 豊橋技術科学大学, 工学(系)研究科(研究院), 准教授 (50635878)
太田 健吾 阿南工業高等専門学校, 創造技術工学科, 准教授 (80712801)
東中 竜一郎 名古屋大学, 情報学研究科, 教授 (90396151)
|
|---|
| Project Period (FY) |
2023-04-01 – 2027-03-31
|
| Project Status |
Granted (Fiscal Year 2026)
|
| Budget Amount *help |
¥46,670,000 (Direct Cost: ¥35,900,000、Indirect Cost: ¥10,770,000)
Fiscal Year 2026: ¥9,880,000 (Direct Cost: ¥7,600,000、Indirect Cost: ¥2,280,000)
Fiscal Year 2025: ¥11,960,000 (Direct Cost: ¥9,200,000、Indirect Cost: ¥2,760,000)
Fiscal Year 2024: ¥13,130,000 (Direct Cost: ¥10,100,000、Indirect Cost: ¥3,030,000)
Fiscal Year 2023: ¥11,700,000 (Direct Cost: ¥9,000,000、Indirect Cost: ¥2,700,000)
|
|---|
| Keywords | マルチモーダル対話システム / 雑談 / 高齢者 / マルチモーダル対話 / 認知力推定 / 音声認識 / マルチモーダル |
|---|
| Outline of Research at the Start |
高齢者向けマルチモーダル対話システム基盤技術を構築し、高齢者が対話システムを気兼ねなく活用することで健康長寿力増進を目指す。音声対話のみではなく、人間に似た容姿ど）を備え、表情・視線・ジェスチャを交え、互いの意図・思い・雰囲気が姿から伝わる、親しみのあるマルチモーダル対話システムの構築を可能にする。具体的には、高齢者用の音声認識技術、音声・視線等マルチモーダルの統合認識・理解技術、対話が継続できる自然で魅力的なマルチモーダル対話技術、対話内容や音声を用いて暗黙的に認知力を診断する技術、を実現し、高齢者施設における実証実験を行う。
|
| Outline of Annual Research Achievements |
人と対話することは認知力維持増進に効果的とされる。そこで、高齢者向けマルチモーダル対話システム基盤技術を構築し、高齢者が対話システムを気兼ねなく活用することで健康長寿力増進を目指す。音声対話のみではなく、人間に酷似したリアルなエージェント（3D CG SayaやアンドロイドロボットERICAなど）を備え、表情・視線・ジェスチャを交え、互いの意図・思い・雰囲気が姿から伝わる、親しみのあるマルチモーダル対話システムの構築を可能にする。そこで（１）高齢者用の音声認識技術（２）音声・視線等マルチモーダルの統合認識・理解技術（３）対話が継続できる自然で魅力的なマルチモーダル対話技術（４）対話内容や音声を用いて暗黙的に認知力を診断する技術、を実現する。そのうえで（５）高齢者施設における実証実験を実施し、その結果を研究にフィードバックする。最終的に、協力機関の施設に置いてマルチモーダル対話システムが永続的に活用されることを目標とする。
高齢者の音声認識高精度化を目指し、全国の高齢者施設を訪問して音声を録音した。このデータは123名、平均年齢83歳の音声であり、国立情報学研究所から研究用途で無料配布されている。このデータを基に、音声認識とともに年齢推定を行うマルチタスク学習や、一般成人音声による事前学習と高齢者音声によるファインチューニングに基づく手法などで高精度化を図った。エージェントの動作の自然性向上を目指して、音声と頭部動作を同時生成する手法や対話相手音声に合わせて頭部動作を生成する手法を考案した。音声の音響的・言語的情報を利用して認知力を推定する手法を種々考案した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究項目として上げた内容については網羅的に研究を実施し、成果を挙げて多くの外部発表につなげている。さらに音声データベースは一般公開して研究コミュニティへの貢献もある。
|
| Strategy for Future Research Activity |
個別の技術に関しては、おおよそ研究が進行した。本提案の最終目標は高齢者を対象とした音声・マルチモーダル対話システムの構築とその実証実験による評価なので、個別技術を組み合わせて一つの対話システムとして統合することをまず行う。その上で、対話システムとして未熟な部分を抽出し、改良を加えたうえで来年度の評価実験に向けた準備を行う。
|
