Communication Support for Learners of Japanese Language Using AI Facial Expression Analysis System
| Project/Area Number |
23K12842
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 09070:Educational technology-related
|
|---|
| Research Institution | 防衛大学校(総合教育学群、人文社会科学群、応用科学群、電気情報学群及びシステム工学群) |
|---|
Principal Investigator |
吉嶺 加奈子 防衛大学校(総合教育学群、人文社会科学群、応用科学群、電気情報学群及びシステム工学群), 人文社会科学群, 准教授 (80840347)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
Fiscal Year 2025: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2024: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2023: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
|
|---|
| Keywords | AI / 表情解析 / 日本語学習者 / タイ / 言語的コミュニケーション / 非言語的コミュニケーション / AI表情解析 / 日本語学習 / コミュニケーション支援 / 東南アジア |
|---|
| Outline of Research at the Start |
日本語初級レベルの外国人が増えている。彼らの顔の表情から感情の推定ができれば、コミュニケーションしやすくなるが、現状ではそれを支援するシステムも仕組みも存在しない。
そこで既存の欧米系だけではなく幅広い人種の感情が推定できるAI表情解析システムを開発する。それを活用したコミュニケーション支援方法の設計を通じて、国内外で起きている「日本語初級レベルの外国人とのコミュニケーション不全」問題の解決を目指す。
本研究では、顔の特徴点と顔面動作とを紐づけた顔画像のAIビッグデータを組み込んだAI表情解析システムを開発し、外国人向けの日本語授業での使用を通してコミュニケーション支援ができるかを検証する。
|
| Outline of Annual Research Achievements |
本研究の目的は、日本語初級レベルの外国人とのコミュニケーションにおいて「顔」の表情から感情を推察することで不完全な言語的コミュニケーションを非言語的コミュニケーションによって支援することである。そのために感情推察が容易に行えるAI表情解析システムのプロトタイプを構築し、感情を正確に推察できているかどうか精度を検証した。プロトタイプは顔領域の特徴点を検出する形式で、プログラムはOpenVINOツールキットを使用し、表情解析のデータセットはAffectNetに基づいている。解析には5つの感情パラメータが使用され、最も強い感情のほかに推定年齢と推定性別が顔領域の上部に文字列でリアルタイムに表示される。また顔領域の傾斜角度も3次元で表示される。
日本語学習者は東南アジアを中心に増加していることから、精度の検証にはラオスおよびタイ出身の留学生を研究協力者とした。また現地調査を通じて両国の日本語学習者が日本語を話す際の表情を観察した。
その結果、プロトタイプシステムでは、ネガティブな話題の際にプロトタイプシステムが表情から解析した感情と会話内容から推察される感情が不一致であることが分かった。また、性別の推定が不正確で「男性ではない＝女性」とご認識される傾向があった。原因として考えられるのは、データセットが欧米系人種で構成されているためアジア系人種の微妙な表情の解析が困難なことである。また「ネガティブな感情を顔に出すべきではない」というラオスおよびタイの文化が関係しているとも考えられる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
AI表情解析システムを構築するにあたって既存のプログラムとデータセットを活用したほか、高性能なノートPCや周辺機器を購入したことで早期にプロトタイプシステムを構築できた。またそのプロトタイプシステムの精度を検証するためのパイロット調査を早期に実施することができた。調査結果の分析には時間を要したものの、プロトタイプシステムが抱える問題点を洗い出すとともにそれらの改善策も見いだせたことから「おおむね順調に進展している」と判断した。
|
| Strategy for Future Research Activity |
ラオスおよびタイの文化圏で相手がネガティブな感情を持っているかどうかを判断する際、「目」の様子から判断していることが、文献や現地調査によって判明した。つまり顔全体ではなく、「目」を重点的に解析すれば、ネガティブな表情に対する解析精度が向上すると考えられる。
また本研究の現時点の成果をタイにおいて日本語教育に関するセミナーで発表したところ、日本語教育関係者より「相手の表情を読むより、自分の表情を確認するためのツールにしてはどうか」という意見が寄せられた。相手すなわち日本語学習者の感情をAIで推察することに抵抗を感じるということである。この意見を踏まえると、日本人が日本語初級レベルの外国人の感情を推察するだけでなく、日本語学習者が日本語発話時に適切な表情をしているかどうかを自分自身で判断して自己調整していくツールとしても使用できるよう発展させていくことが、研究の社会的還元として最適である。
今後は表情の解析の精度を高めるために「目」の特徴点を重視したシステムに修正するとともに、コミュニケーションにおける自己内省ツールとして使用できるよう、システムのモバイル化を図りたい。
|
Report
(1 results)
Research Products
(6 results)
