2012 Fiscal Year Research-status Report
顔情報抽出技術を用いた聴衆の分析に基づく講演評価システムの開発
| Project/Area Number |
24653250
|
|---|
| Research Category |
Grant-in-Aid for Challenging Exploratory Research
|
| Research Institution | Osaka Kyoiku University |
|---|
Principal Investigator |
仲矢 史雄 大阪教育大学, 学内共同利用施設等, 准教授 (90401611)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高比良 美詠子 中部大学, 人文学部, 准教授 (80370097)
|
|---|
| Project Period (FY) |
2012-04-01 – 2014-03-31
|
| Keywords | 表情分析 / 非言語コミュニケーション / 視線解析 / 感情測定 / 国際研究者交流 / アメリカ / 政治心理 |
|---|
| Research Abstract |
当該年度に実施した研究成果の具体的内容は、汎用フォーマット動画データから直接複数人の顔情報（笑顔、視線、注目点）を時系列で抽出できるシステムを構築できたことである。
その成果の意義は、開発したシステムでは顔認証機能との連動によって、自動的に複数人の情報を連続して抽出することが可能になった点が挙げられる。既存のシステムでは必要であった特定の人物の顔情報を抽出するために、その人物だけの動画を人力で切り出す作業が不要にすることができるようになったため、極めて効率よく分析可能なデータ量を増やすことが可能になった。
さらに研究の目的に示した、場の空気を解析する手法の開発として、聴衆全体の視線の統合分析を可能にするシステムを構築した。これは、講演中の聴衆の顔情報から抽出された頭部および眼部の同一時刻中の向き情報を統合し、その時点での演者の位置に対して、合致しているかどうか可視化する表示解析機能である。これにより講演による聴衆の引き込みの状況が定量的に把握される。
聴衆および演者の講演時動画から抽出された個別の顔情報、笑顔度、顔向き、視線を一括同期して抽出できるよううになったことで、各統合データの同調性を比較することができた。笑顔度のデータから個々の講演に対する関心が講演の内容展開に従って高まっていくことが示されていたが、さらに視線の集中がそのデータに同期して行く過程を調べることが可能になった。任意の観客の反応を抽出または複数選択することで、場の空気の形成過程を解析する機能を高めた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究の目標である、撮影されたビデオ動画から、演者と聞き手の相互リアクションを自動的かつ定量的に解析する手法の開発において、現在までに複数人を同時に笑顔度および視線を主たる解析対象とした同期分析システムを構築することができている。
本研究の開発技術は対象者顔情報の特徴量から表情情報を抽出するため、聴衆全体の反応をデータ化すると同時に個々人の反応を選択的に解析することが可能なシステムにすることができた。一旦統合した全体データの結果に見いだされた特徴的な反応をもとに、特定の聴衆の反応が特徴的な全体反応の誘因になっている場合について詳細にデータを遡って解析することが有効であることが分かった。
なお、システム開発過程で、聴衆と演者の顔情報コミュニケーションを解析する際の画像取得上の技術的な課題の重要性が明らかになり、事前の視線位置情報の条件設定等のノウハウを蓄積した。また、動画解析後の撮影動画への重ね合わせにおいて、対象との合致を図るための後処理技法（アルゴリズム）の構築も行い、実用性を高めた。
|
| Strategy for Future Research Activity |
今年度は、さらに聴衆ー講演者表情分析システムの解析技術を発展させる。また、現時点までに開発した技術を用いて、模擬講演会やディベート映像を用いて、実践的な研究を行っていく。
表情分析システムの開発においては、人の主要な表情のうちで"笑顔"度合いだけで解析できている現状のシステムをさらに発展させて、"驚き"、"怒り"、"悲しみ"、"嫌悪"、"好意"、"無表情"の度合いを加えた解析システムに発展させる。
実践研究においては、模擬講演会を行い、聴衆と講演者の能力の違いを変数にして、場の空気の形成を分析する。聞き手側の変数には関心の高さや理解力の違い、講演者の能力の違いには教員経験、授業経験、認定スキル（初心者、プロ講演者）を変数として、講演映像を作成し開発した分析システムを用いて、解析を行う。また、海外・欧米の選挙活動で重視されている候補者同士の公開ディベート映像と有権者の肯定-否定反応データとの対比解析を行う。
|
| Expenditure Plans for the Next FY Research Funding |
上記方策の計画に基づき、次年度研究費は主に以下の調査において使用する予定である。
1. 表情分析システムの機能向上をはかるため、多表情解析機能の新規プログラミング組込費用
2. 画像取得、データ処理のための機器購入費用
3. 模擬講演会の実施とデータ処理・整理補助の費用
4. 海外選挙活動ディベート映像分析のため、国内および国際的な研究協力者と共同研究、通信費、旅費
|
