2012 Fiscal Year Research-status Report
マルチモーダル感性認知機構の高効率なモデル化と実環境快適化への応用
| Project/Area Number |
24650110
|
|---|
| Research Category |
Grant-in-Aid for Challenging Exploratory Research
|
| Research Institution | Chuo University |
|---|
Principal Investigator |
加藤 俊一 中央大学, 理工学部, 教授 (50297107)
|
|---|
| Project Period (FY) |
2012-04-01 – 2015-03-31
|
| Keywords | 感性情報処理 / マルチモーダル / 脳活性 |
|---|
| Research Abstract |
【研究の目的】 本研究では、視覚・聴覚など多感覚にまたがるマルチメディア情報を、感覚間で相互に影響しあいながら主観的に解釈する、マルチモーダルな感性認知過程を、実環境内での物理的な刺激・脳活動を含む生理的な指標・主観評価の関連性の分析を裏付けとしつつ、高効率にモデル化する技術を開発することを目的としている。
【当該年度の実施計画】 ３年計画の初年度に当たり、本研究で提案・発展させる基本概念の詳細化およびマルチモーダルな感性認知過程のモデル化に着手した。
【具体的な内容】 はじめに、視覚・聴覚に関するマルチメディア・マルチモーダルな情報から実験を進めることとし、被験者に提示する刺激としてサイネージ（写真＋文字）、CMビデオ（動画＋音楽・音声）を題材に、これらの刺激に対する被験者の主観評価と、生理的な反応（光トポグラフィによる脳血流）の測定と活性部位・程度の推定を行う実験環境を構築した。また、様々なサイネージやCMビデオに対して、被験者がうける印象の強さ・興味の度合い（心理的な尺度）と相関のよい生理的な指標の発見を試みた。
【成果・意義・重要性】 被験者の興味の対象の推移により、写真に注目する際には視覚野、文字に注目する際には言語野の領域の活性が高まっていることが観測された。また、興味を持って視聴しているCMビデオに対しては、前頭前野の活性が高まり、退屈している場合には、活性が高まっていないことが観測された。また、視覚・聴覚に関するマルチメディア・マルチモーダルな情報が、被験者にどのように受け取られているかを、従来の心理評価（アンケートによる回答）によらずに、客観的に計測できる生理的な指標に基づいて推定することに道を開いたと言える。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
室内全体の多感覚刺激を制御する環境の構築に着手する前に、被験者個人に近接する視聴覚環境（デジタルサイネージ、ビデオ観賞）を制御すると共に、光トポグラフィNIRSによる脳血流の測定と活性部位・程度の推定を行う実験環境を構築し、マルチメディア・マルチモーダルな刺激を知覚する過程の客観的な計測に活用できるようにした。
視覚・聴覚の多感覚にまたがるマルチメディア・マルチモーダルな情報を知覚する過程で、感覚間で相互に影響しあう状態の精密な計測・分析・モデル化の基礎として、ある時点での被験者の脳内でどの情報に注目した情報処理が行われているかを推定することが可能となった。被験者本人が言葉により回答する際には、本人の思い込みなどによる不正確性の混入が避けられないが、本知見により、それらの要因を排した正確性の高い客観的な計測手法の確立につながると期待できる。
|
| Strategy for Future Research Activity |
当初の研究計画に従って、初年度からの実験を引き続き進め、我々の提案するマルチメディア・マルチモーダルな感性認知過程のモデル化手法の確立・精緻化とその妥当性評価を、情報学・人間工学の両面から進める。
視覚や聴覚のように物理量を計測しやすい感覚に関しては、感覚神経系を模した特徴抽出手法を採用し、嗅覚などの計測しにくい感覚に関しては、当面、人手により付与されたイメージ語索引を利用して研究を進める。
このような実験的なアプローチとともに、理論的なアプローチとして、多感覚の相互作用や総合的なイメージのモデル化を、各感覚刺激の強さ（パワー）ではなく、各感覚の中でのコントラストに基づく情報量と、感覚間での情報量の対比に基づいて、全体としての知覚への影響の強さを統合することにより、各感覚での知覚感性のモデル化と、複数の感覚からの影響のモデル化を分離して行える方式を試みる。
|
| Expenditure Plans for the Next FY Research Funding |
実験の実施・データの収集・蓄積のために、高精細画像生成用ＰＣ（高性能グラフィックエンジンを含む）を手当てすると共に、脳活動（例：脳血流、脳波）やその他の生理的な指標（例：筋電位など）の分析を効率よく行うためのソフトウェア等を手当てする。
また、研究成果の発表・研究交流のために、研究集会・国際会議への出張・参加を行う。
|
Research Products
(3 results)
-
[Presentation] 商品写真から受ける印象と画像特徴の関係のモデル化2013
Author(s)
丹羽志門1, 青山祥貴1, 加藤俊一1, 数藤 恭子2, 谷口 行信2（1中央大学, 2NTTメディアインテリジェンス研究所）
Organizer
情報処理学会， 第152回ヒューマンコンピュータインタラクション研究会
Place of Presentation
東京、明治大学
Year and Date
20130314-20130314
-
-
