2015 年度実施状況報告書

表情解析による心身状態自動探知システム実現のための基礎研究

研究課題

研究課題/領域番号	15K00375
研究機関	日本文理大学
研究代表者	北岡哲子日本文理大学, 工学部, その他 (30447536)
研究期間 (年度)	2015-04-01 – 2018-03-31
キーワード	癒し工学 / 癒し刺激 / 表情評価法 / 機械学習 / ｄｅｅｐ－ｌｅａｒｎｉｎｇ
研究実績の概要	代表者は癒し工学を提唱し、虚しさや孤独をもつ心を満たす一助とすべく、癒される度合いを定量的に測定する研究を進め、人物画像をとりこみ、その顔の表情から得られる情報を入力とし、被験者がその画像にどの程度癒されるのかの回答を出力とし、被験者の癒しの構造を分析するシステムをホログラフィックニューラルネットワーク（以下HNN）やファジイ数量化理論第Ⅱ類を用いて構築した。これらの結果と心理的・哲学的考察により世界で初めて３次元の感情モデルを提案し、2012-2015年度の基盤研究Ｃにおいては、表情解析による診断法の研究を行い、北岡式顔表情評価法（Ｃ-Face）(10)という表情を観察しスコア化する定量的なスケールを考案した。加齢や疾病、感情の落ち込が原因の事故や事件が多発している現代において、顔画像から自動的に心身の疾病の可能性の有無と症状のレベルをスクリーニングできるシステムを社会に普及させ、早期対処・治療ができれば、人々により安全安心な環境を提供でき、ひいては社会的コスト削減にも貢献することが可能となる。「北岡式臨床的顔表情評価法Ｃ-Face（Ｃlinical Facial Expression Scale）」及びDeep-learningという機械学習を用いて多くの業績を残している連携研究者らの研究成果を活用し、本研究は表情から疾病の有無や感情の状態を自動的に検出するシステムとC-Face評価の自動化の実現を目的とする。古代から、痛み等心身の状態を表す顔表情は重要な情報発信源と認知されてきた。本研究遂行においても、心身の不調による僅かな顔表情の相違検出が必須となるが、完全な機械学習だけでは著しく困難な課題であるため、申請者や人間の知見を学習時や識別時などにインタラクティブに取り入れ、機械とのハイブリッドで成長するhuman in the loopの概念を導入し学習させる。
現在までの達成度 (区分)	現在までの達成度 (区分) 2: おおむね順調に進展している理由顔画像から自動的に心身の疾病の可能性の有無と症状のレベルをスクリーニングできるシステムの実現とC-Faceの自動化の可能性を探求するために、まず予備実験のために、顔表情データ収集を行った。具体的な表情サンプルとしては、表情研究に用いられる世界的顔表情データベースの２００の表情を採用し、C-Faceスコアの評価を行った。そしてC-Faceの自動化の実現と、表情から心身状態の識別をめざし、多数の顔画像を用いて機械学習を行った。採用する手法はdeep learningという人間の脳の働きを模倣したネットワークであるが、まず課題に適応するネットワークの構築には、豊富な経験と十分な知識が必要であり、多くの時間を要する研究である。健常と疾病の表情の差が検出できれば、表情のより精密な特徴が抽出可能となり、課題時の表情識別精度アップにつながる。最終的にそれらの結果を結合して、顔画像から心身状態自動探知システムの骨格を提案するのだが、現在は表情の評価と、評価された表情を用いて機械学習を行っている段階である。同時に、データベースの表情評価の数を増やし１０００枚くらいのデータで、機械学習を行う本実験の準備にはいり、スコア付けを行っている。１つの課題は、やはり認知症などの患者の表情データの入手が、個人保護の法律により予想以上に困難であることが、今後の進捗に大きく影響するような懸念がうまれていることである。
今後の研究の推進方策	今後は、機械学習の手法の１つであり、2次元での顔のアライメント後、畳み込みニューラルネットワーク利用し特徴抽出するため顔認証にとても適していると報告されている）Deep learningを用いて,これまでに収集した健常者及び、各疾病患者及び心身不調者や事故時操縦者の表情データを用いて自動識別システム実現のための研究を行う。このDeep learningは、特徴抽出と識別を同時に行い、自動的な特徴設計を行うことで画像認識において注目されており、表情認識に最適な手法であるが、各課題に適応するこの深い層のネットワークを構築することに、十分研究期間が必要となる。アルゴリズムの開発実装が完成したら、各課題における顔データを学習させる。
次年度使用額が生じた理由	予定していた被験者実験の数がすくなかったため、少なくなった。
次年度使用額の使用計画	次年度は、被験者数確保に注力したい
備考	メディアにおける癒し工学の認知活動の１つとして連載コラムに注力してきた。来月から日刊紙の連載も確定した。