A Facial Recognition and Response system employed in the therapeutic support of developmental disorders

• Project/Area Number: 24600005
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: 子ども学(子ども環境学)
• Research Institution: University of Fukui
• Principal Investigator: OGOSHI YASUHIRO 福井大学, 工学(系)研究科(研究院), 准教授 (80299809)
• Project Period (FY): 2012-04-01 – 2015-03-31
• Project Status: Completed (Fiscal Year 2014)
• Budget Amount: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000); Fiscal Year 2014: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000); Fiscal Year 2013: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000); Fiscal Year 2012: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
• Keywords: 発達障害者支援 / 刺激表情 / 表情の認識 / 表情の同調 / 表情筋の活動 / 軽度発達障害 / 表情の表出

Outline of Final Research Achievements

We developed a database system to support students with special needs that facilitates coordination between stakeholders. Data-mining identified candidates for facial recognition training. We also developed a computer system to asses in real time emotion portrayed in a person’s facial expression being observed by another person with developmental disorders. The system then communicates the assessment to the observer highlighting the elements of expression used to determine the emotional state presented. The observer with developmental disorders learned to independently identify emotional state portrayed in subsequent facial expressions. Electromyographic analysis of the myogenic potential of mimetic muscles was employed to determine differences in neurotypical and developmental disorder impacted reactions to facial expressions. A system was then developed that provided biofeedback to train a person with developmental disorders to react with an appropriate facial expression.

Research Products

• [Journal Article] Expiration Training System for Treatment of People with Speech problems (2014)
  • Author(s): Y. Ogoshi, S. Ogoshi, K. Yamazaki, T. Takezawa, A. Nakai, K. Tsuji, Y. Mitsuhashi
  • Journal Title: Sensors and Materials Volume: (in press)
  • Peer Reviewed
• [Journal Article] An Overview of Social Cognitive Ability from the Perspective of Facial Expressions and Context ~Estimating Emotion Based on Context Essays and Facial Expressions~ (2014)
  • Author(s): S. Ogoshi, T. Takezawa, Y. Ogoshi, H. Yanaka Y. Mitsuhashi,
  • Journal Title: Sensors and Materials Volume: (in press)
  • Peer Reviewed
• [Journal Article] 特集『発達障害者が輝いて働けるための場所づくり・ものづくり・ひとづくり』によせて (2013)
  • Author(s): 小越 康宏
  • Journal Title: 日本設備管理学会論文誌 Volume: 25(2) Pages: 1-1
  • Peer Reviewed
• [Journal Article] 児童期から就労までつなぐ継続的協働型教育支援データベースシステムの提案～ICFを用いた発達障害児者支援システムの開発～ (2013)
  • Author(s): 小越 咲子，小越 康宏，武澤 友広，中井 昭夫，山崎 京子，三橋 美典
  • Journal Title: 日本設備管理学会論文誌 Volume: 25(2) Pages: 34-38
  • Peer Reviewed
• [Journal Article] Mu rhythm suppression during the imagination of observed action (2013)
  • Author(s): S. Oeoshi, Y. Oeoshi, S. Momose, T. Takezawa, Y. Mituhashi
  • Journal Title: Engineering in Medicine and Biology Society (EMBC), 2013 35th Annual Internation al Conference of the IEEE, IEEE CONFERENCE PUBLICATIONS Volume: (Digital data) Pages: 4310-4313
  • DOI: 10.1109/embc.2013.6610499
  • Peer Reviewed
• [Journal Article] An examination of gender differences in mu rhythm of the mirror-neuron s ystem during the imagination of observed action (2013)
  • Author(s): S. Ogoshi, Y. Ogoshi, T. Takezawa, Y. Mituhashi
  • Journal Title: Brain and Health Informatics, International Conference BHI 2013, Springer Internat 1ional Publishing Switzerland 2013 Volume: 8211 2013 Pages: 489-495
  • DOI: 10.1007/978-3-319-02753-1_49
  • ISBN: 9783319027524, 9783319027531
  • Peer Reviewed
• [Journal Article] イメージによる運動模倣時の脳波特性 (2013)
  • Author(s): 小越康宏、武澤友広、小越咲子、三橋美典
  • Journal Title: 電子情報通信学会論文誌 Volume: J96-D(1) Pages: 154-157
  • NAID: 110009577698
  • Peer Reviewed
• [Journal Article] Computer Based Training Program to Learn the Relation between Facial-based or Situation-based Emotions and Prosocial Behaviors (2012)
  • Author(s): T.Takezawa, S.Ogoshi, Y.Ogoshi, Y.Mituhashi, M.Hiratani
  • Journal Title: Industrial Engineering & Management Systems Volume: 11(2) Pages: 142-147
  • Peer Reviewed
• [Presentation] Development of the support system for facial expression training (2014)
  • Author(s): Y. Amagata, Y. Ogoshi, S. Ogoshi, T. Takezawa, Y. Mitsuhashi
  • Organizer: The 15th Asian Pacific Industrial Engineering and Management Systems Conference (APIEMS 2014)
  • Place of Presentation: Jeju, Korea
  • Year and Date: 2014-10-14
• [Presentation] Facial electromyogram (FEMG) analysis of perception and rendering of facial expression (2014)
  • Author(s): A. Takahara, Y. Ogoshi, S. Ogoshi, T. Takezawa, Y. Mitsuhashi
  • Organizer: The 15th Asian Pacific Industrial Engineering and Management Systems Conference (APIEMS 2014)
  • Place of Presentation: Jeju, Korea
  • Year and Date: 2014-10-14
• [Presentation] Electroencephalogram activity during imagined imitative learning (2014)
  • Author(s): S. Momose, S. Ogoshi, Y. Ogoshi, T. Takezawa, Y. Mitsuhashi
  • Organizer: The 15th Asian Pacific Industrial Engineering and Management Systems Conference (APIEMS 2014)
  • Place of Presentation: Jeju, Korea
  • Year and Date: 2014-10-14
• [Presentation] ICFを用いた人間の状態記述~行動把握・学習支援システムへの工学的応用~ (2014)
  • Author(s): 小越 康宏
  • Organizer: 日本設備管理学会 第4回 就労支援技術研究会
  • Place of Presentation: 金沢大学（金沢市）
  • Year and Date: 2014-09-13
  • Invited
• [Presentation] 分娩監視装置からの心音データを用いた胎児の心拍RR時間のリアルタイム計測システムの試作 (2014)
  • Author(s): 森 幹男，西島 浩二，浅井 竜哉，小越 康宏，白井 治彦，谷口 秀次，荒木 陸大
  • Organizer: 電子情報通信学会 SP,WIT,ASJ-H (共催)研究会
  • Place of Presentation: 近江町交流プラザ（石川）
  • Year and Date: 2014-06-19
• [Presentation] 個別ニーズに応じた支援技術の開発を促す共通言語・評価値の検討 (2014)
  • Author(s): 小越 咲子，小越 康宏，南保 英孝，武澤 友広
  • Organizer: 日本設備管理学会春季研究発表大会 B-1 <ｵｰｶﾞﾅｲｽﾞﾄﾞ・ｾｯｼｮﾝ 教育と改善>
  • Place of Presentation: 早稲田大学（東京都）
  • Year and Date: 2014-05-29
• [Presentation] 福祉と教育分野におけるユニバーサルデザインを推進するためのICFの活用技術の検討 (2014)
  • Author(s): 小越 康宏，武澤 友広，小越 咲子，南保 英孝
  • Organizer: 日本設備管理学会春季研究発表大会 B-1 <ｵｰｶﾞﾅｲｽﾞﾄﾞ・ｾｯｼｮﾝ 教育と改善>
  • Place of Presentation: 早稲田大学（東京都）
  • Year and Date: 2014-05-29
• [Presentation] 不登校問診項目のICFコードへの自動マッピングの試み (2014)
  • Author(s): 南保 英孝，武澤 友広，小越 康宏，小越 咲子，木村春彦
  • Organizer: 日本設備管理学会春季研究発表大会 B-2 <ｵｰｶﾞﾅｲｽﾞﾄﾞ・ｾｯｼｮﾝ 教育と改善>
  • Place of Presentation: 早稲田大学（東京都）
  • Year and Date: 2014-05-29
• [Presentation] 言語聴覚トレーニングシステム～発声の明瞭さと口形に関する考察 (2014)
  • Author(s): 尼形 侑祐，小越 康宏，小越 咲子，武澤 友広
  • Organizer: 日本設備管理学会 北信越支部 研究発表大会 A3
  • Place of Presentation: 金沢大学サテライトプラザ（金沢市）
  • Year and Date: 2014-05-21
• [Presentation] 顔画像の魅力度が記憶課題成績およびERP 成分に及ぼす効果 (2013)
  • Author(s): 森田 哲史，小越 咲子，小越 康宏，三橋 美典
  • Organizer: 第31回 日本生理心理学会大会
  • Place of Presentation: 福井大学（福井市）
• [Presentation] 表情表出・表情同調トレーニング支援システムの開発 (2013)
  • Author(s): 尼形 侑祐，小越 咲子，小越 康宏，三橋 美典
  • Organizer: 第31回 日本生理心理学会大会
  • Place of Presentation: 福井大学（福井市）
• [Presentation] イメージによる模倣学習時の脳波特性に関する基礎的研究 (2013)
  • Author(s): 百瀬 周，小越 咲子，小越 康宏，三橋 美典
  • Organizer: 第31回 日本生理心理学会大会
  • Place of Presentation: 福井大学（福井市）
• [Presentation] 顔面筋電図を用いた表情の知覚と表出に関する基礎的研究 (2013)
  • Author(s): 高原 彬，小越 咲子，小越 康宏，三橋 美典
  • Organizer: 第31回 日本生理心理学会大会
  • Place of Presentation: 福井大学（福井市）
• [Presentation] 表情表出同調トレーニングシステムの開発研究 (2013)
  • Author(s): 尼形 侑祐，小越 康宏，小越 咲子，三橋 美典，武澤 友広，荒木 睦大
  • Organizer: 日本設備管理学会 北信越支部 研究発表大会
  • Place of Presentation: 金沢星稜大学（金沢市）
• [Presentation] 模倣学習時の脳波特性に関する研究 (2013)
  • Author(s): 百瀬 周，小越 咲子，小越 康宏，武澤 友広，三橋 美典，荒木 睦大
  • Organizer: 日本設備管理学会 北信越支部 研究発表大会
  • Place of Presentation: 金沢星稜大学（金沢市）
• [Presentation] 顔画像の魅力度が記憶課題成績とERP成分に及ぼす効果の研究 (2013)
  • Author(s): 森田 哲史，小越 咲子，小越 康宏，三橋 美典，武澤 友広，荒木 睦大
  • Organizer: 日本設備管理学会 北信越支部 研究発表大会
  • Place of Presentation: 金沢星稜大学（金沢市）
• [Presentation] 顔面筋電図を用いた表情の知覚と表出に関する研究 (2013)
  • Author(s): 高原 彬，小越 康宏，小越 咲子，武澤 友広，三橋 美典，荒木 睦大
  • Organizer: 日本設備管理学会 北信越支部 研究発表大会
  • Place of Presentation: 金沢星稜大学（金沢市）
• [Presentation] 胎児心拍数と母親の情動に関する考察 (2013)
  • Author(s): 池上 智之，荒木 陸大，小越 康宏，谷口 秀次
  • Organizer: 日本情動学会第3回大会
  • Place of Presentation: 京都大学（京都市）
• [Presentation] 教育や就労を支援するためのICFを用いたICT技術開発の提案 (2013)
  • Author(s): 小越 康宏
  • Organizer: 日本設備管理学会 第2回 就労支援技術研究会
  • Place of Presentation: TKP東京駅前カンファレンスセンター（東京都）
  • Invited
• [Presentation] An examination of gender differences in mu rhythm of the mirror-neuron system during the imagination of observed action (2013)
  • Author(s): S. Ogoshi, Y. Ogoshi, T. Takezawa, Y. Mituhashi
  • Organizer: 2013 International Conferences on Active Media Technology (AMT 2013) & Brain and Health Informatics (BHI 2013)
  • Place of Presentation: Maebashi, Gumma, Japan
• [Presentation] Impact of on social reward appeal upon electroencephalographic activities and task performance (2013)
  • Author(s): S. Morita, S. Ogoshi, Y. Ogoshi, T. Takezawa, Y. Mitsuhashi, C. Araki
  • Organizer: The 12th Asian Pacific Industrial Engineering and Management Systems Conference (APIEMS 2013)
  • Place of Presentation: Cebu, Philippines
• [Presentation] Mu Rhythm Suppression During the Imagination of Observed Action (2013)
  • Author(s): S. Ogoshi, Y. Ogoshi, S. Momose, T. Takezawa, Y. Mitsuhashi
  • Organizer: 35th Annual International IEEE EMBS Conference
  • Place of Presentation: Osaka International Convention Center, in Osaka, Japan
• [Presentation] F-84：読み情報と1重単語マルコフ連鎖確率モデルを用いたかな漢字変換候補絞り込みに関する基礎的研究 (2012)
  • Author(s): 野澤啓泰、荒木睦大、小越康宏
  • Organizer: 電気関係学会北陸支部連合大会
  • Place of Presentation: 富山県立大学
• [Presentation] F-85：胎児と母親の感情に関する相互関係 (2012)
  • Author(s): 神谷勇輝、荒木睦大、小越康宏
  • Organizer: 電気関係学会北陸支部連合大会
  • Place of Presentation: 富山県立大学
• [Presentation] 発達障害者が輝いて働けるための場所づくり・ものづくり・ひとづくり（大会長挨拶・大会趣旨説明・特別講演会司会） (2012)
  • Author(s): 小越康宏
  • Organizer: 日本設備管理学会北信越支部シンポジウム
  • Place of Presentation: 福井大学
• [Presentation] P-22：発達障害支援者のためのICTを用いた協働型支援システムの開発～親の学びを中心とした継続的な協働支援体制の構築～ (2012)
  • Author(s): 小越咲子、武澤友広、小越康宏、中井昭夫、山崎京子、三橋美典
  • Organizer: 日本ＬＤ学会
  • Place of Presentation: 仙台国際センター
• [Presentation] A3.1：人間の状態把握のためのICF記述とその活用方法～福祉設備管理の観点から～ (2012)
  • Author(s): 小越康宏、小越咲子、中井昭夫、三橋美典、武澤友広
  • Organizer: 日本設備管理学会秋季研究発表大会 A-3 <ｵｰｶﾞﾅｲｽﾞﾄﾞ・ｾｯｼｮﾝ 福祉と教育>
  • Place of Presentation: 名城大学
• [Presentation] A3.2：ICFを用いた福祉教育支援システムの提案～ICFを用いた発達障害児者支援システムの開発～ (2012)
  • Author(s): 小越咲子、小越康宏、中井昭夫、三橋美典、武澤友広
  • Organizer: 日本設備管理学会秋季研究発表大会 A-3 <ｵｰｶﾞﾅｲｽﾞﾄﾞ・ｾｯｼｮﾝ 福祉と教育>
  • Place of Presentation: 名城大学
• [Presentation] A3.3：認知症を予防するための電子日記帳システム (2012)
  • Author(s): 森田哲史、小越咲子、小越康宏、三橋美典、武澤友広
  • Organizer: 日本設備管理学会秋季研究発表大会 A-3 <ｵｰｶﾞﾅｲｽﾞﾄﾞ・ｾｯｼｮﾝ 福祉と教育>
  • Place of Presentation: 名城大学
• [Presentation] A3.4：発達障害のある生徒を対象とした自己理解支援システムの開発に関する研究 (2012)
  • Author(s): 武澤友広、榎本容子、小越咲子、小越康宏、三橋美典
  • Organizer: 日本設備管理学会秋季研究発表大会 A-3 <ｵｰｶﾞﾅｲｽﾞﾄﾞ・ｾｯｼｮﾝ 福祉と教育>
  • Place of Presentation: 名城大学
• [Presentation] S3-1：社会的報酬価がERPを指標とした認知機能に及ぼす影響 (2012)
  • Author(s): 内海太一、森田哲史、小越咲子、武澤友広、小越康宏、三橋美典
  • Organizer: 日本生体医工学会北陸支部大会
  • Place of Presentation: 福井市地域交流プラザ
• [Book] Analysis of Facial Expressions for Mimetic Muscles by using Electromyogram - Electromyogram analysis of facial muscle during tuning of expression -, In H. Takada (Ed.), Electromyography: New Developments, Procedures and Applications (2012)
  • Author(s): Y. Ogoshi，T. Takezawa，Y. Yoshinori，S. Ogoshi，H. Saito，C. ArakiY. Ogoshi，T. Takezawa，Y. Yoshinori，S. Ogoshi，H. Saito，C. Araki
  • Total Pages: 14
  • Publisher: Nova Science Publishers, Inc.，USA
• [Patent(Industrial Property Rights)] 心拍状態解析装置 (2014)
  • Inventor(s): 荒木睦大，森 幹男，谷口秀次，小越康宏，西島浩二，白井治彦
  • Industrial Property Rights Holder: 国立大学法人福井大学
  • Industrial Property Rights Type: 特許
  • Industrial Property Number: 2014-117111
  • Filing Date: 2014-06-05