Stress evaluation and mental screening using voice emotion recognition technology

• Project/Area Number: 24300089
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Partial Multi-year Fund
• Section: 一般
• Research Field: Sensitivity informatics/Soft computing
• Research Institution: National Defense Medical College
• Principal Investigator: TSUMATORI Gentaro 防衛医科大学校(医学教育部医学科進学課程及び専門課程、動物実験施設、共同利用研究, 医学教育部医学科専門課程, 教授 (00585698)
• Co-Investigator(Kenkyū-buntansha): TOKUNO Shinichi 防衛医科大学校, 医学教育部医学科専門課程, 兼務講師 (40508339) ; YAHAGI Naoki 東京大学, 医学部附属病院, 教授 (60158045) ; SEKIYAMA Atsuo 大阪市立大学, 医学研究科, 准教授 (30403702)
• Co-Investigator(Renkei-kenkyūsha): SUZUKI Go 防衛医科大学校, 医学教育部医学科専門課程, 兼務講師 (50649035)
• Research Collaborator: MITSUYOSHI Shunji ; OOMIYA Yasuhiro ; TANAKA Yasuto ; SOMEDA Hidetoshi
• Project Period (FY): 2012-04-01 – 2015-03-31
• Project Status: Completed (Fiscal Year 2014)
• Budget Amount: ¥17,030,000 (Direct Cost: ¥13,100,000、Indirect Cost: ¥3,930,000); Fiscal Year 2014: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000); Fiscal Year 2013: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000); Fiscal Year 2012: ¥10,140,000 (Direct Cost: ¥7,800,000、Indirect Cost: ¥2,340,000)
• Keywords: 感情認知 / ストレス科学 / 心理アセスメント / 音声分析 / 健康管理

Outline of Final Research Achievements

Mass screening methods for estimating mental health status require accuracy and cost-effectiveness to be performed. Traditionally, self-administered questionnaire has been widely conducted for this purpose. However, it has some limitation: we cannot avoid underestimation by factitious responses. We herein, invented software to evaluate stress using novel speech emotion recognition technology available to screening for mental disorders. This system is based on principle that vocal code receives parasympathetic innervation which is susceptible to various stressors. A result shows the sensitivity and specificity of stress evaluation by voices are almost equivalent to those by the GHQ-30, and we are able to eliminate the reporting bias to pick up depression cases. There is still a room for this system for improvement to pursuit more accuracy.

Research Products

• [Journal Article] Decreased Plasma Brain-Derived Neurotrophic Factor and Vascular Endothelial Growth Factor Concentrations during Military Training (2014)
  • Author(s): Suzuki G, Tokuno S, Nibuya M, Ishida T, Yamamoto T, Mukai Y, Mitani K, Tsumatori G, Scott D, Shimizu K
  • Journal Title: PLoS One Volume: 9(2)e89455 Issue: 2 Pages: 1-9
  • DOI: 10.1371/journal.pone.0089455
  • Peer Reviewed
• [Journal Article] Electroconvulsive seizures enhance autophagy signaling in rat hippocampus (2014)
  • Author(s): Otabe H, Nibuya M, Shimazaki K, Toda H, Suzuki G, Nomura S, Shimizu K
  • Journal Title: Prog Neuropsychopharmacol Biol Psychiatry Volume: 50 Pages: 37-43
  • DOI: 10.1016/j.pnpbp.2013.11.012
  • Peer Reviewed / Open Access
• [Journal Article] 唾液アミラーゼ、ヒトヘルペスウイルス６及び視覚的評価尺度を用いた陸上自衛隊の軍事訓練による精神身体的ストレス反応の評価 (2014)
  • Author(s): 鈴木豪、小原健幸、三谷圭二、徳野慎一、丹生谷正史、高橋行広、清水邦夫、野村総一郎
  • Journal Title: 防衛衛生 Volume: 61(1,2) Pages: 11-18
  • NAID: 40019997961
  • Peer Reviewed
• [Presentation] 防衛医学研究の過去・現在・未来 (2015)
  • Author(s): 徳野慎一
  • Organizer: 第60回防衛衛生学会
  • Place of Presentation: 東京
  • Year and Date: 2015-02-05 – 2015-02-06
  • Invited
• [Presentation] STRESS EVALUATION BY VOICE: a novel stress evaluation technology (2014)
  • Author(s): Tokuno S, Mitsuyoshi S, Suzuki G, Tsumatori G
  • Organizer: 9th International Conference on Early Psychosis
  • Place of Presentation: Tokyo
  • Year and Date: 2014-11-17 – 2014-11-19
• [Presentation] Stress Evaluation Using Voice Emotion Recognition Technology: A Novel Stress Evaluation Technology for Disaster Responders (2014)
  • Author(s): Tokuno S, Mitsuyoshi S, Suzuki G, Tsumatori G
  • Organizer: XVI World Congress of Psychiatry
  • Place of Presentation: Madrid
  • Year and Date: 2014-09-14 – 2014-09-18
• [Presentation] 音声感情認識技術によるストレス強度判定 (2014)
  • Author(s): 徳野慎一
  • Organizer: 第１１０回精神神経学会年次学術総会 （シンポジウム１４）
  • Place of Presentation: 横浜
  • Year and Date: 2014-06-26 – 2014-06-28
• [Presentation] 国際平和協力活動評価としての深睡眠時間,唾液ヒトヘルペスウイルス6 (HHV-6),ヒトヘルペスウイルス7(HHV-7)量の検討 (2013)
  • Author(s): 鈴木豪, 山本泰輔, 近藤一博, 小林伸行, 徳野慎一, 丹生谷正史, 小原健幸, 石田徹, 七見匡哉, 山本哲生, 高橋行広, 立花正一, 妻鳥元太郎, 清水邦夫, 野村総一郎
  • Organizer: 第58回 防衛衛生学会
  • Place of Presentation: 電子装備研究所(東京都)
  • Year and Date: 2013-01-31
• [Presentation] 精神負荷反応バイオマーカーとしての深睡眠時間,血中BDNF タンパクの検討 (2013)
  • Author(s): 鈴木豪, 丹生谷正史, 徳野慎一, 三谷圭二, 小原健幸, 牧隆之, 石田徹, 山本泰輔, 山本哲生, 高橋行広, 田中徹平, 清水邦夫, 丸山徹, 立花正一, 妻鳥元太郎, 箱崎幸也, 野村総一郎
  • Organizer: 第58回 防衛衛生学会
  • Place of Presentation: 電子装備研究所(東京都)
  • Year and Date: 2013-01-31
• [Presentation] 身体+精神的負荷反応バイオマーカとしての血中BDNF(脳由来神経栄養因子)タンパク,深睡眠時間の検討 (2013)
  • Author(s): 鈴木豪, 丹生谷正史, 徳野慎一, 三谷圭二, 小原健幸, 牧隆之, 石田徹, 山本泰輔, 山本哲生, 高橋行広, 田中徹平, 清水邦夫, 丸山徹, 立花正一, 妻鳥元太郎, 箱崎幸也, 野村総一郎
  • Organizer: 第58回 防衛衛生学会
  • Place of Presentation: 電子装備研究所(東京都)
  • Year and Date: 2013-01-31
• [Presentation] 音声感情認識技術を用いたストレス評価 (2013)
  • Author(s): 徳野慎一, 鈴木豪, 妻鳥元太郎
  • Organizer: 防衛技術シンポジウム2013
  • Place of Presentation: グランドヒル市ヶ谷：東京
• [Presentation] Usage of Emotion Recognition in Stress Resilience Program (2013)
  • Author(s): Shinichi TOKUNO, Sota SHIMOZONO, Gentaro TSUMATORI
  • Organizer: 40th ICMM World Congress on Military Medicine
  • Place of Presentation: Saudi Arabia
• [Presentation] 精神+身体負荷・精神負荷反応バイオメーカーとしての深睡眠時間の検討 (2012)
  • Author(s): 鈴木豪、山本泰輔、丹生谷正史、徳一野慎一、小原健幸、牧隆之、石田徹、山本哲生、高橋行広、清水邦夫、妻鳥元太郎、立花正一、野村総一郎,
  • Organizer: 第127回 日本薬理学会関東部会
  • Place of Presentation: 東京国際フォーラム
  • Year and Date: 2012-10-20
• [Presentation] 精神身体的負荷・精神的負荷反応バイオマーカーとしての唾液ヒトヘルペスウイルス6 (HHV-6)、ヒトヘルペスウイルス7 (HHV-7)量、および深睡眠時間の検討 (2012)
  • Author(s): 鈴木豪、近藤一博、丹生谷正史、小林伸行、徳野慎一、三谷圭二、小原健幸、牧隆之、川崎真知子、石田徹、松永兼剛、高橋行広、山本泰輔、清水邦夫、立花正一、箱崎幸也、野村総一郎
  • Organizer: 第42回 日本神経精神薬理学会
  • Place of Presentation: 栃木県総合文化センター
  • Year and Date: 2012-10-18
• [Presentation] 相馬署及び南相馬署管内における歯科身元確認作業従事者を対象としたメンタルヘンス調査 (2012)
  • Author(s): 染田英利, 徳野慎一, 重村淳, 柳川錬平,妻鳥元太郎
  • Organizer: 第11回日本トラウマティックストレス学会
  • Place of Presentation: クローバープラザ(春日市)
  • Year and Date: 2012-06-10
• [Presentation] Concentration of Brain-derived neurotrophic factor (BDNF) in plasma as biomarker for mental and physical stress
  • Author(s): Go Suzuki, Masashi Nibuya, Shinichi Tokuno, Takeyuki Obara, Tetsuo Yamamoto, Yukihiro Takahashi, Taisuke Yamamoto, Teppei Tanaka, Kunio Shimizu, Toru Maruyama, Gentaro Tsumatori, Shoichi Tachibana, Soichiro Nomura
  • Organizer: 11th world congress of biological psychiatry
  • Place of Presentation: 京都
• [Presentation] Activation of autophagy signaling by electroconvulsive seizure in rat brain
  • Author(s): M Nibuya, T Tanaka, H. Toda, G. Suzuki, S. Nomura, K Shimizu
  • Organizer: 11th world congress of biological psychiatry
  • Place of Presentation: 京都
• [Presentation] The level of serum hormones representing hypothalamus-pituitary-adrenal and thyroid functions in a rat model of posttraumatic stress disorder using a shuttle box
  • Author(s): K. Shimizu, T. Tsunoda, T. Yamamoto, M. Nibuya, H. Toda, T. Tanaka, H. Otabe, G. Suzuki, T. Wakizono, S.Nomura
  • Organizer: 11th world congress of biological psychiatry
  • Place of Presentation: 京都
• [Presentation] Correlation between reduction of hippocampal 5-bromo-2’-deoxyuride positive cells and behaviors in a rat model of posttraumatic stress disorder using a shuttle box
  • Author(s): K. Shimizu, T. Tsunoda, T. Yamamoto, M. Nibuya, A Kikuchi, H. Toda, T. Tanaka, H. Otabe, G. Suzuki, T. Wakizono, S.Nomura
  • Organizer: 11th world congress of biological psychiatry
  • Place of Presentation: 京都
• [Presentation] 見守りのための音声からストレスを計測する技術の一検討
  • Author(s): 大宮康宏, 中村光晃, 篠原修二, 光吉俊二, 徳野慎一
  • Organizer: 第1回 看護理工学会学術集会
  • Place of Presentation: 東京大学：東京
• [Presentation] 音声感情認識技術によるストレス強度判定の試み
  • Author(s): 徳野慎一, 鈴木豪, 山本泰輔, 小松里美, 光吉俊二, 大宮康宏, 妻鳥元太郎
  • Organizer: 第33回 精神科診断学会 (シンポジウム)
  • Place of Presentation: ピアザ淡海：滋賀
• [Presentation] うつ病、統合失調症における血中サイトカイン・ケモカイン濃度プロファイルの検討
  • Author(s): 関山敦生
  • Organizer: 第33回 精神科診断学会 (シンポジウム）
  • Place of Presentation: ピアザ淡海：滋賀
• [Presentation] Plasma Brain-derived Neurotrophic Factor (BDNF), Cytokines, and BDNF promoter methylation as markers of stress reaction in mental and physical environments
  • Author(s): Suzuki Go, Nibuya Masashi, Tokuno Shinichi, Takahashi Yukihiro, et al
  • Organizer: Society of Neuroscience 2013
  • Place of Presentation: San Diego, California, USA
• [Presentation] 血液検査によるストレス把握とうつ病発症回避サービスの提供
  • Author(s): 関山敦生
  • Organizer: 第二回未病社会の診断技術研究会
  • Place of Presentation: 東京大学：東京
• [Presentation] 血液検査によるストレス把握とうつ病発症回避サービスの提供
  • Author(s): 関山敦生
  • Organizer: 関係３省（総務、厚労、経産）による健康寿命の延伸セミナー
  • Place of Presentation: 大阪府合同庁舎1号館：大阪
• [Presentation] 国際平和協力活動評価としての血漿Brain-derived Neurotrophic Factor及びサイトカインの検討
  • Author(s): 鈴木 豪,山本泰輔,丹生谷正史,徳野慎一,七見匡哉,石田徹,山本哲生,向井保雄,宮崎誠樹,丸山徹,立花正一,妻鳥元太郎,清水邦夫,吉野相英,野村総一郎
  • Organizer: 第59回 防衛衛生学会
  • Place of Presentation: 自衛隊中央病院：東京
• [Presentation] 身体＋精神的負荷反応及び精神的付負荷反応バイオマーカーとしての血中サイトカインの検討
  • Author(s): 鈴木 豪, 徳野慎一, 丹生谷正史,三谷圭二,牧隆之, 石田徹,山本泰輔, 山本哲生, 向井保雄,川崎真知子, 清水邦夫, 立花正一,妻鳥元太郎,箱崎幸也,吉野相英,野村総一郎
  • Organizer: 第59回 防衛衛生学会
  • Place of Presentation: 自衛隊中央病院：東京
• [Presentation] 身体＋精神的負荷反応及び精神的付負荷反応バイオマーカーとしての血球DNAメチル化率(Brain-derived Neurotrophic Factor調節領域)の検討
  • Author(s): 鈴木 豪, 高橋知久, 丹生谷正史,高橋行広,徳野慎一,林充昭,戸田裕之,井上寛規,松尾洋行,高田雄三, 山本泰輔, 石田徹,向井保雄, 清水邦夫,丸山徹,立花正一,妻鳥元太郎,吉野相英,野村総一郎
  • Organizer: 第59回 防衛衛生学会
  • Place of Presentation: 自衛隊中央病院：東京
• [Presentation] シャトル箱法によるPTSDモデルに対するデキサメタゾン抑制試験におけるHPA系の過剰抑制について
  • Author(s): 清水邦夫、長峰正典、角田智哉、戸田裕之、鈴木豪、吉野相英、丹生谷正史
  • Organizer: 第59回 防衛衛生学会
  • Place of Presentation: 自衛隊中央病院：東京
• [Presentation] 音声感情認識技術によるストレスレジリエンスプログラムの効果判定
  • Author(s): 徳野慎一, 満井美奈子, 高野厚子, 下園壮太
  • Organizer: 第59回 防衛衛生学会
  • Place of Presentation: 自衛隊中央病院：東京
• [Book] 巨大惨禍への精神医学的介入―自然災害・事故・戦争・テロ等への専門的備え (2013)
  • Author(s): エルベス・キャメロン・リチー、パトリシア・J・ワトソンマシュー・J・フリードマン編計見一雄、鈴木満監訳(1６章翻訳担当 鈴木豪)
  • Publisher: 弘文堂