BMI based control of facial and emotional expression of humanoid robots

• Project/Area Number: 24650106
• Research Category: Grant-in-Aid for Challenging Exploratory Research
• Allocation Type: Single-year Grants
• Research Field: Sensitivity informatics/Soft computing
• Research Institution: Osaka University
• Principal Investigator: MORRIS Shayne Jason 大阪大学, 基礎工学研究科, 研究員 (70542116)
• Project Period (FY): 2012-04-01 – 2014-03-31
• Project Status: Completed (Fiscal Year 2013)
• Budget Amount: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000); Fiscal Year 2013: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000); Fiscal Year 2012: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
• Keywords: 感性ロボティクス / ヒューマノイドロボット / 脳機能計測

Research Abstract

We instructed the subjects to see movies of facial expression of an humanoid robot (HR) and a human and to answer emotional valence and naturalness of the facial expression. As a result, there was no significant difference in negative and neutral facial expression between HR and human, although positive valence for positive facial expression was lower in HR than in human. Motion of HR was more unnatural than that of human. Functional MRI during observation of the facial expression indicated activation of STN and GPi was significantly higher in AR than in human. We demonstrated observation of unnatural motion activates STN and GPi which are target areas in DBS which improve involuntary movement of Parkinson disease.

Research Products

• [Journal Article] Development of an implantable wireless ECoG 128ch recording device for clinical brain machine interface. (2013)
  • Author(s): Matsushita K, Hirata M, Suzuki T, Ando H, Ota Y, Sato F, Morris S, Yoshida T, Matsuki H, Yoshimine T.
  • Journal Title: Conf Proc IEEE Eng Med Biol Soc Volume: 2013 Pages: 1867-1870
  • DOI: 10.1109/embc.2013.6609888
  • Peer Reviewed
• [Journal Article] Which is the Most Appropriate Disconnection Surgery for Refractory Epilepsy in Childhood? (2013)
  • Author(s): Kishima H, Oshino S, Tani N, Maruo Y, Morris S, Hui Ming Khoo, Yanagisawa T, Shimono K, Okinaga T, Hirata M, Kato A , and Yoshimine T
  • Journal Title: Neurol Med Chir (Tokyo) Volume: 53 Pages: 814-820
• [Journal Article] ブレイン・マシン・インターフェースの基礎と臨床応用 (2013)
  • Author(s): 平田雅之, 栁澤琢史, 松下光次郎, 菅田陽怜, モリスシェイン, 神谷之康, 鈴木隆文, 吉田毅, 佐藤文博, 森脇崇, 梅垣昌士, 齋藤洋一, 貴島晴彦, 影山悠, 川人光男, 吉峰俊樹
  • Journal Title: 脳神経外科ジャーナル Volume: 22(3) Pages: 192-199
• [Journal Article] Which is the Most Appropriate Disconnection Surgery for (2013)
  • Author(s): Kishima H, Oshino S, Tani N, Maruo Y, Morris S, Hui Ming Khoo, Yanagisawa T, Shimono K, Okinaga T, Hirata M,
  • Journal Title: Neurol Med Chir (Tokyo) Volume: 53 Pages: 814-820
  • Peer Reviewed
• [Journal Article] Neural decoding of unilateral upper limb movements using single trial MEG signals. (2012)
  • Author(s): Sugata H
  • Journal Title: Brain Res Volume: 1468 Pages: 29-37
  • DOI: 10.1016/j.brainres.2012.05.053
  • Peer Reviewed
• [Journal Article] ブレイン・マシン・インターフェースによる機能支援 : リアルタイムロボットアーム制御とワイヤレス完全体内埋込装置の開発 (2012)
  • Author(s): 平田雅之, 柳澤琢史, 松下光次郎, モリスシェイン, 神谷之康, 鈴木隆文, 吉田毅, 佐藤文博, 齋藤洋一, 貴島晴彦, 後藤哲, 影山悠, 川人光男, 吉峰俊樹
  • Journal Title: 脳神経外科ジャーナル Volume: 21(7) Pages: 541-549
• [Journal Article] Brain-machine interfaceの進歩 (2012)
  • Author(s): 平田雅之, 柳澤琢史, 松下光次郎, 後藤哲, 菅田陽怜, モリスシェイン, 影山悠, 貴島晴彦, 齋藤洋一, 吉峰俊樹
  • Journal Title: 分子脳血管病 Volume: 11(3)
• [Journal Article] Movement-related neuromagnetic fields and performances of single trial classifications (2011)
  • Author(s): Sugata Hisato
  • Journal Title: Neuroreport Volume: 23(1) Issue: 1 Pages: 16-20
  • DOI: 10.1097/wnr.0b013e32834d935a
  • Peer Reviewed
• [Presentation] 3次元造形rapid manufacturing技術を用いた電子回路内蔵人工頭蓋骨の開発 (2014)
  • Author(s): 平田雅之, 松下光次郎, モリスシェイン, 栁澤琢史, 貴島晴彦, 吉峰俊樹
  • Organizer: 第7回日本整容脳神経外科研究会
  • Place of Presentation: 福岡(口演)
  • Year and Date: 2014-04-19
• [Presentation] 重症ALS患者に対する皮質脳波を用いたブレイン・マシン・インターフェース (2013)
  • Author(s): 平田雅之、柳澤琢史、菅田陽怜、福間良平、森脇崇、モリスシェイン、松下光次郎、貴島晴彦、三原雅史、押野悟、齋藤洋一、横井浩史、神谷之康、狭間敬憲、望月秀樹、吉峰俊樹
  • Organizer: 一般社団法人日本脳神経外科学会第72回学術総会
  • Place of Presentation: 横浜(シンポジウム)
  • Year and Date: 2013-10-16
• [Presentation] 体内埋込ないし携帯型多チャンネル頭蓋内脳波計測によるてんかん診断の可能性 (2013)
  • Author(s): 平田雅之、松下光次郞、鈴木隆文、貴島晴彦、押野悟、柳澤琢史、モリスシェイン、菅田陽怜、齋藤洋一、吉峰俊樹
  • Organizer: 第47回日本てんかん学会学術集会
  • Place of Presentation: 小倉(口演)
  • Year and Date: 2013-10-11
• [Presentation] A Fully-implantable Wireless System for Human Brain-Machine Interfaces using Brain Surface Electrodes : W-HERBS (2013)
  • Author(s): Hirata M, Matsushita K, Suzuki T, Yoshida T, Sato F, Umeda T, Nishimura Y, Hasegawa I, Ando H, Morris S, Yanagisawa T, Kishima H, Kawato M, Yoshimine T
  • Organizer: 第36回日本神経科学大会
  • Place of Presentation: 京都(口演)
  • Year and Date: 2013-06-21
• [Presentation] 皮質脳波を用いたブレイン・マシン・インターフェースの臨床応用 (2012)
  • Author(s): 平田雅之、柳澤琢史、松下光次郞、影山悠、モリスシェイン、菅田陽怜、貴島晴彦、押野悟、森脇崇、梅垣昌士、吉峰俊樹
  • Organizer: 第47回日本脊髄障害医学会
  • Place of Presentation: 静岡(シンポジウム)
  • Year and Date: 2012-10-25
• [Presentation] Towards clinical application of brain-machine interfaces based on electrocorticograms (2012)
  • Author(s): Hirata M, Yanagisawa T, Matsushita K, Sugata H, Morris S, Kageyama Y, Kishima H, Saitoh Y, Kamitani Y, Suzuki T, Yokoi H, Nishimura Y, Yoshida T, Sato F, Kawato M, Yoshimine T
  • Organizer: The International Symposium on Clinical Application of Brain-Machine Interface (BMI)
  • Place of Presentation: Osaka, Japan (Symposium)
  • Year and Date: 2012-10-20
• [Presentation] 体内埋込ないし携帯型多チャンネル精密脳信号計測が切り開く機能的脳神経外科 (2012)
  • Author(s): 平田雅之、松下光次郞、柳澤琢史、モリスシェイン、鈴木隆文、貴島晴彦、押野悟、影山悠、菅田陽怜、齋藤洋一、吉峰俊樹
  • Organizer: 第71回日本脳神経外科学会学術総会
  • Place of Presentation: 大阪(シンポジウム)
  • Year and Date: 2012-10-18
• [Presentation] Brain Machine Interface : the present and the next ten years (2012)
  • Author(s): Hirata M, Yanagisawa T, Matsushita K, Sugata H, Morris S, Kageyama Y, Suzuki T, Yokoi H, Nishimura Y, Umeda T, Kishima H, Saitoh Y, Yoshida T, Sato F, Kamitani Y, Yoshimine T
  • Organizer: 第35回日本神経科学大会
  • Place of Presentation: 名古屋(シンポジウム)
  • Year and Date: 2012-09-20
• [Presentation] 体内埋込型ワイヤレス皮質脳波計測システムの開発 (2012)
  • Author(s): 松下光次郎, 平田雅之, 鈴木隆文, 吉田毅, 加藤健太郎, 佐藤博文, 松木秀敏, モリスシェイン, 後藤哲, 吉峰俊樹
  • Organizer: ロボティクス・メカトロニクス講演会2012
  • Place of Presentation: 浜松, 静岡 (.ポスター)
  • Year and Date: 2012-05-29
• [Presentation] A Fully-Implantable Wireless System for Human Brain-Machine Interfaces using Brain Surface Electrodes : W-HERBS (2011)
  • Author(s): Hirata M, Matsushita K, Suzuki T, Yoshida T, Sato F, Morris S, Yanagisawa T, Goto T, Kawato M, and Yoshimine T
  • Organizer: The 41st annual meeting of Society for Neuroscience
  • Place of Presentation: Washington(ポスター)
  • Year and Date: 2011-11-13
• [Presentation] 重症ALS患者に対する皮質脳波を用いたブレイン・マシン・インターフェース
  • Author(s): 平田 雅之、 柳澤 琢史、菅田 陽怜、福間 良平、 森脇 崇、 モリス シェイン、松下 光次郎、貴島 晴彦、 三原 雅史、押野 悟、 齋藤 洋一、横井 浩史、神谷 之康、狭間 敬憲、望月 秀樹、吉峰 俊樹
  • Organizer: 一般社団法人日本脳神経外科学会 第72回学術総会
  • Place of Presentation: 横浜
• [Presentation] 体内埋込ないし携帯型 多チャンネル頭蓋内脳波計測による てんかん診断の可能性
  • Author(s): 平田雅之、松下光次郞、鈴木隆文、貴島晴彦、押野悟、柳澤琢史、モリスシェイン、菅田陽怜、齋藤洋一、吉峰俊樹
  • Organizer: 第47回日本てんかん学会学術集会
  • Place of Presentation: 小倉
• [Presentation] A Fully-implantable Wireless System for Human Brain-Machine Interfaces using Brain Surface Electrodes: W-HERBS
  • Author(s): Hirata M, Matsushita K, Suzuki T, Yoshida T, Sato F, Umeda T, Nishimura Y, Hasegawa I, Ando H, Morris S, Yanagisawa T, Kishima H, Kawato M, T Yoshimine
  • Organizer: 第36回日本神経科学大会
  • Place of Presentation: 京都
• [Presentation] 皮質脳波を用いた ブレイン・マシン・インターフェースの臨床応用
  • Author(s): 平田雅之
  • Organizer: 第47回日本脊髄障害医学会
  • Place of Presentation: 静岡
  • Invited
• [Presentation] Towards clinical application of brain-machine interfaces based on electrocorticograms
  • Author(s): Hirata M
  • Organizer: The International Symposium on Clinical Application of Brain-Machine Interface (BMI)
  • Place of Presentation: Osaka (Japan)
  • Invited
• [Presentation] 高密度脳表電極の開発
  • Author(s): Morris Jason Shayne
  • Organizer: The International Symposium on Clinical Application of Brain-Machine Interface (BMI)
  • Place of Presentation: Osaka (Japan)
• [Presentation] 中心溝内一次運動野の解剖学的特徴
  • Author(s): Morris Jason Shayne
  • Organizer: 第71回日本脳神経外科学会総会
  • Place of Presentation: 大阪
• [Presentation] 体内埋込ないし携帯型多チャンネル精密脳信号計測が切り開く機能的脳神経外科
  • Author(s): 平田雅之
  • Organizer: 第71回日本脳神経外科学会学術総会
  • Place of Presentation: 大阪
• [Presentation] Brain Machine Interface: the present and the next ten years
  • Author(s): Hirata M
  • Organizer: 第35回日本神経科学大会
  • Place of Presentation: 名古屋
• [Presentation] 体内埋込型ワイヤレス皮質脳波計測システムの開発
  • Author(s): 松下光次郎
  • Organizer: ロボティクス・メカトロニクス講演会2012
  • Place of Presentation: 浜松(静岡）
• [Presentation] Contour Fitting High Density Personalized 3 Dimensional Cortical Electrodes
  • Author(s): Hirata M
  • Organizer: Materialize World Conference 2012
  • Place of Presentation: Leuven (Belgium)
  • Invited
• [Book] Brain–Machine Interface Using Brain Surface Electrodes : Real-Time Robotic Control and a Fully Implantable Wireless System. JingLong Wu Okayama University Eds(Chapter 36) (2013)
  • Author(s): Hirata M, Yanagisawa T, Matsushita K, Sugata H, Kamitani Y, Suzuki T, Yokoi H, Goto T, Morris S, Saitoh Y, Kishima H, Kawato M, Yoshimine T
  • Publisher: IGI Global Proof Technological Advancements in Biomedicine for Healthcare Applicatiions (DOI:10.4018/978-1-4666-2196-1.ch036)
• [Book] Technological Advancements in Biomedicine for Healthcare Applicatiions (2013)
  • Author(s): Hirata M, Yanagisawa T, Matsushita K, Sugata H, Kamitani Y, Suzuki T, Yokoi H, Goto T, Morris S, Saitoh Y, Kishima H, Kawato M, Yoshimine T
  • Total Pages: 12
  • Publisher: IGI Global Proof
• [Book] JingLong Wu Okayama University (2013)
  • Author(s): Hirata M, Yanagisawa T, Matsushita K, Sugata H, Kamitani Y, Suzuki T, Yokoi H, Goto T, Morris S, Saitoh Y, Kishima H, Kawato M, Yoshimine T
  • Total Pages: 12
  • Publisher: (Chapter 36) Brain–Machine Interface Using Brain Surface Electrodes: Real-Time Robotic Control and a Fully Implantable Wireless System
• [Remarks] 認知脳理解に基づく未来工学創成
  • URL: http://www.gcoe-cnr.osaka-u.ac.jp/