Technology for Embodiment of Augmented Human

• Project/Area Number: 19H01121
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Medium-sized Section 61:Human informatics and related fields
• Research Institution: Osaka University
• Principal Investigator: 前田 太郎 大阪大学, 大学院情報科学研究科, 教授 (00260521)
• Co-Investigator(Kenkyū-buntansha): 古川 正紘 大阪大学, 大学院情報科学研究科, 准教授 (40621652) ; 安藤 英由樹 大阪芸術大学, 芸術学部, 教授 (70447035)
• Project Period (FY): 2019-04-01 – 2024-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥44,850,000 (Direct Cost: ¥34,500,000、Indirect Cost: ¥10,350,000); Fiscal Year 2023: ¥8,840,000 (Direct Cost: ¥6,800,000、Indirect Cost: ¥2,040,000); Fiscal Year 2022: ¥9,360,000 (Direct Cost: ¥7,200,000、Indirect Cost: ¥2,160,000); Fiscal Year 2021: ¥9,360,000 (Direct Cost: ¥7,200,000、Indirect Cost: ¥2,160,000); Fiscal Year 2020: ¥9,360,000 (Direct Cost: ¥7,200,000、Indirect Cost: ¥2,160,000); Fiscal Year 2019: ¥7,930,000 (Direct Cost: ¥6,100,000、Indirect Cost: ¥1,830,000)
• Keywords: 人間拡張技術 / 身体性 / テレイグジスタンス / 記憶モデル / ニューロフィードバック / 人間機能拡張 / 意識下身体応答 / Extra Body / Mismatch Negativity / Scale Conversion / Telexistence / Ownership / 身体拡張技術 / 追加身体

Outline of Research at the Start

人の身体図式は生得的な特徴を備えているとはいえ，不変のものでは無く，発達や受傷の過程などを経て変容することが知られている．身体の機能拡張技術においては知覚能力や効果器としての四肢の追加・増強の試みは多くあるが，これらの追加要素を新たな身体として認識し行動を決定する「身体意識」そのものを高いリアリティを伴って拡張する明確な方法論については未だ語られていない．本研究では身体拡張技術の観点からこの「身体意識」の変容を狙う．感覚伝送と身体応答計測，ニューロフィードバック技術を駆使して，身体拡張に伴う身体意識の拡張の可能性について解明し，身体意識の再構築を実現する誘導・制御技術について開発を行う．

Outline of Annual Research Achievements

本年度は最終年度に向けて，昨年度より進めている三つの課題については継続的に発展させて身体意識の形成原理を検証すると共に，これを誘導・再現する技術の統合を目指した．
ニューロフィードバック技術については従来技術の検証と評価を進める過程において刺激と順応の精密化を進めた．刺激手法については経頭蓋電流刺激と脳波検出に共通する低周波電流経路について，本研究提案に通底するSkull-Hole仮説を精密化し，脳波計測と電気刺激を両立させた位相フィードバック刺激技術を向上させる基礎技術を構築した．
スツルムリウビル型連想記憶回路モデルを用いた「脳全域にわたり統一的に保持される身体意識」の研究では，振動場において低次領野から高次領野にわたる領野構造の自己組織化を振動場の計算機シミュレーションによって検討した．神経場における学習法則として，ミクロレベル生じるSTDP効果とマクロ的な時間スケールで生じるHebb学習について，これらが概ね同相に生じることを示し，同時に細胞間のシナプス増強過程によって定在波の節に対応する記憶の想起状態の遷移過程を記述することを試みた．最終年度においてはこの過程で得られる記憶表象の自己組織的な獲得とその連想性についての検証を進める．
さらに「身体意識と世界像」の構築原理に取り組むために「自己運動感覚と空間把握」の観点から「視空間の機能拡張」に着手した．新たに提案した錯覚提示技術として複数点間の視点映像の合成輝度比率を操作することによって，それらの視点間を任意の移動速度で自己運動した運動印象をバーチャルに合成し，これによって奥行き距離を伴った3次元の空間把握を成立させることに成功した．最も極端な状態である『静止印象を伴う運動奥行き視知覚』の成立を実証することによって，限定的な視点情報から任意の能動運動視に対応してバーチャルに正確な3次元空間把握を再現させる技術を確立した．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本年度は最終年度に向けて，昨年度より進めている三つの課題については継続的に発展させて身体意識の形成原理を検証すると共に，これを誘導・再現する技術の統合を目指した．
ニューロフィードバック技術については当初予定の睡眠学習と身体消失感覚についての進捗過程から副次的にMMNによる順応過程の解析からその階層性として「短期の線形順応」と「長期の非線形順応」から構成される構造が概ね明らかとなった．議論の精密化のため刺激と順応検証の精密化としてSkull-Hole仮説を精密化し，脳波計測と電気刺激を両立させた位相フィードバック刺激技術を向上させる基礎技術を構築した．
スツルムリウビル型連想記憶回路モデルを用いた「脳全域にわたり統一的に保持される身体意識」の研究では，振動場において低次領野から高次領野にわたる領野構造の自己組織化を振動場の計算機シミュレーションが順調であり，特に神経場における学習法則として，ミクロレベル生じるSTDP効果とマクロ的な時間スケールで生じるHebb学習について，これらが概ね同相に生じることを示し，同時に細胞間のシナプス増強過程によって定在波の節に対応する記憶の想起状態の遷移過程を記述することが確認された．最終年度においてはこの過程で得られる記憶表象の自己組織的な獲得とその連想性についての検証を進める．
さらに「身体意識と世界像」の構築原理に取り組むために「自己運動感覚と空間把握」の観点から「視空間の機能拡張」に着手した．新たな錯覚提示技術として複数点間の視点映像の合成輝度比率を操作することによって，それらの視点間を任意の移動速度で自己運動した運動印象をバーチャルに合成し，最も極端な状態である『静止印象を伴う運動奥行き視知覚』の成立を実証することによって，限定的な視点情報から任意の能動運動視に対応してバーチャルに正確な3次元空間把握を再現させる技術を確立した．

Strategy for Future Research Activity

本研究では身体拡張技術の観点から「身体意識」の構成要素の解明と再構築を企図してきた．得られた知見は「身体像と外界像からなる自己意識」の解明においても大きな意味を持つ貢献となることが期待される．
本年度は既存の身体動作と並行して随意制御を実現する追加身体（ExtraBody）の実装的開発として，腹部に装着する追加の双腕ロボットシステムを構築し，全身動作から意図を推定する技術として「つもり制御」の応用によって事実上４本腕の上腕操作を構成するシステムを構築してきた．検証動作としてお手玉による4腕ジャグリングを採用して動作再現性の実時間追従度を検証しており，ロボットハードウェアの速度追従性能の不足からジャグリング動作の再現には至らなかったものの，未学習動作への動作推定確率は85%以上の推定精度を達成している．次年度ではハードウェアの改良によって実動作の再現を実現し，可動域内での随意動作再現の一般性の検証を進めることで拡張身体への動作意図の形成過程を明らかにする．
最終年度では「脳全域にわたり統一的に保持される身体意識」の計算機シミュレーションとして，上記つもり制御における入出力信号を身体応答モデルとしてスツルムリウビル型連想記憶回路モデルに学習させ，身体性の記憶表象の自己組織的な獲得とその連想性についての検証を進めることで，本研究で得られた知見による身体意識の脳内表象モデルに迫る．
またニューロフィードバック技術を用いた身体拡張の促進技術については，特に身体意識形成の順応過程の解明を企図してきた．MMNを介した順応過程の解析からその階層性として「短期の線形順応」と「長期の非線形順応」から構成される構造が概ね明らかとなってきている．最終年度はVR酔いの誘発強度とケンブリッジ離人率尺度を軸に「違和感検出の順応的緩和と身体像の再構築」のプロセスを検証・再設計する．

Research Products

• [Journal Article] Proposal Method for Suppression of Circulation Current due to Short-circuit between Electrodes during Vestibular Sense Presentation in GVS (2022)
  • Author(s): 原 彰良、渡邉 理翔、古川 正紘、前田 太郎
  • Journal Title: Transactions of the Virtual Reality Society of Japan Volume: 27 Issue: 3 Pages: 201-209
  • DOI: 10.18974/tvrsj.27.3_201
  • ISSN: 1344-011X, 2423-9593
  • Year and Date: 2022-09-30
  • Peer Reviewed / Open Access
• [Journal Article] Extension in Orientation of Vestibular Sensory Display with Time-Division Galvanic Vestibular Stimulation (2022)
  • Author(s): 原 彰良、渡邉 理翔、古川 正紘、前田 太郎
  • Journal Title: Transactions of the Virtual Reality Society of Japan Volume: 27 Issue: 3 Pages: 210-217
  • DOI: 10.18974/tvrsj.27.3_210
  • ISSN: 1344-011X, 2423-9593
  • Year and Date: 2022-09-30
  • Peer Reviewed / Open Access
• [Journal Article] Robustness of Rhythmic-Based Dynamic Hand Gesture with Surface Electromyography (sEMG) for Authentication (2020)
  • Author(s): Alex Ming Hui Wong, Masahiro Furukawa, Taro Maeda
  • Journal Title: Electronics 2020 Volume: Volume 9, Issue 12 Issue: 12 Pages: 2143-2143
  • DOI: 10.3390/electronics9122143
  • Peer Reviewed / Open Access
• [Journal Article] Mismatch negativity for visuo-tactile inconsistency in rubber hand illusion paradigm (2020)
  • Author(s): Hiroki Miyamoto, Akiyoshi Hara, Masahiro Furukawa, Hideyuki Ando, Taro Maeda
  • Journal Title: Augmented Humans 2020 Volume: Article No.: 15 Pages: 1-4
  • DOI: 10.1145/3396339.3396391
  • Peer Reviewed / Open Access
• [Journal Article] Estimating the Current and the Future Intention with Tsumori Control (2020)
  • Author(s): Akiyoshi Hara, Tomoki Nishimura, Hiroki Miyamoto, Masahiro Furukawa and Taro Maeda
  • Journal Title: IEEE/SICE International Symposium on System Integration Volume: 1 Pages: 596-600
  • DOI: 10.1109/sii46433.2020.9026305
  • Peer Reviewed
• [Journal Article] Dynamic Hand Gesture Authentication Using Electromyography (EMG) (2020)
  • Author(s): Alex Ming Hui Wong, Masahiro Furukawa, Hideyuki Ando, Taro Maeda
  • Journal Title: IEEE/SICE International Symposium on System Integration Volume: 1 Pages: 300-304
  • DOI: 10.1109/sii46433.2020.9026294
  • Peer Reviewed
• [Journal Article] Mutual Prediction Model for Predicting Information for Human Motion Generation - IEEE Conference Publication (2020)
  • Author(s): Tomoki Nishimura, Akiyoshi Hara, Hiroki Miyamoto, Masahiro Furukawa and Taro Maeda
  • Journal Title: IEEE/SICE International Symposium on System Integration Volume: 1 Pages: 687-692
  • DOI: 10.1109/sii46433.2020.9026182
  • Peer Reviewed
• [Presentation] Eigenfunction Synchronicity Modelにおける直交補空間学習による事変現象の安定的な時不変表象化 -時間連続事象中で時間離散化された情報のゼロ表現の有用性 第10報 (2022)
  • Author(s): 西尾 直樹、前田 太郎、田中 靖人
  • Organizer: NEURO2022
  • Int'l Joint Research
• [Presentation] The central Mechanism Underlying Extrapolation of Thermal Sensation (2022)
  • Author(s): Junjie Hua, Masahiro Furukawa, Taro Maeda
  • Organizer: Asia Haptics2022
  • Int'l Joint Research
• [Presentation] 静止印象をもたらす運動立体視による空間知覚 (2022)
  • Author(s): 李佰昂，古川正紘，前田太郎
  • Organizer: 第27回日本バーチャルリアリティ学会大会
• [Presentation] 今あらためてメタバースを考える―メタバース設計論の構築にむけて (2022)
  • Author(s): 古川 正紘、舘 暲、南澤 孝太、前田 太郎
  • Organizer: 第27回日本バーチャルリアリティ学会大会
  • Invited
• [Presentation] 「超人」から「人間拡張」へ ：人間拡張研究のこれから (2022)
  • Author(s): 野嶋 琢也、稲見 昌彦、前田 太郎、田中 孝之
  • Organizer: 第27回日本バーチャルリアリティ学会大会
  • Invited
• [Presentation] Extrapolation of Thermal Sensation and A Neuron-Like Model Based on Distribution Difference and Interactions of Thermoreceptors (2021)
  • Author(s): Junjie Hua, Masahiro Furukawa, Taro Maeda
  • Organizer: World Haptics 2021
  • Int'l Joint Research
• [Presentation] A Whole Brain Synchronicity Neural Computing Model -Part 1 (2021)
  • Author(s): T.Maeda, N.Nishio
  • Organizer: Neuroscience2021
  • Int'l Joint Research
• [Presentation] Two Types of Nerve Fields Realize Recall of Associative Memory on the Whole Brain-A Whole Brain Synchronicity Neural Computing Model Part 2- (2021)
  • Author(s): N.Nishio, T.Maeda
  • Organizer: Neuroscience2021
  • Int'l Joint Research
• [Presentation] The effect of high fps on vision in visual presentation under active motion (2021)
  • Author(s): Masahiro Furukawa; Teppei Matsuoka; Taro Maeda
  • Organizer: Vision Sciences Society 2021
  • Int'l Joint Research
• [Presentation] Does the difference in cranial current path change the torsional impression and behavior Galvanic Vestibular Stimulation? OPEN ACCESS (2021)
  • Author(s): Akiyoshi Hara; Taro Maeda; Yasuto Tanaka; Hiroyuki Fujie; Masahiro Furukawa
  • Organizer: Vision Sciences Society 2021
  • Int'l Joint Research
• [Presentation] スケールダウン環境下へのスキル伝達 -拡張テレイグジスタンスへの挑戦 第2報- (2021)
  • Author(s): 平山 智貴，宮本 拓，松岡 哲平，大石 つぐみ，古川 正紘，前田 太郎
  • Organizer: 第26回日本バーチャルリアリティ学会大会
• [Presentation] GVSにおける加速度感覚提示の際の電極間ショートによる回り込み電流の抑制手法の提案 (2021)
  • Author(s): 渡邉 理翔，原 彰良、古川 正紘、前田 太郎
  • Organizer: 第26回日本バーチャルリアリティ学会大会
• [Presentation] 全脳にわたって自己組織化する意識上記憶と意識下学習の相互作用モデル: - 時間連続事象中で時間離散化された情報のゼロ表現の有用性 第8報- (2021)
  • Author(s): 前田 太郎、西尾 直樹
  • Organizer: 第31回 日本神経回路学会 全国大会
• [Presentation] Eigenfunction Synchronicity Modelがもたらす多層パーセプトロンでの直交補空間学習 -時間連続事象中で時間離散化された情報のゼロ表現の有用性 第9報- (2021)
  • Author(s): 西尾 直樹、前田 太郎
  • Organizer: 第31回 日本神経回路学会 全国大会
• [Presentation] 固有関数によって想起の全域的な同期性を実現する連想記憶回路モデル：－時間連続事象中で時間離散化された情報のゼロ表現の有用性 第5報－ (2020)
  • Author(s): 前田 太郎、西尾 直樹、Sangwon Lee
  • Organizer: 第30回 日本神経回路学会 全国大会
• [Presentation] Eigenfunction Synchronicity Modelにおける相互側抑制結合の神経振動場：－時間連続事象中で時間離散化された情報のゼロ表現の有用性 第6報－ (2020)
  • Author(s): 西尾 直樹、前田 太郎、Sangwon Lee
  • Organizer: 第30回 日本神経回路学会 全国大会
• [Presentation] Implementation of Eigenfunction Synchronicity associative memory model: -Utility of zero representation of time-discretized information in time-continuous phenomena Part 7- (2020)
  • Author(s): Sangwon Lee, Naoki Nishio, Taro Maeda
  • Organizer: 第30回 日本神経回路学会 全国大会
• [Presentation] 低遅延化のための連続運動の利用法 (2020)
  • Author(s): 青戸 誠，宮本 拓，古川 正紘，前田 太郎
  • Organizer: 第25回バーチャルリアリティ学会
• [Presentation] 味物質選択性を持つ電気刺激手法 (2020)
  • Author(s): 原 直弥, 原 彰良, 古川正紘, 前田太郎
  • Organizer: 第25回バーチャルリアリティ学会
• [Presentation] Wave Field Synthesis on Membrance to Clone Two Dimensional Rubbing Sensation (2019)
  • Author(s): Hiroki Miyamoto, Naoki Nebara, Junjie Hua, Masahiro Furukawa, Taro Maeda
  • Organizer: world haptics 2019
  • Int'l Joint Research
• [Presentation] 定在波の節を情報表現に用いるスツルムリウビル型連想記憶回路モデル：－時間連続事象中で時間離散化された情報のゼロ表現の有用性 第2報－ (2019)
  • Author(s): 前田太郎, 西尾直樹
  • Organizer: 第29回 日本神経回路学会 全国大会 (JNNS 2019)
• [Presentation] スツルムリウヴィル境界値問題の拡張による境界をまたぐ記憶の同時想起：－時間連続事象中で時間離散化された情報のゼロ表現の有用性 第3報－ (2019)
  • Author(s): 西尾直樹, 前田太郎
  • Organizer: 第29回 日本神経回路学会 全国大会 (JNNS 2019)
• [Presentation] スツルムリウビル型連想記憶回路モデルの等価距離空間への変換記述と節の仮想化による記憶容量の増加：－時間連続事象中で時間離散化された情報のゼロ表現の有用性 第4報－ (2019)
  • Author(s): 李祥源, 西尾直樹, 前田太郎
  • Organizer: 第29回 日本神経回路学会 全国大会 (JNNS 2019)
• [Book] ハプティクスとその応用 (2022)
  • Author(s): 【監修】大西公平、内村裕
  • Total Pages: 340
  • Publisher: シーエムシー出版
  • ISBN: 9784781316864
• [Patent(Industrial Property Rights)] 経頭蓋電気刺激装置 (2023)
  • Inventor(s): 前田 太郎,古川 正紘,原 彰良,松田 一武輝
  • Industrial Property Rights Holder: 前田 太郎,古川 正紘,原 彰良,松田 一武輝
  • Industrial Property Rights Type: 特許
  • Filing Date: 2023
  • Overseas