身体投影学の確立による高齢者の手腕の操作範囲と制御能力の拡張

2017 年度 実績報告書

• 研究課題/領域番号: 16H02859
• 研究機関: 大阪大学
• 研究代表者: 佐藤 宏介 大阪大学, 基礎工学研究科, 教授 (90187188)
• 研究分担者: 才脇 直樹 奈良女子大学, 生活環境学部, 准教授 (20252637) ; 岩井 大輔 大阪大学, 基礎工学研究科, 准教授 (90504837)
• 研究期間 (年度): 2016-04-01 – 2019-03-31
• キーワード: 投影型複合現実感 / オーグメンティッド・ヒューマン / スマート車椅子 / 振戦抑制システム

研究実績の概要

人工の身体を自身の身体と混同してしまうラバーハンド錯覚を各種のプロジェクタを用いて映像投影する複合現実感技術を、手に振懲（ふるえ）のある者のキーボードタイピングタスクに適用し、前年度開発の、手指３次元位置リアルタイム画像計測、指先トラッキンク、ユーザ意図推定、キー動的リマッピングの各機能と手指リアルタイムＣＧ合成表示機能のソフトウェアを、下向設置の液晶モニタディスプレイ、机上投影型プロジェクタが実キーボードを仮想化し投影する机上との中間面にハーフミラーを並行配置する、２層型光学シースルー複合現実感表示系のハードウェアとを統合し、振戦を抑制し矯正するオーグメンティッドヒューマン型デスクワーク環境の実証機を構築した。この実証機に手を不随意に揺動させる外力装置を用いて振戦を模擬した被験者心理実験を行い、前年度の予備実験で得た振動抑箭制御がキータイピングデスクワーク作業を能率を向上させる確証を得た。また、車椅子利用者向け適用として前年度を開発した、通常前輪型のアナログ入力電動車椅子をベースにした拡張手投影機能を有するプロジェクタ搭載スマート電動車椅子１号機を基に、より運動性能の高いオムニホイール前輪型のデジタル入力電動車椅子をベースに２号機を開発し、投影型拡張手を床につけて車椅子自体を移動・旋回する、アンカリングされたラバーハンドをメンタルモデルとする、新規なオーグメンティッドヒューマン型モビリティの移動操作系を構築した。さらに、前年度実装した拡張手ネイティブアプリをクラウド型インターネット上のブラウザアプリに展開、汎用化し、専用ホームページにて一般公開した。これにより、オーグメンティド・ヒューマンの福祉分野への学術展開に留まらず、誰でもいつでもブラウザさえあれば、ユニバーサルかつ遠隔地間の手腕コミュニケーション支援環境を利用できるオープン型の社会貢献基盤を整えることができた。

現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

キーボードの特定のキーをタイプしようとする随意運動の作業をユーザが行う時、振戦や外力で不随意に揺れている実手と、システムが予測した随意運動で運動する手指を模倣した仮想手（ＣＧ合成）とを、同一場所に視覚的に混合（シースルー重畳）した場合、ユーザは随意で運動する手の方を自らの身体と錯覚し、実手であっても不随意に揺れている手の方を無視する、複合現実感における新規な心理学的知見、加えてそのオーグメンティッドヒューマン型デスクワーク環境のシステム開発、並びに本システムが実際に振戦を抑制し矯正できたという知見を報告した国際雑誌論文と国内雑誌論文の両方がともに論文賞を受賞し、内外から高い学術的評価を受けたため。
・Grand Prize for The 2017 IEEE Access Best Multimedia Contest (Part 1)：Kai Wang, Daisuke Iwai, and Kosuke Sato, "Supporting Trembling Hand Typing Using Optical See-Through Mixed Reality," IEEE Access, Vol. 5, pp. 10700-10708, 2017. (受賞年月日:2018年1月11日)
・日本バーチャルリアリティ学会論文賞：Kai Wang, Noriko Takemura, Daisuke Iwai, and Kosuke Sato, "A Typing Assist System Considering Involuntary Hand Tremor," Transactions of the Virtual Reality Society of Japan, Vol. 21, No. 2, pp. 227-233, 2016. (受賞年月日:2017年9月28日)

今後の研究の推進方策

３カ年とする研究期間において最終年度となる第３年度は、第２年度に構築した実証機をベースに、高齢者だけでなく健常者も含むユニバーサルデザイン化への展開に挑戦する。より実際の職場や福祉施設で行われているデスクワークや遠隔対話に即するよう、一般什器に拡張手を呈示するプロジェクタ等の投影型複合現実感の表示系、手指を観測する小型カメラやタッチセンサ等の観測系、ハブティックフィードバック呈示系の各デバイスを一体的に組み込んだ高品位システムを開発する。この高品位システムに、第２年度に一般提供を開始したクラウド型インターネット上のブラウザアプリを用いて、通信遅延をある現実の遠隔地間（例：大阪大学-奈良女子大学）で、遠隔協調が必要なタスク下でのユーザビリティに関する知見を得る。また、目の前に自身の手が視覚的に存在しても、随意運動する手の存在が不随意運動する手の存在を上書きする、第２年度で発見された複合現実感環境における心理学的知見を、本システムによって初めて成立するようなマルチユーザ作業でも成立するのか、加えて空間座標系や身体座標系よの整合度、ハプティクスフィードバックの寄与等の詳細条件を明らかにしてゆきたい。さらに、操作する手が操作対象を触り、触っている対象の凹凸などの性状に関する触感をその手が得るという、同一手指が行う通常の操作-触覚反応であるホモ身体フィードバック構造を、操作する手が操作対象を触ることはそのままに、触覚だけをもう一方の触っていない方の手が得るという、通常では起こりえない異手の組み合わせとなる、サイバー空間でのみ成立するヘテロ身体フィードバック構造を検証し、頭部姿勢や視線などの各身体モダリティと身体拡張との関係性、ユーザピリティを解明を試み、本研究全体を推進しつつ、第３年度として研究期間において得られた個別の知見の総合化を図るものとする。

備考

受賞1: Grand Prize for The 2017 IEEE Access Best Multimedia Contest (Part 1)(受賞日2018年1月11日)
受賞2: 2017年日本バーチャルリアリティ学会論文賞(受賞日2017年9月28日)

研究成果

• [雑誌論文] Geometrically Consistent Projection-Based Tabletop Sharing for Remote Collaboration (2018)
  • 著者名/発表者名: Iwai Daisuke、Matsukage Ryo、Aoyama Sota、Kikukawa Tsuyoshi、Sato Kosuke
  • 雑誌名: IEEE Access 巻: 6 ページ: 6293~6302
  • DOI: 10.1109/ACCESS.2017.2781699
  • 査読あり
• [雑誌論文] Supporting Trembling Hand Typing Using Optical See-Through Mixed Reality (2017)
  • 著者名/発表者名: Wang Kai、Iwai Daisuke、Sato Kosuke
  • 雑誌名: IEEE Access 巻: 5 ページ: 10700～10708
  • DOI: 10.1109/ACCESS.2017.2711058
  • 査読あり
• [学会発表] Haptic Feedback to Non-Manipulating Hand in Manipulating Virtual Hand (2018)
  • 著者名/発表者名: Naruki Tanabe, Yuki Asai, Ryuichi Enomoto, Haruka Matsukura, Daisuke Iwai, and Kosuke Sato
  • 学会等名: IEEE Haptics Symposium 2018 Demonstrations, p.125
• [学会発表] 仮想手操作における非操作手への触覚呈示手法の検討 (2018)
  • 著者名/発表者名: 田辺育暉, 浅井唯貴, 榎本龍一, 松倉悠, 岩井大輔, 佐藤宏介
  • 学会等名: 情報処理学会インタラクション2018論文集, pp. 785-790
• [学会発表] 手モーションキャプチャ装置 Leap Motion を用いた拡張仮想手のモーション制御に関する研究 (2018)
  • 著者名/発表者名: 青木亮磨, 浅井唯貴, 松倉悠, 岩井大輔, 佐藤宏介
  • 学会等名: 平成30年電気学会全国大会論文集, 2018-03-05, 3-128
• [学会発表] Body Cyberization by Spatial Augmented Reality for Reaching Unreachable World (2017)
  • 著者名/発表者名: uta Ueda, Yuki Asai, Ryuichi Enomoto, Kai Wang, Daisuke Iwai, and Kosuke Sato
  • 学会等名: 8th Augmented Human International Conference, pp. 19:1-19:9
  • 国際学会
• [学会発表] Ambient Image Sensing Using Saccadic Suppression (2017)
  • 著者名/発表者名: Ryo Shirono, Daisuke Iwai, Kosuke Sato
  • 学会等名: ASIAGRAPH 2017, pp. 43-44
  • 国際学会
• [学会発表] 拡張身体投影システムを搭載したスマート車椅子 (2017)
  • 著者名/発表者名: 浅井唯貴, 上田雄太, 岩井大輔, 佐藤宏介
  • 学会等名: 情報処理学会アクセシビリティ研究会第三回研究会，Vol.2017-AAC-3 No.14.
• [学会発表] 身体拡張インタフェースにおける非操作手への触覚呈示機構に関する研究 (2017)
  • 著者名/発表者名: 田辺育暉, 浅井唯貴, 榎本龍一, 上田雄太, 岩井大輔, 佐藤宏介
  • 学会等名: 第61回システム制御情報学会研究発表講演会講演論文集(SCI'17)，142-5
• [学会発表] バーチャルハンドを投影するテレプレゼンスロボット (2017)
  • 著者名/発表者名: 菊川剛, 岩井大輔, 佐藤宏介
  • 学会等名: 第61回システム制御情報学会研究発表講演会講演論文集(SCI'17)，132-4
• [備考] 投影型拡張手「ExtendedHand」アプリケーションソフトウェア配布用ホームページ
  • URL: http://www.extendedhand.net/
• [備考] 研究グループ活動紹介ホームページ
  • URL: http://www-sens.sys.es.osaka-u.ac.jp/