| Project/Area Number |
23K26073
|
|---|
| Project/Area Number (Other) |
23H01378 (2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 20020:Robotics and intelligent system-related
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
佐藤 宏介 大阪大学, 大学院基礎工学研究科, 教授 (90187188)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥5,070,000 (Direct Cost: ¥3,900,000、Indirect Cost: ¥1,170,000)
Fiscal Year 2025: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Fiscal Year 2024: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
|
|---|
| Keywords | ハプティックインタフェース / 拡張身体 / 投影手 / 感覚追加 / サイバー化身体 / 複合現実感 / 身体拡張 / ウェアラブル |
|---|
| Outline of Research at the Start |
人の環世界（Umwelt、感覚器から構築される生物種毎の独自世界）は拡張可能かを学術的問いに、知覚困難な物理世界を人の身体拡張を介した「感覚追加」から「投影身体での存在空間の可触化」を目指した基盤研究を行う。我々の脳は物理的な身体を必要とせず、プロジェクタで空間に投影された身体映像であれ一定の条件が整えば身体と認知する特性を生かして、赤外線、微振動等の通常の五感からでは知覚することのできない不知覚情報を特殊なレーザーセンサ等に基づく観測系を、装着／把持型の没入ディスプレイと組み合わせることで、五感を超える異種感覚が追加された仮想の超身体の実現について、その構成法と諸特性の解明を目指す。
|
| Outline of Annual Research Achievements |
視覚と触覚のクロスモーダル相互作用に基づくラバーハンド錯覚が、三次元実体を持つ手の代替物ではなく、環境中に投影された映像としての手の代替物に対して生じるかを検証するため、まず自然なオフィスやリビングのような明るい環境で視認可能な実験を行えるようなデバイス構成系を考案した。それに基づき、自由走査型レーザープロジェクタを使用し、手腕の輪郭のみを投影描画方式で描くシステムを2軸MEMSミラーを用いた高速XY自由スキャニング方式で実装し、バッテリ駆動が可能で手首に装着可能なレーザーグラフィックス身体投影系モジュールの装着一体型システムを開発した。
この装着一体型システムの投影系では、2軸MEMSミラーを使用して手形状の輪郭をXYトレース走査するレーザスポット走査が可能とし、投影フレームレートは50fpsを達成した。これにより、利用者はフリッカーを感じることなく、拡張手投影を小型で実現できた。手形状の輪郭を数百点で表現し、ミラーの急な偏角時のリンギングやX-Y間の干渉を、テーブルルックアップ方式による事前補正データを使用して解決し、良好な投影を実現した。
当該システムの手形状入力系では、小型エッジコンピュータに接続したカメラボードで撮影されたYUVカラー画像を白黒8ビット画像に縮小し、CNN型の深層学習を基にして手形状を認識し、消費電力0.5W、フレームレート7.60fpsと、小型かつ省電力での認識が可能な性能を確認した。
遠隔物体性状認識系については、認識性能の検証のために前項までのシステムとは別途に、2kHzの高周波で観測可能なイベント駆動カメラを適用したスペックル微小振動計測を手首装着システムとして実装した。手首に本システムを装着したまま、肉眼では識別困難な微振動を、利用者の手自体が揺動している環境でも、非接触かつ遠隔での取得に成功した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の研究改革では、１）新規な高速2軸XYスキャナによる自由走査型レーザプロジェクタを組み込み、手腕の輪郭のみを投影描画するバッテリ駆動可能な身体投影のPro-Cam統合系をレーザグララフィクス身体投影システムとして手首装着型で構成すること、２）イベンント駆動カメラを適用したスペックル微小振動計測に基つく非接触なレーザスポット物理計測を兼ね備えた、同じく手首装着型システムとして実装すること、３）超指向性スピーカを用い、非可聴域帯で周波数チャープ掃引、環境振動等のアクティブセンシングを行い、投影手の示指位置にてイベント駆動カメラからユーザ非知覚な振動を計測可能かを評価することの3点が主項目であったが、１）については達成完了、２）については性能検証のために機能別での実装となったが達成できている。しかし、３）については、予備実験を行ったが、用いた超指向性スピーカの物体駆動力が低く計測困難であることが確認された。しかしこれは超指向性スピーカの出力が低いことが要因であることも把握できたので、改善の指針は得られている。これら進捗状況を総合評価して。おおむね順調に進展していると自己評価した。
|
| Strategy for Future Research Activity |
前項「現在までの進捗状況」に３）として記している、超指向性スピーカを用いて非可聴域帯で周波数チャープ掃引、環境振動等のアクティブセンシングを行い、投影手の示指位置にてイベント駆動カメラからユーザ非知覚な振動を計測可能かを評価する項目が、用いた超指向性スピーカの低出力が要因で明瞭な評価が行えなかったことから、2段階の改良法アプローチを取ることで研究の推進を図る予定である。一段目として、一般に音カ出力が低い、超音波の非線形性を利用した超指向性スピーカ（パラメトリックスピーカー）ではなく、通常のコーン型スピーカ（ウーハー）で30Hz以下の非可聴な超低周波での大出力音波でアクティブセンシングを検証を図ることとする。これで遠隔物体の表面性状に関する情報を取得可能という見極めができれば、追加二段目として、利用者の知覚感度や阻害性と相対しつつ超低周波の連続音から音響孤立波でのにアクティブセンシング切り換えることを目指す。
そして、 上記の要素技術毎の検証から、微視的情報のノイス除去信号処理を精査し、レーザ計測結果の利用者への各種触覚フィードバックへの変換アルゴリズムを調整し、その妥当性と実時間性の検討に基づき絞り込みを行う。次に、自由走査型レーザプロジェクタの小型化モジュールと、没入型ニアアイディスプレイとの組み合わせによる複合現実感提示を想定し、机上装置から手首装着、肩装着、首吊装着、胴部装着、頭部装着など、装着部位にかかる身体負荷、ディレイ特性(揺動、映像酔い等)を評価し、 妥当な装着部位を身体拘束性、揺動性などの評価指標を得る。
|
