| Project/Area Number |
23KJ1454
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 61020:Human interface and interaction-related
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
佐藤 優志 大阪大学, 基礎工学研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2023-04-25 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥1,800,000 (Direct Cost: ¥1,800,000)
Fiscal Year 2024: ¥900,000 (Direct Cost: ¥900,000)
Fiscal Year 2023: ¥900,000 (Direct Cost: ¥900,000)
|
|---|
| Keywords | ユーザインタフェース / 拡張現実感 / 人間拡張 / 触覚フィードバック |
|---|
| Outline of Research at the Start |
本研究ではユーザが自由に操作可能なCG手腕をプロジェクタから実空間に投影するインタフェースにおいて、投影されたCG手腕（投影手）が実物体に触れた際に投影手の手指を振動させる等の視覚効果を付与することで、触覚提示装置の必要無しにユーザにその物体触感を疑似的に知覚させることを目指している。
補助事業期間中は主に、触れている物体に合った視覚効果をカメラ画像から自動推定すること、視覚効果の種類を増やしてより様々な物体触感を再現できるようにすることに取り組む。これらを通して誰でも何所でも手軽に様々な物体触感を感じられる手法を確立させることを目指す。
|
| Outline of Annual Research Achievements |
ユーザが操作可能なCG手像をプロジェクタから実空間に投影することで、ユーザは手の届かない遠くの物体に投影されたCG手（拡張手）で触ることができるが、その物体触感を感じることはできない。本研究は、特別装置の必要無しに、拡張手が触った遠くの物体触感をユーザが感じられるようにすることを目指している。このために視覚情報から疑似的な触覚情報を感じる人間の錯覚現象（疑似触覚）に着目する。令和4年度までに、拡張手の物体接触時に、物体に合った映像効果（拡張手の手指を揺らす等）を付与することで、ユーザにその物体触感を感じさせられることを確認した。
令和5年度は、RGB-Dカメラと深層学習を用いて、拡張手が触れた物体に合った映像効果の種類や強度を推定するシステム開発に取り組んだ。評価実験の結果、ユーザが手動で最適な映像効果を選択した場合の80%程の性能であることを明らかにした。これより視覚効果付与による物体触感提示を、実使用場面（システムは実物体の位置や種類の情報を持っていない）でも利用できるようにした。本成果は国際論文誌に掲載された。
また触音（手で物体をなぞった際に発生する音）から物体触感を提示する手法を検討した。特に、ユーザは手が届かない遠くの物体に拡張手で触れるという、これまで体験したことのない体験をする。この際に、触音の音量は距離に応じてどう設定すべきかを被験者実験により調査した。結果、物理現象と同様の距離減衰則を適用すべきことを明らかにした。またユーザの手の動作が増幅されて拡張手動作に反映されるため、ユーザ手と拡張手の速度は異なる。この際に、手と拡張手のどちらの速度に合った触音を提示すべきかを調査した。結果、物体をゆっくり触れる際は拡張手速度に合った触音を提示すべきであるが、すばやく触れる際は手と拡張手の中間速度に合った触音を提示すべきことがわかった。本知見は国際論文誌に掲載された。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
令和5年度当初は、令和5年度はRGB-Dカメラから拡張手が触れた物体に適した視覚効果を推定するシステムを構築および評価し、論文誌投稿することを目標としていた。
実際には、視覚効果推定システムの構築および評価を行い、国際論文誌に掲載されるに至った。それに加えて、当初は令和6年度に計画していた触音フィードバックの適用についても検証し、国際論文誌掲載まで達成することができた。そのため、当初の計画以上に進展しているとした。
|
| Strategy for Future Research Activity |
拡張手への触音フィードバックは、心理実験としてヘッドフォンを用いて行っていた。今後はこれをノンウェアラブル化し、かつ、拡張手が触っている物体の位置から触音がなっているようにユーザに知覚させるシステムの開発に取り組む。このために超指向性スピーカを導入し、拡張手が触っている物体領域のみに触音を当て、その物体からの拡散反射音をユーザに提示する手法を検討する。
また、RGB-Dカメラを用いた物体認識システムでは、見た目が同じであるが柔らかさ等が異なる物体を識別することができない。今後は物体の内部構造を非接触に測定できるシステム開発にも取り組み、見た目は同じであるが異なる物体を識別可能にし、ユーザに超感覚を与えることを目指す。
|
