2022 Fiscal Year Annual Research Report
日常生活の持続的視覚支援のための眼を見守るスマートグラスの開発
| Project/Area Number |
22H00539
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
清川 清 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (60358869)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
内山 英昭 奈良先端科学技術大学院大学, 先端科学技術研究科, 准教授 (90735804)
磯山 直也 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (70742021)
森本 壮 大阪大学, 大学院医学系研究科, 寄附講座准教授 (00530198)
広田 雅和 帝京大学, 医療技術学部, 講師 (40835435)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Keywords | 視機能検査 / 環境理解 / 行動認識 / 視覚支援 / スマートグラス |
|---|
| Outline of Annual Research Achievements |
「ユーザの見え方に配慮しユーザの必要とする支援を察知することで日常生活を持続的に支援する，眼を見守るスマートグラス」を実現するために以下の3項目に取り組んだ．
１）視機能の全自動検査について，全自動で様々な視機能の検査が行える眼鏡型システムを実現し,視野内の視覚刺激への感度を表す感度マップを生成することが最終的な目標である．2022度は，VOG に物体検出AIを組み合わせて自動で眼球運動を解析するソフトウエアを開発し，その成果を国際誌に公表した．さらに，高速カメラとVOG と組み合わせることで，シーンカメラによるボトルネックから脱却するシステムの構築を行った．また，日常生活における視機能評価として，ヘッドマウント型の視野計を装用した状態で，頭部揺れをキャンセルする機構を作成し，歩行中の視野を計測するシステムの構築に成功した．また，当初予定していなかった，EOGからの視力推定の方式を考案し，予備実験で優れた結果を得た．
２）必要な視覚支援の決定について，環境理解と行動認識に基づいてユーザにどこに注目させるかを示す誘目マップの生成が鍵となる．2022年度は，ユーザが日常生活中で掴んだり置いたりする動作を認識し，モノの移動を自動的に把握するシステムを構築した．これにより，ユーザ毎にどの物体をどの程度の頻度で利用しているのかを知ることができる．
３）柔軟な視覚支援について，2022年度は実環境中の物体の見かけを変更できるARシステムを構築した．評価実験では，物体ごとに透明度などを変更することで，目下の作業に不要な物体の顕著性が下がり，結果として実際に作業効率が向上することを確認した．また，人工網膜シミュレータに市販の画像認識音声ガイドアプリを組み合わせ，人工網膜で見る視覚情報に画像認識音声ガイドによる聴覚情報を加えることで視覚認知機能を向上できることを確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
理由
全体として，当初予定から多少変遷したテーマもあるが，大きな方向性は変わらずしっかりと成果を挙げていると認識している．
1)視機能の全自動検査について，VOG に物体検出AIを組み合わせた VOG-AI システムを用いて眼球運動検査を実施した際，自動で眼球運動を解析するソフトウエアを開発し，その成果を国際誌に公表している．この成果は，このような全自動検査システムが眼科外来での使用に耐えることを実証した点で優れた成果だと言える．また，当初予定していなかった，EOGからの視力推定の方式を考案し，予備実験で優れた結果を得ている．この方式は，従来と異なり検査中の指標の提示が不要であり，日常生活の連続的な検査への道を拓く優れた方式と言える．
2)必要な視覚支援の決定について，ユーザが日常生活中で掴んだり置いたりする動作を認識し，モノの移動を自動的に把握するシステムを構築しておりトップカンファレンスで公表している．これは，ユーザ周囲の物体の重要度を知る基盤技術であり，個人適応した柔軟な視覚支援の道を拓く優れた成果である．
３）柔軟な視覚支援について，作業に集中しづらい人を想定し，実環境中の個々の物体の見かけを変更できるARシステムを構築しており，トップカンファレンスで公表している．このシステムでは物体ごとの透明度などの見え方をユーザ自身が指定しているが，2)の成果などと併用することで目下の作業に適した集中しやすい視界を自動的に提示することも将来的には可能と考えられる．また，人工網膜シミュレータを補完するために，画像認識音声ガイドが視覚認知機能の向上に有用であることを確認しており，複数の感覚を併用する新しい視覚支援を実現した．
|
| Strategy for Future Research Activity |
1)視機能の全自動検査について，2023年度はVOGの高精度化と臨床での有用性検証を進める．また，当初予定していなかった，EOGからの視力推定の方式について，2023年度は高精度な推定ができる機械学習アルゴリズムを考案し，被験者実験を実施してその有用性を検証する．
2)必要な視覚支援の決定について，ユーザ周囲の物体の重要度に加えて，2023年度はユーザ特有の見え方を考慮した視覚支援について検討する．例えば視界中の視力分布（角度分解能の分布）は中央が高く周辺が低いのが一般的であるが，実際には上下にも非対称性があるなど複雑な構造をしており個人差もある．この視力分布を視覚野の対応する皮質の面積から推定できる可能性があり，2023年度はこれについても取り組む．
３）柔軟な視覚支援について，2022年度に画像認識音声ガイドの有用性を検証できたため，2023年度は画像認識音声ガイドを用いて実際に視覚障害者にヒアリングして，彼らの生活を支援するシステムの構築を図る．多くのユーザからのフィードバックを得るため，人工網膜シミュレータではなくスマートフォン単体のアプリとして開発することを検討する．
|
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Telelife: A Vision of Remote Living in 20352022
Author(s)
Kenan Bektas, Jeeeun Kim, Huaishu Peng, Kiyoshi Kiyokawa, Anthony Steed, Tobias Hollerer, Nataliya Kosmyna, Kaan Aksit, Misha Sra, Jason Orlosky
Organizer
CHI Conference on Human Factors in Computing Systems Extended Abstracts
Int'l Joint Research
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
