2023 Fiscal Year Annual Research Report
日常生活の持続的視覚支援のための眼を見守るスマートグラスの開発
| Project/Area Number |
22H00539
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
清川 清 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (60358869)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
内山 英昭 奈良先端科学技術大学院大学, 先端科学技術研究科, 准教授 (90735804)
磯山 直也 大妻女子大学, 社会情報学部, 講師 (70742021)
森本 壮 大阪大学, 大学院医学系研究科, 寄附講座准教授 (00530198)
広田 雅和 帝京大学, 医療技術学部, 講師 (40835435)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Keywords | 視機能検査 / 環境理解 / 行動認識 / 視覚支援 / スマートグラス |
|---|
| Outline of Annual Research Achievements |
1)視機能の全自動検査について，全自動で様々な視機能の検査が行える眼鏡型システムを実現し,視野内の視覚刺激への感度を表す感度マップを生成することが最終的な目標である.2023年度は，当初予定になかった眼電位(EOG)からの視力推定手法を発展させた．具体的には，医学系で著名な国際会議EMBCで成果発表し，特許も出願した．また，最適な電極位置を検討する多電極を用いたゴーグルを試作し実験を実施した（解析は2024年度）．また，眼科外来における検査の省力化・高精度化を目的とした物体検出AIを発展させ，距離情報を推定可能とした．距離情報の推定精度は視標の奥行き位置を 50cm から 30cm まで移動させたとき，95% を超えた．一方で，50cm以遠では推定精度は90%を切っており改善が必要であることが分かった．
2)必要な視覚支援の決定について，環境理解と行動認識に基づいてユーザにどこに注目させるかを示す誘目マップの生成が鍵となる.2023年度は，fMRIによる視覚野の情報から個人ごとの視力分布を推測できる知見に基づき，fMRIデータから視力分布を推定し，その分布に忠実な効率的コンピュータグラフィクス描画手法を開発し，トップカンファレンスIEEEVRにて口頭発表した．また，ユーザの視線情報などを用いて，ユーザのリスニング作業中の精神的負荷の程度や，読書中の理解度などを推定するシステムを開発した．
3)柔軟な視覚支援について，多数の視覚障害者のヒアリングを経て，物体認識により自販機の飲み物購入を支援するスマホアプリを開発し評価した．また，ライトフィールドディスプレイを評価し，従来のディスプレイと同程度の眼疲労であり，立体ディスプレイよりも眼疲労の程度が有意に少ないことを明らかにした．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
全体として，当初予定から多少変遷したテーマもあるが，大きな方向性は変わらずしっかりと成果を挙げていると認識している．
1)視機能の全自動検査について，全自動で様々な視機能の検査が行える眼鏡型システムを実現し,視野内の視覚刺激への感度を表す感度マップを生成することが最終的な目標である.当初はカメラを用いた画像処理による検査を中心に想定していたが，眼電位(EOG)からの推定が有力であることが分かってきた．プライバシーの問題が少ないなど利点も多く，先行研究のない先駆的な方式であるため，このまま開発を継続する．一方，カメラによる物体追跡・物体認識の精度は極めて高いため，この方式も引き続き検討を続ける．特に，共同研究者の成果として眼科外来の現場に導入可能なシステムが開発されつつあるが，これは当初の予定以上に進展していると認識している．
2)必要な視覚支援の決定について，環境理解と行動認識に基づいてユーザにどこに注目させるかを示す誘目マップの生成が鍵となる.2023年度は，当初想定していなかったテーマとして，fMRIデータからの個人適応を考慮したレンダリング手法の開発に取り組んだ．元となる知見は比較的新しいもので，これを描画に応用する試みはこれまでになく斬新である。一気にトップカンファレンスにおける発表にまで至っており、素晴らしい進捗が得られた．一方，日常生活における環境理解や行動認識の研究は担当学生の修了などもあり当初予定ほどは進まなかった．全体の中で重要なテーマであり，改めて推進していきたい．
3)柔軟な視覚支援について，多数の視覚障害者のヒアリングを経て，物体認識により自販機の飲み物購入を支援するスマホアプリを開発し評価した．実際に当事者向けシステムの開発・評価を実施したことは素晴らしい進捗といえる．一方，他のシステムや手法との統合はできておらず，今後の課題である．
|
| Strategy for Future Research Activity |
1)視機能の全自動検査について，全自動で様々な視機能の検査が行える眼鏡型システムを実現し,視野内の視覚刺激への感度を表す感度マッ プを生成することが最終的な目標である.今後は，眼電位（EOG）からの視力推定の高精度化，視力以外の視機能検査への発展などを行い，実用性の高いシステムを目指す．また，皮膚変形センサやカメラなどを用いる他の手法との組み合わせも検討する．一方，眼科外来における視機能検査での利用を想定した物体検出AIについては，実用化を目指すのであれば，50cm から 30cm の距離情報は 95% 以上の精度を担保したいため，今後は間欠性外斜視患者のデータを取得しつつ，AIの精度向上を目指す．
2)必要な視覚支援の決定について，環境理解と行動認識に基づいてユーザにどこに注目させるかを示す誘目マップの生成が鍵となる.2023年度はfMRIデータからの個人適応を考慮したレンダリング手法の開発に取り組んだが，今後は日常生活における環境理解や行動認識のテーマについて改めて注力する．また，複数のシステムの統合についても検討を進める．
3)柔軟な視覚支援について，2023年度は実際に視覚障害者からヒアリングをして当事者向けシステムの開発・評価を実施したが，スマホアプリに留まっていた．今後は，スマートグラスに対応したシステムへの発展や，以前に開発した晴眼者向けのARモノ探し支援システムとの統合を進めていく．
|
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Maxwellian光学系によるAR映像注視時の眼球屈折度変化2023
Author(s)
広田 雅和, 佐々木 翔, 加藤 可奈子, 中込 亮太, 瀧川 流星, 景山 千夏, 森野 誠治, 鈴木 誠, 三橋 俊文, 溝田 淳, 林 孝雄
Organizer
第59回日本眼光学学会
-
-
-
-
-
-
-
-
-
[Patent(Industrial Property Rights)] 視覚機能モニタリングシステム及び視覚機能モニタリング方法2023
Inventor(s)
魏キン, 劉華坤, ペルスキアモニカ, 内山英昭, 清川清, 他
Industrial Property Rights Holder
魏キン, 劉華坤, ペルスキアモニカ, 内山英昭, 清川清, 他
Industrial Property Rights Type
特許
Industrial Property Number
2023-119500
