| Project/Area Number |
22H00539
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (A)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
清川 清 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (60358869)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
内山 英昭 奈良先端科学技術大学院大学, 先端科学技術研究科, 准教授 (90735804)
磯山 直也 大妻女子大学, 社会情報学部, 講師 (70742021)
森本 壮 大阪大学, 大学院医学系研究科, 寄附講座准教授 (00530198)
広田 雅和 帝京大学, 医療技術学部, 講師 (40835435)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥42,380,000 (Direct Cost: ¥32,600,000、Indirect Cost: ¥9,780,000)
Fiscal Year 2025: ¥8,060,000 (Direct Cost: ¥6,200,000、Indirect Cost: ¥1,860,000)
Fiscal Year 2024: ¥9,620,000 (Direct Cost: ¥7,400,000、Indirect Cost: ¥2,220,000)
Fiscal Year 2023: ¥10,920,000 (Direct Cost: ¥8,400,000、Indirect Cost: ¥2,520,000)
Fiscal Year 2022: ¥13,780,000 (Direct Cost: ¥10,600,000、Indirect Cost: ¥3,180,000)
|
|---|
| Keywords | 視機能検査 / 環境理解 / 行動認識 / 視覚支援 / スマートグラス |
|---|
| Outline of Research at the Start |
本研究では，1)日常生活を過ごすだけで完了する全自動視機能検査手法，2)ユーザの見え方に配慮し，ユーザや周囲の状況を察知して必要な支援を選択する支援決定モデル，3)決定した視覚支援を，HMDによる視機能矯正，視覚拡張(AV)による視覚機能の補完・増強，重篤な視覚障害向けの人工網膜などを適宜選択・切替えて提示する情報提示手法，の3点を開発・統合し「眼を見守るスマートグラス」を実現する．
|
| Outline of Annual Research Achievements |
1)視機能の全自動検査について，全自動で様々な視機能の検査が行える眼鏡型システムを実現し,視野内の視覚刺激への感度を表す感度マップを生成することが最終的な目標である.2023年度は，当初予定になかった眼電位(EOG)からの視力推定手法を発展させた．具体的には，医学系で著名な国際会議EMBCで成果発表し，特許も出願した．また，最適な電極位置を検討する多電極を用いたゴーグルを試作し実験を実施した（解析は2024年度）．また，眼科外来における検査の省力化・高精度化を目的とした物体検出AIを発展させ，距離情報を推定可能とした．距離情報の推定精度は視標の奥行き位置を 50cm から 30cm まで移動させたとき，95% を超えた．一方で，50cm以遠では推定精度は90%を切っており改善が必要であることが分かった．
2)必要な視覚支援の決定について，環境理解と行動認識に基づいてユーザにどこに注目させるかを示す誘目マップの生成が鍵となる.2023年度は，fMRIによる視覚野の情報から個人ごとの視力分布を推測できる知見に基づき，fMRIデータから視力分布を推定し，その分布に忠実な効率的コンピュータグラフィクス描画手法を開発し，トップカンファレンスIEEEVRにて口頭発表した．また，ユーザの視線情報などを用いて，ユーザのリスニング作業中の精神的負荷の程度や，読書中の理解度などを推定するシステムを開発した．
3)柔軟な視覚支援について，多数の視覚障害者のヒアリングを経て，物体認識により自販機の飲み物購入を支援するスマホアプリを開発し評価した．また，ライトフィールドディスプレイを評価し，従来のディスプレイと同程度の眼疲労であり，立体ディスプレイよりも眼疲労の程度が有意に少ないことを明らかにした．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
全体として，当初予定から多少変遷したテーマもあるが，大きな方向性は変わらずしっかりと成果を挙げていると認識している．
1)視機能の全自動検査について，全自動で様々な視機能の検査が行える眼鏡型システムを実現し,視野内の視覚刺激への感度を表す感度マップを生成することが最終的な目標である.当初はカメラを用いた画像処理による検査を中心に想定していたが，眼電位(EOG)からの推定が有力であることが分かってきた．プライバシーの問題が少ないなど利点も多く，先行研究のない先駆的な方式であるため，このまま開発を継続する．一方，カメラによる物体追跡・物体認識の精度は極めて高いため，この方式も引き続き検討を続ける．特に，共同研究者の成果として眼科外来の現場に導入可能なシステムが開発されつつあるが，これは当初の予定以上に進展していると認識している．
2)必要な視覚支援の決定について，環境理解と行動認識に基づいてユーザにどこに注目させるかを示す誘目マップの生成が鍵となる.2023年度は，当初想定していなかったテーマとして，fMRIデータからの個人適応を考慮したレンダリング手法の開発に取り組んだ．元となる知見は比較的新しいもので，これを描画に応用する試みはこれまでになく斬新である。一気にトップカンファレンスにおける発表にまで至っており、素晴らしい進捗が得られた．一方，日常生活における環境理解や行動認識の研究は担当学生の修了などもあり当初予定ほどは進まなかった．全体の中で重要なテーマであり，改めて推進していきたい．
3)柔軟な視覚支援について，多数の視覚障害者のヒアリングを経て，物体認識により自販機の飲み物購入を支援するスマホアプリを開発し評価した．実際に当事者向けシステムの開発・評価を実施したことは素晴らしい進捗といえる．一方，他のシステムや手法との統合はできておらず，今後の課題である．
|
| Strategy for Future Research Activity |
1)視機能の全自動検査について，全自動で様々な視機能の検査が行える眼鏡型システムを実現し,視野内の視覚刺激への感度を表す感度マッ プを生成することが最終的な目標である.今後は，眼電位（EOG）からの視力推定の高精度化，視力以外の視機能検査への発展などを行い，実用性の高いシステムを目指す．また，皮膚変形センサやカメラなどを用いる他の手法との組み合わせも検討する．一方，眼科外来における視機能検査での利用を想定した物体検出AIについては，実用化を目指すのであれば，50cm から 30cm の距離情報は 95% 以上の精度を担保したいため，今後は間欠性外斜視患者のデータを取得しつつ，AIの精度向上を目指す．
2)必要な視覚支援の決定について，環境理解と行動認識に基づいてユーザにどこに注目させるかを示す誘目マップの生成が鍵となる.2023年度はfMRIデータからの個人適応を考慮したレンダリング手法の開発に取り組んだが，今後は日常生活における環境理解や行動認識のテーマについて改めて注力する．また，複数のシステムの統合についても検討を進める．
3)柔軟な視覚支援について，2023年度は実際に視覚障害者からヒアリングをして当事者向けシステムの開発・評価を実施したが，スマホアプリに留まっていた．今後は，スマートグラスに対応したシステムへの発展や，以前に開発した晴眼者向けのARモノ探し支援システムとの統合を進めていく．
|
