• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

スマートフォンと深層学習を用いた目と口のセルフメディケーション検査技術の検討

Research Project

Project/Area Number 24K15199
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 62020:Web informatics and service informatics-related
Research InstitutionTokyo Denki University

Principal Investigator

長谷川 誠  東京電機大学, 工学部, 教授 (80303171)

Co-Investigator(Kenkyū-buntansha) 岡 芳樹  鈴鹿工業高等専門学校, 電子情報工学科, 講師 (30751797)
石原 聖司  東京電機大学, 理工学部, 教授 (50351656)
古川 貴雄  共立女子大学, 家政学部, 教授 (70262699)
増田 修  新潟医療福祉大学, 医療技術学部, 教授 (90775967)
Project Period (FY) 2024-04-01 – 2027-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2026: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2025: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2024: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Keywordsスマートフォン / ドライアイ / 角膜充血 / 舌下静脈 / 深層学習 / セルフメディケーション / 性能評価 / 目 / 口 / 検査
Outline of Research at the Start

セルフメディケーション(自己治療)分野において深層学習とスマートフォンを用いて診断するサービスは重要である.ここでは目と口に注目し,これらをスマートフォンカメラで撮影して健康状態をチェックする技術を検討する.被験者の目と舌下静脈を撮影した大量の画像を機械学習し,ドライアイや結膜充血,血液の状態を推定する.これまでの成果は可能性を示したにすぎず,少ない被験者でのシミュレーションにすぎなかった.申請する研究期間において,多くの被験者による性能評価を実施し,撮影技術や深層学習方法の改善などを計画している.また,目と口からの生体情報についての相関を解明し,マルチモーダルな診断を目指す.

Outline of Annual Research Achievements

スマートフォンで目を撮影し,深層学習によってドライアイを検出するテーマに関して,2つの方法を軸に検討していく方向性を決めた.1つは,(1)スマートフォンに取り付けたリングライトの像が涙液メニスカスに写り,この大きさを計測することによって涙液量を推定,ドライアイを検出する方法である.この方法では,検出精度を上げるために深層学習を応用する.また,(2)スマートフォンカメラにリングライトとグリッド線の筒を取り付けて目を撮影すると,瞳にグリッド線が表示される.ドライアイになると涙液量が低下してグリッド線が歪む現象が生じる.そこで,この画像を深層学習してドライアイを検出する.この2つの方法を並行して検討し,令和6年度は,一般的に公開されている各種学習モデル(Kerasライブラリのモデル)を用いて実験し,ドライアイ検出の性能を明らかにした.更に,角膜充血を検出する課題に関しては,異常を検出する深層学習モデルを適用した場合の性能を明らかにした.
スマートフォンで舌下静脈を撮影して健康状態を把握するテーマに関しては,女性特有の貧血状態が舌下静脈に影響するのか否かについて検討することにした.なお,薬酒を長期間飲用することによる血液状態の改善ほど,大きな変化が確認できなかったため,国内学会で報告する程度にとどまっている.
国際会議発表3件(目の充血関係1件,ドライアイ関係2件),国内学会発表4件(目の充血関係2件,ドライアイ関係1件,舌下静脈関係1件)を達成した.なお,現在,国際会議への投稿2件(ドライアイ関係2件)が採録されており,発表予定となっている.また,ジャーナル論文を執筆中であり,5月中に投稿する計画である.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

平成6年度では,前年度まで検討してきた方法を整理して方向性を決め,一般的に公開されている各種学習モデルを用いて実験し,性能を比較評価した.この成果を国際会議3件の発表ができたため,「おおむね順調」としているが,難しい点も明らかになってきた.(1)目と結膜充血の撮影を2名の被験者で続けているが,目視のレベルではあるが明らかな相関が得られない.被験者を増やして検証するか,研究の方向性を変えるかを,平成7年度中に判断しなくてはならない.(2)女性特有の貧血状態が舌下静脈に影響するか否かを見るために,数週間,健康な被験者を観察しているが,日々の変化は極めて微量である.深層学習させても明らかな効果が得られない状況である.(3)多くの被験者による性能評価に着手できていない.

Strategy for Future Research Activity

目と結膜充血の相関が得られない場合であっても,ドライアイ,角膜充血,舌下静脈,各々並行した検討は続け,成果を発表する方策は変わらない.相関の解明とマルチモーダル診断にこだわるのを避け,新たな検討部位の開拓と実用化の検討に集中することも考えている.精度が得られないことで断念はしないものの,優先順位を考えて行かなくてはならない.現在,研究分担者からドライアイ検出に関する新たな提案もあり,研究計画の見直しを含め,研究業績を高めるための方策を検討している.
平成7年度は,多くの被験者による性能評価に重点を置くことを考えている.なお,病院等の医療機関で得られるほどの被験者数は不可能であるため,学生を被験者にする程度,数十名程度の被験者による実験を達成目標とする.

Report

(1 results)
  • 2024 Research-status Report
  • Research Products

    (7 results)

All 2025 2024

All Presentation (7 results) (of which Int'l Joint Research: 3 results)

  • [Presentation] Estimation of Hyperemia Using Deep Learning2025

    • Author(s)
      N. Anzai
    • Organizer
      IEICE GlobalNet Workshop 2025
    • Related Report
      2024 Research-status Report
  • [Presentation] A Study of Health Care Using Images of Eyes2025

    • Author(s)
      R. Wainai
    • Organizer
      IEICE GlobalNet Workshop 2025
    • Related Report
      2024 Research-status Report
  • [Presentation] A Study of Health Care Using Images of Sublingual Veins and Eyes2025

    • Author(s)
      Z. Lin
    • Organizer
      IEICE GlobalNet Workshop 2025
    • Related Report
      2024 Research-status Report
  • [Presentation] Abnormality Estimation of Conjunctival Hyperemia Using Smartphone Camera and Deep Learning2024

    • Author(s)
      N. Anzai and M. Hasegawa
    • Organizer
      International Technical Conference on Circuits/Systems, Computers and Communications (ITC-CSCC2024)
    • Related Report
      2024 Research-status Report
    • Int'l Joint Research
  • [Presentation] Grid Generation Using Deep Learning on PupilSmartphone Images for Dry Eye Self-medication2024

    • Author(s)
      R. Wainai, K. Okazaki, and M. Hasegawa
    • Organizer
      IEEE International Conference on Consumer Electronics Taiwan (IEEC-TW2024)
    • Related Report
      2024 Research-status Report
    • Int'l Joint Research
  • [Presentation] Tear Meniscus Measurement for Dry Eye Detection Using Smartphone and Deep Learning2024

    • Author(s)
      R. Lyu and M. Hasegawa
    • Organizer
      The 5th International Conference on Medical Imaging and Computer-Aided Diagnosis (MICAD2024)
    • Related Report
      2024 Research-status Report
    • Int'l Joint Research
  • [Presentation] Study of Abnormality Estimation for Conjunctival Hyperemia Using Deep Learning2024

    • Author(s)
      N. Anzai
    • Organizer
      IEICE GlobalNet Workshop 2024 in Tokyo
    • Related Report
      2024 Research-status Report

URL: 

Published: 2024-04-05   Modified: 2025-12-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi