• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

AIR-Glasses:AI-ARを用いた視知覚ベース個別適応型色覚情報補償技術

Research Project

Project/Area Number 22H00549
Research Category

Grant-in-Aid for Scientific Research (A)

Allocation TypeSingle-year Grants
Section一般
Review Section Medium-sized Section 62:Applied informatics and related fields
Research InstitutionUniversity of Yamanashi

Principal Investigator

茅 暁陽  山梨大学, その他部局等, 理事 (20283195)

Co-Investigator(Kenkyū-buntansha) 藤代 一成  慶應義塾大学, 理工学部(矢上), 教授 (00181347)
朱 臻陽  山梨大学, 大学院総合研究部, 助教 (10954927)
柏木 賢治  山梨大学, 大学院総合研究部, 教授 (30194723)
郷 健太郎  山梨大学, 大学院総合研究部, 教授 (50282009)
豊浦 正広  山梨大学, 大学院総合研究部, 教授 (80550780)
Project Period (FY) 2022-04-01 – 2027-03-31
Project Status Granted (Fiscal Year 2025)
Budget Amount *help
¥41,990,000 (Direct Cost: ¥32,300,000、Indirect Cost: ¥9,690,000)
Fiscal Year 2025: ¥7,020,000 (Direct Cost: ¥5,400,000、Indirect Cost: ¥1,620,000)
Fiscal Year 2024: ¥8,450,000 (Direct Cost: ¥6,500,000、Indirect Cost: ¥1,950,000)
Fiscal Year 2023: ¥8,970,000 (Direct Cost: ¥6,900,000、Indirect Cost: ¥2,070,000)
Fiscal Year 2022: ¥11,050,000 (Direct Cost: ¥8,500,000、Indirect Cost: ¥2,550,000)
Keywords色覚補償 / 色覚障害補償 / 画像色変換
Outline of Research at the Start

本研究課題は,先行研究課題「コンピュテーショナル・オプサルモロジー:ARを用いた視覚障害者の視力の適応的増強」(基盤研究(A)17H00738)の後続研究である.色覚障害に的を絞り,以下の三点において先行研究課題の成果を発展させる.(1) 結果が計算モデルに直接利用可能で軽負担の自覚的検査方式による個人の障害レベルへの対応,(2)最新の転移学習を用いて,シミュレーションモデルに主観評価を組み合わせ,複合化した要因に適応,(3)最新の深層学習技術を駆使し,画像内の物体色を認識し,その物体と色のテキスト情報との相互参照を可能とすることで,色に基づく意思決定やコミュニケーションを支援.

Outline of Annual Research Achievements

色覚障害(color vision deficiency、 CVD)は、網膜上に分布する錐体細胞の欠損や異常により生じ、色の区別を困難にするため、職業が制限されたり、他人とのコミュニケーションが困難になったり、危険に晒されるなど、Qolを大きく低下させる。本研究では最新の深層学習技術を活用し、個人の色覚障害の度合いに適応した色覚補償技術に加え、シーン中の物体の色覚特徴まで認識し、拡張現実感技術(Augmented Reality、 AR)を用いて可視化することで、意思決定や健常者とのシームレスなコミュニケーションを支援する技術を開発する。令和5年度の実績は以下の通りである。

課題(A)の個人の障害レベルの適応については、Swin TransformerとLab空間をベースとする二色覚用教師なし色変換深層モデルを設計した。さらにFlickerから収集した画像から色コントラストの損失が生じる画像を色覚障がいシミュレーションを用いて選出し、学習に用いる入力データ集を構築した。さらに、二色覚用色変換モデルを異なる度合いの色覚障がい補償用に拡張した。
課題(B)の知覚評価に対応した個人適応型補償モデルの開発においては、課題(A)の令和4年度の成果である画像集から、障がいの度合いにより知覚結果が敏感に変化する画像を選出し、知覚評価用の画像集を生成した。そして、少ない枚数の画像で学習可能な転移学習技術及び数枚の画像で結果生成可能なスタイル変換技術を開発した。
課題(C)の色識別とコンミュニケーション支援については、令和4開発済みのシステムでは、色ラベルの種類が限定的であり、参照の精度も不十分であったため、令和5年度はテキストと画像間の相互参照がより高精度で行える最新の深層学習モデルを導入し精度向上を図った。さらに主観評価実験を中心とした支援システムのユーザビリティの評価と改善を行った。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

計画した内容をすべて予定通り実施し、期待通りの成果を得ることができた。課題Aについては、主要研究成果をまとめた論文がIF付き国際論文誌に掲載することができた。課題Bについてはすで個人適応型のモデルを開発し、予備実験まで完了した。課題Cについてはコミュニケーション支援用システムのインタフェースを改善することができた。

Strategy for Future Research Activity

課題(A)については、令和5年度に二色覚用の高速色覚補償アルゴリズムを様々な色覚障害の補償に適用可能に拡張した。最も広く使用されているMachadoらによる色覚障害シミュレーションモデルを使用して実装を行ったが、評価実験において当該モデルが明度の知覚を正確に再現できないことが明らかになったため、令和6年度には新たなシミュレーションモデルの開発を予定している。
課題(B)においては、令和5年度にグラフニューラルネットワークと転移学習を活用して、最大100枚の画像で学習することにより個人に合わせた色覚補償を実現する新しいニューラルネットワークモデルの設計を完了した。令和6年度には協力者を募り、実験を通じて個人ごとのデータセットを作成し、モデルの有効性を評価する予定である。さらに、30枚以下の学習データで学習可能となるようにモデルの改良も行う予定である。
課題(C)では、令和5年度にテキストと画像間の相互参照がより高精度に行える最新の深層学習モデルを導入し、精度向上を目指した。令和6年度は主観評価実験を中心に色ラベルの拡充、支援システムのユーザビリティ評価と改善に取り組むとともに、光学シースルー型ヘッドマウントディスプレイを使用したコミュニケーション支援ツールの開発を開始する。

Report

(3 results)
  • 2023 Annual Research Report
  • 2022 Comments on the Screening Results   Annual Research Report
  • Research Products

    (13 results)

All 2024 2023 2022 Other

All Int'l Joint Research (1 results) Journal Article (8 results) (of which Int'l Joint Research: 3 results,  Peer Reviewed: 8 results,  Open Access: 2 results) Presentation (3 results) Remarks (1 results)

  • [Int'l Joint Research] 杭州電子科技大学(中国)

    • Related Report
      2022 Annual Research Report
  • [Journal Article] Image recoloring for color vision deficiency compensation using Swin transformer2024

    • Author(s)
      Chen Ligeng、Zhu Zhenyang、Huang Wangkang、Go Kentaro、Chen Xiaodiao、Mao Xiaoyang
    • Journal Title

      Neural Computing and Applications

      Volume: 36 Issue: 11 Pages: 6051-6066

    • DOI

      10.1007/s00521-023-09367-2

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Seamless Image Editing for Perceptual Size Restoration Based on Seam Carving2024

    • Author(s)
      Ishikawa Naohiko、Zhu Zhenyang、Kim Jong-nam、Chung Wan-Young、Go Kentaro、Mao Xiaoyang
    • Journal Title

      Lecture Notes in Computer Science: Advances in Computer Graphics. CGI 2023

      Volume: - Pages: 322-334

    • DOI

      10.1007/978-3-031-50069-5_27

    • ISBN
      9783031500688, 9783031500695
    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Metamorphopsia Insepction System Based on Relevance Feedback2023

    • Author(s)
      Zhu Zhenyang、Moritake Katsuhito、Kashiwagi Kenji、Toyoura Masahiro、Go Kentaro、Fujishiro Issei、Mao Xiaoyang
    • Journal Title

      Proceedings of 2023 IEEE International Conference on Systems, Man, and Cybernetics (SMC)

      Volume: - Pages: 4667-4674

    • DOI

      10.1109/smc53992.2023.10394105

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Deep Learning and Augmented-Reality Glasses based Meat Cooking Support for Color Vision Disorder Compensation2023

    • Author(s)
      Chiba Shota、Zhu Zhenyang、Inoue Daisuke、Mao Xiaoyang
    • Journal Title

      Proceedings of 2023 Nicograph International (NicoInt)

      Volume: - Pages: 62-67

    • DOI

      10.1109/nicoint59725.2023.00019

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] CC-Glasses: Color Communication Support for People with Color Vision Deficiency Using Augmented Reality and Deep Learning2022

    • Author(s)
      Zhenyang Zhu, Jiyi Li, Ying Tang, Kentaro Go, Masahiro Toyoura, Kenji Kashiwagi, Issei Fujishiro, Xiaoyang Mao
    • Journal Title

      Proceedings of Augmented Humans (AHs) 2022

      Volume: 0 Pages: 190-199

    • DOI

      10.1145/3582700.3582707

    • Related Report
      2023 Annual Research Report 2022 Annual Research Report
    • Peer Reviewed
  • [Journal Article] A Study on Contextual Task Performance of Simulated Homonymous Hemianopia Patients with Computational Glasses-based Compensation2022

    • Author(s)
      Chao Ge, Zhenyang Zhu, Keisuke Ichinose, Issei Fujishiro, Kentaro Go, Kenji Kashiwagi, Masahiro Toyoura, Xiaoyang Mao
    • Journal Title

      ACM SIGGRAPH International Conference on Virtual-Reality Continuum and its Applications in Industry (VRCAI)

      Volume: 0 Pages: 1-8

    • DOI

      10.1145/3574131.3574441

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Image recoloring for Red-Green dichromats with compensation range-based naturalness preservation and refined dichromacy gamut2022

    • Author(s)
      Wangkang Huang, Zhenyang Zhu, Ligeng Chen, Kentaro Go, Xiaodiao Chen, Xiaoyang Mao
    • Journal Title

      The Visual Computer

      Volume: 38 Issue: 9-10 Pages: 3405-3418

    • DOI

      10.1007/s00371-022-02549-4

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Swin Transformerを利用した色覚障がい支援用色変換手法2022

    • Author(s)
      陳 立庚,朱 臻陽,郷 健太郎,黄 望康,茅 暁陽
    • Journal Title

      Visual Computing シンポジウム

      Volume: 0 Pages: 1-6

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed
  • [Presentation] A Personalized Generative Model for Color Vision Deficiency2023

    • Author(s)
      陳 立庚,朱 臻陽,茅 暁陽
    • Organizer
      画像電子学会ビジュアルコンピューティングワークショップ
    • Related Report
      2023 Annual Research Report
  • [Presentation] Fast Image Recoloring for Anomalous Trichromacy with Contrast Enhancement and Naturalness Preservation2023

    • Author(s)
      Haiqiang Zhou,Wangkang Huang,Zhenyang Zhu,Xiaodiao Chen,Xiaoyang Mao
    • Organizer
      Visual Computing シンポジウム
    • Related Report
      2023 Annual Research Report
  • [Presentation] 深層学習を用いた肉の焼け具合の推定2022

    • Author(s)
      千葉 翔太,茅 暁陽
    • Organizer
      情報処理学会第84回全国大会
    • Related Report
      2022 Annual Research Report
  • [Remarks] 計算眼科学

    • URL

      http://vc.media.yamanashi.ac.jp/

    • Related Report
      2022 Annual Research Report

URL: 

Published: 2022-04-19   Modified: 2025-06-20  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi