• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

深層学習による色覚障がい支援のための意味論的情報補償

研究課題

研究課題/領域番号 22K21274
研究種目

研究活動スタート支援

配分区分基金
審査区分 1001:情報科学、情報工学およびその関連分野
研究機関山梨大学

研究代表者

朱 臻陽  山梨大学, 大学院総合研究部, 助教 (10954927)

研究期間 (年度) 2022-08-31 – 2024-03-31
研究課題ステータス 完了 (2023年度)
配分額 *注記
2,860千円 (直接経費: 2,200千円、間接経費: 660千円)
2023年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2022年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
キーワード色覚補償 / 拡張現実 / 深層学習 / 意味論的情報 / 色覚障がい支援
研究開始時の研究の概要

本研究課題では,色覚障がいによる意味論的情報損失を補償するために,深層学習モデル及びAR Glassesを取り入れた色覚補償技術の確立に向けて,以下の3つの課題に取り組む.(1)AR Glassesを装着するユーザを中心にし,深層学習モデルを搭載するサーバと連携し,ユーザに色覚支援用情報を提供する.(2)ユーザがおかれるシチュエーションに合わせて,二つの使用モードを設計し,それぞれに必要な深層学習モデルを実装する.(3)実装される深層学習モデルの学習に必要とされる色ラベル付き画像データセットを収集するために,既存のオブジェクト検出用深層学習モデルを利用して,自動的な収集方法を開発する.

研究成果の概要

本研究では,色覚障がいによる意味論的情報損失を補償するために,深層学習モデル及び拡張現実(Augmented-Reality,AR)グラスを取り入れた色覚補償技術Color Communication Glasses (CC-Glasses)を開発した.色覚障がいをもつユーザが色による対象物体を特定しにくいことを想定し,ARグラスで撮影したシーンを深層学習モデルを取り入れたサーバに送信し,解析した結果をARグラスで表示させる.本研究に取り入れる深層学習モデルの学習のためのデータセットを作成をした.また,開発した技術の有効性を検証するために,色覚障がい者による検証実験を行った.

研究成果の学術的意義や社会的意義

本研究は医学と情報工学の共同研究であり,未だに医学的な根治手段が見つかってない色覚障がいに対する情報技術による支援策を提供する.医工融合研究の重要性に関する発信にもつながる.本研究で開発するAI技術により,色の意味情報損失が補償され,CVD患者が自力で色を正確に認識したり形容することが可能となり,危険にさらされるリスクを避けることができる.また,日常生活補助のみならず,仕事面でも活躍できる分野が広がると考えられる.さらに,CVD患者が周囲とのコミュニケーションがより取りやすくなるため,社会全体においてQoLの向上が期待される.

報告書

(3件)
  • 2023 実績報告書   研究成果報告書 ( PDF )
  • 2022 実施状況報告書
  • 研究成果

    (12件)

すべて 2024 2023 2022

すべて 雑誌論文 (2件) (うち国際共著 2件、 査読あり 2件、 オープンアクセス 2件) 学会発表 (10件) (うち国際学会 7件)

  • [雑誌論文] Image recoloring for color vision deficiency compensation using Swin transformer2024

    • 著者名/発表者名
      Chen Ligeng、Zhu Zhenyang、Huang Wangkang、Go Kentaro、Chen Xiaodiao、Mao Xiaoyang
    • 雑誌名

      Neural Computing and Applications

      巻: 36 号: 11 ページ: 6051-6066

    • DOI

      10.1007/s00521-023-09367-2

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Image recoloring for Red-Green dichromats with compensation range-based naturalness preservation and refined dichromacy gamut2022

    • 著者名/発表者名
      Wangkang Huang, Zhenyang Zhu, Ligeng Chen, Kentaro Go, Xiaodiao Chen, Xiaoyang Mao
    • 雑誌名

      The Visual Computer

      巻: 38 号: 9-10 ページ: 3405-3418

    • DOI

      10.1007/s00371-022-02549-4

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] STMA: A Fast Visual Field Defect Assessment Method Using Quadtree and Head-Mounted Display2024

    • 著者名/発表者名
      Chao Ge、Zhenyang Zhu、Kenji Kashiwagi、Masahiro Toyoura、Kentaro Go、Issei Fujishiro、Xiaoyang Mao
    • 学会等名
      NICOGRAPH International 2024
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Perceptual Uniformity-Aware Image Recoloring Method for Red-Green Anomalous Trichromacy2024

    • 著者名/発表者名
      Haiqiang Zhou、Wangkang Huang、Zhenyang Zhu、Xiao-Diao Chen、Kentaro Go、Xiaoyang Mao
    • 学会等名
      NICOGRAPH International 2024
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] A Study on Impact of Displaying Depth on User Recognition to Virtual Information2024

    • 著者名/発表者名
      Ying Tang、Zhenyang Zhu、Xiaoyang Mao
    • 学会等名
      NICOGRAPH International 2024
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Deep Learning and Augmented-Reality Glasses based Meat Cooking Support for Color Vision Disorder Compensation2023

    • 著者名/発表者名
      Shota Chiba、Zhenyang Zhu、Daisuke Inoue、Xiaoyang Mao
    • 学会等名
      NICOGRAPH International 2023
    • 関連する報告書
      2023 実績報告書 2022 実施状況報告書
    • 国際学会
  • [学会発表] Seamless Image Editing for Perceptual Size Restoration Based on Seam Carving2023

    • 著者名/発表者名
      Naohiko Ishikawa、Zhenyang Zhu、Jong-Nam Kim、Wan-Young Chung、Kentaro Go、Xiaoyang Mao
    • 学会等名
      Computer Graphics International 2023
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Fast Image Recoloring for Anomalous Trichromacy with Contrast Enhancement and Naturalness Preservation2023

    • 著者名/発表者名
      Haiqiang Zhou、Wangkang Huang、Zhenyang Zhu、Xiaodiao Chen、Xiaoyang Mao
    • 学会等名
      Visual Computing シンポジウム
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Metamorphopsia Insepction System based on Relevance Feedback2023

    • 著者名/発表者名
      Zhenyang Zhu、Katsuhito Moritake、Kenji Kashiwagi、Masahiro Toyoura、Kentaro Go、Issei Fujishiro、Xiaoyang Mao
    • 学会等名
      International Conference on System, Man and Cybernetics 2023
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] A Personalized Generative Model for Color Vision Deficiency2023

    • 著者名/発表者名
      陳 立庚、朱 臻陽、茅 暁陽
    • 学会等名
      画像電子学会ビジュアルコンピューティングワークショップ
    • 関連する報告書
      2023 実績報告書
  • [学会発表] CC-Glasses: Color Communication Support for People with Color Vision Deficiency Using Augmented Reality and Deep Learning2023

    • 著者名/発表者名
      Zhenyang Zhu、Jiyi Li、Ying Tang、Kentaro Go、Masahiro Toyoura、Kenji Kashiwagi、Issei Fujishiro、Xiaoyang Mao
    • 学会等名
      Augmented Humans 2023
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] Swin Transformerを利用した色覚障がい支援用色変換手法2022

    • 著者名/発表者名
      陳 立庚、朱 臻陽、郷 健太郎、黄 望康、茅 暁陽
    • 学会等名
      Visual Computing シンポジウム
    • 関連する報告書
      2022 実施状況報告書

URL: 

公開日: 2022-09-01   更新日: 2025-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi