• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2022 年度 実績報告書

AIR-Glasses:AI-ARを用いた視知覚ベース個別適応型色覚情報補償技術

研究課題

研究課題/領域番号 22H00549
研究機関山梨大学

研究代表者

茅 暁陽  山梨大学, 大学院総合研究部, 教授 (20283195)

研究分担者 藤代 一成  慶應義塾大学, 理工学部(矢上), 教授 (00181347)
柏木 賢治  山梨大学, 大学院総合研究部, 教授 (30194723)
郷 健太郎  山梨大学, 大学院総合研究部, 教授 (50282009)
豊浦 正広  山梨大学, 大学院総合研究部, 准教授 (80550780)
研究期間 (年度) 2022-04-01 – 2027-03-31
キーワード色覚障害補償 / 画像色変換
研究実績の概要

色覚障害(color vision deficiency、 CVD)は、網膜上に分布する錐体細胞の欠損や異常により生じ、色の区別を困難にするため、職業が制限されたり、他人とのコミュニケーションが困難になったり、危険に晒されるなど、Qolを大きく低下させる。本研究では最新の深層学習技術を活用し、個人の色覚障害の度合いに適応した色覚補償技術に加え、シーン中の物体の色覚特徴まで認識し、拡張現実感技術(Augmented Reality、 AR)を用いて可視化することで、意思決定や健常者とのシームレスなコミュニケーションを支援する技術を開発する。令和4年度の実績は以下の通りである。
課題(A)の個人の障害レベルへの適応については、CVDシミュレーションモデルを用いてコントラス損失を算出し、検査に利用できる画像集を作成した。また、既存の開発済RGB色空間に基づく障害レベル適応コントラスト補償アルゴリズムを人間の視覚特性により一致するLab色空間に拡張した。
課題(B)の知覚評価に対応した個人適応型補償モデルの開発においては、まず教師なし学習に基づく色覚補償画像生成深層学習モデルを開発した。主観評価を反映するための色変換モデルについて、利用可能な既存モデルの調査を行い、選定を行った。
課題(C)の色識別とコンミュニケーション支援については、既存の物体検出とテキストによる物体参照用深層学習モデルを拡張し、物体の色を認識し、他者と色情報を共有できる意味論的色覚情報補償技術を開発した。また、学習用データ集の作成も行った。色単語と物体単語のペアのテキスト情報が付与されている画像をFlickrから取得し、ラベルを自動的に付与した後、健常者によるスクリーニングを行い、データ集の品質を向上させた。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

計画した内容をすべて実施し、期待通りの成果が得られた。

今後の研究の推進方策

課題(A)の個人の障害レベルの適応については、令和4年度の成果として、既存の異常三色覚シミュレーションモデルの問題点を明らかにしたため、令和5年度はこれらの問題点を解決し、より正確なシミュレーションモデルを確立する。また、補償アルゴリズムについては、令和4年開発した変換方法の評価と改善を行うと同時に、新しいシミュレーションモデルに基づく補償アルゴリズムの開発も行う。
課題(B)の知覚評価に対応した個人適応型補償モデルの開発においては、少ない枚数の教師画像のみで個人の障害の度合いに適した色変換を実現する必要がある。そのため、障害の度合いにより見え方が顕著に変化する画像集をまずシミュレーションと主観実験を組合せて作成する。そして、変換モデルについては、転移学習及びFew-Shotスタイルトランスファーの二つの方法を比較検討し、より適したモデルを選択する。
課題(C)の色識別とコンミュニケーション支援については、令和4年度に、色によるオブジェクトの参照が可能なシステムを開発したが、まだ精度が低く、色のラベルも限定されているため、令和5年度はまずシステムの拡張を行うと同時に、追加で学習データの拡充も行う。また、色情報によるオブジェクト参照(検索モード)に加え、ユーザの視線を追跡し、注目するオブジェクトの色を自動的に判別し、ヘッドマウントディスプレイに可視化する探索モードの開発も行う予定である。

  • 研究成果

    (7件)

すべて 2023 2022 その他

すべて 国際共同研究 (1件) 雑誌論文 (4件) (うち査読あり 4件) 学会発表 (1件) 備考 (1件)

  • [国際共同研究] 杭州電子科技大学(中国)

    • 国名
      中国
    • 外国機関名
      杭州電子科技大学
  • [雑誌論文] CC-Glasses: Color Communication Support for People with Color Vision Deficiency Using Augmented Reality and Deep Learning2023

    • 著者名/発表者名
      Zhu Zhenyang、Li Jiyi、Tang Ying、Go Kentaro、Toyoura Masahiro、Kashiwagi Kenji、Fujishiro Issei、Mao Xiaoyang
    • 雑誌名

      AHs '23: Proceedings of the Augmented Humans International Conference 2023

      巻: - ページ: 190-199

    • DOI

      10.1145/3582700.3582707

    • 査読あり
  • [雑誌論文] A Study on Contextual Task Performance of Simulated Homonymous Hemianopia Patients with Computational Glasses-based Compensation2022

    • 著者名/発表者名
      Chao Ge, Zhenyang Zhu, Keisuke Ichinose, Issei Fujishiro, Kentaro Go, Kenji Kashiwagi, Masahiro Toyoura, Xiaoyang Mao
    • 雑誌名

      ACM SIGGRAPH International Conference on Virtual-Reality Continuum and its Applications in Industry (VRCAI),

      巻: 0 ページ: 1-8

    • DOI

      10.1145/3574131.3574441

    • 査読あり
  • [雑誌論文] Image recoloring for Red-Green dichromats with compensation range-based naturalness preservation and refined dichromacy gamut2022

    • 著者名/発表者名
      Wangkang Huang, Zhenyang Zhu, Ligeng Chen, Kentaro Go, Xiaodiao Chen, Xiaoyang Mao
    • 雑誌名

      The Visual Computer

      巻: 38 ページ: 3405-3418

    • DOI

      10.1007/s00371-022-02549-4

    • 査読あり
  • [雑誌論文] Swin Transformerを利用した色覚障がい支援用色変換手法2022

    • 著者名/発表者名
      陳 立庚,朱 臻陽,郷 健太郎,黄 望康,茅 暁陽
    • 雑誌名

      Visual Computing シンポジウム

      巻: 0 ページ: 1-6

    • 査読あり
  • [学会発表] 深層学習を用いた肉の焼け具合の推定2022

    • 著者名/発表者名
      千葉 翔太,茅 暁陽
    • 学会等名
      情報処理学会第84回全国大会
  • [備考] 計算眼科学

    • URL

      http://vc.media.yamanashi.ac.jp/

URL: 

公開日: 2023-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi