AIR-Glasses：AI-ARを用いた視知覚ベース個別適応型色覚情報補償技術
| Project/Area Number |
22H00549
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (A)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Medium-sized Section 62:Applied informatics and related fields
|
|---|
| Research Institution | University of Yamanashi |
|---|
Principal Investigator |
茅 暁陽 山梨大学, その他部局等, 理事 (20283195)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
藤代 一成 慶應義塾大学, 理工学部(矢上), 教授 (00181347)
朱 臻陽 山梨大学, 大学院総合研究部, 助教 (10954927)
柏木 賢治 山梨大学, 大学院総合研究部, 教授 (30194723)
郷 健太郎 山梨大学, 大学院総合研究部, 教授 (50282009)
豊浦 正広 山梨大学, 大学院総合研究部, 教授 (80550780)
|
|---|
| Project Period (FY) |
2022-04-01 – 2027-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥41,990,000 (Direct Cost: ¥32,300,000、Indirect Cost: ¥9,690,000)
Fiscal Year 2024: ¥8,450,000 (Direct Cost: ¥6,500,000、Indirect Cost: ¥1,950,000)
Fiscal Year 2023: ¥8,970,000 (Direct Cost: ¥6,900,000、Indirect Cost: ¥2,070,000)
Fiscal Year 2022: ¥11,050,000 (Direct Cost: ¥8,500,000、Indirect Cost: ¥2,550,000)
|
|---|
| Keywords | 色覚補償 / 色覚障害補償 / 画像色変換 |
|---|
| Outline of Research at the Start |
本研究課題は，先行研究課題「コンピュテーショナル・オプサルモロジー：ARを用いた視覚障害者の視力の適応的増強」（基盤研究(A)17H00738）の後続研究である．色覚障害に的を絞り，以下の三点において先行研究課題の成果を発展させる．(1) 結果が計算モデルに直接利用可能で軽負担の自覚的検査方式による個人の障害レベルへの対応，(2)最新の転移学習を用いて，シミュレーションモデルに主観評価を組み合わせ，複合化した要因に適応，(3)最新の深層学習技術を駆使し，画像内の物体色を認識し，その物体と色のテキスト情報との相互参照を可能とすることで，色に基づく意思決定やコミュニケーションを支援．
|
| Outline of Annual Research Achievements |
色覚障害（color vision deficiency、 CVD）は、網膜上に分布する錐体細胞の欠損や異常により生じ、色の区別を困難にするため、職業が制限されたり、他人とのコミュニケーションが困難になったり、危険に晒されるなど、Qolを大きく低下させる。本研究では最新の深層学習技術を活用し、個人の色覚障害の度合いに適応した色覚補償技術に加え、シーン中の物体の色覚特徴まで認識し、拡張現実感技術(Augmented Reality、 AR)を用いて可視化することで、意思決定や健常者とのシームレスなコミュニケーションを支援する技術を開発する。令和5年度の実績は以下の通りである。
課題（A）の個人の障害レベルの適応については、Swin TransformerとLab空間をベースとする二色覚用教師なし色変換深層モデルを設計した。さらにFlickerから収集した画像から色コントラストの損失が生じる画像を色覚障がいシミュレーションを用いて選出し、学習に用いる入力データ集を構築した。さらに、二色覚用色変換モデルを異なる度合いの色覚障がい補償用に拡張した。
課題（B）の知覚評価に対応した個人適応型補償モデルの開発においては、課題（Ａ）の令和４年度の成果である画像集から、障がいの度合いにより知覚結果が敏感に変化する画像を選出し、知覚評価用の画像集を生成した。そして、少ない枚数の画像で学習可能な転移学習技術及び数枚の画像で結果生成可能なスタイル変換技術を開発した。
課題（C）の色識別とコンミュニケーション支援については、令和４開発済みのシステムでは、色ラベルの種類が限定的であり、参照の精度も不十分であったため、令和５年度はテキストと画像間の相互参照がより高精度で行える最新の深層学習モデルを導入し精度向上を図った。さらに主観評価実験を中心とした支援システムのユーザビリティの評価と改善を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
計画した内容をすべて予定通り実施し、期待通りの成果を得ることができた。課題Aについては、主要研究成果をまとめた論文がIF付き国際論文誌に掲載することができた。課題Bについてはすで個人適応型のモデルを開発し、予備実験まで完了した。課題Cについてはコミュニケーション支援用システムのインタフェースを改善することができた。
|
| Strategy for Future Research Activity |
課題（A）については、令和5年度に二色覚用の高速色覚補償アルゴリズムを様々な色覚障害の補償に適用可能に拡張した。最も広く使用されているMachadoらによる色覚障害シミュレーションモデルを使用して実装を行ったが、評価実験において当該モデルが明度の知覚を正確に再現できないことが明らかになったため、令和6年度には新たなシミュレーションモデルの開発を予定している。
課題（B）においては、令和5年度にグラフニューラルネットワークと転移学習を活用して、最大100枚の画像で学習することにより個人に合わせた色覚補償を実現する新しいニューラルネットワークモデルの設計を完了した。令和6年度には協力者を募り、実験を通じて個人ごとのデータセットを作成し、モデルの有効性を評価する予定である。さらに、30枚以下の学習データで学習可能となるようにモデルの改良も行う予定である。
課題（C）では、令和5年度にテキストと画像間の相互参照がより高精度に行える最新の深層学習モデルを導入し、精度向上を目指した。令和6年度は主観評価実験を中心に色ラベルの拡充、支援システムのユーザビリティ評価と改善に取り組むとともに、光学シースルー型ヘッドマウントディスプレイを使用したコミュニケーション支援ツールの開発を開始する。
|
Report
(3 results)
Research Products
(13 results)
