AIR-Glasses：AI-ARを用いた視知覚ベース個別適応型色覚情報補償技術
| Project/Area Number |
22H00549
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (A)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Medium-sized Section 62:Applied informatics and related fields
|
|---|
| Research Institution | University of Yamanashi |
|---|
Principal Investigator |
茅 暁陽 山梨大学, その他部局等, 理事 (20283195)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
藤代 一成 慶應義塾大学, 理工学部(矢上), 教授 (00181347)
朱 臻陽 山梨大学, 大学院総合研究部, 助教 (10954927)
柏木 賢治 山梨大学, 大学院総合研究部, 教授 (30194723)
郷 健太郎 山梨大学, 大学院総合研究部, 教授 (50282009)
豊浦 正広 山梨大学, 大学院総合研究部, 教授 (80550780)
|
|---|
| Project Period (FY) |
2022-04-01 – 2027-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥41,990,000 (Direct Cost: ¥32,300,000、Indirect Cost: ¥9,690,000)
Fiscal Year 2024: ¥8,450,000 (Direct Cost: ¥6,500,000、Indirect Cost: ¥1,950,000)
Fiscal Year 2023: ¥8,970,000 (Direct Cost: ¥6,900,000、Indirect Cost: ¥2,070,000)
Fiscal Year 2022: ¥11,050,000 (Direct Cost: ¥8,500,000、Indirect Cost: ¥2,550,000)
|
|---|
| Keywords | 色覚補償 / 色覚障害補償 / 画像色変換 |
|---|
| Outline of Research at the Start |
本研究課題は，先行研究課題「コンピュテーショナル・オプサルモロジー：ARを用いた視覚障害者の視力の適応的増強」（基盤研究(A)17H00738）の後続研究である．色覚障害に的を絞り，以下の三点において先行研究課題の成果を発展させる．(1) 結果が計算モデルに直接利用可能で軽負担の自覚的検査方式による個人の障害レベルへの対応，(2)最新の転移学習を用いて，シミュレーションモデルに主観評価を組み合わせ，複合化した要因に適応，(3)最新の深層学習技術を駆使し，画像内の物体色を認識し，その物体と色のテキスト情報との相互参照を可能とすることで，色に基づく意思決定やコミュニケーションを支援．
|
| Outline of Annual Research Achievements |
色覚障害（color vision deficiency、 CVD）は、網膜上に分布する錐体細胞の欠損や異常により生じ、色の区別を困難にするため、職業が制限されたり、他人とのコミュニケーションが困難になったり、危険に晒されるなど、Qolを大きく低下させる。本研究では最新の深層学習技術を活用し、個人の色覚障害の度合いに適応した色覚補償技術に加え、シーン中の物体の色覚特徴まで認識し、拡張現実感技術(Augmented Reality、 AR)を用いて可視化することで、意思決定や健常者とのシームレスなコミュニケーションを支援する技術を開発する。令和４年度の実績は以下の通りである。
課題（A）の個人の障害レベルへの適応については、CVDシミュレーションモデルを用いてコントラス損失を算出し、検査に利用できる画像集を作成した。また、既存の開発済RGB色空間に基づく障害レベル適応コントラスト補償アルゴリズムを人間の視覚特性により一致するLab色空間に拡張した。
課題（B）の知覚評価に対応した個人適応型補償モデルの開発においては、まず教師なし学習に基づく色覚補償画像生成深層学習モデルを開発した。主観評価を反映するための色変換モデルについて、利用可能な既存モデルの調査を行い、選定を行った。
課題（C）の色識別とコンミュニケーション支援については、既存の物体検出とテキストによる物体参照用深層学習モデルを拡張し、物体の色を認識し、他者と色情報を共有できる意味論的色覚情報補償技術を開発した。また、学習用データ集の作成も行った。色単語と物体単語のペアのテキスト情報が付与されている画像をFlickrから取得し、ラベルを自動的に付与した後、健常者によるスクリーニングを行い、データ集の品質を向上させた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
計画した内容をすべて実施し、期待通りの成果が得られた。
|
| Strategy for Future Research Activity |
課題（A）の個人の障害レベルの適応については、令和４年度の成果として、既存の異常三色覚シミュレーションモデルの問題点を明らかにしたため、令和５年度はこれらの問題点を解決し、より正確なシミュレーションモデルを確立する。また、補償アルゴリズムについては、令和４年開発した変換方法の評価と改善を行うと同時に、新しいシミュレーションモデルに基づく補償アルゴリズムの開発も行う。
課題（B）の知覚評価に対応した個人適応型補償モデルの開発においては、少ない枚数の教師画像のみで個人の障害の度合いに適した色変換を実現する必要がある。そのため、障害の度合いにより見え方が顕著に変化する画像集をまずシミュレーションと主観実験を組合せて作成する。そして、変換モデルについては、転移学習及びFew-Shotスタイルトランスファーの二つの方法を比較検討し、より適したモデルを選択する。
課題（C）の色識別とコンミュニケーション支援については、令和４年度に、色によるオブジェクトの参照が可能なシステムを開発したが、まだ精度が低く、色のラベルも限定されているため、令和５年度はまずシステムの拡張を行うと同時に、追加で学習データの拡充も行う。また、色情報によるオブジェクト参照（検索モード）に加え、ユーザの視線を追跡し、注目するオブジェクトの色を自動的に判別し、ヘッドマウントディスプレイに可視化する探索モードの開発も行う予定である。
|
Report
(2 results)
Research Products
(7 results)
