2022 Fiscal Year Research-status Report
深層学習による色覚障がい支援のための意味論的情報補償
| Project/Area Number |
22K21274
|
|---|
| Research Institution | University of Yamanashi |
|---|
Principal Investigator |
朱 臻陽 山梨大学, 大学院総合研究部, 助教 (10954927)
|
|---|
| Project Period (FY) |
2022-08-31 – 2024-03-31
|
| Keywords | 色覚補償 / 意味論的情報 / 拡張現実 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
本研究では，色覚障がいによる意味論的情報損失を補償するために，深層学習モデル及び拡張現実（Ａｕｇｍｅｎｔｅｄ-Ｒｅａｌｉｔｙ，ＡＲ）グラスを取り入れた色覚補償技術Ｃｏｌｏｒ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｇｌａｓｓｅｓ （ＣＣ－Ｇｌａｓｓｅｓ）を開発することを目的とする．具体的には，（１）ＡＲグラス補償システムの開発，（２）障がい者が利用するシチュエーションに合わせた使用モード：探索モードと検索モードの提案，（３）二つの使用モードに取り入れる深層学習モデルの学習のためのデータセットの作成である．
本研究課題の１年目では，検索モードに取り入れる技術の開発に取り組んできた．当該モードでは，ユーザが周囲とのコミュニケーションを取る際に，会話中の色単語とオブジェクト単語のペアを利用し，入力画像から指定されるオブジェクトを見つけ出し，ＡＲグラスでユーザに知らせる．当該モードに取り入れた深層学習モデルを学習させるために，色単語とオブジェクト単語のペアを含んだデータセットを作成した．既存のインスタンスセグメンテーションモデルを利用し，ソーシャルネットサイトから収集した画像データを半自動的にアノテーションする方法を提案した．提案技術の有効性を検証するために，色覚障がいをもつ協力者による主観評価実験を行った．その成果をまとめた論文は国際会議Ａｕｇｍｅｎｔｅｄ Ｈｕｍａｎｓ ２０２３ （ｈ５-ｉｎｄｅｘ：１７）に採択され，口頭発表を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
ＣＣ－Ｇｌａｓｓｅｓの検索モードに取り入れる技術の開発ができた．その成果をまとめた論文は国際会議Ａｕｇｍｅｎｔｅｄ Ｈｕｍａｎｓ ２０２３ に採択され，口頭発表ができた．
|
| Strategy for Future Research Activity |
今後の方策としては，ＣＣ－Ｇｌａｓｓｅｓに取り入れる使用モードの一つである探索モードの開発に取り組む．
１年目で開発した検索モードのフレームワークを基に，２年目では，探索モードの開発を行う．まずは，インスタンスセグメンテーションのための深層学習モデルを基に，オブジェクトラベル且複数の色ラベルが予測できる深層学習モデルを開発とする．次に，１年目で収集したデータセットを利用し，提案するモデルを学習させる．また，１年目で開発したＡＲ Ｇｌａｓｓｅｓ 制御システムに探索モード機能を追加し，ＣＣ－Ｇｌａｓｓｅｓを完成させる．さらに，提案技術の有効性を検証するために，色覚障がいをもつ協力者による検証実験を行う．
最後に，成果をまとめ，ＣＧ分野のトップ国際学会誌の一つであるＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ に投稿する予定である．
|
| Causes of Carryover |
研究成果発表で参加する予定の国際学会がオンライン開催になったため，当初予定の旅費との差額が生じた．本未使用額は次年度の旅費及び国際学会誌の論文掲載料に充当する．
|
