研究課題/領域番号 |
22K21274
|
研究種目 |
研究活動スタート支援
|
配分区分 | 基金 |
審査区分 |
1001:情報科学、情報工学およびその関連分野
|
研究機関 | 山梨大学 |
研究代表者 |
朱 臻陽 山梨大学, 大学院総合研究部, 助教 (10954927)
|
研究期間 (年度) |
2022-08-31 – 2024-03-31
|
研究課題ステータス |
交付 (2022年度)
|
配分額 *注記 |
2,860千円 (直接経費: 2,200千円、間接経費: 660千円)
2023年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2022年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
|
キーワード | 色覚補償 / 意味論的情報 / 拡張現実 / 深層学習 / 色覚障がい支援 |
研究開始時の研究の概要 |
本研究課題では,色覚障がいによる意味論的情報損失を補償するために,深層学習モデル及びAR Glassesを取り入れた色覚補償技術の確立に向けて,以下の3つの課題に取り組む.(1)AR Glassesを装着するユーザを中心にし,深層学習モデルを搭載するサーバと連携し,ユーザに色覚支援用情報を提供する.(2)ユーザがおかれるシチュエーションに合わせて,二つの使用モードを設計し,それぞれに必要な深層学習モデルを実装する.(3)実装される深層学習モデルの学習に必要とされる色ラベル付き画像データセットを収集するために,既存のオブジェクト検出用深層学習モデルを利用して,自動的な収集方法を開発する.
|
研究実績の概要 |
本研究では,色覚障がいによる意味論的情報損失を補償するために,深層学習モデル及び拡張現実(Augmented-Reality,AR)グラスを取り入れた色覚補償技術Color Communication Glasses (CC-Glasses)を開発することを目的とする.具体的には,(1)ARグラス補償システムの開発,(2)障がい者が利用するシチュエーションに合わせた使用モード:探索モードと検索モードの提案,(3)二つの使用モードに取り入れる深層学習モデルの学習のためのデータセットの作成である. 本研究課題の1年目では,検索モードに取り入れる技術の開発に取り組んできた.当該モードでは,ユーザが周囲とのコミュニケーションを取る際に,会話中の色単語とオブジェクト単語のペアを利用し,入力画像から指定されるオブジェクトを見つけ出し,ARグラスでユーザに知らせる.当該モードに取り入れた深層学習モデルを学習させるために,色単語とオブジェクト単語のペアを含んだデータセットを作成した.既存のインスタンスセグメンテーションモデルを利用し,ソーシャルネットサイトから収集した画像データを半自動的にアノテーションする方法を提案した.提案技術の有効性を検証するために,色覚障がいをもつ協力者による主観評価実験を行った.その成果をまとめた論文は国際会議Augmented Humans 2023 (h5-index:17)に採択され,口頭発表を行った.
|
現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
CC-Glassesの検索モードに取り入れる技術の開発ができた.その成果をまとめた論文は国際会議Augmented Humans 2023 に採択され,口頭発表ができた.
|
今後の研究の推進方策 |
今後の方策としては,CC-Glassesに取り入れる使用モードの一つである探索モードの開発に取り組む. 1年目で開発した検索モードのフレームワークを基に,2年目では,探索モードの開発を行う.まずは,インスタンスセグメンテーションのための深層学習モデルを基に,オブジェクトラベル且複数の色ラベルが予測できる深層学習モデルを開発とする.次に,1年目で収集したデータセットを利用し,提案するモデルを学習させる.また,1年目で開発したAR Glasses 制御システムに探索モード機能を追加し,CC-Glassesを完成させる.さらに,提案技術の有効性を検証するために,色覚障がいをもつ協力者による検証実験を行う. 最後に,成果をまとめ,CG分野のトップ国際学会誌の一つであるIEEE Transactions on Visualization and Computer Graphics に投稿する予定である.
|