| Project/Area Number |
23K26108
|
|---|
| Project/Area Number (Other) |
23H01413 (2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 21020:Communication and network engineering-related
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
岡田 啓 名古屋大学, 工学研究科, 准教授 (50324463)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
和田 忠浩 静岡大学, 工学部, 教授 (00303529)
小林 健太郎 名城大学, 理工学部, 准教授 (40583878)
|
|---|
| Project Period (FY) |
2023-04-01 – 2027-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥18,590,000 (Direct Cost: ¥14,300,000、Indirect Cost: ¥4,290,000)
Fiscal Year 2026: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2025: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Fiscal Year 2024: ¥4,940,000 (Direct Cost: ¥3,800,000、Indirect Cost: ¥1,140,000)
Fiscal Year 2023: ¥5,720,000 (Direct Cost: ¥4,400,000、Indirect Cost: ¥1,320,000)
|
|---|
| Keywords | ディスプレイーカメラ可視光通信 / 敵対的サンプル / 機械学習 |
|---|
| Outline of Research at the Start |
ディスプレイ－カメラ可視光通信の実現には，ディスプレイに表示される視覚情報を阻害しないために，人が視認できないようにデータ情報を重畳する必要がある．本研究では機械学習モデルにおける敵対的サンプルに着目する．敵対的サンプルは，微小変化する雑音のような摂動により，ある機械学習モデルを意図的に間違った予測をさせることができる．この事を利用し，視覚情報に人が視認できないように微小変化する摂動画像を重畳し，画像処理を行う機械学習モデルの出力がデータ情報を表すよう意図的に操作することでデータ情報の伝送を行う．機械学習モデルとして画像分類器と画像深度推定器を用いる．
|
| Outline of Annual Research Achievements |
ディスプレイ－カメラ可視光通信では，視覚情報にデータ情報を重畳した画像を生成してこれをデジタルサイネージのディスプレイに表示し，それをスマートフォン等の携帯端末に搭載されているカメラで撮影して画像処理することでデータ情報を取り出す．
このディスプレイ－カメラ可視光通信において本研究では，機械学習モデルにおける敵対的サンプルを用いた人に視認されにくいディスプレイ－カメラ可視光通信の実現を目的とする．機械学習モデルとして，画像の特徴に基づいてそれがどの分類対象に属しているかを検出する画像分類器と，1枚の画像からそこにある物体の奥行きを推定する画像深度推定器を用いる．どちらの手法も算出される画像の特徴量に基づいて出力が得られる．本手法では，敵対的サンプルを利用して画像の特徴量を意図的に制御することで，視覚情報の画像にデータ情報を埋め込み伝送する．
2023年度は，画像分類器／画像深度推定器の選定と摂動画像生成について取り組んだ．画像分類器を用いた場合では，受信機で用いる分類器としてinception-v3を選定し，摂動を加えた画像の分類器出力と希望出力の差を評価する関数としてクロスエントロピーを用いて，最急降下法により摂動を生成した．そして，摂動を加えた画像をそのまま分類器に入力したとき，希望出力の特徴量の割合が99.9%となっており，画像分類器による情報伝送が可能であることを示した．また，画像深度推定器を用いた場合では，Gaoらが作成したモデルを選定し，摂動を加えた画像の深度推定結果とデータ画像の２乗平均誤差を深度損失と定め，最急降下法により摂動画像を生成した．そして，理想的な通信路でのシミュレーションを行い，適切にパラメータを調整することで，摂動を加えた画像のピーク信号対雑音比が32 dB以上とビット誤り率0.13以下を達成した．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
申請書において，2023年度は画像分類器／画像深度推定器の選定と摂動画像生成について取り組むことを予定していた．
これに対し研究実績の概要で述べたように，画像分類器を用いた場合では，受信機で用いる分類器としてinception-v3を選定し，クロスエントロピーを評価関数として用いることで摂動画像を生成した．当初予定していなかったが，摂動を加えた画像をそのまま分類器に入力するという理想的な状況ではあるが性能を評価した．その結果，希望出力の特徴量の割合が99.9%となっており，画像分類器による情報伝送が可能であることを示した．また，画像深度推定器を用いた場合では，Gaoらが作成したモデルを選定し，損失関数として２乗平均誤差を用いて最急降下法により摂動画像を生成した．そして当初予定していなかったが，摂動を加えた画像をそのまま画像深度推定器に入力するという理想的な状況ではあるが，シミュレーションにより提案手法の性能を評価した．
上記のように，当初の目的に加え，理想的な状況ではあるが性能評価までも行うことができ，当初の計画以上に進展していると言える．
|
| Strategy for Future Research Activity |
本研究では，(i)画像分類器／画像深度推定器の選定とデータ情報を埋め込むための摂動画像生成，(ii)可視光通信路による撮影画像の劣化とその影響軽減策の検討，(iii)画像分類器／画像深度推定器の改良，に取り組む．2023年度はこのうち，(i)画像分類器／画像深度推定器の選定と摂動画像生成について取り組み，当初の計画以上に進展することができた．
2024年度から2026年度では，(ii)可視光通信路による撮影画像の劣化とその影響軽減策の検討，(iii)画像分類器／画像深度推定器の改良，について取り組む．送信機のディスプレイに表示された重畳画像を受信機のカメラで撮影するとき，可視光通信路の影響により撮影画像に劣化が生じる．この劣化により摂動画像で加えられた特徴量が意図した通りに得られず，画像分類器の出力が誤ってしまったり，画像深度推定器の出力深度マップが劣化してしまうことが予想される．そこでこの影響を評価するとともに，この劣化を防ぐ方策について検討する．画像分類器を用いた場合では，予想される画像の劣化に対して予め耐性のある敵対的サンプルを生成するEOT (Expectation Over Transformation) 処理を加えることが考えられる．また，画像深度推定器を用いた場合では，劣化した深度マップから機械学習を用いてデータ情報を推定する方策が考えられる．さらに，データ情報を伝送するのに適するように画像分類器／画像深度推定器を改良する．また，画像深度推定器を用いた場合では，データ画像の生成方法についても検討する．
|
