| 研究課題/領域番号 |
23H01413
|
|---|
| 配分区分 | 補助金 |
|---|
| 研究機関 | 名古屋大学 |
|---|
研究代表者 |
岡田 啓 名古屋大学, 未来材料・システム研究所, 准教授 (50324463)
|
|---|
| 研究分担者 |
和田 忠浩 静岡大学, 工学部, 教授 (00303529)
小林 健太郎 名城大学, 理工学部, 准教授 (40583878)
|
|---|
| 研究期間 (年度) |
2023-04-01 – 2027-03-31
|
| キーワード | ディスプレイーカメラ可視光通信 / 敵対的サンプル / 機械学習 |
|---|
| 研究実績の概要 |
ディスプレイ－カメラ可視光通信では，視覚情報にデータ情報を重畳した画像を生成してこれをデジタルサイネージのディスプレイに表示し，それをスマートフォン等の携帯端末に搭載されているカメラで撮影して画像処理することでデータ情報を取り出す．
このディスプレイ－カメラ可視光通信において本研究では，機械学習モデルにおける敵対的サンプルを用いた人に視認されにくいディスプレイ－カメラ可視光通信の実現を目的とする．機械学習モデルとして，画像の特徴に基づいてそれがどの分類対象に属しているかを検出する画像分類器と，1枚の画像からそこにある物体の奥行きを推定する画像深度推定器を用いる．どちらの手法も算出される画像の特徴量に基づいて出力が得られる．本手法では，敵対的サンプルを利用して画像の特徴量を意図的に制御することで，視覚情報の画像にデータ情報を埋め込み伝送する．
2023年度は，画像分類器／画像深度推定器の選定と摂動画像生成について取り組んだ．画像分類器を用いた場合では，受信機で用いる分類器としてinception-v3を選定し，摂動を加えた画像の分類器出力と希望出力の差を評価する関数としてクロスエントロピーを用いて，最急降下法により摂動を生成した．そして，摂動を加えた画像をそのまま分類器に入力したとき，希望出力の特徴量の割合が99.9%となっており，画像分類器による情報伝送が可能であることを示した．また，画像深度推定器を用いた場合では，Gaoらが作成したモデルを選定し，摂動を加えた画像の深度推定結果とデータ画像の２乗平均誤差を深度損失と定め，最急降下法により摂動画像を生成した．そして，理想的な通信路でのシミュレーションを行い，適切にパラメータを調整することで，摂動を加えた画像のピーク信号対雑音比が32 dB以上とビット誤り率0.13以下を達成した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
申請書において，2023年度は画像分類器／画像深度推定器の選定と摂動画像生成について取り組むことを予定していた．
これに対し研究実績の概要で述べたように，画像分類器を用いた場合では，受信機で用いる分類器としてinception-v3を選定し，クロスエントロピーを評価関数として用いることで摂動画像を生成した．当初予定していなかったが，摂動を加えた画像をそのまま分類器に入力するという理想的な状況ではあるが性能を評価した．その結果，希望出力の特徴量の割合が99.9%となっており，画像分類器による情報伝送が可能であることを示した．また，画像深度推定器を用いた場合では，Gaoらが作成したモデルを選定し，損失関数として２乗平均誤差を用いて最急降下法により摂動画像を生成した．そして当初予定していなかったが，摂動を加えた画像をそのまま画像深度推定器に入力するという理想的な状況ではあるが，シミュレーションにより提案手法の性能を評価した．
上記のように，当初の目的に加え，理想的な状況ではあるが性能評価までも行うことができ，当初の計画以上に進展していると言える．
|
| 今後の研究の推進方策 |
本研究では，(i)画像分類器／画像深度推定器の選定とデータ情報を埋め込むための摂動画像生成，(ii)可視光通信路による撮影画像の劣化とその影響軽減策の検討，(iii)画像分類器／画像深度推定器の改良，に取り組む．2023年度はこのうち，(i)画像分類器／画像深度推定器の選定と摂動画像生成について取り組み，当初の計画以上に進展することができた．
2024年度から2026年度では，(ii)可視光通信路による撮影画像の劣化とその影響軽減策の検討，(iii)画像分類器／画像深度推定器の改良，について取り組む．送信機のディスプレイに表示された重畳画像を受信機のカメラで撮影するとき，可視光通信路の影響により撮影画像に劣化が生じる．この劣化により摂動画像で加えられた特徴量が意図した通りに得られず，画像分類器の出力が誤ってしまったり，画像深度推定器の出力深度マップが劣化してしまうことが予想される．そこでこの影響を評価するとともに，この劣化を防ぐ方策について検討する．画像分類器を用いた場合では，予想される画像の劣化に対して予め耐性のある敵対的サンプルを生成するEOT (Expectation Over Transformation) 処理を加えることが考えられる．また，画像深度推定器を用いた場合では，劣化した深度マップから機械学習を用いてデータ情報を推定する方策が考えられる．さらに，データ情報を伝送するのに適するように画像分類器／画像深度推定器を改良する．また，画像深度推定器を用いた場合では，データ画像の生成方法についても検討する．
|
