2020 Fiscal Year Research-status Report
Development of a Data Retrieval Method with Wide Availability Based on Images by Data Embedding and Image Identification
| Project/Area Number |
20K04476
|
|---|
| Research Institution | Kansai University |
|---|
Principal Investigator |
棟安 実治 関西大学, システム理工学部, 教授 (30229942)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
吉田 壮 関西大学, システム理工学部, 助教 (70780584)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 曲面 / 携帯端末 / 画像特徴量 / 動画像 / ARマーカ / トレーサビリティ / デジタルサイネージ / 電子透かし |
|---|
| Outline of Annual Research Achievements |
曲面に表示された画像からのデータの埋込・抽出技術の開発においては，まず基礎的な検討として，従来手法を用いて印刷画像にデータを埋め込み，様々な撮影条件においてデータの検出率を検討した．その中で従来技術でも撮影時のインタフェースを工夫することによって，ある程度の検出率を達成可能であることがわかった．しかし，撮影画像の歪みが大きい場合は画像の位置を把握するための枠線を検出することに失敗したり，元の画像に戻すための補正が十分でなかったりするために，さらに検討する余地があることがわかった．
曲面に表示された画像からの画像特徴量の検出と画像識別技術の開発では，やはり撮影画像のインタフェースを工夫することによって，これまで用いてきたAKAZEと呼ばれる画像特徴量の検出がほとんどの場合について可能であることがわかった．そのため，データの埋め込み手法を工夫することで，埋め込み技術との併用が可能になると考えられる．しかし上記と同様に，撮影画像の歪みが大きい場合の検討は必要である．
さらに，2021年度に行う予定であった，データの埋込・抽出における実環境シミュレーションシステムの構築にも着手することができた．ここでは，画像の印刷のプロセスを模擬するために，画像生成の分野で注目されている深層学習の一分野であるGAN（Generative Adversarial Network）の手法の一つであるPix2Pixと呼ばれる方法を適用することにした．また，撮影時に起こる幾何学的変形の処理を切り離して実現したため，より柔軟性のあるシステムを構築できた．撮影時のシミュレーションでは，これまで蓄積してきた多数の撮影画像を利用することで変形を再現している．これにより，実験を代替しうるシミュレーションシステムのめどがついたと考えている．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究の内容としては，本年度着手すべき内容である曲面に表示された画像からのデータの埋込・抽出技術の開発および曲面に表示された画像からの画像特徴量の検出と画像識別技術の開発については，実績の概要で示した点も含めて，曲面上の画像から情報を取得するという課題をおおむね解決策が見いだせるところまで検討できたと考えている．これに対して，まだ検討が十分でない点は以下のような点である．曲面に表示された画像からのデータの埋込・抽出技術の開発においては，曲率が大きい場合，すなわち歪みが大きい場合の検討については検出側しか着手出来ていないため，埋め込み側での対応について検討を行う必要がある．マーカとしては幾何学的変形についての検討は引き続き行っていく必要がある．曲面に表示された画像からの画像特徴量の検出と画像識別技術の開発については，データ埋め込み技術と同様に，歪みが大きい場合の検討が十分ではない．したがって，これらの課題については検討課題が残っているという意味で計画以上に進展しているとはいえない．
しかし，シミュレーションシステムの構築については，2021年度に向けてシステムのプロトタイプを構築することができ，この部分では当初計画を上回って進捗している部分もあると言える．
以上から，進捗には差があるものの全体としては区分に示したように，順調に進展しているものと考えている．
|
| Strategy for Future Research Activity |
今年度の方針としては，昨年度に検討した課題である曲面に表示された画像からのデータの埋込・抽出技術の開発および曲面に表示された画像からの画像特徴量の検出と画像識別技術の開発において残された課題である歪みが大きい場合についての検討をまず行う．また，可変なARマーカの開発については，今年度の知見を元にプロジェクタによる実験を開始し，まずプロジェクタでの読み取りについて評価を行う．その評価を元に絵柄の変更を基本とした可変なARマーカの検討を行う．次に，データの埋込・抽出における実環境シミュレーションシステムの構築においては，本年度作成したシミュレーションシステムをプロトタイプとして，さらに急速に進展している深層学習の知見を取り入れ，Pix2Pixを改良することにより，使い勝手のよい現実により近いシステムの構築を目指す．
|
| Causes of Carryover |
新型コロナウイルス蔓延の影響を受け，参加予定であった学会が中止あるいはオンライン開催となり，国内，国外ともに旅費を使うことができなかった．その他の経費についてもこのように成果公表のスケジュールを大幅に見直さざるを得なかったため，英文校閲などの経費を消化することが出来なかった．それを補うため物品費を若干前倒しに執行したものの，スマートフォンなどの購入については最新のものを取得する必要があるため，大幅に前倒しにすることは困難であった．以上が差額が生じた理由である．次年度についても新型コロナウイルスの影響が不明確なため，旅費の執行は難しい面があると考えるので，ある程度物品費で使用するとともに，オンラインでの学会参加を増やすことや論文執筆に注力することでそれに関連する費用で徐々に執行率を高めていきたいと考えている．少なくとも，設備備品費とその他の経費については着実に執行していきたいと考えている．
|
