Development of a Data Retrieval Method with Wide Availability Based on Images by Data Embedding and Image Identification
| Project/Area Number |
20K04476
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 21020:Communication and network engineering-related
|
|---|
| Research Institution | Kansai University |
|---|
Principal Investigator |
棟安 実治 関西大学, システム理工学部, 教授 (30229942)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
吉田 壮 関西大学, システム理工学部, 助教 (70780584)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2021: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2020: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
|
|---|
| Keywords | 曲面 / 携帯端末 / 深層学習 / GAN / ARマーカ / トレーサビリティ / 電子透かし / 画像特徴量 / 動画像 / デジタルサイネージ / データ埋め込み / 印刷画像 |
|---|
| Outline of Research at the Start |
AR（Artificial Reality）やトレーサビリティの確保など，実空間の事物と仮想空間上の情報を有機的に連携させることは非常に重要である．一般には，そのために連携のためのマーカを配置することが必要となる．マーカには，どのような物体にも簡単に配置できることや実空間上にあっても違和感のないこと，さらにマーカの内容の変更が容易であることが求められる．様々なデバイスにこの役割を担わせられれば，システムを実現するための自由度が増すと考えられる．本研究では，スマートフォンなどの簡易な入力デバイスを用いて，多様な物体にマーカ情報を表示し，データを抽出する手段の開発を目指す．
|
| Outline of Annual Research Achievements |
本テーマでは，これまでに提案してきた印刷画像にデータを埋め込み携帯端末を用いてデータを取得する手法をベースとして，様々な利用形態を可能にすることを目指して，手法の拡張について研究している．昨年度に引き続き本年度も手法の自由度を増すことを目的として，曲面に配置された画像からのデータ取得について検討した．
本年度は，昨年に引き続き円筒を対象とする曲面とし，円筒に配置したデータ埋め込み画像から情報を検出するための手法の検討を行った．昨年度は，撮影位置や角度によって撮影時の画像の歪み方が異なるため，撮影位置を画像正面に限定したが，本年度はその制約を緩めることに注力した．特に円柱が回転した場合でも容易に検出が可能であるように，補正用マーカを用いる手法を発展させ，円柱が回転した場合でも画像を補正可能なマーカについて検討を行った．曲面上の画像の場合，QRコードでも読めなくなる場合があるので，QRコードに補正用マーカを付けた場合についても検討を行い，QRコードの機能の拡張にも利用可能であることを示せた．
その他，深層学習を用いたシミュレーションシステムについては，これまで得られた成果をまとめ雑誌論文として投稿し採択された．性能の改善についても引き続き取り組み，特にシミュレータの汎用性を強化することに努めた．具体的には，より実環境での画像劣化を再現できるように，画像生成ネットワークの改良や新しい撮影画像データセットの作成を行った．新たな手法による擬似撮影画像からのデータ検出率をこれまでの結果及び実際の検出率と比較して，実際の検出率とほぼ同等の検出率を再現できたことで，シミュレーションシステムの有効性が示せたと考えている．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
研究計画における主要なテーマであるシミュレーションシステムについては，論文誌に結果を掲載することができた．また，結果をまとめる際に得られた反省点を踏まえて，様々な改良を加えることで，より現実的なシミュレータに仕上げることができたことは大きな進捗であったと考えている．また，貼付する曲面の回転についても対応可能なマーカを開発できたことは手法の基礎を確実にするために重要な進展であったと考えている．そのため，「実空間上のどのような場所においても利用可能で，情報を連携させるために十分な情報が付与できる」手段の基礎的な部分についての開発は完了したものと考えている．
しかし，その基礎の元に展開されるべきプロジェクタを利用した方式への展開や画像特徴量を併用した方式の開発は遅れている．特に，前者については今年度もコロナウイルスに関する規制のため，閉暗所で行わなくてはいけない実験を行うことが困難であった．後者は，方式を検討する内，現在の方式とは異なる手法を着想することができたため，新たなテーマとして進展させることにした．また，仮想現実システムへの応用には手を付けることができなかった．
以上のように，当初設定した研究計画に対して，仮想現実システムへの応用以外に検討が行われていないというようなテーマはないが，研究発表の計画も必ずしも順調ではない部分があることも確かである．実用的な観点からすれば，さらなる検討が必要な部分もある．そのため，研究計画を上回る部分はあるものの，到達レベルには差があるので，区分に示したように，やや遅れていると判断した．
|
| Strategy for Future Research Activity |
プロジェクタを利用した方式の展開については，基礎的な手法は開発できたので今後も検討を続けるものとするが，これまでの経験に鑑みて印刷物よりも困難な問題が生じることが予想されるため，かなりの実験を伴う試行錯誤が必要であり，これまでの遅れを取り戻すことは難しいと考えるので，当面の検討課題からは外したい．また，画像特徴量についても，深層学習と関連付けた新しい方式を着想し，それについて基礎的な検討を行い，新しいテーマとして採択されたので，これについてはその中で検討していくものとして，本テーマの検討課題から外すものとしたい．
次年度は，今年度確立したマーカを利用することで，より確実に曲面に貼付された印刷物からデータを取得する手法がある程度確立できたので，様々な実験を実施してフィードバックを掛けることにより実用的な手法を開発するとともに，これについて積極的に学会発表をすすめていく．また，応用システムの開発も引き続き検討していく．
このような研究を着実に行うとともに，これまでに得られている成果について積極的に論文執筆ならびに学会での発表を行い，研究の新規性と有用性を訴えていきたいと考えている．
|
Report
(3 results)
Research Products
(13 results)
