視覚情報管理に関する研究-セマンティックスに基づいた画像検索

1997 Fiscal Year Annual Research Report

• Project/Area Number: 09780390
• Research Institution: Kyushu Institute of Technology
• Principal Investigator: 何 守杰 九州工業大学, 情報工学部, 助教授 (80284595)
• Keywords: Content-Based Indexing / Content-Based Retrie val / Structural Representation / Virtual Reality / Image Representation / Integration

Research Abstract

今年度の研究は次の2点に絞って行ってきた。一つはキーワードと画像データからの情報を如何に融合すべきかとの問題である。もう一つは視覚情報管理システムの仮想空間構築への応用である。コンテンツに基づいた視覚情報管理は画像データに依存する特徴を用いて客観的な索引を作成することを目的としていた。しかし、情報検索者はできればキーワードに近い、つまり、セマンテックスが富んだ特徴で検索したいのは実情である。そこで、画像データによる客観的な索引と検索者に必要となるキーワードに近い特徴との間のギャップを如何に埋めるかが大きな問題となる。我々は二つのアプローチを提案した。一つはfeed-forwardのニューラルネットワークを用いて、検索者との対話的な学習を行うことによって、客観的な索引を生成することを試みた。ここで採用したニューラルネットワークは隠れ層が一層だけで、この層にあるノードの数が学習に応じて動的に変化する。もう一つは画像の構造化表現によるアプローチである[1],[2],[3],[4]。どちらのアプローチからも良い実験結果が得られた。ニューラルネットワークによる方法は学習が基本であるため、例題に依存する欠点があると予測されるが、ロバスト性の高い検索が行うことが可能である。構造化表現による方法は構造的パターン認識手法を利用しているため、セマンテックスが明確に分かるメリットがあるが、高い検索精度を要求する場合にはリコールが低くなることがある。また、仮想現実感への応用については出土文物の復元や意匠設計などについで検討し始めた[5],[6]。

Research Products

• [Publications] HE,SHOUJIE: "A Structural Representation and its Application to Image Retrieval" Proceeding of IEEE International Workshopon Multimedia Signal Processing. Vol.1. 349-354 (1997)
• [Publications] HE,SHOUJIE: "A Hierarchical Structure Representation for Content-Based Indexing and Retrieval" Proceeding of VISUAL'97. Vol.1. 133-140 (1997)
• [Publications] HE,SHOUJIE: "A Stracture Representation and its Application to Content-Based Image Indexing and Retrieval" Proceedings of ICCIMA'98. Vol.1. 873-878 (1998)
• [Publications] HE,SHOUJIE: "Content-Based Indexing/Retrieval:A Syntaetical Approach" Proceeding of SSPR'98 IAPR. (to appear). (1998)
• [Publications] HE,SHOUJIE et al.: "A Virtual Reality Based System for Exterior Design" Proceeings of ICAT'97. 192-199 (1997)
• [Publications] HE,SHOUJIE et al.: "A Virtual Reality Based System for Relics Restoration" Proceeings of ICAT'97. 122-128 (1997)