2015 Fiscal Year Research-status Report
フォークソノミーによる大規模タグ付き映像集合を利用した動詞的概念の視覚モデル化
| Project/Area Number |
26730090
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
中村 和晃 大阪大学, 工学(系)研究科(研究院), 助教 (10584047)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | 視覚メディア処理 / 視覚概念学習 / 動作認識 / 映像処理 / 画像処理 |
|---|
| Outline of Annual Research Achievements |
本研究の研究目的は，大規模なタグ付き映像データセットを利用して動詞的概念（人間動作など動詞により表現される概念）の視覚モデルを構築することである．この目的を達成するためには，映像に付与されたタグが映像中のどのシーンに対応するのがが不明である，という問題に対処する必要がある．本研究ではこれを以下の三つのサブテーマに取り組むことにより解決することを試みている．
(A)名詞的概念に基づくシーン表現およびシーン間類似度算出
(B)共通タグを持つ映像群からの類似シーン抽出によるタグとシーンの対応付け
(C)多数のタグ・シーン対応関係を利用した統計的学習による動詞的概念の視覚モデル化
平成27年度はテーマ(B)に着手した．予備検討の結果，シーンを特徴づける情報は「シーン中の人物の動き（前景）」と「それ以外の静止物体や景色（拝啓）」に大別されることが分かった．このうち前者は，これを名詞的概念（物体などの名詞により表現される概念，抽象物も含む）により表現することは困難であることから，本研究では，前景を一般的な動き特徴により，背景を名詞的概念により表現することを考え，その結果に基づいてタグとシーンを対応付ける手法を検討した．この成果はまだ外部発表するには至っていないが，できる限り早期に報告書をまとめる予定である．また，テーマ(C)に関して，動詞的概念には階層性（「料理する」という動詞的概念は「切る」「剥く」「煮る」「盛る」などの複合概念である，など）が存在することから，そのような階層性を考慮したモデル化手法を提案した．テーマ(A)についても，タグ付き画像により名詞的概念を適切にモデル化するための手法を再考し，より妥当な方式を提案した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成26年度および平成27年度の研究により，「研究実績の概要」の項目で述べた三つのサブテーマ全ての基礎検討を終えた．また，テーマ(A)およびテーマ(C)については，提案した手法を国際会議や口頭発表により対外的にも報告しており，これらについての進捗は順調であると考えている．テーマ(B)については，平成27年度中の対外報告までは至らなかったため，当初の計画に比べ若干の遅れが生じているものの，計画では平成28年度に実施する予定であったテーマ(C)に関して既に一定の成果が得られていることから，テーマ(B)の遅れは平成28年度に取り戻すことが十分に可能である．以上のことから，研究の進捗は概ね順調である．
|
| Strategy for Future Research Activity |
三つのサブテーマのうち最も進捗の遅れているテーマ(B)に重点的に取り組む．前景と背景の分離をどのようにして行うか，動き特徴としてはどのようなものが妥当であるか，明示的なショット境界を持たない映像をどのようにして複数のシーンに分割するか，など，検討すべき点は多い．これらについて，現在構築中の手法の性能を評価するとともに，その結果を踏まえて更なる手法改善を試みる．
一方，テーマ(C)について，タグ・シーン間の完全な対応関係が得られているという前提の下で動詞的概念の視覚モデルを構築する手法については一定の成果が得られているが，テーマ(B)の結果得られる対応関係には多少の誤差が含まれる可能性が高い．そのような誤差の存在する状況下で妥当な視覚モデルの構築が可能であるか否かを調査し，必要に応じて新たな手法を提案する．
|
| Causes of Carryover |
当初の計画では画像・映像データを大量に収集するために多数台のワークステーションを購入する予定でいたが，著作権関連の問題もあり，実際には画像・映像データはFlickrやYouTubeなど特定のサイトのみから収集せざるを得なかった．このため，計算資源の必要台数が大幅に少なくなり，次年度使用額が生じた．近年の電子機器産業の発達により，ハードディスク等の外部記憶装置についても大容量のものを安価に購入することが可能となったが，このことも多少影響している．
|
| Expenditure Plan for Carryover Budget |
近年，画像・映像処理においては深層学習と呼ばれる手法が話題となっており，その成果が一般社会にも広く知られるようになってきた．この深層学習の実行にあたっては，現実的な時間で計算を終えるために，非常に高性能なグラフィックカードが必要となる．本研究でも深層学習のような最先端の手法を取り入れるため，次年度使用額の使途としては，高性能なグラフィックガードの購入，ならびにそのようなグラフィックカードを接続可能なワークステーションの購入に充てる．
|
Research Products
(3 results)
