2019 Fiscal Year Annual Research Report
複数人称視点に基づく知能化空間の時空間記述とシーン再構成
| Project/Area Number |
19J12159
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
中嶋 一斗 九州大学, システム情報科学府, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2019-04-25 – 2021-03-31
|
| Keywords | 知能化空間 / ライフログ / 深層学習 |
|---|
| Outline of Annual Research Achievements |
本年度は，手法評価のための複数人称視点映像データセットの作成，および複数人称視点画像による状況要約手法の開発を行い，その成果を国内外の会議で発表した．データセットの作成においては，まず，知能化空間における人の一人称視点，生活支援ロボットの二人称視点，環境固定カメラの三人称視点を想定し，これらの複数人称視点映像を同期撮影するためのシステムを構築した．撮影システムのカメラは，居住者役とロボット役の2名の被験者に装着したウェアラブルカメラ，および両者が観測できる位置に固定した別のカメラから構成される．撮影システムで収集した映像は，映像ごとに5パターンの自然言語説明文のアノテーションを行った．次に，本研究が目指す複数人称視点映像によるライフログシステムの開発に向けて，まずは複数人称視点画像から自然言語によるシーン説明文を生成するタスクを設定し，単一視点画像から自然言語説明文を生成する従来手法の詳細化に取り組んだ．開発した手法は，まず，各視点の画像を複数の部分顕著領域に分割し，それらの視覚的類似性に従ってクラスタリングする．次に，クラスタリングされた特徴群をエンコードし，自然言語説明文を生成する．第四人称視点映像データセットを用いて評価した結果，主要な8つの自然言語評価指標において提案手法が最も高いスコアを示した．また，生成過程を可視化した結果，視点間の共通物体に共起的に反応しながら，適切な単語を生成できていることを確認した．作成したデータセットおよび自然言語説明文生成手法について，第37回ロボット学会学術講演会および The 15th Joint Workshop on Machine Perception and Robotics において発表した．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本年度は，複数人称視点による知能化空間のシーン記述手法を開発するための評価データセットを構築し，データセットを用いた自然言語説明文の生成手法の開発および国内外における研究発表を行うことができた．一方で，当初予定していた，グラフ表現への拡張および時系列変化の予測手法の開発に着手できていない．
|
| Strategy for Future Research Activity |
本年度は，複数人称視点データセットの構築を完了し，自然言語説明文生成タスクでコンセプトの有効性を確認した．今後は，仮想シーン生成やライフログの詳細化に向け，グラフ表現による複数人称視点画像の要約手法の開発に取り組む．また，本年度構築した複数人称視点データセットでは汎化するに足る教師データを確保できない可能性があるため，一般公開データセットを活用した学習法についても検する．
|
