| 研究課題/領域番号 |
19J12159
|
|---|
| 研究機関 | 九州大学 |
|---|
研究代表者 |
中嶋 一斗 九州大学, システム情報科学府, 特別研究員(DC2)
|
|---|
| 研究期間 (年度) |
2019-04-25 – 2021-03-31
|
| キーワード | 知能化空間 / ライフログ / 深層学習 |
|---|
| 研究実績の概要 |
本年度は，手法評価のための複数人称視点映像データセットの作成，および複数人称視点画像による状況要約手法の開発を行い，その成果を国内外の会議で発表した．データセットの作成においては，まず，知能化空間における人の一人称視点，生活支援ロボットの二人称視点，環境固定カメラの三人称視点を想定し，これらの複数人称視点映像を同期撮影するためのシステムを構築した．撮影システムのカメラは，居住者役とロボット役の2名の被験者に装着したウェアラブルカメラ，および両者が観測できる位置に固定した別のカメラから構成される．撮影システムで収集した映像は，映像ごとに5パターンの自然言語説明文のアノテーションを行った．次に，本研究が目指す複数人称視点映像によるライフログシステムの開発に向けて，まずは複数人称視点画像から自然言語によるシーン説明文を生成するタスクを設定し，単一視点画像から自然言語説明文を生成する従来手法の詳細化に取り組んだ．開発した手法は，まず，各視点の画像を複数の部分顕著領域に分割し，それらの視覚的類似性に従ってクラスタリングする．次に，クラスタリングされた特徴群をエンコードし，自然言語説明文を生成する．第四人称視点映像データセットを用いて評価した結果，主要な8つの自然言語評価指標において提案手法が最も高いスコアを示した．また，生成過程を可視化した結果，視点間の共通物体に共起的に反応しながら，適切な単語を生成できていることを確認した．作成したデータセットおよび自然言語説明文生成手法について，第37回ロボット学会学術講演会および The 15th Joint Workshop on Machine Perception and Robotics において発表した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
本年度は，複数人称視点による知能化空間のシーン記述手法を開発するための評価データセットを構築し，データセットを用いた自然言語説明文の生成手法の開発および国内外における研究発表を行うことができた．一方で，当初予定していた，グラフ表現への拡張および時系列変化の予測手法の開発に着手できていない．
|
| 今後の研究の推進方策 |
本年度は，複数人称視点データセットの構築を完了し，自然言語説明文生成タスクでコンセプトの有効性を確認した．今後は，仮想シーン生成やライフログの詳細化に向け，グラフ表現による複数人称視点画像の要約手法の開発に取り組む．また，本年度構築した複数人称視点データセットでは汎化するに足る教師データを確保できない可能性があるため，一般公開データセットを活用した学習法についても検する．
|
