物体の分かりやすい説明表現のための絵描き歌自動生成に関する研究

2018 年度 研究成果報告書

• 研究課題/領域番号: 16K12455
• 研究種目: 挑戦的萌芽研究
• 配分区分: 基金
• 研究分野: 知覚情報処理
• 研究機関: 国立研究開発法人産業技術総合研究所
• 研究代表者: 金崎 朝子 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (00738073)
• 研究期間 (年度): 2016-04-01 – 2019-03-31
• キーワード: 物体認識 / 画像セグメンテーション / 機械学習 / マルチビュー画像 / 姿勢推定 / 教師なし学習

研究成果の概要

写真に写っている物体を分かりやすい表現で説明することを目指し，物体認識技術を応用した絵描き歌自動生成システムの要素技術開発に取り組んだ．未知の物体を言語で表現するとき，人はよりイメージしやすい物体を用いて「○○のような」「××を△△に乗せたような」といった比喩的表現を生成する．これを機械が実現するために，様々な角度から物体を撮影して一般的な名称を推論する物体認識技術の開発，および事前知識を使用せず，画像内の物体をパーツに分解する教師無し画像セグメンテーション技術の開発を行った．

自由記述の分野

画像処理

研究成果の学術的意義や社会的意義

第一に，様々な角度から物体を撮影し，一般的な名称を推論する三次元物体認識技術を開発した．本研究は深層学習を用いており，物体の姿勢の教師信号を人間が与えることなく，自動的に獲得できる点が新しい．提案手法は三次元物体検索の国際的コンペティションSHREC’17にて，二部門で世界第一位の性能を記録した．第二に，画像内の物体をパーツに分解する教師無し画像セグメンテーション技術を開発した．深層学習を用いた画像セグメンテーションの研究例は多く存在するが，そのほとんどが教師あり学習である．提案手法は畳み込みニューラルネットワークを用いるが，事前学習等の学習を一切必要としない点が新しい．