| 研究課題/領域番号 |
16K12455
|
|---|
| 研究機関 | 国立研究開発法人産業技術総合研究所 |
|---|
研究代表者 |
金崎 朝子 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究員 (00738073)
|
|---|
| 研究期間 (年度) |
2016-04-01 – 2019-03-31
|
| キーワード | 物体認識 / 画像セグメンテーション / 機械学習 / 教師なし学習 |
|---|
| 研究実績の概要 |
写真に写っている物体を分かりやすい表現で説明することを目指したアプリケーションとして，本研究では物体認識技術を応用した絵描き歌自動生成システムの技術開発に取り組んでいる．未知の物体を言語で表現するとき，人はよりイメージしやすい物体を用いて「○○のような」「××を△△に乗せたような」といった比喩的表現を生成する．これを機械が実現するためには，物体の外観特徴を抽象的にとらえた上で他の物体との類似性を上位レベルで評価する必要があり，人工知能の本質的な課題といえる．
物体を絵描き歌のような抽象化された表現で表すとき，あるまとまりを持ったパーツの集合体として物体を領域分割する必要がある．そこで，今年度は，深層学習を用いて画像をセグメンテーションする手法を開発した．深層学習を用いた画像セグメンテーションの研究例は多く存在するが，そのほとんどが教師あり学習である．深層ニューラルネットワークの教師あり学習を行うためには膨大な学習データが必要であり，人手のアノテーションコストが大きい．また，学習データに存在するカテゴリの物体以外はセグメンテーションができないという問題がある．そこで，本研究では完全教師無しで画像のセグメンテーションを行うアルゴリズムを開発した．提案手法は畳み込みニューラルネットワークを用いるが，事前学習等の学習を一切必要としない．セグメンテーション対象のテスト画像が入力されると，画像ピクセルのグルーピングを行うタスクを通して，畳み込みニューラルネットワークはランダムな重みからより良いパラメータへと自己学習する．画像セグメンテーションのベンチマークデータセットBSDS500において，提案手法は従来手法を上回る性能を示した．本研究成果は信号処理のトップ国際会議ICASSP’2018に論文採択された．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
絵描き歌自動生成システムにおいて特に重要な要素技術である画像領域抽出（セグメンテーション）技術の開発において，大きな進捗があった．よって，本課題は順調に進展していると判断する．
画像全体から個々の物体に喩えるための領域を自動抽出するために，画像セグメンテーション手法の開発を進めた．深層学習を用いた画像セグメンテーションの研究例は多く存在するが，そのほとんどが教師あり学習である．深層ニューラルネットワークの教師あり学習を行うためには膨大な学習データが必要であり，人手のアノテーションコストが大きい．さらに，画像セグメンテーション手法は自動運転を目的とした車載カメラ画像認識分野で特に発展しているが，車，道路等といった特定の物体の領域を切り分ける車載カメラ画像認識とは異なり，本研究課題は認識対象が限定されていない．そこで，対象を限定せず，人による教師データ作成を必要としない深層学習ベースの教師なし学習手法を新たに提案した．画像セグメンテーションのデファクトスタンダードなベンチマークデータセットBSDS500において，グラフベースセグメンテーション等の著名な従来手法を上回る性能を示した．これは大変重要な知見である．また，本研究成果は信号処理のトップ国際会議ICASSP’2018に論文採択されており，国際的に高く評価されているといえる．
|
| 今後の研究の推進方策 |
写真（画像）を入力とした絵描き歌の自動生成システムを開発する．まず，よく知られて分かりやすく，絵として描きやすい形の物体を「パーツ物体」として学習する．絵描き歌の対象物体を写した入力画像が与えられたとき，まず，画像全体からパーツ物体を検出する．次に，検出された各パーツ物体を絵に変換する．最後に，パーツ物体の絵を描く順に並べて歌詞を生成する．パーツ物体の絵への変換は，パーツ物体検出器の可視化，および線画の補間・変形により実現する．絵描き歌の歌詞生成は，各パーツ物体に適した短文を大量のWebページからテキストマイニングすることで実現し，生成された歌詞のクラウドソーシングによる評価をシステムにフィードバックする．
パーツ物体検出器については，出力カテゴリを分かりやすい物体のみに絞って再学習させるFine-tuningを行うことで，絵描き歌に適したパーツ物体検出器を学習する．ここで，分かりやすい物体カテゴリの選択は，「カテゴリ内の外観の分散の少なさ」「外観の単純さ」「知名度の高さ」を評価値としたランキングにより行う．
また，画像内の様々な領域に対して物体認識を行うことで，パーツ物体の検出を行う．これにより，各領域に対して推測される物体名とそのスコアが計算される．ここで，スコアの閾値が高いと検出されるパーツ物体はまばらになり，逆に閾値が低いと過密になる．
絵描き歌を生成するには各パーツ部位をまんべんなく検出する必要があるが，単純に画像全体が埋まるまで閾値を下げると，物体スコアの低いゴミのようなものまで検出されてしまう．そこで本研究では，パーツ物体スコアと「画像全体におけるパーツの埋まり度」を組み合わせた評価値を導入することで，信頼度の高いパーツ物体が残るような全体最適化を行う．
|
| 次年度使用額が生じた理由 |
大規模システムトラブルにより、所属機関の財務会計システムが長期間停止したため、物品の購入が実質不可能な状態にあった。研究計画を変更し、次年度に計算機等の購入を行う予定である。
|
