計画研究
質感情報の表現空間を構築するという目標の達成へ向けて，複数のテーマに並行に取り組み，以下に述べる成果を得た．まず，物体認識を学習したCNNと材質認識を学習したCNNの内部特徴を融合し，両方の認識精度を向上させる方法を実現した（ICPR2016にて成果発表）．また，こうして学習したCNNと人の視覚の間で，材質認識の精度およびその振る舞いを比較し，類似部分と非類似部分を明らかにした（国際会議VSS2016にて公表）．さらに，以上の研究を踏まえ，商品販売サイトでの利用を念頭に，商品の画像1枚から質感の形容を含む商品のタイトルを自動生成する方法を実現した．こちらは国内会議MIRU2016にて発表を行い，優秀発表賞を受賞した他，国際会議ACCV2016にて成果発表を行った．さらに，タイトル生成に注意（attention）を取り入れたモデルを，MVA2017にて発表予定である．また，シーンを捉えた画像において，そこに映る物の間の関係性を表す概念，およびその特徴表現を獲得する方法を実現した（国際会議PACLIC2016にて成果発表・受賞）．また，ウェブ上の情報を用いて，質感を表現する概念を自動的に収集する方法を実現し，トップレベル国際会議ECCV2016にて発表した．さらに，畳込みニューラルネットのフィルタ形状と認識性能の関係について，「凸」形状をしたフィルタを用いることで認識性能や頑健さが向上することを発見し，こちらもECCV2016にて発表した．多層CNNとサルの視覚皮質の比較分析を進め，ECoGによる脳波の異なる時間周波数信号が，CNNの異なる層との間でそれぞれ異なる相関を持つことを発見した（日本神経科学大会およびNeuroscience 2016にて公表）．
2: おおむね順調に進展している
上で記述したとおり28年度において6件程度の成果発表を行っており，当初計画目標の達成へ向けて順調に進んでいると言える．
研究計画の中核を担っていた研究分担者の山口氏（東北大学助教）が，29年度から民間企業に転出し，当該研究計画に関与できなくなり，今後の研究の遂行の見通しを修正することになった．本年度，物体間の関係性の学習の研究で共同研究を行った，自然言語の研究室との協力関係を一層深めることで，当初研究計画通りの目標達成を目指す．
すべて 2017 2016 その他
すべて 雑誌論文 (7件) (うち査読あり 7件、 オープンアクセス 4件、 謝辞記載あり 6件) 学会発表 (21件) (うち国際学会 1件、 招待講演 16件) 備考 (1件)
Proc. International Confernece on Machine Vision Applications
巻: - ページ: -
Proc. European Conference on Computer Vision 2016
巻: - ページ: 51-66
10.1007/978-3-319-46478-7_4
巻: - ページ: 252-268
10.1007/978-3-319-46493-0_16
Computer Vision and Image Understanding
巻: 146 ページ: 77-85
10.1016/j.cviu.2015.09.001
Proc. Asian Conference on Computer Vision 2016
巻: - ページ: 85-100
10.1007/978-3-319-54193-8_6
Proc. International Conference on Pattern Recognition
Proc. Pacific Asia Conference on Language, Information and Computation
http://www.vision.is.tohoku.ac.jp/jp/research/east_japan_earthquake_image_archive/
