2016 Fiscal Year Annual Research Report
画像と言語を用いた質感情報表現のディープラーニング
| Project Area | Understanding human recognition of material properties for innovation in SHITSUKAN science and technology |
|---|
| Project/Area Number |
15H05919
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
岡谷 貴之 東北大学, 情報科学研究科, 教授 (00312637)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
山口 光太 東北大学, 情報科学研究科, 助教 (10742596)
川嵜 圭祐 新潟大学, 医歯学系, 准教授 (60511178)
|
|---|
| Project Period (FY) |
2015-06-29 – 2020-03-31
|
| Keywords | ディープラーニング / コンピュータビジョン / 質感 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
質感情報の表現空間を構築するという目標の達成へ向けて，複数のテーマに並行に取り組み，以下に述べる成果を得た．まず，物体認識を学習したCNNと材質認識を学習したCNNの内部特徴を融合し，両方の認識精度を向上させる方法を実現した（ICPR2016にて成果発表）．また，こうして学習したCNNと人の視覚の間で，材質認識の精度およびその振る舞いを比較し，類似部分と非類似部分を明らかにした（国際会議VSS2016にて公表）．さらに，以上の研究を踏まえ，商品販売サイトでの利用を念頭に，商品の画像1枚から質感の形容を含む商品のタイトルを自動生成する方法を実現した．こちらは国内会議MIRU2016にて発表を行い，優秀発表賞を受賞した他，国際会議ACCV2016にて成果発表を行った．さらに，タイトル生成に注意（attention）を取り入れたモデルを，MVA2017にて発表予定である．また，シーンを捉えた画像において，そこに映る物の間の関係性を表す概念，およびその特徴表現を獲得する方法を実現した（国際会議PACLIC2016にて成果発表・受賞）．
また，ウェブ上の情報を用いて，質感を表現する概念を自動的に収集する方法を実現し，トップレベル国際会議ECCV2016にて発表した．さらに，畳込みニューラルネットのフィルタ形状と認識性能の関係について，「凸」形状をしたフィルタを用いることで認識性能や頑健さが向上することを発見し，こちらもECCV2016にて発表した．
多層CNNとサルの視覚皮質の比較分析を進め，ECoGによる脳波の異なる時間周波数信号が，CNNの異なる層との間でそれぞれ異なる相関を持つことを発見した（日本神経科学大会およびNeuroscience 2016にて公表）．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
上で記述したとおり28年度において6件程度の成果発表を行っており，当初計画目標の達成へ向けて順調に進んでいると言える．
|
| Strategy for Future Research Activity |
研究計画の中核を担っていた研究分担者の山口氏（東北大学助教）が，29年度から民間企業に転出し，当該研究計画に関与できなくなり，今後の研究の遂行の見通しを修正することになった．本年度，物体間の関係性の学習の研究で共同研究を行った，自然言語の研究室との協力関係を一層深めることで，当初研究計画通りの目標達成を目指す．
|
-
-
-
-
-
-
-
[Journal Article] Recognizing Open-Vocabulary Relations between Objects in Images2016
Author(s)
Muraoka, M., Maharjan, S., Saito, M., Yamaguchi, K., Okazaki, N., Okatani, T., & Inui, K.
-
Journal Title
Proc. Pacific Asia Conference on Language, Information and Computation
Volume: -
Pages: -
Peer Reviewed
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
