2017 Fiscal Year Annual Research Report
画像と言語を用いた質感情報表現のディープラーニング
| Project Area | Understanding human recognition of material properties for innovation in SHITSUKAN science and technology |
|---|
| Project/Area Number |
15H05919
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
岡谷 貴之 東北大学, 情報科学研究科, 教授 (00312637)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
川嵜 圭祐 新潟大学, 医歯学系, 准教授 (60511178)
|
|---|
| Project Period (FY) |
2015-06-29 – 2020-03-31
|
| Keywords | 深層学習 / コンピュータビジョン / 質感認識 |
|---|
| Outline of Annual Research Achievements |
研究計画に従い，質感認識システムの実現にむけて多方面から取り組み，以下のような成果を得た．
まず，画像に加わる様々な変動，例えばノイズ，解像度低下，ブラーなどは，画像に写るものの質感を大きく左右する要因である．そういった変動に頑健なCNNを開発し，難関国際会議CVPR2018に採択された．質感認識を始め，あらゆる画像認識にCNNが用いられるようになったが，一般にCNNの性能は，その規模（層数・パラメータ数）に比例する傾向がある．この文脈で，高い性能を持つがパラメータ数も巨大になる傾向のあるWide ResNetを，その性能を維持しつつ1/4-1/5にパラメータ数を削減できる方法を開発し，難関国際会議ICCV2017にて発表した．
次に，画像から認識した質感は，最終的には人に理解可能な言語情報として表現・主力する必要がある．この問題に取り組み，画像と言語の間のクロスモーダルな情報統合を，注意（アテンション）を軸に実現する方法を開発した．成果は難関国際会議CVPR2018に採択された．
われわれは過去，画像ペアの順序付けタスクを通じて，画像から質感を読み取るCNNを学習する方法を研究してきた．こうして学習したCNNは，一定以上の性能を示すことが確認されていたが，人の認識との比較をうまく行えないでいた．29年度においてはこの問題に取り組み，問題解決の糸口を見出すことができた．これは国際会議での発表へ向けて現在準備中である．この他，以前われわれが実現した「商品の画像1枚からその商品をうまく言い表す短い説明文（商品タイトル）を生成するシステム」の性能を，注意（アテンション）を用いて向上する問題に取り組み，国際会議MVAにて発表した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
上述の通り，採択率の低い難関国際会議に複数の論文を成果発表できており，順調に進んでいると自己評価できる．
|
| Strategy for Future Research Activity |
本研究課題の目標は，人のように画像から質感を認識するシステムを実現することである．この当初目標の達成へ向けて，これまで研究開発を進めてきているが，この間の画像認識やAIに関する関連分野の急速な拡大と競争の激しさ，またそこから来る分野での研究の進展の早さは，研究を進める上で考慮すべき大きな事象となっている．常に新しい研究へのキャッチアップを行いつつ，本計画の目標達成へ向けて，柔軟に，また地道に研究を進めて行く．
|
