2020 Fiscal Year Annual Research Report
深層学習がもたらすパラダイムシフトを加速するネットワーク設計理論の構築
| Project/Area Number |
19H01110
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
岡谷 貴之 東北大学, 情報科学研究科, 教授 (00312637)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
菅沼 雅徳 東北大学, 情報科学研究科, 助教 (00815813)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | cv |
|---|
| Outline of Annual Research Achievements |
当初計画に従い3つの項目について研究を進めた．
1つ目は画質改善タスクをターゲットとした深層ネットワークの構造の研究である．タスクを選ばないユニバーサルなネットワーク構造存在するのか，どのようにすれば実現できるかを検討したところ，一定の成果を得た．ただし訓練データと同じドメインのデータに対しては良好な性能を見せるものの，ドメインが多少なりとも変化すると性能が急激に低下する傾向があることがわかり，計画を考え直すに至った．ただしここまでの成果はarXiv上に論文として発表している．
2つ目は推論の不確かさを予測する方法である．これについては，クラス分類にコサイン類似度を用いたロジスティック回帰を行う構造をネットワークに持たせ，学習を行うことで，学習外分布（out-of-distribution）の入力を高精度に検出できることを実験的に示した．その性能は世界最高水準にあ流．以上の成果は国際会議ACCVにて発表した．この他にも，学習済みの分布と学習外分布を完全に分離して捉えるのではなく，その中間に位置するサンプルを考慮し，学習に使うことで，学習外分布の入力をより高精度に検出できることを示した．中間に位置するサンプルは，学習画像の画質を低下させる画像処理によって作られた画像を用いる．この方法は，上述の方法よりさらに高精度に，分布外入力の検出が行えることを実験を通じて示した．成果は現在国際会議に投稿中である．
3つ目は当初構想していた方法がうまく進まなかったため，方針を変更し，その検討で得た問題意識に従い，画像からひびを検出する方法の精度限界がどこにあるかを調べることを行った．訓練データ内のひびのアノテーションのエラーがひびの検出にどのように影響するかを，さまざまな角度から実験によって調べ，いくつかの知見を得た．成果は国際会議に投稿中である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
計画した3つの研究項目のそれぞれで，進捗と成果はまちまちである．
推論の不確かさを予測する方法の研究については，予定以上の良い成果が得られ，上述の通り成果を発表することができ，現在投稿中のものもある．
画像からひびを検出するネットワークの研究については，当初計画通りの方向ではないものの，一定の進捗が得られ，今後の発展に道筋をつけられたと考えている．
画質改善を対象としたネットワーク構造の分析は，昨年度にかなり良い成果が得られたこともあり，当該年度はあらゆる画質劣化要因を対象とし得る「ユニバーサルネットワーク」の構築をいう野心的な目標を打ち立てたが，上述の通り，データのドメインシフトに脆弱な傾向が見られるなど，必ずしも期待した性能が得られなかった．とはいえ，色々な知見が得られているので，今後の研究につなげていく予定である．
以上を総合的に考えると，研究は順調に進展していると言って良い．
|
| Strategy for Future Research Activity |
本研究計画ではこれまでにいくつかの重要な成果を挙げることができた．今後はそれらをベースに，タスクやデータに合わせたネットワークの構造デザインの方法論を打ち立てるという，最終目標へ向けて，研究を加速していく予定である．当該分野の研究開発のスピードは凄まじいものがあり，昨年度は考えられなかったような進展がいくつか見られた．その一例が画像分類に，自然言語の分野で開発されたTransformerを応用する研究である．Vision Transformerを筆頭に，あらゆる問題にTransformerが適用され，そのいくつかで，これまでの定番であった畳み込みニューラルネットワークによる性能を書き換えつつある．このような研究分野の最新動向をよく踏まえつつ，研究計画を柔軟に修正しながら，上述の目標達成に近づける方策を考える必要がある．
|
Research Products
(7 results)
