2016 Fiscal Year Research-status Report
| Project/Area Number |
16K16090
|
|---|
| Research Institution | Tokyo Denki University |
|---|
Principal Investigator |
日高 章理 東京電機大学, 理工学部, 助教 (70553519)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 深層学習 / 畳み込みニューラルネットワーク / 顕著性マップ / 注意・注視 |
|---|
| Outline of Annual Research Achievements |
脳の視覚野の処理特性を再現する研究について，まずベースとなる画像認識手法を利用するための実験環境を構築した．特に画像を入力すると別の画像を出力する畳み込みニューラルネットワーク（CNN）を導入した．また，CNNで画像中の物体を検出する問題において，Faster R-CNN法を利用する実験環境を整えた．
次に，ヒトの視覚処理の特性を探る上での指標の一つであるSaliency map（顕著性マップ）を入出力を画像とするCNNによって再現する実験を行った．入力を自然画像，出力（教師）を「その画像をヒトが見たときの顕著性マップ」とする画像生成CNNを1万枚超の画像セットで学習したところ，既存の数理モデルに基づく顕著性マップの予測精度を大きく超える性能が得られた（2017年5月人工知能学会で発表予定）．この結果自体は先行研究によって類例が既に示されていたものの，本研究での知見として，顕著性マップのみから学習したCNNの中間層において低次層でエッジ抽出，中次層で形状や模様の認識，高次層で物体パーツや物体そのものの認識を行うフィルタ群が自律的に獲得されていることが確認された．これはヒトの視覚野における初期視覚皮質から高次視覚皮質に至る階層的情報処理の再現であり，一般の物体認識CNN（出力を通常の教師信号とする）でそのような構造が再現されることは既に知られていた（Zeilerら，2014年）が，出力を顕著性画像とした場合でも同様の結果が得られることは興味深い発見である．
また，一般的な画像を大量に使用して学習したFaster R-CNNモデルにおいて，視界劣悪な状況で撮影された画像中から実験者が極めて注意深く物体を探し出してラベル付けした画像を用いてモデルの再学習を行ったところ，同様の劣悪条件下にある物体への応答性が著しく向上するという結果を得た（2017年2月SICE講演会で発表）．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
H28年度交付申請書の研究実施計画における(A1)の「脳の視覚野の処理特性を再現する研究」については，まず顕著性マップを高精度に予測するCNNを構築することができた．顕著性マップはヒトが画像を見たときに意識的ないし無意識的に注意を向けた領域を重み付けしたものであり，注意・注視と深く関係している．CNNでそれを予測させるように学習した際に，得られた特徴抽出フィルタが大脳視覚野の低次皮質から高次皮質に向かって行われる階層的特徴抽出処理を再現するようなものであったことは，CNNというモデルでヒトの注意・注視の性質を再現する試みの十分な妥当性を示していると考えられる．
また研究実施計画における(B1)の「注意に基づくDNNの動的な再学習手法の開発」については，実験者が極めて注意深く丁寧にラベル付けした画像を用いてCNNモデルの追加学習を行ったところ，対象物体への応答性が格段に向上したという結果が得られた．これは学習者（CNN）自身の注意ではなく実験者（データ作成者）の注意に基づいた再学習であり，また動的な再学習でもないが，本研究で目指す注意に基づく動的再学習手法のための有用な準備となった．また，視覚的再学習を行うために有効な学習サンプルを実データから自律的に発見・獲得するための手法の準備として，Expected Error Reduction法によるサンプル選択手法を深層ニューラルネットワークに組み込む研究も行った（実験中・投稿準備中）．
顕著性マップ以外のヒトの視覚特性（境界所有や図地分離など）の研究と，動的再学習の枠組みについてはまだ十分な進捗がないため，H29年度に鋭意的に研究を進めていく．
|
| Strategy for Future Research Activity |
前年度の課題について，引き続き研究を進め，学会発表および論文出版を図る．
課題(A1)に関しては，特にヒト視覚野の特性における境界所有(BO)決定，図地分離，遮蔽判定の機能をCNNで再現する研究を重点的に進める．V2野では多くのニューロンがBOの決定に携わっていることが知られているが，V2はV1とフィードフォワード・フィードバックの双方で強く結ばれ，またV3, V4, V5にフィードフォワードする重要な視覚野である．このことからV2においてBO決定や遮蔽判定が行われた特徴表現を得ることは，続く高次視覚野での処理過程においても重要であると考えられる．ヒトの脳においてこのような機能がV1と強い結合を持つV2で実現されていると考えられることから，DNNの初期中間層のいくつかと相互作用するBO決定・図地分離・遮蔽判定などのためのネットワークを導入しすることを検討する．また，V4のニューロン単体には図地分離に必要な特徴情報が含まれないが，V4のニューロン集団にはそのような情報が含まれることが生理学的な研究により示されていることから，V2，V4に相当するDNNの中次中間層の後にBO決定用ネットワークを挿入する形も考えられる．さらに，図地分離能力の獲得のためには下部側頭葉皮質などの高次視覚野からのフィードバックが関係していることが示唆されており，図地分離ネットワークの学習においてもBO決定層だけでなく標準出力層からの適切なフィードバックを考慮した学習アルゴリズムも検討する．
課題(B1)に関しては，特に動的再学習の枠組みの開発を重点的に進める．例えばヒトの顕著性マップを予測するCNNにおいて顕著性が高いと判定された画像領域や，CNNベースの物体検出手法においてExpected Error Reduction法で得られる学習効果の期待値が高い画像領域を再学習に用いる枠組みなどを検討する．
|
Research Products
(2 results)
