2021 Fiscal Year Annual Research Report
ディープラーニングのホワイトボックス化に関する研究
| Project/Area Number |
18H04106
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
岡田 真人 東京大学, 大学院新領域創成科学研究科, 教授 (90233345)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
永田 賢二 国立研究開発法人物質・材料研究機構, 統合型材料開発・情報基盤部門, 主任研究員 (10556062)
楽 詠コウ 青山学院大学, 理工学部, 准教授 (30612923)
庄野 逸 電気通信大学, 大学院情報理工学研究科, 教授 (50263231)
|
|---|
| Project Period (FY) |
2018-04-01 – 2023-03-31
|
| Keywords | ディープラーニング / 視覚野 / 神経回路モデル / データ駆動 |
|---|
| Outline of Annual Research Achievements |
本研究ではTE野の時間特性をもつ視覚系全体のモデルを構築するために、初期視覚野のモデルとして深層ニューラルネットワークであるXception netを、TE野のモデルとしてHopfield modelを用いた。画像にノイズを加えたものを提案モデルに入力すると時間経過の中で異なるカテゴリーを出力した。この結果はHopfield modelのようなリカレントネットワークが階層的カテゴリー分類に重要であることを示唆しており、すなわちTE野のリカレント結合が階層的カテゴリー分類に重要であることを示唆している。
また、ディープラーニングのホワイトボックス化について、畳み込みニューラルネットワーク（CNN)の画像認識という切り口からの研究を行った。CNNは画像変換を行うモデルで中間層には入力の変換像が現れるが、この中間層の表現が識別精度を保ったまま、どの程度圧縮出来るかについての議論を行った。中間層の結果の相関を考慮し、圧縮アルゴリズムを導入することによって、従来研究より5.0ポイントの性能向上させることに成功した。
2020年に発表した，高次元空間潜在空間を低次元のスライダーインタフェースで探索できる微分部分空間探索という方法について、ベイズ最適化を研究する他の研究者とともに、SIGGRAPH 2021 でCourse を企画して開催した。また、人間が描いた油絵などのアーティスティックな描画スタイルの計算機による自動転写について研究し、複雑なシーンに対してフレーム間のコヒーレンスを有するアニメーションを自動生成する方法を検討した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
これまでの研究で、人工深層ニューラルネットワークのホワイトボックス化に関して、情報統計力学的なアプローチと、データ駆動的アプローチによる研究は順調に進捗した。そこで今後は、人工深層ニューラルネットがどの程度、実際の脳に近いかを議論することにした。そのターゲットを深層畳み込みニューラルネットワーク(以下DCNN)とした。DCNNによるパターン認識の研究は近年飛躍的に発展している．脳の視覚一次野(V1)では、特徴抽出する単純型細胞と、その特徴が存在する位置をぼかす複雑型細胞の二種類の細胞が存在することが知られている。DCNNは、その構造が高次視覚野でも繰り返されていることを仮定して構築されている。この繰り返しの構造が実際の視覚野の構造と同じであるかを議論している。
画像認識を行う CNN の中間層の表現解析に関しては、前述の信号圧縮といったアルゴリズム改良の他に、どのような画像変形に耐性があるのかを重点的に調査研究を行っている。CNN自体は並進対称性を持つため、画像中の物体の平行移動に関して頑健であると信じられているが、実際に微小移動をさせると数値的に認識精度にかなりのブレが生じる。このため現在は、この現象の原因調査と頑健性向上のアルゴリズムの提案を行っている。
自動転写では，描写対象物を解析し、照明や視線情報、幾何に基づくスカラー特徴量を求めるとともに、照明や視線情報、幾何に基づくストローク(筆跡)の方向場の基底を求め、描写スタイルをスカラー特徴量から基底の係数に変換するホワイトボックス化されたモデルとして定式化した。これにより、与えた描写事例をもとに線形回帰などの簡易的な機械学習手法を利用してモデルを学習することが可能になり、得られたモデルの解釈も容易になった。
|
| Strategy for Future Research Activity |
本年度は、深層畳み込みニューラルネットワーク(DCNN)を実際の脳と比較することで、新たなアーキテクチャを提案する。具体的には、視覚野の最終段にある側頭葉(TE野)に注目する。TE野では、画像の階層的な構造が、神経細胞の時間特性を使って表現されていることが知られている。一方、DCNNはフィードフォワード結合しか持たないため、このような時間コードをする能力はない。つまり、 DCNNの繰り返し構造は、TE野では成り立ってない。我々は、このTE野の神経細胞の時間的な特性を説明するために、自己相関型の連想記憶モデルに基づくモデルを提案した。この知見にもとづき我々は、TE野の一段手前のTEO野まではDCNN的な構造を持ち、最終段のTE野を自己相関型の連想記憶モデルでモデル化するアーキテクチャを提案する。さらにこれを実証するために、実際の脳のTE野とTE0野の神経細胞の特性をデータ駆動科学的に研究する。
画像認識を行うCNN研究の今後の方針としては、画像変形に対する頑健性向上のアルゴリズムに関する調査を精緻化する予定である。この現象は、入力の変形によって、CNNの識別層に近い側の階層での信号の変化が強い影響を及ぼすことがわかってきている。これに対応するためには、中間層の表現を頑健にするといった方策を提案する必要があり、損失関数に変形に対する頑健性を付与して学習させることを進めていく。
自動転写で学習されたモデルに対して、解釈を与えてみるとともに、(半)透明画材を用いる水彩画や、鉛筆画、水墨画などの他の描画スタイルへの応用、雲や煙などの硬い表面を持たないボリューメトリックな物体への応用、ストローク間の相関性をモデル化できる確率モデルの導入などを検討している。
|
