2020 Fiscal Year Annual Research Report

脳情報動態に学んだ非同期並列情報処理アーキテクチャの提案と実証

Planned Research

Project Area	Brain information dynamics underlying multi-area interconnectivity and parallel processing
Project/Area Number	17H06315
Research Institution	Institute of Physical and Chemical Research
Principal Investigator	高橋恒一国立研究開発法人理化学研究所, 生命機能科学研究センター, チームリーダー (20514508)
Project Period (FY)	2017-06-30 – 2022-03-31
Keywords	脳情報動態 / 脳型人工知能 / 非同期並列計算 / 新皮質マスターアルゴリズム
Outline of Annual Research Achievements	本研究では、脳の領野間結合様式及び空間的・時間的な階層性を持つ情報動態に学んだ非同期並列情報処理アーキテクチャの提案、実装、実証することを目的としている。昨年度の成果である脳情報参照アーキテクチャ形式の策定、大脳新皮質マスターアルゴリズムの具体化、基盤ソフトウェアBriCAの開発、そして新規アルゴリズム開発のためのサーベイ結果を踏まえ、下記3項目について研究を進めた。(a) 脳情報動態を踏まえた情報アーキテクチャ設計のため、脳情報参照アーキテクチャの形で脳情報動態のデータ構築を行い、大脳基底核複数の領野についてこれをまとめ論文投稿や発表を行った。(b) すでにBRA策定が進んでいる大脳新皮質のマスターアルゴリズムについて特に重要な機能であるプランニングについてサーベイを行い、その結果を元にテスト手順を設計しそれを実行するためのソフトウェア開発を行った。(c) 人工ニューラルネットワークの計算グラフを局所的に最適化できる新規の学習アルゴリズム Greedy Layerwise SCL (GL-SCL) の開発し、CIFAR-10データセットを用いた実験において従来手法に迫る性能を確認した。更にマルチGPUマシンや富岳での並列実行の検証を行い、非常に高い並列化性能が得られることを確認した。今年度の成果によってBRAという形で脳の情報動態についての理解が促進され、更にBRAを実装するための要素技術を創出する結果となった。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 脳参照アーキテクチャにおいてはMAFの提案と改善を行うとともに、大脳基底核を題材としてBIF形式によるデータ形式の策定が進んだ。具体的には以下の成果が挙げられる：1. 新皮質、視床、基底核が連携した大規模回路等のBRAを構築した。2. 眼球を進めてNCに発表した、HPFのBRAを論文投稿した。3. コネクトーム分析を脳全体に拡大して、優良領域は38個であり、そこからは信頼性の高い接続がえられうることを確認した。4. BRAとして、一つのBIFと複数のHCDにわける形式とした。5. WBAアプローチの全体像について整理し、論文投稿した。脳型汎用知能のテスト環境の構築においては新皮質マスターアルゴリズムの応用についてのサーベイとして実行機能のサーベイとソフトウェア開発を行った。昨年度は初めて遭遇する課題を既存の知識を組み合わせる形で問題を解決する能力のなかで主要な位置を占めると考えられるプランニングについて注目した。脳型人工知能における実現という観点から調査を行い、作業記憶課題のうちでもより単純な形である見本合わせ課題についてテスト手順を設計し、テスト用のソフトウェアを作成した。基盤ソフトウェアBriCAの開発においては多階層非同期並列計算モデルに応用できる新たな深層ニューラルネットワークモデルの分散学習手法の開発を勧めた。ネットワーク全体の更新が同期的に行われる誤差逆伝播法に変わり、局所的にGreedyなパラメータ更新を行うことでネットワーク全体を最適化するLocal Error法を発展させ、Supervised Contrastive Learning (SCL) を用いた新たな局所最適化手法Greedy Layerwise SCL (GL-SCL)を考案した。本手法を用いたCIFAR-10の学習では非常に高い並列化効率と従来手法に迫る分類精度が示された。
Strategy for Future Research Activity	脳参照アーキテクチャ (BRA) のデータ構築においては昨年までの成果などを含めた形で、BRAを設計し、それを参照して脳型ソフトウェアを実装する、BRA駆動開発が整備されてきた。BRAの構築は、神経科学知見から脳情報フロー（BIF)を取り出して、BIFと整合するように仮説的コンポーネント図(HCD)を構築するSCID法によって行われる。最終年度であることを踏まえ、信頼のおけるBRAデータの審査基準について検討をすすめ審査基準を公開する。さらに、BRAデータの記述形式を、BRAの作成者らにとってより扱いやすい形式に整備する。そして論文に付随するBRAデータを整備し公開するなど、BRA駆動開発の普及を促進する。また、より洗練されたSCID法を用いて、脳幹部における多元的な眼球運動のBRA構築、および、前障が担う選択的注意機構についてのBRA構築などをすすめる。脳全体におけるBIFを構築するためには、網羅性の高いコネクトームの情報が有用となりうる。これまでのマウスのコネクトーム分析では、ヒトのような知能の実現には新皮質を中心に不足しているところが多い。しかし、ヒトのコネクトームでは、とくに皮質下などの情報は得にくい。そこで本年は、ヒトのコネクトームと、動物のコネクトームを合成して、BIFの基盤となるデータを構築可能性を検証する。基盤ソフトウェアBriCAの開発においては昨年度開発したGreedy Layerwise Supervised Contrastive Learning (GL-SCL) 法の性能改善を目指す。本手法の主要アルゴリズムであるSCLは従来の教師あり学習手法と比較し数倍から数十倍程度の大きさのミニバッチにより学習が不可欠であり、技術検証のために使用した計算機器ではその潜在能力を十分に発揮できなかった。本年度は富岳を用いた大規模学習によって性能改善を試みる。