2020 Fiscal Year Annual Research Report
Research and Development of Computational Storage Technology to Realize Large Scale Neuron Structure Visualization
| Project/Area Number |
20H02194
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
田中 陽一郎 東北大学, 電気通信研究所, 教授 (60801123)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
山本 英明 東北大学, 電気通信研究所, 准教授 (10552036)
グリーブス サイモン・ジョン 東北大学, 電気通信研究所, 准教授 (60375152)
平野 愛弓 東北大学, 材料科学高等研究所, 教授 (80339241)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | コンピュテーショナル・ストレージ / 神経構造 / 可視化 |
|---|
| Outline of Annual Research Achievements |
初年度のR２年度は、全脳規模の神経構造・ダイナミック伝達機能の３次元可視化解析を可能とするための第一段階として、エッジ配置型コンピュテーショナル・ストレージ解析プラットフォームのテストベッドを構築するとともに、基本的なモジュール構成の最適化の検討を実施した。テストベッドには全体で4-GPU/14-Xeon CPU(226コア)及び688GBメモリによるコンピュテーション機能と、大容量垂直HDDクラスタと高速SSDクラスタによる1.043PBの容量のストレージ機能を一体化し、強力なコンピュテーショナル・ストレージ解析プラットフォームを構築した。SSD群とコンピュテーション機能間を100Gbps Ethernetを介してRDMA接続し、脳神経構造データへの高速アクセスを可能な構成を構築した。検証試験では、SSD４台で270万IOPSの高速ランダムアクセス性能と約11GB/sのシーケンシャル記録再生性能を確認した。垂直HDDクラスタのstriping手法によりHDD20台でライダムアクセス2万IOPSと5GB/s性能を確認し、10万IOPS以上を達成する設計指針を得た。
ストレージデバイスの多重記録の研究開発では、次世代HDD記録方式であるマイクロ波アシスト垂直磁気記録をベースに、強磁性共鳴周波数の異なる上下２層の記録層構成を用いた多重記録によって記録密度を倍増させる可能性をシミュレーション解析により明らかにした。各記録層における磁化反転メカニズムを仔細に分析した結果、多重記録を実現する上で重要となる高速反転メカニズムを明らかにした。
神経構造・ダイナミック伝達特性の３次元可視化解析プラットフォームの開発では、３次元蛍光顕微鏡による脳神経構造データと、培養神経回路のCaイメージングデータをもとに、可視化解析するソフトウエアツールとインターフェースの準備を実施した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
（１）エッジ配置型コンピュテーショナル・ストレージ解析プラットフォームのベースとなるテストベッドを構築することができた。1PB級の容量のHDD/SSDハイブリッドストレージ機能に、GPU/Xeon-CPUと大規模メモリによるコンピューティング機能を近接配置することで、R２年度末の目標としていたランダム記録性能値15万IOPSに対し、NVMe-SSDクラスタによって270万IOPSの性能を確認した。HDDクラスタでは150台規模で15万IOPS級の設計が可能であることを明らかにし、NVMe-SSDをHDD及びメモリと階層的に配置したシステムと、そのデータ配置を制御するKVSを適用することによる性能向上の設計指針が得られた。
（２）次世代HDD記録方式であるマイクロ波アシスト垂直磁気記録をベースにした多重記録の研究開発では、実用階としての最適な構成を検討した。その結果、多重記録を担う上下２層の記録層それぞれの強磁性共鳴周波数設定の最適条件と、それぞれの記録層への誤り記録を最小化するために、マイクロ波周波数の波長よりも短い反転時間で高速反転記録を行うように記録層の磁気異方性エネルギーを高く設定することが重要であるという、新しい知見を明らかにした。これにより記録密度を約2倍に高めることが可能であることを示した。
（３）神経構造・ダイナミック伝達特性の３次元可視化解析プラットフォームの開発では、３次元蛍光顕微鏡によるDrosophilaとMouseの脳神経構造データを取得し、３次元可視化解析ツールを使ったデータ解析性能の評価が可能となった。また、培養神経回路のCaイメージングデータを取得して、可視化解析するワークステーションに展開するインターフェースの準備を実施した。
|
| Strategy for Future Research Activity |
（１）コンピュテーショナル・ストレージのモジュール最適構成の研究
コンピュテーショナル・ストレージの基礎モジュールの最適な構成を継続して検討する。基本的機構設計として、複数のGPU/CPUプロセッサ群とLLC直下にDRAM、不揮発性メモリ、及びSSDからなる階層メモリスタックを配置し、Key探索や記録キャッシュとして機能させるSTT-MRAM、メタデータ記録やKey-データ保管物理アドレス変換を担うNVMe型高速フラッシュメモリSSD、HDDのValue まで階層メモリからKVSによるデータアクセス管理を行うテストベッドを試作する。テストベッド上に構築したコンピュテーショナル・ストレージの性能評価を行うために、ベンチマークツールと脳神経構造３次元可視化ツールを適用した性能検証の機能を稼働させる。更に上記システムについて、分散ストレージシステム基盤への実装を行う。
（２）ストレージデバイスの多重記録及び高速アクセス化の研究開発
次世代HDD記録方式として、異なる強磁性共鳴周波数を持つ2つの記録層に対してヘッド記録素子スピントルク発振(STO)周波数による多重記録を可能とする技術のシミュレーション検証研究を行い、記録密度を高めるための最適化構造を明確にする。更に、熱アシスト型垂直磁気記録方式による多重化の可能性についてシミュレーションで確認する。この２つの多重化方式によりHDD記録密度を現行技術(記録層1層)に対し2倍に高める可能性を検証する。
（３）神経構造・ダイナミック伝達機能の３次元可視化解析プラットフォームの開発
3次元蛍光顕微鏡およびCaイメージングによるダイナミック神経伝達機能の観測手段から創出されるデータを画像化前処理につなげるデータアクイジションのインターフェースの実装開発を実施する。人工的に培養した神経回路の活動をリアルタイムにイメージ化する性能を確認する。
|
| Remarks |
(1) Symposium of Yotta Informatics - Research Platform for Yotta-Scale Data Science 2021
Computational storage platform for brain neural structure visualization analytics
|
