Data processing methods to elucidate the multifactorial genetic background of spatial phenotypes

• Project/Area Number: 22K06190
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 43060:System genome science-related
• Research Institution: The University of Tokyo
• Principal Investigator: 中谷 明弘 東京大学, 大学院新領域創成科学研究科, 特任教授 (60301149)
• Project Period (FY): 2022-04-01 – 2025-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000); Fiscal Year 2024: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000); Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000); Fiscal Year 2022: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
• Keywords: ミトコンドリア / 電子顕微鏡 / 畳み込みニューラルネットワーク / 転移学習 / 画像処理 / DNA配列変異 / 組み合わせ最適化

Outline of Research at the Start

画像情報による形状や分布などの空間的な形質の多因子的な遺伝背景の解明に向けたデータ処理技術を開発する。心筋組織の電子顕微鏡画像中のミトコンドリア粒子や筋繊維を構成する部分構造間の空間的な相互関係を保持するデータ構造を構築して形状や分布に関する多様性を量的な形質としてモデル化する手法を開発する。ゲノムワイドに取得された配列変異間の相互関係を階層的に保持するデータ構造を構築して遺伝要因の多因子的な組み合わせ効果を高速に探索する統計学的手法を開発する。臨床情報や環境情報を加味しながらPhenotype-Genotype関連解析を実施できる枠組みを構築して実データへの適用を通じて有用性の検証を行う。

Outline of Annual Research Achievements

畳み込みニューラルネットワーク（CNN）を用いた学習モデルによる心筋の電子顕微鏡画像内の任意の位置（ピクセル）が属するクラス（組織の種類）の予測を行う手法の性能改善を進めた。事前に汎用の画像データセット（ImageNetの1000クラス）で訓練した学習モデルのCNNの出力層の最終部分を心筋の電子顕微鏡画像での予測用に付け替えて、ファインチューニングによるモデル全体の追加学習（微調整）、および、（狭義の）転移学習による出力層の最終部分のみの追加学習を行って、両者による予測結果の比較を行った。ファインチューニングが転移学習よりもデータに合わせて調整できるパラメータの数が多いこともあり、より高い予測精度を達成している。予測対象とする電子顕微鏡画像から学習用データセットをサンプリングすることにより、予測対象データと学習用データセットの特性が共通のものとなり、過学習を防ぎながらも高い予測精度を達成できることが確認できた。また、予測対象データ内で注目している領域を含めてサンプリングすることによって、学習用データセットが存在しないために予測ができないことも防止できるようになっている。
また、CNNの学習用のラベルつき画像パッチの蓄積や管理のためのGUI付きソフトウェアの開発を進めた。電子顕微鏡画像からクラスを指定してマウスで矩形領域を選択すると画像パッチとして切り出され、抽出元のファイル名や画像内での座標などの情報と共に蓄積できるようになっている。また、蓄積した画像パッチの管理機能（クラスの変更や通し番号の振り直しなど）も備えている。クラスの予測を行うCNNと連動する機能も備えており、蓄積した画像パッチが各クラスである確率のプロファイルを表示する機能も備えており、その結果に基づいて画像パッチを取捨選択することによって、より良い学習データセットが構成できるようになっている。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

畳み込みニューラルネットワーク（CNN）を用いた学習モデルにより心筋の電子顕微鏡画像内でミトコンドリア粒子が存在している領域を抽出し、その領域で輪郭抽出を行うことによって、滑らかな曲線で囲まれたミトコンドリア粒子を抽出できる手法の開発を進めた。ミトコンドリア粒子は、その内外の境界線で囲まれた閉領域として抽出されるため、個々の位置や大きさおよび形状（縦横比や境界線の曲率）に加えて、電子顕微鏡画像内での粒子群の分布や相互の位置関係の状況を数値的に評価できるようになっている。
ゲノムワイドに検出されるDNA配列の変異を対象とした変異間のネットワーク化やブロック化のための手法、および、注目形質と関連した変異情報の探索や予測モデルの生成のための手法の開発は引き続いて進めている。また、全ゲノムシーケンシングによるデータの処理パイプライン（参照配列へのマッピングや変異コール）の更新も進めて、上記の手法との連携を検討している。

Strategy for Future Research Activity

畳み込みニューラルネットワーク（CNN）を用いた学習モデルの電子顕微鏡画像の実データへの適用を進める。網羅的に抽出したミトコンドリア粒子を分類して、形状や特性の異なるミトコンドリア粒子を仮想的な空間中に類似関係を反映しながら効果的に配置できる属性セットの生成を行って、ミトコンドリア粒子の多様性の全体像を可視化できる手法の開発を進める。また、病理切片の光学顕微鏡画像による細胞や組織の種別や状態の学習と予測など、電子顕微鏡画像によるミトコンドリア粒子以外を対象とした活用も検討する。
また、畳み込みニューラルネットワーク（CNN）を用いた学習モデルによるクラスの予測は、全ピクセルもしくは指定した間隔のグリッド位置のピクセルを対象として行っているため、対象の電子顕微鏡画像データのサイズに応じた処理時間が必要となっている。領域分割によるデータ並列による並列処理に加えて、領域内の構造の複雑さに応じたグリッド間隔の調整などによる解像度を保ちながら高速化できる仕組みを検討する。