2018 年度実施状況報告書

シミュレーションとGANを介した強化学習による細胞動画像処理の自動化技術の開発

研究課題

研究課題/領域番号	18K19842
研究機関	大阪大学
研究代表者	瀬尾茂人大阪大学, 情報科学研究科, 准教授 (30432462)
研究分担者	間下以大大阪大学, サイバーメディアセンター, 准教授 (00467606)
研究期間 (年度)	2018-06-29 – 2020-03-31
キーワード	バイオイメージインフォマティクス / 強化学習 / 深層学習
研究実績の概要	本研究の目的は、多様な細胞動画像から、細胞の追跡というタスクを人間以上の精度で行うための方法を開発することである。近年の顕微鏡技術の発展により、多種多様かつ大量の細胞動画像が日々産出されている。バイオイメージングの方法と目的は多岐にわたるが、細胞を撮影した動画像を解析するという場合には、細胞の認識と時空間的な追跡が、画像から情報を抽出するための普遍的なタスクとなる。従来これらは人力による追跡、もしくは各論的に開発されたアルゴリズムによって対応されてきた。本研究では近年長足の進歩を遂げている深層学習と強化学習による方法を用いて、正解から動画像をシミュレーションで生成し、そのデータを用いて細胞の追跡というタスクを学習する方法論を開発する。シミュレーションとGANによる仮想動画の生成と、それを介した強化学習によって必要なタスクを獲得することができれば、様々な分野での応用が期待できる。本年度は、強化学習による細胞追跡の方法としてADNetを基盤とした方法の開発を行った。これは、学習済みのCNNを画像の特徴抽出器として用いつつ、追跡対象の移動方向や大きさの変化をあらかじめ与えられた選択肢から精度よく選択することに対して報酬を与えるもので、結果として物体追跡のタスクを実現するものである。ここでは比較的教師データが多い一般物体画像でモデルの訓練を行ってから、転移学習により細胞動画像へ適用した。これに加えて、3次元イメージングデータの深度情報を加えることで、さらなる追跡精度の向上を実現した。
現在までの達成度 (区分)	現在までの達成度 (区分) 2: おおむね順調に進展している理由本年度にはADNetを従来手法とした深層強化学習による細胞追跡の方法を開発した。成果は論文としてとりまとめて投稿し、採録決定となった。
今後の研究の推進方策	次年度にはGANによる仮想細胞動画像の生成と、強化学習による細胞追跡を統合したシステムを開発する。微分方程式等による細胞の数理シミュレーションによって生成した移動軌跡と、それに画像類推・合成の技術を用いて実際の細胞動画像の”見た目”を転写した仮想的な細胞動画像である。細胞運動のモデルとしては、酔歩やランジュバン方程式、走性細胞のモデルに使われるケラー・シーゲル方程式などを適宜利用する。画像類推・合成にはTexture-by-Numbers法等を利用する。この方法は、サンプル画像を構成要素（例えば，蛍光標識された血管や免疫細胞、膠原繊維）ごとに別の色でセグメント分割した後、その色を用いて描いた画像に合わせて、サンプル画像に基づく出力画像を生成するものである。このデータによって強化学習を行ったエージェントは、シミュレーションデータ上とはいえ細胞追跡タスクを学習しており、GANは細胞が移動する際の法則とそれを実際に顕微鏡で撮影したかのような見た目の動画を生成する機能を獲得する。
次年度使用額が生じた理由	2018年度に予定していた成果報告の旅費などの執行を次年度に繰り越すことになったが、これらは4月上旬に既に執行した。