2018 Fiscal Year Annual Research Report
深層畳み込みニューラルネットと有用画像処理における共有演算能力の相互変換手法
| Project/Area Number |
18H03213
|
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
池辺 将之 北海道大学, 量子集積エレクトロニクス研究センター, 教授 (20374613)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高前田 伸也 北海道大学, 情報科学研究科, 准教授 (60738897)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 深層畳み込みニューラルネットワーク / 有用画像処理 / 局所適応型輝度補正技術 / FPGA実装 |
|---|
| Outline of Annual Research Achievements |
画像の重要な情報は,ローカル/グローバルなダイナミックレンジと空間パターンによって特徴づけられている。本研究では,これまでの研究を更に発展させ,局所的な量(例:輝度)と空間パターンを活用する深層畳み込みニューラルネット(DCNN)に対し「1有用な画像処理を相互変換2現存する処理に新機能を発現 3DCNNとのシームレスなI/Fを実現」する仕組みの解明を目的として研究を進めた。
ローカル処理は、特徴量に即した変換関数を必要とするため、シンプルな空間フィルタの構成が難しい。本研究では、特徴量⇔統計量とし、統計量に基づいた局所変換関数(DCNN物理量1×1と空間方向n×nのフィルタ分離+多層)を再構成した。ヒストグラムの各要素は、1x1のReLuまたはシグモイドを活性化関数にて記述した。オフセット値は、直接ヒストグラムのビン幅となることが数学的に明らかになった。そして,統計量に基づいた関数に、拘束条件を加えた場合、グローバル特性とローカル特性が変化することが明らかとなった。
ローカル関数は、入力輝度⇔出力輝度の関係を局所情報に基づいて得たものである。
これらをFPGA上で実装した。FullHD出力に対して、その1/64となる解像度でCNNを記述して、1/64にアップサンプリングする構成をとる。時系列画像から次フレームの再構をおこなうことで、局所的な輝度補正をリアルタイムに処理できることをXilinx Kintex-7にて実証した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では、特徴量⇔統計量とし、統計量に基づいた局所変換関数(DCNN物理量1×1と空間方向n×nのフィルタ分離+多層)を再構成した。ヒストグラムの各要素は、1x1のReLuまたはシグモイドを活性化関数にて記述した。オフセット値は、直接ヒストグラムのビン幅となることが数学的に明らかになった。そして,統計量に基づいた関数に、拘束条件を加えた場合、グローバル特性とローカル特性が変化することが明らかとなった。
ローカル関数は、入力輝度⇔出力輝度の関係を局所情報に基づいて得たものである。
これらをFPGA上で実装した。FullHD出力に対して、その1/64となる解像度でCNNを記述して、1/64にアップサンプリングする構成をとる。時系列画像から次フレームの再構成をおこなうことで、局所的な輝度補正をリアルタイムに処理できることをXilinx Kintex-7にて実証した。
また、医療技術応用として、間接リウマチ診断サポートシステムのための技術要素開発を行った。Ｘ線画像より指角度の自動補正、関節部の自動抽出、関節部の特徴量を抽出を既存のDCNNシステムに際し一桁高精度に実現する。
|
| Strategy for Future Research Activity |
処理アルゴリズムの多層化への適用⇔位相相関限定法の関連検証として
これまで、述べてきた処理は、画像に含まれる領域・物体の意味を考慮した処理ではない。そこで、深く多層化されたDCNNの能力を活かし、認識を含んだ全体画像処理へ拡張する。研究中の位相相関限定法とスパース演算[80%演算削減 に対して,中間層プーリングの位置位相不変性との共有機能および相互変換を検証・評価する。
|
-
[Journal Article] Wideband terahertz imaging pixel with a small on-chip antenna in 180 nm CMOS2019
Author(s)
Kanazawa, Y., Yokoyama, S., Hiramatsu, S., Sano, E., Ikegami, T., Takida, Y., Minamide, H & Ikebe, M.
-
Journal Title
Japanese Journal of Applied Physics
Volume: 58
Pages: SBBL06
DOI
Peer Reviewed / Open Access
-
[Journal Article] BRein memory: a single-chip binary/ternary reconfigurable in-memory deep neural network accelerator achieving 1.4TOPS at 0.6W2018
Author(s)
Ando K., Ueyoshi K., Orimo K., Yonekawa H., Sato S., Nakahara H., Takamaeda-Yamazaki S., Ikebe M., Asai T., Kuroda T., and Motomura M
-
Journal Title
IEEE Journal of Solid-State Circuits
Volume: 53
Pages: 983-994
DOI
Peer Reviewed / Open Access
-
-
-
-
-
-
[Presentation] A 32× 32-Pixel 0.9 THz Imager with Pixel-Parallel 12b VCO-Based ADC in 0.18 μm CMOS2019
Author(s)
Yokoyama, S., Ikebe, M., Kanazawa, Y., Ikegami, T., Ambalathankandy, P., Hiramatsu, Takida, Y. & Minamide, H.
Organizer
In 2019 IEEE International Solid-State Circuits Conference (ISSCC2019)
Int'l Joint Research
-
-
-
-
-
-
[Presentation] CMOS Terahertz Imaging Pixel with a Wideband on-Chip Antenna2018
Author(s)
Kanazawa, Y., Sano, E., Yokoyama, S., Ambalathankandy, P., Ikebe, M., Hirmatsu, S., Takida, Y. & Minamide, H.
Organizer
In 2018 43rd International Conference on Infrared, Millimeter, and Terahertz Waves (IRMMW2018)
Int'l Joint Research
-
[Presentation] Sparse Disparity Estimation Using Global Phase Only Correlation for Stereo Matching Acceleration2018
Author(s)
13. Shimada, T., Ikebe, M., Ambalathankandy, P., Motomura, M., & Asai, T.
Organizer
In 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP2018)
Int'l Joint Research
-
