深層畳み込みニューラルネットと有用画像処理における共有演算能力の相互変換手法

2020 年度 実績報告書

• 研究課題/領域番号: 18H03213
• 研究機関: 北海道大学
• 研究代表者: 池辺 将之 北海道大学, 量子集積エレクトロニクス研究センター, 教授 (20374613)
• 研究分担者: 高前田 伸也 東京大学, 大学院情報理工学系研究科, 准教授 (60738897)
• 研究期間 (年度): 2018-04-01 – 2021-03-31
• キーワード: 深層畳み込みニューラルネットワー / 有用画像処理 / 局所適応型輝度補正技術 / FPGA実装

研究実績の概要

DCNN（カスコード型U-netを使用）において、特に雑音除去（ポアソンノイズ）ではタイリングによる画像分割が有効に働くことがわかった。また、層構造においても5層以上においての改善効果は持たない。タイリングにおいては、11ｘ11での画像ブロックとOverlap3画素においてもPSNR値を32dB保つことが明らかになった。このことから、Full-HD以上画像の処理においてHWを最小化して深層学習ベースの雑音除去が可能となる。また、性能の向上について、ネットのカスケード構造が有効であることがわかった。このとき、第1ネットは雑音を再構成する。そのため、第2ネットは再構成された雑音を学習して、雑音がない状態の画像に近づける。このときPSNR値に変化は見られなかったが、特にグラデーション領域の滑らかさが際立った画像が得られることもわかった。本手法をエッジデバイスOKI AE2100 AI Edge computerに実装し、効果を確認した。

また、本研究で研究沿進めてきた局所輝度補正手法において、画像を一つの輝度変換空間でローカル・グローバル領域の演算を行うためには高周波領域に着目すれば良いことがわかった。また、低周波領域は、高周波の抽出に対して消された成分を復元する問題に帰着でき、それは輝度変換空間を変形することでなされることがわかった。このことから、本処理のパラメータを空間変形を行う制御点として定義できて、低解像度化した画像に対するDCNNを、空間物体の識別と本手法の輝度補正関数におけるローカル関数用の空間制御とグローバル制御パラメータを操作することが適当との知見を得ることができた。

現在までの達成度 (段落)

令和2年度が最終年度であるため、記入しない。

今後の研究の推進方策

令和2年度が最終年度であるため、記入しない。

研究成果

• [雑誌論文] Real-time tone mapping: a survey and cross-implementation hardware benchmark (2021)
  • 著者名/発表者名: Yafei Ou, Prasoon Ambalathankandy, Shinya Takamaeda-Yamazaki, Masato Motomura, Tetsuya Asai, Masayuki Ikebe
  • 雑誌名: IEEE Transactions on Circuits and Systems for Video Technology 巻: Early Access ページ: 1-21
  • DOI: 10.1109/TCSVT.2021.3060143
  • 査読あり / オープンアクセス
• [雑誌論文] Quantification of Joint Space Width Difference on Radiography Via Phase-Only Correlation (POC) Analysis: a Phantom Study Comparing with Various Tomographical Modalities Using Conventional Margin-Contouring (2021)
  • 著者名/発表者名: Aimi Taguchi, Shun Shishido, Yafei Ou, Masayuki Ikebe, Tianyu Zeng, Wanxuan Fang, Koichi Murakami, Toshikazu Ueda, Nobutoshi Yasojima, Keitaro Sato, Kenichi Tamura, Kenneth Sutherland, Nozomi Oki, Ko Chiba, Kazuyuki Minowa, Masataka Uetani & Tamotsu Kamishima
  • 雑誌名: Journal of Digital Imaging 巻: 34 ページ: 96-104
  • DOI: 10.1007/s10278-020-00406-1
  • 査読あり
• [雑誌論文] Selective Fine-Tuning on a Classifier Ensemble: Realizing Adaptive Neural Networks With a Diversified Multi-Exit Architecture (2021)
  • 著者名/発表者名: Kazutoshi Hirose, Shinya Takamaeda-Yamazaki, Jaehoon Yu, Masato Motomura
  • 雑誌名: IEEE Access 巻: 9 ページ: 6179-6187
  • DOI: 10.1109/ACCESS.2020.3047799
  • 査読あり
• [雑誌論文] STATICA: A 512-Spin 0.25M-Weight Annealing Processor with an All-Spin-Updates-at-Once Architecture for Combinatorial Optimization with Complete Spin-Spin Interactions, (2021)
  • 著者名/発表者名: Kasho Yamamoto, Kazushi Kawamura, Kota Ando, Normann Mertig, Takashi Takemto, Masanao Yamaoka, Hiroshi Teramoto, Akira Sakai, Shinya Takamaeda-Yamazaki, and Masato Motomura
  • 雑誌名: IEEE Journal of Solid-State Circuits 巻: 56 ページ: 165-178
  • DOI: 10.1109/JSSC.2020.3027702
  • 査読あり
• [雑誌論文] An Adaptive Global and Local Tone Mapping Algorithm Implemented on FPGA (2020)
  • 著者名/発表者名: Prasoon Ambalathankandy, Masayuki Ikebe, Takashi Yoshida, Takeshi Shimada, Shinya Takamaeda-Yamazaki, Masato Motomura, and Tetsuya Asai
  • 雑誌名: IEEE Transactions on Circuits and Systems for Video Technology 巻: 30 ページ: 3015-3028
  • DOI: 10.1109/TCSVT.2019.2931510
  • 査読あり
• [雑誌論文] A Hardware-efficient Weight Sampling Circuit for Bayesian Neural Networks (2020)
  • 著者名/発表者名: Yuki Hirayama, Tetsuya Asai, Masato Motomura, and Shinya Takamaeda-Yamazaki
  • 雑誌名: International Journal of Networking and Computing 巻: 10 ページ: 84-93
  • DOI: 10.15803/ijnc.10.2_84
  • 査読あり / オープンアクセス
• [学会発表] A 32x32-Pixel Global Shutter CMOS THz Imager with VCO-Based ADC (2021)
  • 著者名/発表者名: Yuri Kanazawa
  • 学会等名: 26th Asia and South Pacific Design Automation ConferenceASP-DAC 2021
  • 国際学会 / 招待講演
• [学会発表] A CMOS THz Image Sensor with Process Variation Tolerance Technique (2020)
  • 著者名/発表者名: Masayuki Ikebe
  • 学会等名: IEEE International Symposium on Radio-Frequency Integration Technology
  • 国際学会 / 招待講演
• [学会発表] 画素並列ADCを持つグローバルシャッタ型テラヘルツ光CMOSイメージセンサとその補正機構 (2020)
  • 著者名/発表者名: 池辺将之
  • 学会等名: テラヘルツシステム応用推進協議会
  • 招待講演
• [学会発表] イメージセンサと局所適応型画像処理の開発とその展望 (2020)
  • 著者名/発表者名: 池辺将之
  • 学会等名: 映像情報メディア学会2020年次大会
  • 招待講演
• [学会発表] センシング後の画像処理に向けた高速・適応型輝度チャネル表現 (2020)
  • 著者名/発表者名: 池辺将之
  • 学会等名: 情報センシング研究会（IST）新規イメージセンサ・光源・信号処理に基づくイメージセンシング