2021 Fiscal Year Annual Research Report
Systematization of Theory in Approximated Compiler for Image Processing
| Project/Area Number |
21H03465
|
|---|
| Research Institution | Nagoya Institute of Technology |
|---|
Principal Investigator |
福嶋 慶繁 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (80550508)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
前田 慶博 東京理科大学, 工学部電気工学科, 助教 (80843375)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 画像処理 / ドメイン固有言語 / 近似計算 / 画像処理コンパイラ / 近似コンパイラ / 実時間画像処理 |
|---|
| Outline of Annual Research Achievements |
目的： 画像処理の応用範囲の広がりにより，画像処理の高速化需要は増加の一途をたどる．これに対応するべく登場した画像処理専用プログラミング言語Halideは多くの影響を与えたが，コンパイラの制約から画像処理最大の特徴である，近似・間引きを使うことができない．本研究では，この視覚特性を最大限活かすコンパイラを構築するために，汎用的に使える近似高速化パターンをコンパイラに導入する．そして，人の主観に近い画質評価指標やコンパイラ最適化に必要な計算順序パターンをヒントにして自動的に近似高速化を行う．更には，ハードウェア最適化まで実現することで，圧倒的な高速化を実現する画像処理コンパイラの確立を目指す．
計画： 2021年度の予定は「任意の間引きパターンによるループ構造の生成」と「画質評価機能の構築」，「色変換による高速化」であった．
まず，間引きパターンでは，Halideをベースに，任意の間引きパターンのループ構造を構築するものを作成し，これを国際会議発表した．また色変換によるものも，C＋＋による実験検証を行い有効性を確認した結果を国際会議発表した．また，画質評価に関してはよく使われている評価指標であるSSIMとMS-SSIMの高速化を行い，最新の巨大なデータセットに対してパラメータのチューニングを行った．その成果はまず国内発表を行っている．
その他，近似アルゴリズムの検討に関して2件の論文発表を行い1件の国内発表での表彰を受けた．また，画像処理で良く使われるガウス関数の近似ベクトル計算の研究を行い，1件の国内発表での1件の表彰を受けた．また，畳み込みの精度評価のための高精度計算に関する研究を行い，国内発表で2件の表彰を受けた．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
計画： 2021年度の予定は「任意の間引きパターンによるループ構造の生成」と「画質評価機能の構築」，「色変換による高速化」であった．
まず，間引きパターンに関しては，Halideをベースに，任意の間引きパターンのループ構造を構築するものを作成した．画素ループおよび畳み込みループにおいて任意のパターンで間引くことが可能なドメイン固有言語（DSL）として構築した．加えて，畳み込みループに関してはより計算機アーキテクチャを考慮した複数のベクトル化パターンを構築しそれを自動生成可能にした．これを手作業のコードで記述すると数万行のコードになるが，本DSLにより数十行で記述可能になる．この成果は国際会議で発表した．
また色変換によるものも，C＋＋による実験検証を行い有効性を確認した結果を国際会議発表した．様々な畳み込みに対して様々な色変換を適用し，畳み込みや画像処理の間引き量をチャネルに応じて変えることで高速化することに成功した．
また，画質評価に関してはよく使われている評価指標であるSSIMとMS-SSIMの高速化を行い，最新の巨大なデータセットに対してパラメータのチューニングを行った．その成果はまず国内発表を行っている．また，特定の畳み込みにとって，人が認知可能な限界の間引きに関する評価指標の作成を行った．これは，2022年度に行うバックアッププランを超える成果であり，事前に先取りして研究を進めることができている．
その他，いくつかのアプリケーションとしての近似アルゴリズムの検討を行い論文発表を行ったり，自動近似ベクトル化の候補となるアルゴリズムをいくつか検討した．
|
| Strategy for Future Research Activity |
可能な間引きパターンの推論機能を作り，この推論可能性から，画像処理コンパイラにとっての制約とは何かを探求する．また，計算順序の最適化を行える機構を作成する必要がある．
まず，間引きパターンに関しては，先行して行った研究により輝度値自体の近似よりも空間的な間引きのに関する人の近く特性は低く，よりダイナミックに計算を削除できる可能性を得ている．そこで今年度は，より高精度に人の知覚特性を明らかにするための実験を行い，適切な間引きパターンを明らかにする．一方，数値計算としての誤差が8ビット（ディスプレイの表示限界）以内であれば，明らかに変換可能である．そのような変換もいくつかサポートするための研究を進める．
一方計算順序に関する最適化では，演算パイプラインの最適化を進める．Halideではそのパイプライン最適化はバックエンドであるLLVMコンパイラ任せであり陽にサポートはしていない．しかしながら，画像処理は画像のロードおよびデータ構造変換と実際の演算に分かれ，一般的な数値計算よりも演算強度が低い．そのためこのロードとデータ構造変換，実演算を記述できるような言語拡張を行い，そのパイプライン最適化が可能な仕組みを検討する．
加えて，近似アルゴリズムに関してもいくつかの検討を行い，本研究の有効性を広げるためのアプリケーションを検討していく．
|
