DCTの特性を利用した畳み込みニューラルネットワークの軽量化

2023 Fiscal Year Research-status Report

• Project/Area Number: 23K11144
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 伊藤 泉 東京工業大学, 工学院, 助教 (90583435)
• Project Period (FY): 2023-04-01 – 2026-03-31
• Keywords: 離散コサイン変換 / 正負符号 / 畳み込みニューラルネットワーク

Outline of Annual Research Achievements

画像に離散コサイン変換（ＤＣＴ）を適用し，画像のＤＣＴ係数を利用して行う畳み込みニューラルネットワーク（ＣＮＮ）システムを構築した．一般にＤＣＴ領域における畳み込み演算は，画像サイズが小さいと精度及び時間効率が悪くなるため，画像サイズが異なる複数の画像データベースを利用することにより，構築したＣＮＮを用いて行うＤＣＴ領域を利用する畳み込み演算にとって最適な画像サイズを調査した．ＤＣＴ領域の畳み込み演算法は，画像の上下・左右を反転したフィルタとの畳み込み演算結果を同時に得ることができるため，この性質を利用することによりフィルタ数の削減を試みた．さらに，フィルタサイズ及びフィルタ数により，学習時間及び認識精度が異なるため，最適なフィルタのサイズ及び数を調査した．また，ＣＮＮにおける過学習を回避するための手法として，学習時にＣＮＮの中間層のニューロンをランダムに選択するドロップアウトの影響を調査した．次に，画像及びフィルタのＤＣＴ係数の正負符号のみを用いて，畳み込み演算の入力を二値化し，ＤＣＴ領域の畳み込み演算を論理演算に変更するシステムを構築した．各層のニューロンの反応率やアクティベーションの分布，学習・推論時の損失と精度の調査を行なっているところである．また，各層のニューロンの数，バッチサイズ，及び学習係数などのハイパーパラメータの調整などを行い，ＤＣＴ係数を用いて行うＣＮＮの最適な構造を調査している．

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

各層のニューロンの数，バッチサイズ，及び学習係数などのハイパーパラメータの調整，フィルタのサイズや数の違い，様々な画像サイズのデータベースの利用など，各組み合わせによる畳み込みニューラルネットワーク（ＣＮＮ）システムの学習及び推論の結果の取得に時間を要し，やや遅れている．

Strategy for Future Research Activity

引き続き，各層のニューロンの反応率やアクティベーションの分布，学習・推論時の損失と精度の調査を行なった後，ＣＮＮにおけるＤＣＴ正負符号の利用とその性能解析及び量子化誤差の伝搬解析，ＤＣＴの特性を利用したＣＮＮの軽量化手法の評価を行っていく．

Causes of Carryover

PCを購入せずに，既存のシステムを用いてニューラルネットワークを構築したことによる計上したPC代，及び研究がやや遅れているための論文・学会発表代である．
今後，性能的にPCに問題がなければ，論文や学会発表の経費に割り当てる予定である．