| Project/Area Number |
23K11144
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
伊藤 泉 東京工業大学, 工学院, 助教 (90583435)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Fiscal Year 2025: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2024: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
|---|
| Keywords | 離散コサイン変換 / 正負符号 / 畳み込みニューラルネットワーク / 高速化 / 量子化 |
|---|
| Outline of Research at the Start |
深層学習の研究開発及び運用には，膨大な電力を使用することが近年問題となっている．本研究では，畳み込みニューラルネットワーク（CNN）を用いたモデルの開発及び運用時の電力の低減を目的とする．この目的のため，離散コサイン変換（DCT）の特性を利用して，大規模なCNNに内在する冗長性を排除し，学習・推論時の膨大な演算量，及びメモリ使用量を大幅に削減する手法を解明する．本研究により，CNNの学習・推論が，低消費電力で，かつ高速に実行できるため，エッジAIへの応用が期待できる．
|
| Outline of Annual Research Achievements |
画像に離散コサイン変換（ＤＣＴ）を適用し，画像のＤＣＴ係数を利用して行う畳み込みニューラルネットワーク（ＣＮＮ）システムを構築した．一般にＤＣＴ領域における畳み込み演算は，画像サイズが小さいと精度及び時間効率が悪くなるため，画像サイズが異なる複数の画像データベースを利用することにより，構築したＣＮＮを用いて行うＤＣＴ領域を利用する畳み込み演算にとって最適な画像サイズを調査した．ＤＣＴ領域の畳み込み演算法は，画像の上下・左右を反転したフィルタとの畳み込み演算結果を同時に得ることができるため，この性質を利用することによりフィルタ数の削減を試みた．さらに，フィルタサイズ及びフィルタ数により，学習時間及び認識精度が異なるため，最適なフィルタのサイズ及び数を調査した．また，ＣＮＮにおける過学習を回避するための手法として，学習時にＣＮＮの中間層のニューロンをランダムに選択するドロップアウトの影響を調査した．次に，画像及びフィルタのＤＣＴ係数の正負符号のみを用いて，畳み込み演算の入力を二値化し，ＤＣＴ領域の畳み込み演算を論理演算に変更するシステムを構築した．各層のニューロンの反応率やアクティベーションの分布，学習・推論時の損失と精度の調査を行なっているところである．また，各層のニューロンの数，バッチサイズ，及び学習係数などのハイパーパラメータの調整などを行い，ＤＣＴ係数を用いて行うＣＮＮの最適な構造を調査している．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
各層のニューロンの数，バッチサイズ，及び学習係数などのハイパーパラメータの調整，フィルタのサイズや数の違い，様々な画像サイズのデータベースの利用など，各組み合わせによる畳み込みニューラルネットワーク（ＣＮＮ）システムの学習及び推論の結果の取得に時間を要し，やや遅れている．
|
| Strategy for Future Research Activity |
引き続き，各層のニューロンの反応率やアクティベーションの分布，学習・推論時の損失と精度の調査を行なった後，ＣＮＮにおけるＤＣＴ正負符号の利用とその性能解析及び量子化誤差の伝搬解析，ＤＣＴの特性を利用したＣＮＮの軽量化手法の評価を行っていく．
|
