Project/Area Number |
22K12089
|
Research Category |
Grant-in-Aid for Scientific Research (C)
|
Allocation Type | Multi-year Fund |
Section | 一般 |
Review Section |
Basic Section 61010:Perceptual information processing-related
|
Research Institution | Tokyo Institute of Technology |
Principal Investigator |
井上 中順 東京工業大学, 情報理工学院, 准教授 (10733397)
|
Project Period (FY) |
2022-04-01 – 2026-03-31
|
Project Status |
Granted (Fiscal Year 2022)
|
Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2025: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2024: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
|
Keywords | 深層学習 / 画像認識 |
Outline of Research at the Start |
本研究では,深層学習モデルの各層を有限個の基底関数に分解するというアイデアに基づいて解析することで,どこで何を認識しているかを明確化する.そして,モデルの分解と再構築の方法論を確立し,従来よりも高効率・少量データでの深層学習が可能となることを明らかとする.研究対象は画像および映像であり,物体認識・動作認識などのタスクで評価を行う.
|
Outline of Annual Research Achievements |
2022年度は、深層ニューラルネットワークの適合器について研究を実施した。近年の深層ニューラルネットワークは大規模化が進んでおり、音処理では、音声認識、話者認識、感情認識などといったそれぞれのタスクに対して、深層ニューラルネットワークの学習を個別におこなうことが非効率となりつつある。そこで、本年度の研究では、事前に学習された自己教師あり音表現モデルを固定して用い、そこに小さな適合器と呼ばれるニューラルネットワークを挿入することで、個別のタスクに適したモデルを得る手法を提案した。評価実験では、まず音声認識と話者照合タスクで提案手法の実装をおこない、従来のファインチューニング法と同程度の精度が、従来よりもより少ないパラメータ数(約8割の削減)で達成可能であることを実証した。この成果は、深層ニューラルネットワークを細かく分解し、再構築を可能とするための要素技術になると考えられるため、研究は順調に進められていると言える。また、複数の大規模モデルから1つの小規模モデルを得るための知識蒸留法についても検討をおこなっている。この部分に関してはまだ成果が得られていない。特に複数の大規模モデルを用いる場合、GPUメモリ不足や計算量(及び計算機使用量)が増大する問題があり、上記の適合器と組み合わせるなど、いくつか効率的な方針を検討中である。これらの実験は音声データをもとに実施しているが、様々なデータでの効果を検証するため、今後は画像データへの応用も視野に入れて研究を進める必要がある。
|
Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
研究初年度から深層ニューラルネットワークの適合器に関する成果が得られたため、研究は当初の計画以上に進展している。
|
Strategy for Future Research Activity |
2023年度は、深層ニューラルネットワークの適合器について、感情認識など、音声情報処理に関するタスクの種類を増やして実験をおこなう予定である。また、複数の大規模モデルを用いた知識蒸留に関しても研究を継続し、新たな手法の提案を目指す。
|