2022 Fiscal Year Annual Research Report
| Project/Area Number |
22H03642
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
佐藤 育郎 東京工業大学, 情報理工学院, 特任准教授 (90895525)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
川上 玲 東京工業大学, 工学院, 准教授 (90591305)
井上 中順 東京工業大学, 情報理工学院, 准教授 (10733397)
篠田 浩一 東京工業大学, 情報理工学院, 教授 (10343097)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 深層学習 / トランスフォーマー / 潜在表現 / 目標値伝播法 |
|---|
| Outline of Annual Research Achievements |
シナプティック記憶テーマについて，一般的な順列型の深層ネットワークではない巡回型のモダンホップフィールドネットワークと呼ばれる大型容量の記憶装置が注目を集めていることを受け，我々は概念的な記憶想起モジュールにおいて，部分的忘却機能を新たに組み入れたものを考案した．忘却は脳の健全的発達に重要な役割を担うことが知られており，これヒントに記憶の確率的忘却を定式化し，トランスフォーマー型の深層ネットワークにおいて，従来の学習法を上回るパターン認識性能が得られることを確認した（太田ら，AISTATS2023）．
機能分化型深層学習の具体事例として，物体に対する視線角度を一枚の画像から推定するタスクを扱った．従来は畳み込みニューラルネットワークなどによる角度の回帰器を用いることが一般的であったが，我々は，回帰器とともに画像の生成器を学習時に補助的に用い，潜在表現を視線依存のものと非依存のものに分離する方法を開発した．この回帰器と生成器を協調させた我々の方法は，従来の回帰器単体のものと比較して，顕著に高い予測精度が得られることを確認した（チェンら，CVIM2022）．
神経科学的知見に基づいて導出された深層ネットワークの学習方法「目標値伝播法」について，Difference Target Propagationと呼ばれる従来法の課題抽出を行ったところ，愚直な実装では学習が安定せず，ハイパーパラメタの微小な変動により容易に発散が生じることを確認した．多数の損失項のバランシングを改善するために，大胆に自己符号化損失を除外する方法を試験した結果，学習が劇的に安定化すること，認識性能が改善すること，および学習時間が短縮されることを確認した（澁谷ら，AAAI2023）．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
シナプティック記憶テーマについては，文献サーベイと課題抽出を行った．当初目標である記憶限界の内外判定などはまだ十分な成果を得ていないが，関連する領域で新規的な追加の機能を発案し，ビジョントランスフォーマーの性能を改善できた．
人物行動の生成的予測テーマについては，文献サーベイと課題抽出を行った．その結果，従来法は物理的に整合しない行動生成を行うケースが目立つことが分かった．目下，課題解決方法の開発中である．
機能分化型深層学習の具体事例として，物体に対する視線角度を画像から推定するタスクを扱った．新規的な手法提案ができ，その有効性を実証できたため，概ね年度目標を達成できた．
目標値伝播法については，課題抽出および課題解決を短期間で完了できたため，当初計画を上回る速度で成果を得ることができた．
|
| Strategy for Future Research Activity |
主たるテーマである記憶限界の内外判定に関して，重点的に議論し，手法開発を行う．さらに提案する方法とモダンホップフィールドネットワークとの理論的整合性を示す．評価として，トイデータ及び実データを用いて，提案手法の有効性を実証する．発展として，近年提案された深層混合エキスパートモデルとの関連についても考察を深め，スケーラビリティの拡張を狙う．
人物行動の生成的予測テーマについては，課題解決方法を確立し，従来法と同等以上の生成能力があることを実験的に確認する．
機能分化型深層学習に関して，昨年度の知見をさらに発展させ，マルチネットワークが協調的に同一タスクを解く例を示すことに注力する．この協調について，最適化の観点から理論的な解析を加える．
時系列整合判定テーマについては，昨今の学術動向を踏まえ，具体的な研究の方針を定めていく．
|
Research Products
(4 results)
