2020 Fiscal Year Annual Research Report
Creation of the acceptable intelligent system based on the system intelligence circulation
| Project/Area Number |
19H02159
|
|---|
| Research Institution | Yokohama National University |
|---|
Principal Investigator |
濱上 知樹 横浜国立大学, 大学院工学研究院, 教授 (30334204)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 知能システム / 深層学習 / 転移学習 / 説明可能性 / 受容可能性 |
|---|
| Outline of Annual Research Achievements |
本研究は、機械学習，特に深層学習の社会実装上の技術的負債（導入の負担，運用の複雑さ，ライフサイクルの短さ）を解消し，知能システムの安定運用と持続的な発展を可能にするための新たな機械学習の設計理論と実装方法を明らかにすることをめざしている。これまでの取り組みとして、2019年度に小規模のデータから優れた教師モデルを効率的に蒸留する手法を明らかにし、2020年度では複数の生徒モデルの蒸留知識を最適に調合するマルチドメイン学習の手法を明らかにしてきた。これらの成果は、本研究が明らかにしようとしていた３つの問のうち「システム知の分析」と「システム知の説明」の一部に相当する。具体的には、設計問題や医用画像、自動運転、クレジットスコアリングの転移学習に応用し、分析結果と説明の具体的事例を明らかにできた。特に、2020年度の取り組みで注目すべき点として、(1) 多くの社会実装に求められている分布間距離の新たな定義を明らかにし、システムの要求を距離空間で扱う手段を実現したこと、また、(2)新たに着手したアンサンブル学習と敵対的逆強化学習を組み合わせた自動運転制御の方法では、異なる環境の行動様式を転移させる技術を明らかにしたことで、機械学習システムの安定運用と持続的な発展を可能にするための設計・実装方法を明らかにできたことがあげられる。これらの成果により、３つ目の問である「システム知の制御」への足掛かりが得られている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2020年度の取り組みは、「システム知の説明」および「システム知の制御」に関する理論・設計・実装を複数のアプリケーションを題材に取り組むことであった。まずシステム知の説明については、知識分布を外部知識として与えることで訓練データ近傍の未知データに対して訓練ラベルと同じかラベル間距離が小さいラベルを予測可能な深層学習モデルを提案した。また、手書き数字を用いた実験から，標準的な交差エントロピー誤差を使った深層学習モデルと比較して同等以上の正解率を維持しつつも，ラベル間距離に係る指標(MAE, RMSE) を小さくできることを明らかにした。これらの技術は、機械学習システムの運用初期や更新時にしばしば問題となる十分な訓練データが得られないという場面で、システム知を説明する有効な手段となる。また、システム知の制御に対しては、逆強化学習におけるエキスパート間転移の課題に取り組み、環境の変動に対して状態のみに依存する報酬を獲得することで変動に応じた行動を獲得する手法を明らかにした。その独自性は、InfoGAIL のネットワークを逆強化学習手法Adversarial Inverse Reinforcement Learning(AIRL)に置き換えることで複数のエキスパートを同時に学習し，環境の変動に頑健性のある報酬が推定できる手法として拡張した点にある。この手法によって、複数のエキスパートを識別して学習するだけではなく，それらを用いて方策を推定することが可能になり、システム知の制御の理論と設計方法を明らかにすることができた。
|
| Strategy for Future Research Activity |
ここまでに取り組んだ「システム知の循環機構と受容可能な知能システムの実装と評価」へと研究を総括するための成果展開と、次のステップにむけてのパイロット的取り組みを開始する。システム知の分析については、多次元時系列情報からの知識抽出・予測・説明可能性について、別途検討を進めていた自然言語処理の技術(Attention)と２次元画像埋め込み表現を組み合わせた医療アプリケーションを実現する。特に近年大きく注目されているAttentionの技術は、本研究開始直後に自然言語処理分野で大きなブレイクスルーを与えているが、その本質的な意味は自然言語に限らず、多くの系列情報からの知的分析・説明技術として転用可能である。Attentionの利用はもともとの研究計画には含まれていなかったが、これまで検討してきた分析手法と組み合わせることで大きな効果が期待できる。システム知の説明方法に関しては，Deepな学習機構で得られた教師モデルを， Shallowな学習機構を持つ生徒モデルで蒸留する転移の応用として、クレジットスコアリング問題を発展させた汎用的な価値推定問題に取り組む。また、逆にShallowな構造からDeepな構造へと転移させることで「システム知の説明」から「システム知の制御」への転移を実現する。特異、20年度に提案をした、新たな逆強化学習の転移方法をさらに発展させるとともに、新たにリザバーコンピューティングを加えた手法を試行し、分析・説明・制御のそれぞれについて理論・設計・実装を実現する。これらの総括によって、システム知の循環機構と受容可能な知能システムの実現に至る。
|
