2018 Fiscal Year Research-status Report
Swarm Learning for Deep Neural Networks
| Project/Area Number |
17K12734
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
田村 康将 東京工業大学, 情報理工学院, 助教 (50773701)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 自己学習 / 分散学習 / 合意形成 / 群知能 |
|---|
| Outline of Annual Research Achievements |
本研究は，複数の学習器が相互作用を通じて未知データに対する振る舞いを補完する仕組みを構築し，必要とされる訓練データ数を抑えつつ精度の高い学習を目指すものである．
本年度は前年度に引き続き，単一の学習器（ニューラルネットワーク）からドロップアウトを用いて複数のバリエーションを生み出す手法を，2群判別問題に対して適用する研究を進めた．また，対象問題を2群判別から3群以上の多群判別問題に拡大し，学習の変化を観測した．結果として，ドロップアウトを用いてバリエーションを生み出す方法では，特に学習の序盤において訓練データに基づく適切な出力を得ることが難しく，不適切な方向へ学習を進めてしまう要因となることが明らかとなった．
こうした結果から，単一のニューラルネットワークからドロップアウトによりバリエーションを生み出し，それを学習に使用する方法は現実的ではないと結論づけ，本年度後半より完全に独立した複数の学習器を使用する方法へと舵を切った．
また学習則自体の研究とは独立に，特に複数エージェントによる合意形成の方法について，一部のエージェントが合意形成を阻害する振る舞いを見せる状況において適切に合意形成がなされる条件を分析し，成果を国内会議において発表した．
課題申請時には主に教師あり学習を対象としていたが，同様の考え方により相互作用に基づく強化学習手法についても考慮を始めた．その足がかりとなる研究について成果をまとめ，国内会議において発表を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は前年度の研究を引き継ぎ，特に単一のニューラルネットワークからバリエーションのある複数のニューラルネットワークを生成し，自己学習に応用する方法について，その困難さを明らかにした．これは当初より想定されていたものであり，年度後半および次年度以降の研究へ繋がる結論を得るものであった．
当初の計画にあった提案手法の時間的・計算資源的スケール性の解明には至らなかったものの，合意形成手法の安定性解析は開始することができた．
本研究とは直接関わらないタスクが多く，やや時間的余裕がなかったようにも思えるが，計画では次年度以降を予定していた3群以上の多群判別問題に取りかかることができた点も考慮し，概ね計画通り進展していると判断する．
|
| Strategy for Future Research Activity |
当初の計画通り，独立した複数のニューラルネットワークを用意し，それらの合意形成で学習を進める方法について研究を進める．また，異なる構造を持ったニューラルネットワーク同士で学習を進める場合について実験的解析および考察を行う．
また，合意形成を阻害するエージェントが存在する場合を考慮した合意形成問題そのものについてもより研究を進める予定である．
|
| Causes of Carryover |
前年度繰り越し額の余剰分．次年度の旅費の一部として使用予定．
|
