2017 Fiscal Year Research-status Report
Swarm Learning for Deep Neural Networks
| Project/Area Number |
17K12734
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
田村 康将 東京工業大学, 情報理工学院, 助教 (50773701)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 自己学習 / 機械学習 / 合意形成 / 群知能 |
|---|
| Outline of Annual Research Achievements |
本研究は，複数のモデルが合意形成などの相互作用を通じて未知データに対する振る舞いを補完することで，より少ない訓練データから精度の高い学習を行うことを目指すものである．今年度は当初の計画通り，基本理論の構築および実験環境の整備を行った．また，簡易的な実験を通して，提案方法の特性および課題について検討した．
本年度は複数モデルの相互作用と学習機構について基礎的な性質を明らかにするため，複数のモデルを用いる方法として，大量の計算資源・計算時間を必要としない，１つのモデルから互いに差異を持つコピーを作り出す方法に着目した．このとき，コピーされた個々のモデルに差異を持たせる方策として，ニューラルネットワークの学習において過学習の抑制を目的として利用される手法であるドロップアウトを使用した．ドロップアウトにより生成されるモデルのバリエーションについて，ドロップアウト率との関係性も含め，現在も解析を進めている．
生成された個々のモデルが未知データに対し出力する判別結果について全体で合意を形成し，妥当な出力を推定，学習へフィードバックするアルゴリズムを構築し，計算機上でシミュレートする環境を整えた．また，合意形成の方法が学習の進度に与える影響について簡易実験を通して検証を行った結果，各モデルの出力に対する確信度のような指標を導入し，これを合意形成に利用する必要性が示された．
提案方法の基本的なコンセプトおよび方法論について実現可能性および課題と解決方針をまとめ，国内ワークショップ１件ならびに国際会議１件の発表を行った．また，簡易実験の結果と考察をまとめ，平成30年度開催の国内学会において発表を予定している．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
「おおむね順調に進展している」
本年度は，課題開始年度として主に学習アルゴリズムおよび実験環境の構築を当初の計画としていた．研究実績の概要より，実験環境の構築ならびに学習アルゴリズムの構築ともに着手済みであり，また実験を通じたアルゴリズムの検証・解析にも着手している．以上より，本年度の評定として，計画通り進展していると判断した．
|
| Strategy for Future Research Activity |
本年度扱ったモデルのコピーを生成する方法は，複数モデルの独立した更新を行う必要がなく計算時間を削減できる点で効率的な研究の進展に寄与している．一方で，ドロップアウトによりモデルのバリエーションを確保する点は提案方法において非常に重要な要素であるため，本年度に引き続き検証・解析を進めていく．
また，アルゴリズム構築における簡易実験において必要性が示されたモデルの出力の確信度にあたる指標を早期に定義し，これを合意形成に利用する方法および妥当な指標が満たすべき要件について検証を進める．
|
| Causes of Carryover |
実験用機材（物品費）の購入費を当初予定額より抑えることができたため生じた未使用額．
研究をより活発に進めることを目的とし，積極的に成果発表および資料収集，外部の専門家との打ち合わせを行うための旅費として使用する．
|
Research Products
(2 results)
