2018 Fiscal Year Annual Research Report
複数目的を考慮したネットワーク最適化法の構築と機械学習への応用
| Project/Area Number |
18J23034
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
黒木 祐子 東京大学, 情報理工学系研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2018-04-25 – 2021-03-31
|
| Keywords | 強化学習 / 多腕バンディット問題 / 近似アルゴリズム / ネットワーク設計 / 組合せ最適化 |
|---|
| Outline of Annual Research Achievements |
本年度は強化学習の一つである多腕バンディット問題に取り組んだ．道路ネットワークや通信ネットワークにおける経路は，グラフとして数学的に表現することでグラフ上の「木」や「パス」といった組合せ構造として捉えることができる．本研究ではこのように実用上でも重要な応用を持つ組合せバンディットにおける最適腕識別問題に取り組んだ．既存研究では単一の腕を一つずつ探索することを許すなど応用上では実現が難しい仮定を置いていたが，本研究では腕集合を直接探索しその報酬のフィードバックのみから最適な腕集合を求める画期的なアルゴリズム設計に成功し，サンプル数の上界を証明した．このアルゴリズムを得るために，サイズ制約付きの0-1二次計画問題に対する近似アルゴリズムを新たに提案し，バンディット問題で生成されうるインスタンスの良い性質を利用することで，この問題に対する理論的な精度保証を与えた．
以上の研究と並行してハブネットワーク設計問題に対する近似アルゴリズムの研究に取り組んだ．ハブネットワーク設計問題は総輸送費用を最小にするようにハブと非ハブの割当を決定する問題であり，数学的にはメトリックラベリング問題と呼ばれる画像分割におけるエネルギー最小化問題とも等価である．この問題は一般にはO(log |ハブの数｜)近似が近似の限界として示されているが，どのような特殊クラスが定数近似アルゴリズムを認めるかは未解決であった．本研究ではハブのネットワーク形態が通信ネットワークで現れる特殊な形態を仮定することで，定数近似アルゴリズムが存在することを証明し，多項式時間定数近似を認める新たなクラスを発見した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
バンディット組合せ最適腕識別に関する研究成果は現在機械学習分野の国際会議に投稿中である．また，ネットワーク設計に関する研究成果は論文誌 Journal of Graph Algorithms and Applicationsに採択された．
|
| Strategy for Future Research Activity |
本年度提案したバンディット組合せ最適腕識別へのアルゴリズムはあらかじめ引く腕集合を決め打ちする静的な戦略に基づくものであった．フィードバックの情報をもとに最適な腕集合と近い腕集合を探索するような適応的な戦略に基づくアルゴリズムを提案することでより効率の良いアルゴリズムを構築することが期待される．また，本研究では最適な腕集合を求めるのに必要なサンプル数の上界を与えたが，サンプル数の下界については未解明であるので，下界の証明にも取り組む予定である．
さらに実社会での通信ネットワークへの応用を考慮すると，複数のプレイヤーが同時に最適な割当を探索する設定がより現実的なモデルと言える．このモデルに対してプレイヤーに関する公平性が保たれるような効率的なアルゴリズムを提案することを目指す．
|
