|
大規模機械学習システムの構築に向けて、1) データ並列機械学習システムの大規模計算機上での実装に関する研究、2) 計算機通信遅延の機械学習過程への影響の研究3) 大規模機械学習システムを利用する機械学習アルゴリズムの検討、の3つを行った。
1) に関しては、並列機械学習システムの一つであるUCBで開発されたRayが既存の並列計算機環境では必ずしも高効率に動作しないことに着目し、この改善を試みた。具体的にはネットワーク通信レイヤとして並列計算機環境ではデファクトスタンダードとなっているMPIを利用するよう改変するとともに、バッチキューイングシステムからのジョブ対応を可能とした。2) に関しては、通信遅延を任意に挿入でき、なおかつ実際に機械学習を行うハイブリッドシミュレータを構成、実装した。このシミュレータはPythonのコルーチンを用いて構成されており、大きな性能低下なく、実アプリケーションを動作させる事が可能である。アプリケーションを動作させた結果、小規模な環境では学習率設定が、実際には保持していないような規模の大規模環境では学習を不安定にすることを確認し、これを通じてシミュレータの有効性を確認した。3)の利用する機械学習アルゴリズムの研究としては、画像の時間補完およびスタイル変換の研究を進めた。時間補完では、オートエンコーダによって構成される隠れ変数の空間の構造を制御し、隠れ変数空間での内挿が、好ましい性質を持つように制御する事ができた。スタイル変換では、スタイルとコンテントが分離するようにオートエンコーダを構成することで、再現画像の内容を制御することができた。
|
