2011 Fiscal Year Research-status Report
ファイナンスにおける時系列データ解析のための強化学習に関する研究
| Project/Area Number |
23700182
|
|---|
| Research Institution | Chubu University |
|---|
Principal Investigator |
松井 藤五郎 中部大学, 生命健康科学部, 講師 (90366443)
|
|---|
| Project Period (FY) |
2011-04-28 – 2013-03-31
|
| Keywords | 機械学習 / 強化学習 |
|---|
| Research Abstract |
平成23年度は，ファイナンスにおける時系列データからの取引戦略の学習に対して，申請者が提案した新しい複利型強化学習のフレームワークに基づく学習アルゴリズムと他の研究グループが用いている従来の強化学習アルゴリズムを比較し，従来の強化学習の問題点を明らかにした．三菱東京UFJ銀行の後藤卓氏，野村證券の中嶋啓浩氏，石田智也氏らから，金融業務に携わる実務者の観点に基づく助言を得て，日本国債の取引戦略の獲得に複利型強化学習を適用し，複利型強化学習が従来の強化学習よりも優れていることを確認した．また，国債銘柄選択問題をN本腕バンディット問題として定式化する方法を開発し，複利型強化学習がこの問題に対して従来の強化学習よりも有効であることを確認した．具体的には，従来の強化学習は期待割引報酬を最大化するため，複利リターンを最大化することができず，ファイナンスへの応用には適していないことが明らかとなった．その一方で，複利型強化学習は，期待割引複利リターンを最大化するため，複利リターンを最大化することができ，ファイナンスへの応用に適していることが明らかとなった．複利型強化学習では投資比率と呼ばれる新しいパラメータが必要となる点が問題であった．そこで，オンライン勾配法を用いて複利型強化学習の投資比率パラメータを最適化する方法を新規に開発した．オンライン勾配法を用いることにより，過去のデータを全て保持せずに投資比率を最適することができ，複利型強化学習との親和性が極めて高い．N本腕バンディット問題を用いた実験を行い，提案手法の有効性を確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
ファイナンスにおける時系列データから取引戦略を学習するという当初の目的に対して，従来の強化学習に問題があることと，開発した複利型強化学習が有効であることを確認できた．これらについては，平成23年度中に査読付き論文として発表しており，本研究はおおむね順調に進展していると考えられる．
|
| Strategy for Future Research Activity |
開発した複利型強化学習で新たに必要となった投資比率パラメータを最適化する方法について有効性の確認を行う． また，複利型強化学習が有効な問題を示すことで，適用範囲の拡大を図る．具体的には，三菱東京UFJ銀行の後藤卓氏の協力を得て，クレジット・デフォルト・スワップ取引におけるヘッジ比率最適化への応用について検討する．
|
| Expenditure Plans for the Next FY Research Funding |
実験用の計算機を1台購入する．研究成果を国内・国外の学会で発表するための旅費および参加費として使用する．また，学術雑誌への論文掲載料として使用する．これらの研究成果を取りまとめるため，研究費の一部を実験補助等の人件費として使用する．
|
Research Products
(14 results)
