2012 Fiscal Year Research-status Report
模倣学習と強化学習の融合による複数行動の効率的獲得
| Project/Area Number |
23560491
|
|---|
| Research Institution | Matsue National College of Technology |
|---|
Principal Investigator |
堀内 匡 松江工業高等専門学校, 電子制御工学科, 准教授 (50294129)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
加藤 聡 松江工業高等専門学校, 情報工学科, 准教授 (40342547)
|
|---|
| Keywords | 知能ロボティクス / 模倣学習 / 強化学習 / 行動獲得 / 複数タスク |
|---|
| Research Abstract |
本研究では，実ロボットを対象として，模倣学習と強化学習を融合した枠組みによる複数行動の効率的獲得の実現を目指している．実ロボットとして，LEGO社のMindstorms NXTで組み立てた歩容ロボットおよびROBOTIS社のBioloidで組み立てた歩容ロボットの二種類のロボットを対象とする．まず，単一の行動タスクに対する模倣学習と強化学習の融合による効率的な行動獲得の実現を第一の目的とする．さらに，第二目的として，複数の行動タスクを考え，それらのタスクに対する模倣学習と強化学習の融合による多様な行動の獲得を実現する．
本年度は，まず研究の第一目的である「単一タスクに対する模倣学習と強化学習の融合による行動獲得」に関して，昨年度に検討した模倣学習と強化学習の融合の実現を引き続き進めた．具体的には，Bioloidで組み立てた2自由度の尺取虫型ロボットを対象として，Webカメラを用いた観察に基づく模倣を実現するとともに，模倣学習で獲得した行動知識をもとにした学習機能の導入について検討した．さらに，研究の第二目的である「複数タスクに対する模倣学習と強化学習の融合による行動獲得」を実現するために，非線形力学系を用いた運動学習プリミティブによる複数パターンの学習について検討した．また，Bioloidで組み立てた六脚ロボットを対象として強化学習による前進行動の効率的獲得を実現するとともに，模倣学習との融合について検討した．これらの成果に関して，計測自動制御学会論文集，国際会議International Conference on Innovative Computing, Information and Control，電気学会 電子・情報・システム部門大会，ファジィシステムシンポジウム，計測自動制御学会中国支部学術講演会などにおいて発表した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では，実ロボットを対象として，模倣学習と強化学習を融合した枠組みによる複数行動の効率的獲得の実現を目指している．本年度は研究の第一目的である「単一タスクに対する模倣学習と強化学習の融合による行動獲得」の実現を引き続き進めるとともに，研究の第二目的である「複数タスクに対する模倣学習と強化学習の融合による行動獲得」を実現するために，非線形力学系を用いた運動学習プリミティブによる複数パターンの学習について検討した．
本年度の研究実施計画に基づき，まずBioloidで2台の尺取虫型ロボットを組み立て，教示者ロボットと学習者ロボットを準備した．次に，教示者ロボットが効率良く前進する行動パターンをWebカメラにより観測し，模倣学習を実現した．さらに，模倣学習で獲得した行動知識をもとに学習者ロボットの性能や構造に適した行動を自分自身で学習する手法について検討した．また，Bioloidで組み立てた六脚ロボットを対象として強化学習による前進行動の獲得を実現するとともに，模倣学習との融合について検討した．以上の研究の進捗状況を踏まえ，現在までの達成度については，おおむね順調に進展していると言える．
|
| Strategy for Future Research Activity |
今後は，本研究の第二目的である「複数タスクに対する模倣学習と強化学習の融合による行動獲得」を実現するために，非線形力学系を用いた運動学習プリミティブによる複数パターンの学習，CPGと強化学習を用いた複数行動タスクの学習，CPGと多目的GAを用いた多様な行動パターンの獲得などについて検討する．実ロボットはROBOTIS社のBioloidで組み立て，複数の行動タスクに対する模倣学習と強化学習の融合による行動獲得に関する実験を実施し，実ロボットに対する有効性を検証する．
|
| Expenditure Plans for the Next FY Research Funding |
次年度に使用する予定の研究費として127,244円が生じたのは，ROBOTIS社のロボット製作キットBioloid関連のモータやセンサなどが低価格で購入できたため，物品費が計画を下回ったことが理由として考えられる．次年度も，国際会議および国内での学会における積極的な成果発表を検討しており，上記の次年度使用額の研究費は，翌年度以降に請求する研究費における旅費と合わせて，主に成果発表のための旅費として使用する計画である．
旅費以外の物品費とその他の費用については，交付申請書に記載した経費の計画に基づいて使用する予定である．一式の価格が50万円以上の物品を購入する計画はない．また，人件費・謝金についても支出しない計画である．
|
