2017 Fiscal Year Research-status Report
Establishing mutual communication between organism and machine using deep learning
| Project/Area Number |
17K00329
|
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
飯塚 博幸 北海道大学, 情報科学研究科, 准教授 (30396832)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
山本 雅人 北海道大学, 情報科学研究科, 教授 (40292057)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 深層強化学習 / 相互作用 / 群行動 |
|---|
| Outline of Annual Research Achievements |
初年度は，申請した研究計画の通り，まず実験装置の作成を行い，先行研究の追試から行った．水槽横にディスプレイを取り付け，白点を表示し，1/f揺らぎを使って白点の動きを制御した．これは，最終目的である双方向コミュニケーションに向けた提示条件を明らかにするための実験である．ここでは，メダカに一方向的に情報提示をすることによってメダカの行動を誘発できることを確認した．ホワイトノイズや定速で動く白点に対するメダカの行動を基準として，1/f揺らぎの白点の運動はメダカを誘引する先行研究と同様の結果がほぼ得られた．問題は実験の条件によっては，メダカが白点に慣れてしまう，ディスプレイの白点を見逃している，と考えられる事象が生じた．これはディスプレイの配置や，実験を開始するための条件を明らかにすることでの克服が可能である結果が得られつつある．
また，メダカと深層強化学習を通して相互作用をさせるための，ボイドを用いたシミュレーション実験，複数メダカ個体の群行動実験と深層強化学習の実装も同時に行った．水槽（白色の発砲スチロール）の上部にカメラを固定し，12匹程度のメダカの群の動きを計測した．カメラから得られた映像では背景差分法と各メダカの個体の色からメダカの抽出を行った．その後，各個体がどのように動いたかのトラッキング処理を行うことで，各個体の移動の検出も行った．相互作用を行う前の群行動を明らかにするために，いくつかの指標を用いて群を定量的に評価した．また，深層強化学習で機械側の動作を決定するための入力を明らかにする学習実験を行った．メダカは近接個体の動きに依存して行動を決定していると考えられる結果が得られ，30年度に行っていく深層強化学習時の表示条件に利用していく．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成29年度の研究計画にもとづき研究を進めた．初年度にはメダカを用いた実験装置の構築と先行研究の追試とそれを利用した提示条件の明確化を行う予定であった．提示条件の明確化は引き続き各実験設定において行う予定であるが，概ね予定どおり進行している．また，次年度に利用する深層強化学習のアルゴリズムの構築も同時に行っている．
|
| Strategy for Future Research Activity |
今後は，申請研究計画の通り，メダカに対してターゲット行動の誘発実験を行っていく予定である．まずは，機械とメダカの間で相互作用が成立している状態を明らかにする．機械とメダカのやりとりの結果，メダカがある特定の行動を誘発しやすくなるなど，機械とメダカのやりとりの結果としてメダカの行動が変化したのであれば，それは機械とメダカの間になんらかのコミュニケーションが成立しているといえる．機械の動きが一切メダカの動きに影響を与えないのであれば，コミュニケーションが成立していない．初年度の追試で行った先行研究では，単一行動を誘発することに留まっているが，ここでは，複数の動きを誘発することが可能であったかどうかをコミュニケーションが成立したかどうかの指標とする．メダカの場合には，捕食行動を誘発することが可能であることが明らかになっているために，捕食行動と回避行動を最初のターゲットとする． 深層強化学習のための報酬には，このターゲット行動からの距離を使い，距離が短ければ短いほど高い報酬を与える．これによって，ターゲット行動を誘発するようにメダカの動きから機械の動きを決定できるDQNを構築する．また，機械と生物間の相互作用をより明確示せる生物があれば，その個体への実験も検討する．
|
