2015 Fiscal Year Annual Research Report
知能化空間とウェアラブルセンサによる第4人称センシング
| Project/Area Number |
26630099
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
倉爪 亮 九州大学, システム情報科学研究科(研究院, 教授 (70272672)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
岩下 友美 九州大学, システム情報科学研究科(研究院, 准教授 (70467877)
|
|---|
| Project Period (FY) |
2014-04-01 – 2016-03-31
|
| Keywords | 知能ロボティクス / 環境知能化 / ウエアラブルセンサ / サービスロボット / 一人称画像 |
|---|
| Outline of Annual Research Achievements |
従来，サービスロボット開発ではロボット搭載センサからの2人称情報や，知能化空間内の環境埋め込みセンサからの3人称情報が使用されてきた．本研究では，知能化空間内にウェアラブルセンサから得られるサービス受益者視点の情報（1人称情報）を初めて導入し，1，2，3人称情報を同時に用い，相補的に組み合わせることで，サービス受益者の興味や行動をトリガーとしたプロアクティブ（先読み）なロボットサービスを実現する「第4人称センシング」について検討した．
本年度は，第4人称センシングの適用例として，知能化空間内で想定される曖昧な物品取り寄せ指示に着目し，実際に音声と画像により適切な行動を選択，実行するシステムを構築した．例えば，ユーザが水の取り寄せを指示した場合，飲料水や園芸のための水など，水に関連した物品は様々に存在するため，従来のシステムが適切なものを判断することは難しい．一方，1人称視点からユーザ行動を認識することができれば，曖昧な指示を理解できる．例えば，ユーザが食事中であると分かれば，候補から飲料水を選択することができる．以上のシナリオを想定し，1人称視点の行動情報と3人称視点の物品情報を組み合わせた物品取り寄せシステムを構築した．システムは，ウェアラブルカメラと処理サーバにより構成される．ウェアラブルカメラでは，一人称視点画像と音声指示の取得及び送信を行う．処理サーバでは，受信画像列からユーザ行動を認識し，データベースの物品情報と併せてサービスロボットへ提示物品を指示する．実験では，ウエラブルカメラを装着したユーザが行う５つの行動カテゴリ（読書，食事，植木を注視，ロボットを注視，辺りを見回す）に対し，最初の３つの行動を行いながら同時に水の取り寄せを要求した際，サービスロボットが最も適切な物品を選択できることを確認した．
|
