2018 Fiscal Year Research-status Report
ヒューマン・ロボット・インタラクションのための２Ｄ映像－３Ｄ動作マッピング手法
| Project/Area Number |
17K06277
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
松丸 隆文 早稲田大学, 理工学術院(情報生産システム研究科・センター), 教授 (10313933)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | ３次元空中映像インタフェース / ろくろ作業 / エアーポインティング / カーソル操作 / ペットボトル仕分け / 物体区分け・銘柄分類 |
|---|
| Outline of Annual Research Achievements |
２次元映像と３次元動作の間の相互マッピング手法の確立を目的として，次の３つの事例研究から本質に迫ろうとしている．
（１）３次元空中映像インタフェース（3-dimensional aerial image interface, 3DAII）（主に動作→映像）： 空中に投影された３次元映像にユーザが手指を重ねて直接操作できることを特徴とする新しいインタフェースの応用として，ろくろ作業（成形作業，削り作業）により土から器を作りだす工程の再現を試みている．仮想物体の表現にはゲームエンジンであるUnity (ver.5.6.1fl)を使用し，LeapMotionで検出した手指の３次元動作により仮想物体を変形させることで，造形を再現するインタラクション機能の一部を実現した．
（２）エアーポインティングによるカーソル操作（主に動作→映像）： コンピュータ作業におけるキー入力とカーソル操作の切り替えを円滑に実現することを目的として，キーボードから手首を離すことなく指先の３次元動作だけで２次元映像内のカーソルを操作するシステムを提案した．腕の疲労軽減だけでなく，カーソルが動作する平面と指先の動く方向が一致することで直感的な操作になることが確認できた．
（３）銘柄別ペットボトル仕分け作業（主に映像→動作）： 水槽の中で冷やされているペットボトルに対して，指定された銘柄を掴み上げるロボットアームシステムの実現を目的として，RGBカメラの２次元映像からロボットアームの３次元動作を計画する．水面を介して水中の物体を認識するので，センサはSLPP（構造化光パターン投影）やToF（飛行時間）などのアクティブ方式では難しいのでパッシブ方式のRGBカメラとする．機械学習により物体区分けや銘柄分類ができることを確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
２次元映像と３次元動作の間の相互マッピング手法の確立を目的として，３つの事例研究を突破口とすることで，研究・開発を深耕している．
（１）３次元空中映像インタフェース： 学術誌に原著論文を投稿・査読中である．さまざまな応用事例を実現してゆくことで経験を重ね，２次元と３次元の間のインタラクションにおける設計原理の確立に近づいている．
（２）エアーポインティング： 文献調査などにより従来方法との差異や提案の新規性を明確にしている．基本機能の性能測定と従来方法との比較実験のそれぞれについて，測定内容や実験方法を熟慮・検討して実施した．
（３）ペットボトル仕分け作業： 水中にあるばら積み物体を水上から認識して掴み上げる作業への挑戦の事例は少なく，研究対象自体に新規性がある．
|
| Strategy for Future Research Activity |
２次元映像と３次元画像の間の相互マッピング手法の確立を目的として，複数の事例研究を突破口としながら研究・開発を継続する．
（１）３次元空中映像インタフェース： ろくろ作業の再現を早期に完成させる．次の応用として３次元動作物体の３次元映像再現を計画している（実現可能性は確認している）．また学術誌への論文投稿が滞っているので，現在査読中の学術誌論文には早期に決着してほしい．
（２）エアーポインティング： 従来の方法（コンピュータマウス，タッチパッド，タッチパネル，など）との比較実験などを実施しており，データを整理して，学術論文への投稿を準備する．
（３）ペットボトル仕分け： ロボットの３次元動作を生成するための，２次元カメラ画像に基づく物体認識の探求を続ける．a)物体どうしの重ね合わせにより，得られた画像の全身に対する割合（例えば８割，５割，３割），得られた画像の全身における部位（例えば頭部，腹部，下部）による，物体区分けや銘柄分類の正答率の変化，b)新たな銘柄を機械学習させるために学習画像の効率的な生成方法や必要な数量の検討，などの面白い課題が残っている．
|
| Causes of Carryover |
予算の130万円に対する1%程度であり，誤差範囲内だと考える．
今後も与えられた研究費を有効に活用することに留意しながら，引き続き２次元映像－３次元動作のマッピングに関する研究を推進してゆく．
|
