2020 Fiscal Year Annual Research Report
Emergent process modeling of fingering and hard-and-soft object handling based on visual-haptic fusion
| Project/Area Number |
18H03313
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
島田 伸敬 立命館大学, 情報理工学部, 教授 (10294034)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
野間 春生 立命館大学, 情報理工学部, 教授 (00374108)
李 周浩 立命館大学, 情報理工学部, 教授 (80366434)
松尾 直志 立命館大学, 情報理工学部, 助教 (80449545)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 深層学習 / プロセスモデル / 把持パターン想起 / 視触覚統合 |
|---|
| Outline of Annual Research Achievements |
物体の形状（RGBD画像）と手指の姿勢の共起性をモデリングし、掴む場所が複数ある場合に学習しながら自動的に複数の選択肢をクラスタリングしつつモデリングする深層モデルについて引き続き研究を行った。把持パターンの種類を一定数に限定した上で把持パターンのクラスタリングと物体形状からの想起を実現するアーキテクチャについて提案をし、日本機械学会の英文誌Robomech Journalに論文採択された。その後、物体ごとの把持パターンは離散的に分類できない中間的なものも存在することから、それらを適切に表現できる記述子空間の自動生成能力を持った深層学習アーキテクチャについて検討を重ねた。これについては、継続する科研基盤C課題に引き継いで進めることとした。
小型3軸力覚センサを双腕ロボットのグリッパ先端に装着し、触覚センサーデータを制御PCから連続的に取り込むことのできるプラットフォームを制作した。ROSアーキテクチャ上に物体RGBD画像の取得及び深層学習モデル（YOLACT)を用いた物体検出を分散協調型に構成することによって、相互に実時間で連携しながら検出された3次元位置にグリッパを移動して物体把持ができるようにした。グリッパの先端の力覚センサの出力としての力ベクトルが物体座標系においてどの向きにどれだけの力で作用しているのかを画像による物体変形と連動する共起マルチモーダルデータとして取得できるようになった。しかし、その両方モーダルの共起性のモデリングには至らなかったので、引き続き継続課題である科研基盤Cに引き継いで進めることとした。
|
| Research Progress Status |
令和2年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和2年度が最終年度であるため、記入しない。
|
