Optical skin: 光と深層学習によるマルチモーダルソフトセンシング
| Project/Area Number |
22K18792
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 21:Electrical and electronic engineering and related fields
|
|---|
| Research Institution | Kanazawa University |
|---|
Principal Investigator |
砂田 哲 金沢大学, 機械工学系, 教授 (10463704)
|
|---|
| Project Period (FY) |
2022-06-30 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥6,500,000 (Direct Cost: ¥5,000,000、Indirect Cost: ¥1,500,000)
Fiscal Year 2024: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2023: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Fiscal Year 2022: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
|
|---|
| Keywords | スペックルパターン / マルチモーダルセンシング / ソフトマテリアル |
|---|
| Outline of Research at the Start |
本研究では、多様で複雑な外界刺激を的確に分離し且つ同時に検出可能なソフト・マルチモーダルセンシング手法を創出する。本提案の骨子は、光スペックルによる符号化により、ソフトマテリアル中に”光の神経回路網”をつくり、深層学習により外界情報を推定することである。接触力、接触位置、温度などの多様な外界刺激情報が同時かつ高精度に検出することを示し、その結果に基づき、従来困難であった”皮膚のような面的なマルチモーダルセンシング”に取り組む。これにより、高次の変形情報や触り心地、保持しやすさのような感覚的情報の推定が可能な光の皮膚型センサ”Optical Skin”を開発し、ロボットハンド応用を目指す。
|
| Outline of Annual Research Achievements |
本研究では、多様で複雑な外界刺激を的確に分離し且つ同時に検出可能なソフト・マルチモーダルセンシング手法の創出を目指している。本提案の骨子は、光スペックルによる符号化と深層学習により外界情報を推定することであり、接触力、接触位置、温度などの物理情報が、ミリニュートン、マイクロメートルオーダーの精度で同時に検出できることを明らかにしている。この結果に基づき、直径数cm程度の半球上の光マルチモーダル触覚センサを制作した。本センサはシリコーンゴムにより構成され、背景光を除去するためのコーティングも施している。本センサには、光ファイバを通じて光を入射するとシリコーン内部での散乱が生じる。その散乱パターンを測定するための小型カメラも搭載している。上述のように、触覚、温度を含む様々な情報が１つのセンサで同時に推定可能であるため、本センサをロボットアームの指として搭載することで、接触物質の判別ができるかを調べた。スペックルパターンから接触物質を推定するためのモデルとしては、CNNによる深層学習モデルを用いた。原理検証として、本センサをロボットハンドに搭載し、紙、アルミ、やすり、アクリルなどの素材を複数回接触させて、学習用データを取得した。結果として、本手法により98%以上の精度で材料の推定が可能であった。また、高精度の材料特定が可能となる条件を明らかにするため、スペックルイメージの前処理、平均化、学習用データ数の依存性などの系統的な調査も行なった。スペックルパターンと材料との関係においては、t-SNEによる低次元化手法を援用して、２層のCNNによる演算後に各材料の特徴をよく分離できるようになることも明らかにした。以上のように、本提案センサは、光干渉の高感度を利用して多様な物理量・接触物質を特定できる性質を有する。ロボットハンドでの触覚センサ応用に対する期待の持てる結果もえた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当該年度は、当初の研究実施計画に従い、上述の光マルチモーダルセンサの原理検証実験を行い、その基本的な性能を評価した。また，ロボットハンドの指として搭載可能な小型な光マルチモーダルセンサを開発して、接触材料の識別が可能となることも示した。
|
| Strategy for Future Research Activity |
今年度に開発した触覚センサは、紙、アルミ、やすり、アクリルなど明らかに特徴の異なる材料であれば容易に識別可能である。次年度は、触り心地や手触りのような曖昧な感触とスペックルパターンへの反応との関係を明らかにする。また、本センサの出力は深層学習モデルを用いた物理情報のデコーディング方法に頼っているが、多くの学習データを必要とする。また、ロボット応用などでは、逐次的に学習していけるような手法に変更していくことが望ましい。よって、少ない学習データ量で逐次的な学習が可能なデコーディング手法も開発する。
|
Report
(1 results)
Research Products
(8 results)
