2012 Fiscal Year Annual Research Report
| Project/Area Number |
24240030
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (A)
|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
美濃 導彦 京都大学, 学術情報メディアセンター, 教授 (70166099)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
椋木 雅之 京都大学, 学術情報メディアセンター, 准教授 (20283640)
森 信介 京都大学, 学術情報メディアセンター, 准教授 (90456773)
山肩 洋子 京都大学, 情報学研究科, 准教授 (60423018)
舩冨 卓哉 京都大学, 学術情報メディアセンター, 助教 (20452310)
中村 和晃 大阪大学, 工学(系)研究科(研究院), 助教 (10584047)
|
|---|
| Project Period (FY) |
2012-04-01 – 2016-03-31
|
| Keywords | 画像，文章，音声等認識 / 情報図書館学 / スマートセンサ情報システム / 知能ロボティクス / 行動認識 |
|---|
| Research Abstract |
「知的行動」の認識を目指し，初年度は調理中に利用される道具・食材などの物体認識，レシピで記述された「概念的行動」の抽出，及び，物理的な動きと明確に対応付け可能な「表出動作」として物体の把持に関する動作の検出を行った．
物体認識のうち，食材に対しては切断時に得られる音や荷重の波形情報を利用する手法を提案した．26種類の頻出食材に対して実験を行い，一般的な物体認識で利用される画像のみを利用する場合よりも大幅に精度が向上することを明らかにした．また，道具に対しては近年様々な分野で利用されているImplicit Shape Modelを整備した．ただし，その性能評価はまだ行えていない．
レシピテキストの言語処理においては,まず,無作為に抽出した100のレシピに対して言語処理の結果得られるべき構造やタグを人手で付与した．次いで,既存の一般分野で高い精度で動作する単語分割や係り受けの解析器をレシピに適応させるために,学習コーパスのプロトタイプを準備した．これらを用いて,レシピテキストの言語処理の精度を測定し,現実的な量の言語資源（コーパスや辞書）を準備することで,一般分野と同等の精度で概念的行動を抽出することが可能であることを明らかにした．
表出動作の語彙については，特に調理中に行われる回数が多い，物体を取る，置くという把持に関する動作に着目した．これらの表出動作については荷重センサとカメラの組合せにより検出・認識する技術を開発した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
食材の認識については，切断時に観測できる食材の物理的な性質を反映した音・荷重の信号を画像特徴と組み合わせることで認識精度の向上において成果を得た．また，その画像特徴による認識手法は道具認識を行うための手法としての利用も想定したものとなっている．
レシピテキストの言語処理においては,機械学習を用いて,頻出する食材名や道具名,および調理行動表現を抽出する手法を確立した．また，そのための学習コーパスのプロトタイプを整備した．
表出動作では，最も頻度の高い物体の把持に関する動作の検出・認識を行う手法を確立した．
|
| Strategy for Future Research Activity |
物体認識，表出動作の認識については，平成24年度に確立した音や荷重を利用した手法を実際のキッチンに持ち込むための実験環境の構築に努める．
一方，レシピテキストの言語処理のための学習コーパスを拡充し，頻出表現に対して十分な抽出精度を実現する．同時に，低頻度の特異な表現に対応できるように言語処理手法を一般化する．
なお，今後，表出動作と概念的動作との対応関係を学習するために多数のタグ付きデータが必要となることが予想されている．しかし概念的動作については物理的な動作との結びつきが曖昧で客観的なタグ付けが難しい．このため，実験環境の構築にあたっては「作業者がいつレシピテキストのどの部分を参照したのか」を記録できる機能を整備し，カメラ等による調理行動観測データと同じ時系列に並べることで，概念的行動に対する客観的なタグ付けを実現する．
|
