2014 Fiscal Year Annual Research Report
| Project/Area Number |
24240030
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
美濃 導彦 京都大学, 学術情報メディアセンター, 教授 (70166099)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
椋木 雅之 京都大学, 学術情報メディアセンター, 准教授 (20283640)
舩冨 卓哉 奈良先端科学技術大学院大学, 情報科学研究科, 准教授 (20452310)
山肩 洋子 京都大学, 情報学研究科, 准教授 (60423018)
橋本 敦史 京都大学, 法学(政治学)研究科(研究院), 助手 (80641753)
森 信介 京都大学, 学術情報メディアセンター, 准教授 (90456773)
|
|---|
| Project Period (FY) |
2012-04-01 – 2016-03-31
|
| Keywords | 映像，文章，音声等認識 / 情報図書館学 / スマートセンサ情報システム / 知能ロボティクス / 行動認識 |
|---|
| Outline of Annual Research Achievements |
本研究では，道具の使用，および論理や推論による問題解決能力を利用して行う「知的行動」の認識を目指している．この題材として調理を対象に，レシピ等の言語で表現される「概念的行動」と調理者を観測して得られる「表出動作」の関係を明らかにしてきた．
このうち，概念的行動に関しては，H25年度までにレシピテキストから自然言語処理によって，作業の流れの構造を抽出したフローグラフのコーパスを整備した．
また，表出動作については，H24年度までに調理台上や冷蔵庫内の物体を手に取る，手から離す，といった道具の使用に関する動作の認識技術を開発した．また，続くH25年度には，「概念的行動」と「表出動作」の関係をモデル化することで，物体を取る，置くといった表出動作に基づいて，その後に行われる「概念的行動」の予測・認識を行い，その精度と有効性を明らかにした．
H26年度はこれまでに構築した技術を利用し，半自動でのタグの付与を行うことでデータセットの大規模化を図った．タグの付与にあたっては映像を全て人手でチェックするのではなく，手に取ったり，手から離された物体と，そのタイミングを自動で検出するH25年度までの技術を利用することで，その領域毎に物体名のタグをつけるようにタグ付けの作業を効率化した．また，それらのタイミングは動作の切れ目の良い候補と考えられることから，映像をそれらのタイミングで区切ることで，動作のタグ付けに関しても効率化ができた．また，クラウドソーシングなどによる更なる効率化を前提としたシステムを構築し，複数人による冗長性のあるタグ付けを実現し，タグ付けの高精度化についても検討を行った．
また，表出動作として調理者の動きそのものに基づいた動作の自動分類を行った． 道具を使った作業の特徴を考慮して動作特徴を抽出することで，概念的行動と良く対応する動作クラスタを獲得することが出来ることを確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
H26年度の3つの研究課題のうち，「3-a 道具,食材の認識結果とデータセットに基づく表出動作の認識」では，道具や食材への人物の接触をきっかけとした動作クラスタリング手法を確立し，現在，国際会議のWorkshopへ投稿中である．また，「5. 調理支援システムの構築と認識技術の評価,改善」についてはH25年度に前倒しして構築済みであり，H26年度は構築したシステムの評価のための追加実験や必要認識精度の検討のための実験を行った．これらの結果はH27年度に発表予定である．最後に「3-b. 表出動作認識の適用による大規模データセットの作成」に関しても，作業の半自動化によるタグ付けの効率化などを行い，当初予定通りに進行している．
|
| Strategy for Future Research Activity |
これまで順調に研究が進んでいることから，当初計画案に従って各課題をすすめる．
具体的には，当初計画にある以下の3つの課題のうち，まず「3-b. 表出動作認識の適用による,大規模データセットの作成 <継続>」 については，H27年度もデータの充実を図る．また「2-c. 大規模データセットに基づく表出動作と概念的行動の関係の獲得」では，構築した大規模データセットを活用し，広範な調理を対象として表出動作と概念的行動の関係の獲得を目指す．最後に「4. 表出動作と概念的行動の関係を利用した概念的行動の認識」では，自然言語処理側のこれまでの成果から得られたフローグラフと，映像処理側のこれまでの成果から得られた表出動作の系列とを照合することによる概念的行動認識を構築し，評価を行う．
|
-
-
-
-
-
-
-
-
-
-
[Presentation] Flow Graph Corpus from Recipe Texts2014
Author(s)
Shinsuke Mori, Hirokuni Maeta, Yoko Yamakata, Tetsuro Sasada
Organizer
The 9th International Conference on Language Resources and Evaluation (LREC)
Place of Presentation
the Harpa Conference Center (Reykjavik, Iceland)
Year and Date
2014-05-28
