2022 Fiscal Year Annual Research Report
Assistance of multi-media contents generation for supporting learning and teaching of craftsmanship at home
| Project/Area Number |
18K11425
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
山肩 洋子 東京大学, 大学院情報理工学系研究科, 准教授 (60423018)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
山崎 俊彦 東京大学, 大学院情報理工学系研究科, 教授 (70376599)
今堀 慎治 中央大学, 理工学部, 教授 (90396789)
|
|---|
| Project Period (FY) |
2018-04-01 – 2023-03-31
|
| Keywords | 人間行動認識 / マルチメディア情報処理 / 教示コンテンツ自動生成 / e-learning |
|---|
| Outline of Annual Research Achievements |
料理や裁縫、DIYなど、ハンドクラフトは「ものづくり」に対する人々の技術や教養、情熱を育てる下支えである。AIの技術により、専門知識を持たない人であっても「ものづくり」を学び、他者に教えることを可能とすることが本研究の目標である。
今年度の主たる成果として、食事記録の自動生成と料理レシピ文書の付加的説明文生成に関する技術を開発した。以下に、それぞれの論文の概要を述べる。
まず、ウェアラブルカメラによる一人称視点映像を用いて食事記録を自動生成するアプリケーションの開発を目指した。一人称視点の食事動画データセットを構築し、食品検出の精度を評価した。詳細なアノテーションが施された動画を用いて検出器を学習させることで、実用的な精度が得られることが示された。また、食べ物が重なって提供される場合でも、食事中の様子を観察することで別の食べ物として検出できることがわかった。
次に、料理レシピ文書において調理手順そのものにとどまらない付加的説明文を自動生成する手法を検討した。付加情報には主に「代替品・アレンジ・調理工程の理由・適した材料・注意点・盛り付け」の６種類があることを特定した。Cookpad社提供のデータセットを用いて学習したGPT-2モデルにより無作為に文書を生成し、それらをBERTに基づく分類モデルを用いて上記の６種類を選別する仕組みを構築した。これにより、経験に乏しい著者でも有用なレシピ文書が生成可能となることが示唆された。
|
