研究課題
料理や裁縫、DIYなど、ハンドクラフトは「ものづくり」に対する人々の技術や教養、情熱を育てる下支えである。AIの技術により、専門知識を持たない人であっても「ものづくり」を学び、他者に教えることを可能とすることが本研究の目標である。今年度の主たる成果として、食事記録の自動生成と料理レシピ文書の付加的説明文生成に関する技術を開発した。以下に、それぞれの論文の概要を述べる。まず、ウェアラブルカメラによる一人称視点映像を用いて食事記録を自動生成するアプリケーションの開発を目指した。一人称視点の食事動画データセットを構築し、食品検出の精度を評価した。詳細なアノテーションが施された動画を用いて検出器を学習させることで、実用的な精度が得られることが示された。また、食べ物が重なって提供される場合でも、食事中の様子を観察することで別の食べ物として検出できることがわかった。次に、料理レシピ文書において調理手順そのものにとどまらない付加的説明文を自動生成する手法を検討した。付加情報には主に「代替品・アレンジ・調理工程の理由・適した材料・注意点・盛り付け」の６種類があることを特定した。Cookpad社提供のデータセットを用いて学習したGPT-2モデルにより無作為に文書を生成し、それらをBERTに基づく分類モデルを用いて上記の６種類を選別する仕組みを構築した。これにより、経験に乏しい著者でも有用なレシピ文書が生成可能となることが示唆された。
すべて 2023 2022
すべて 雑誌論文 (2件) (うち査読あり 2件) 学会発表 (1件) (うち国際学会 1件、 招待講演 1件)
電子情報通信学会 和文論文誌D
巻: Vol.J105-D No. 12 ページ: 736-746
10.14923/transinfj.2022jdp7025
International Workshop on Multimedia for Cooking, Eating, and related APPlications in conjunction with ACMMM2022 (CEA++22)
巻: NA ページ: 37-40
10.1145/3552485.3554942
