2022 Fiscal Year Final Research Report
Assistance of multi-media contents generation for supporting learning and teaching of craftsmanship at home
Project/Area Number |
18K11425
|
Research Category |
Grant-in-Aid for Scientific Research (C)
|
Allocation Type | Multi-year Fund |
Section | 一般 |
Review Section |
Basic Section 61030:Intelligent informatics-related
|
Research Institution | The University of Tokyo |
Principal Investigator |
Yamakata Yoko 東京大学, 大学院情報理工学系研究科, 准教授 (60423018)
|
Co-Investigator(Kenkyū-buntansha) |
山崎 俊彦 東京大学, 大学院情報理工学系研究科, 教授 (70376599)
今堀 慎治 中央大学, 理工学部, 教授 (90396789)
|
Project Period (FY) |
2018-04-01 – 2023-03-31
|
Keywords | 食のAI / 手順文書の意味理解 / 調理支援 / 食事管理アプリケーション |
Outline of Final Research Achievements |
The goal of this research is to enable ordinal people without specialized knowledge to learn and teach “making things” using AI technology. The research leader tackled three challenges on the field of recipe understanding and cooking support task. The first challenge was to develop a natural language processing model for recipe comprehension. We expanded the corpus created in Japanese and English to include Chinese. We also started developing a smartphone app called “RecipeLog” for recording and managing meals based on recipes. Finally, we proposed a method for automatically generating additional explanatory text to improve the readability of recipes. These results were presented at domestic and international conferences and academic journals, including ACM Multimedia 2022.
|
Free Research Field |
マルチメディア情報処理
|
Academic Significance and Societal Importance of the Research Achievements |
調理や裁縫は特別な教育を受けた一部の専門家だけでなく、多くの一般の人々が家庭内で携わっている「ものづくり」であり、その技術やノウハウの共有を支援することに社会的意義がある。本課題では、ものづくりの手順書であるレシピについて、専門教育を受けていない一般の人が記述すると欠損しがちだが、読者の理解を助ける付加的説明文を自動生成することで、その知識共有を支援する技術を開発した。また、レシピを作成する経験に乏しいユーザであっても、AI技術により簡単に自分のレシピを記録できるアプリRecipeLogは、家庭における「ものづくり」の情報収集およびフィールドワークのツールとして活用が見込まれる。
|