Assistance of multi-media contents generation for supporting learning and teaching of craftsmanship at home
| Project/Area Number |
18K11425
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
Yamakata Yoko 東京大学, 大学院情報理工学系研究科, 准教授 (60423018)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
山崎 俊彦 東京大学, 大学院情報理工学系研究科, 教授 (70376599)
今堀 慎治 中央大学, 理工学部, 教授 (90396789)
|
|---|
| Project Period (FY) |
2018-04-01 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2020: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2019: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2018: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
|
|---|
| Keywords | 食のＡＩ / 手順文書の意味理解 / 調理支援 / 食事管理アプリケーション / 人間行動認識 / マルチメディア情報処理 / 教示コンテンツ自動生成 / e-learning / ものづくり / レシピ / 料理・調理 |
|---|
| Outline of Final Research Achievements |
The goal of this research is to enable ordinal people without specialized knowledge to learn and teach “making things” using AI technology. The research leader tackled three challenges on the field of recipe understanding and cooking support task. The first challenge was to develop a natural language processing model for recipe comprehension. We expanded the corpus created in Japanese and English to include Chinese. We also started developing a smartphone app called “RecipeLog” for recording and managing meals based on recipes. Finally, we proposed a method for automatically generating additional explanatory text to improve the readability of recipes. These results were presented at domestic and international conferences and academic journals, including ACM Multimedia 2022.
|
| Academic Significance and Societal Importance of the Research Achievements |
調理や裁縫は特別な教育を受けた一部の専門家だけでなく、多くの一般の人々が家庭内で携わっている「ものづくり」であり、その技術やノウハウの共有を支援することに社会的意義がある。本課題では、ものづくりの手順書であるレシピについて、専門教育を受けていない一般の人が記述すると欠損しがちだが、読者の理解を助ける付加的説明文を自動生成することで、その知識共有を支援する技術を開発した。また、レシピを作成する経験に乏しいユーザであっても、AI技術により簡単に自分のレシピを記録できるアプリRecipeLogは、家庭における「ものづくり」の情報収集およびフィールドワークのツールとして活用が見込まれる。
|
Report
(6 results)
Research Products
(52 results)
-
-
-
-
-
-
-
-
-
-
[Journal Article] World Food Atlas Project2021
Author(s)
Ali Rostami, Zhouhang Xie, Akihisa Ishino, Yoko Yamakata, Kiyoharu Aizawa, and Ramesh Jain
-
Journal Title
ACM Multimedia Workshop on CEA (CEA '21)
Volume: -
Pages: 33-33
DOI
Related Report
Open Access / Int'l Joint Research
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
