2021 Fiscal Year Research-status Report
Assistance of multi-media contents generation for supporting learning and teaching of craftsmanship at home
| Project/Area Number |
18K11425
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
山肩 洋子 東京大学, 大学院情報理工学系研究科, 准教授 (60423018)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
山崎 俊彦 東京大学, 大学院情報理工学系研究科, 准教授 (70376599)
今堀 慎治 中央大学, 理工学部, 教授 (90396789)
|
|---|
| Project Period (FY) |
2018-04-01 – 2023-03-31
|
| Keywords | 人間行動認識 / マルチメディア情報処理 / 教示コンテンツ自動生成 / e-learning |
|---|
| Outline of Annual Research Achievements |
料理や裁縫、DIYなど，ハンドクラフトは「ものづくり」に対する人々の技術や教養，情熱を育てる下支えである．AIの技術により，専門知識を持たない人で あっても「ものづくり」を学び，他者に教えることを可能とすることが本研究の目標である．通常，人の「知識」は，音声や文書，イラストなどの客観的表現を 媒介して他者に伝えられる．しかし「技術」は身体的動きを伴った体験であり，見様見真似でその動きを模倣する中で，徐々にその感覚を主観として身につけ， 会得するという伝達経路を取る．料理番組のような第三者視点から撮影した映像では，視聴者は実体験としてその行動を理解することが難しい場合が多い．本研 究では制作者視点で撮影された画像や映像を対象とし，制作者がテキストと画像および映像からなる教材コンテンツを作成することを想定する。収集したデータ をもとに機械学習でモデルを獲得することにより，説明が不足している情報を補間する．このような仕組みを通じて，誰もがAIの支援により「技術」を主観的に 伝達・会得する仕組みを実現することが学術的な創造性である．
本課題では，料理やハンドクラフトの多種多様な分野を対象に，以下の3つの課題に取り組む．
(1) 自然言語処理：これまで料理レシピを対象として開発してきた作業フロー解析を，自己教師あり学習に基づく深層学習モデルに拡張することで，料理以外の 分野に対しても容易に拡張可能な仕組みを実現する
(2) 画像処理：従来は完成品の画像に対する認識が中心であったのに対し，創作工程の途中の画像に注目した画像認識手法を開発する
(3)一般のユーザがAIの支援により自分の創作活動を記録するシステムを開発する
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度はまず、ユーザのレシピ作成支援の研究を行った。料理レシピのような創作や操作手順の説明文書では，なぜそれをするのかといった，手順にとどまらない付加的な情報が文書の有用性を向上させる．しかし，そのような文書を書く経験に乏しい著者にとっては何を書くべきか考えることすら難しい．そこで自然言語処理技術により，調理手順そのものではない付加的説明文を自動生成する手法を提案した．具体的には、ユーザが入力した文に対し，クックパッドデータセットで学習したGPT-2モデルにより文を生成し，それらにBERTに基づく分類モデルを適用して付加的説明文を選出し，提案する仕組みを構築した．さらにユーザビリティ評価として，100名の実験参加者に実際のレシピにおける冒頭の2文を提示し，それらに続く実際の文と，それらから提案手法により生成された後続文のどちらを採用するか選ばせる実験を行った．その結果48.2%で生成文が選択され，提案手法の生成文が実際の文と同等程度に利用されることが示された．
また、モノの消費を理解する観点から、一人称視点で撮影された食事の様子を解析する研究を行った。一人の実験参加者がウェアラブルカメラを装着して食事をすることで撮影した計約7時間，74本の動画に対し，4本の10秒につき1フレーム，70本の1分1フレームの食事領域を注釈することで，一人称視点食事映像のデータセットを作成した．次に，アプリケーションの運用を想定した2つのシナリオのもと検出器を学習し，精度を評価したところ，一般的な食事領域抽出のモデルを初期値として10秒につき1フレームに注釈した3本の動画でファインチューニングすることでIoU閾値>0.7であるmAP=0.43の精度で食事領域抽出が可能であることが分かった．さらに，対象の動画から抜き出した2枚のフレームに対する注釈を用いることでmAP=0.64の精度を得た．
|
| Strategy for Future Research Activity |
今年度はレシピ作成支援アプリRecipeLogがおおむね完成し、App StoreおよびGoogle Playでリリースすることができたが、コロナ禍で研究活動がたびたび中断されたことから、それを活用したフィールド実験は十分行えていない。また、複数の国際学会で発表したものの、現地で参加できたものは一つもなく、海外の研究者らとの交流もほぼ皆無であった。食は日本だけでなく世界中で時に深刻な課題となっており、現時点ですでに英語に対応していることから、海外の研究者にも積極的に利用していただき、共同研究を広げていきたいと考えている。そこで、予算を2022年度まで繰り越し、国内外を問わず研究成果を積極的に発表することを計画している。2009年から毎年開催してきた食にまつわる情報処理研究の国際ワークショップCEAは、2022年は本課題の研究代表者である山肩をGeneral Chairとして、マルチメディア分野のトップカンファレンスであるACM Multimedia 2022の中で開催することが決定している。今年は、同じく食の情報処理研究を主題としてヨーロッパを中心に活動しているワークショップMADiMAと共同開催であることから、関連研究者が一堂に集まる場となることが期待される。
今年度に挑戦する技術課題としては、レシピの記述支援のための手法として、画像からレシピを生成することを計画している。日々のレシピを書き残すことは大きな手間であることから、食事の完成画像を撮影するだけで、そこで使われている食材やその分量、手順文まで生成して、記述者に提案する仕組みを実装する。2021年度に研究を開始した食事中の動画解析と組み合わせることで、写真の中で食材が別の食材に覆われるような隠れが生じる場合でも、高い精度で材料と分量を推定する手法を研究する。
|
| Causes of Carryover |
今年度はレシピ作成支援アプリRecipeLogがおおむね完成し、App StoreおよびGoogle Playでリリースすることができたが、コロナ禍で研究活動がたびたび中断されたことから、それを活用したフィールド実験は十分行えていない。また、複数の国際学会で発表したものの、現地で参加できたものは一つもなく、海外の研究者らとの交流もほぼ皆無であった。食は日本だけでなく世界中で時に深刻な課題となっており、現時点ですでに英語に対応していることから、海外の研究者にも積極的に利用していただき、共同研究を広げていきたいと考えている。そこで、予算を2022年度まで繰り越し、国内外を問わず研究成果を積極的に発表することを計画している。
|
| Remarks |
我々が開発したレシピ記録支援アプリRecipeLogはiOS/Androidともに2021年9月にリリースした。
|
-
-
-
-
-
[Journal Article] World Food Atlas Project2021
Author(s)
Ali Rostami, Zhouhang Xie, Akihisa Ishino, Yoko Yamakata, Kiyoharu Aizawa, and Ramesh Jain
-
Journal Title
ACM Multimedia Workshop on CEA (CEA '21)
Volume: -
Pages: 33
DOI
Open Access / Int'l Joint Research
-
-
-
-
-
-
-
-
-
