2020 Fiscal Year Research-status Report
Assistance of multi-media contents generation for supporting learning and teaching of craftsmanship at home
| Project/Area Number |
18K11425
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
山肩 洋子 東京大学, 大学院情報理工学系研究科, 准教授 (60423018)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
山崎 俊彦 東京大学, 大学院情報理工学系研究科, 准教授 (70376599)
今堀 慎治 中央大学, 理工学部, 教授 (90396789)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 人間行動認識 / マルチメディア情報処理 / 教示コンテンツ自動生成 / e-learning |
|---|
| Outline of Annual Research Achievements |
料理や裁縫、DIYなど，ハンドクラフトは「ものづくり」に対する人々の技術や教養，情熱を育てる下支えである．AIの技術により，専門知識を持たない人であっても「ものづくり」を学び，他者に教えることを可能とすることが本研究の目標である．通常，人の「知識」は，音声や文書，イラストなどの客観的表現を媒介して他者に伝えられる．しかし「技術」は身体的動きを伴った体験であり，見様見真似でその動きを模倣する中で，徐々にその感覚を主観として身につけ，会得するという伝達経路を取る．料理番組のような第三者視点から撮影した映像では，視聴者は実体験としてその行動を理解することが難しい場合が多い．本研究では制作者視点で撮影された画像や映像を対象とし，制作者がテキストと画像および映像からなる教材コンテンツを作成することを想定する。収集したデータをもとに機械学習でモデルを獲得することにより，説明が不足している情報を補間する．このような仕組みを通じて，誰もがAIの支援により「技術」を主観的に伝達・会得する仕組みを実現することが学術的な創造性である．
本課題では，料理やハンドクラフトの多種多様な分野を対象に，以下の3つの課題に取り組む．
(1) 自然言語処理：これまで料理レシピを対象として開発してきた作業フロー解析を，自己教師あり学習に基づく深層学習モデルに拡張することで，料理以外の分野に対しても容易に拡張可能な仕組みを実現する
(2) 画像処理：従来は完成品の画像に対する認識が中心であったのに対し，創作工程の途中の画像に注目した画像認識手法を開発する
(3)一般のユーザがAIの支援により自分の創作活動を記録するシステムを開発する
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
2020年度は最終年度であるため、様々なフィールドで被験者の参加による実験を予定していたが、コロナ禍のため学外での活動が認められなかった。そこで計画を一部修正し、すでに大規模なデータセットが構築されている料理レシピに再び焦点を当てて研究を行うこととした。
今年度は、調理手順の各ステップに説明画像がついている中国語のレシピデータを対象に，説明画像に写りこんでいる食材の認識を行う手法を提案した。調理中、食材は切られたり混ぜられたりすることで視覚的特徴が大きく変化するため、特に調理の終盤における食材の認識は、同じ名前の物体は共通の性質を持つとする従来の一般物体認識の手法では困難である。そこで、頻出食材２０品目に注目し、各手順説明画像に対し、食材ラベルと調理の進行度を付与したデータセットを作成し、カリキュラムラーニングの技術を適用した。これにより、一般物体認識の手法では46.41%であった食材認識精度を57.42%まで向上させることに成功した。この成果は国内学会DEIM2021で発表し、マルチメディア分野のトップカンファレンスであるACM Multimedia 2021に投稿中である。
また、AIの支援により少ない操作でレシピを作成可能なレシピコンテンツ作成アプリRecipeLogの開発を開始した。Web上にはすでに数百万件のレシピが掲載されているが、「肉じゃが」だけでも１万件以上のレシピが見つかるなど、コンテンツの重複が激しい。そこで、RecipeLogでは、ユーザが作りたいと思っているレシピに近いレシピを既存のデータから検索し、それを書き換えることで新たなレシピを作成することができる。これは、単に手間が省けるというだけでなく、元のレシピとの相違が明確になるという利点がある。今年度はこのアプリの基本的な機能を実装し、ユーザビリティテストにより有用性を確認した。この成果は国内学会DEIM2021で発表した。
|
| Strategy for Future Research Activity |
レシピを構成する画像やテキストのデータのうち、創作過程の途中段階を撮影した画像や映像から、テキストには記されていない情報を補間する。これより、レシピを書くことに不慣れなユーザであっても、AIの支援によって少ない手まで詳細な教材コンテンツを作成できると考えられる。この要素技術は2020年度に開発済みであることから、課題期間を延長し、一般の人々にサービス提供可能なアプリケーションの開発を行う。
まず、前年度より開発を開始したレシピ作成支援アプリRecipeLogについて、AIによる執筆サポート機能を開発する。レシピテキストで学習したBERTモデルを活用することで、ユーザの部分的なテキスト入力（例えば料理の名前や材料リスト等）から、手順文を含むレシピ全体を予測し、その記述の選択肢をユーザに提示する。アプリケーションに栄養価計算機能を内蔵することにより、ユーザにレシピが作成することの動機付けを行い、彼ら・彼女らが日々調理している料理のレシピデータを収集する。この研究は、栄養学の専門家と共同で進める予定である。
また、調理の手順説明画像について、2020年度は頻出食材２０品目のみに注目したが、その対象範囲を拡大する。この場合、食材の種類によってデータのサイズが大きく異なるデータセットとなるため、学術的にはImbalanced dataによる認識課題と位置付けられる。また、対応する手順説明文に含まれる食材を、その手順説明画像のラベルとして学習することを考える。この場合、必ずしもその食材が画像に写っているとは限らないため、noisy dataと考えることができる。創作工程途中の画像の認識手法として、様々な目的で利用可能なデータセットの構築と、種々の手法によるベースラインを提供することが２０２１年度の目標である。
|
| Causes of Carryover |
参加を予定していた国内学会出張３件と海外出張２件が新型コロナ肺炎の影響によりオンライン開催になったことから、旅費が執行されなかった。また被験者参加型のフィールド実験を予定していたが、同じくコロナの影響で学外での活動が原則禁止されたことから、実施できなかった。2021年度も早期の状況改善は見込めないことから、研究の内容を一部変更し、ユーザが各自のスマートフォン上で操作することにより実験及びデータ収集が可能なアプリの開発を行うこととした。そのアプリ開発・運用費及びリモート上での実験を行うための予算として、今年度予算の大半を次年度へ繰り越した。
|
Research Products
(9 results)
