2019 Fiscal Year Research-status Report
Assistance of multi-media contents generation for supporting learning and teaching of craftsmanship at home
| Project/Area Number |
18K11425
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
山肩 洋子 東京大学, 大学院情報理工学系研究科, 准教授 (60423018)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
山崎 俊彦 東京大学, 大学院情報理工学系研究科, 准教授 (70376599)
今堀 慎治 中央大学, 理工学部, 教授 (90396789)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 人間行動認識 / マルチメディア情報処理 / 教示コンテンツ自動生成 / e-learning / ものづくり / レシピ / 料理・調理 |
|---|
| Outline of Annual Research Achievements |
裁縫や小物作り，DIYなど，ハンドクラフトは「ものづくり」に対する人々の技術や教養，情熱を育てる下支えである．AIの技術により，専門知識を持たない人であっても「ものづくり」を学び，他者に教えることを可能とすることが本研究の目標である．通常，人の「知識」は，音声や文書，イラストなどの客観的表現を媒介して他者に伝えられる．しかし「技術」は身体的動きを伴った体験であり，見様見真似でその動きを模倣する中で，徐々にその感覚を主観として身につけ，会得するという伝達経路を取る．収録映像を見て模倣するだけでは，視聴者は制作者に追従するのみであったが，本研究では視聴者は制作者視点で，自分の身体的動きに同期した映像を視聴する．これにより，制作者に乗り移って制作を疑似体験することが可能となると期待される．このような仕組みを通じて，AIが媒介して「技術」を主観的に会得する機構を実現することが学術的な創造性である．
本課題では、ハンドクラフトの多種多様な分野を対象に，以下の3つの課題に取り組む．
(1) 自然言語処理：これまで開発してきた調理レシピを調理手順フローに自動変換する技術を拡張することで、裁縫・DIY・リフォームなど様々な分野の『手順記述』を意味構造解析可能な汎用的な仕組みを実現する．
(2) 映像処理：従来の定点カメラに加え、制作者視点の映像撮影手法およびその映像認識技術の開発を行う．
(3) 視聴者同期型コンテンツ再生：(1)の手意味構造表現を介して映像中の制作者の動作と視聴者の現在の動作を対応づける．これにより，映像を視聴者の動作に同期して再生することで，視聴者が制作者のものづくりを主観的に見て疑似体験し，会得する機構の実現を目指す．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
提案手法が特定の言語に依存しない汎用的な手法であることを検証するため、今年度は英語および中国語のレシピをターゲットとした。まず、すでに開発済みであった英語のレシピに対する解析ツールについて、コーパスをWebで公開した。この成果をまとめた論文はLREC2020に採択された。また中国語については、日本語・英語と同様の形式でレシピ固有表現タグを付与したコーパスを作成し、深層学習を用いた固有表現認識器を作成した。レシピ数は100と少ないが、正解率は91.3%と良好であった。
中国のレシピのうち、調理手順の各ステップに説明画像がついているものを対象に、説明画像に写りこんでいる食材や道具を画像認識することによって、手順説明文に記載されている食材名や道具名と紐づけるのと同時に、説明文で省略されていた食材名や道具名を補完する手法の提案を行った。この結果、道具名は83.26%、食材名は43.57%の正解率で補完に成功した。
手順説明文と、その調理の様子を撮影した映像を入力とし、各調理説明文に対応する場面を手順説明画像として切り出す研究を行った。この成果はCEA2019で発表し、Best paper awardを獲得した。
家庭における食事の分析を行うため、東京大学 相澤清晴教授と協力し、一般のユーザが収録した食事履歴の分析を行った。まず、相澤研究室が開発してきた食事記録アプリFoodLogをベースとして、ユーザが日々の食事を記録すると、栄養士がその記録を見てユーザにアドバイスを返すことのできるアプリを構築した。また、ユーザの食事記録を栄養士が大雑把に把握する手助けをするため、レシピの手順説明文を学習データとしてWord embeddingを行い、料理名を特徴ベクトルに変換して、料理名を階層的に分類を行った。最後に、大学生と高齢者に実際にこのアプリを使って食事記録を取ってもらい、その分析を行った。
|
| Strategy for Future Research Activity |
前年度はレシピの手順説明文、説明画像および映像を複数の視点から関連付ける手法を研究した。これらの手法では、固有表現認識器や画像認識器を別々に学習したモデルを組み合わせたが、Video Bertで行われているように、メディアの区別なく一つのモデルで扱えるはずである。そこで本年度は、マルチメディアレシピをEnd-to-Endで扱うモデルを構築することが課題である。すでに研究を開始しているのは、料理名その料理の写真を入力とすると、その食材リストを出力するモデルを学習するタスクを通じて、レシピのEmbeddingを行うことである。ここで、同じ料理名であっても食材リストは異なることがあり、これは本質的に取り除けない曖昧さであることから、各食材がその料理名においてどの程度確からしいかを別途推定することにより、精度を高めることができるか検証している。
今年度は新型コロナウィルスのために長期間にわたる在宅勤務・学習を余儀なくされ、学生を含む多くの人々の精神状態の悪化が懸念されている。食事はどのような状況においても必ず行われる活動であるから、食事の記録の変化を見ることで、その精神状態の現状や変化をうかがい知ることができないかと考え、前年度に食事記録実験に参加してくれた学生を対象に、在宅期間中の食事を記録してもらう実験を行う予定である。これにより、従来は外食が多かった学生が在宅することにより食事がどのように変化したか、食事から精神的健康さも含め、どのような情報を得ることができるかを研究する予定である。
在宅期間が長期化するにつれ、マスクを自作したり、パンを焼くなど、家庭内でのものづくりが急速に広がっている。そのHow-to動画も増えていることから、Youtubeで公開されている料理系の動画コンテンツを収集・分析することにより、自分のものづくりを公開する手助けをするアプリの構築を目指す。
|
| Causes of Carryover |
年度末に予定していた国内学会出張２件と海外出張1件が新型コロナ肺炎の影響によりキャンセルされたことから、その旅費の支出が取り消された。また、すでに所有しているコンピュータに、新たにGPGPUを導入する予定であったが、研究協力者および所属機関の設備を使えることになったことから、この予算を次年度に繰り越した。
|
