2022 Fiscal Year Annual Research Report
| Project/Area Number |
20H04210
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
森 信介 京都大学, 学術情報メディアセンター, 教授 (90456773)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
難波 英嗣 中央大学, 理工学部, 教授 (50345378)
亀甲 博貴 京都大学, 学術情報メディアセンター, 助教 (50827524)
山肩 洋子 東京大学, 大学院情報理工学系研究科, 准教授 (60423018)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 上位下位関係 / 部分全体関 / マルチモダリティー |
|---|
| Outline of Annual Research Achievements |
機械による手順書の理解を目的として、 我々が提案したレシピフローグラフの一般化について考察した。食材を構成要素（部品など）とすることで、様々な手順書を記述できることを示し、wikiHow Flow Graph (wikiHow-FG) コーパスを構築した。
加えて、応用システムの構築も行った。従来のレシピは自由文入力で記述されているため、自然言語処理技術を用いてその手順構造を解析する手法を開発してきたが、構造化されたレシピの正解データが不足していることが精度向上の妨げとなっていた。そこで今年度は、ユーザーが構造化されたレシピを直接記述することのできるシステムを開発した。ユーザは予め用意した標準レシピの中から自分が作りたいものに最も近いレシピを選択し、差分のみを編集することにより少ない手間で自分のレシピを入力できる。このシステムを作り、構造化されたレシピのデータセットを構築することが次年度以降の課題である。
また、特許中のフローチャート画像からの説明文の自動生成に取り組んだ。説明文生成器の構築は、(1)フローチャート画像からの文字列の抽出、(2)機械学習用データの作成、(3)T5を用いた説明文生成器の構築、の3つの手順から構成される。11,188件のフローチャート画像と説明文の対を用いて、画像からの説明文生成器を構築した。実験の結果、質の高い説明文が生成できることが確認できた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
ロボットの制御のための動画からのフレームの取り出しや、動作結果の画像の選択課題に注力したこともあって、言語内での関係の推定については後回しにした。言語内のみでの関係推定についてはその次の優先順位として取り組んでいるが、学会発表に至るまでの進捗にはならなかった。なお、ロボットの制御を目的とした研究は十分に進捗している。レシピ以外の分野への一般化は応用も含めて進展した。
|
| Strategy for Future Research Activity |
当初予定した、上位下位関係と部分全体関係をそれぞれのグラフ構造の制約下での探索する手法を実装し評価したい。暗黙の道具や動作の結果得られる物のベクトルについても、同様である。最終年度であるので、構築したデータやシステムを整理し、論文発表以外の方法でも学会に貢献する。
|
