| 研究課題/領域番号 |
20H04210
|
|---|
| 研究機関 | 京都大学 |
|---|
研究代表者 |
森 信介 京都大学, 学術情報メディアセンター, 教授 (90456773)
|
|---|
| 研究分担者 |
難波 英嗣 中央大学, 理工学部, 教授 (50345378)
亀甲 博貴 京都大学, 学術情報メディアセンター, 助教 (50827524)
山肩 洋子 東京大学, 大学院情報理工学系研究科, 准教授 (60423018)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2024-03-31
|
| キーワード | 上位下位関係 / 部分全体関 / マルチモダリティー |
|---|
| 研究実績の概要 |
機械による手順書の理解を目的として、 我々が提案したレシピフローグラフの一般化について考察した。食材を構成要素（部品など）とすることで、様々な手順書を記述できることを示し、wikiHow Flow Graph (wikiHow-FG) コーパスを構築した。
加えて、応用システムの構築も行った。従来のレシピは自由文入力で記述されているため、自然言語処理技術を用いてその手順構造を解析する手法を開発してきたが、構造化されたレシピの正解データが不足していることが精度向上の妨げとなっていた。そこで今年度は、ユーザーが構造化されたレシピを直接記述することのできるシステムを開発した。ユーザは予め用意した標準レシピの中から自分が作りたいものに最も近いレシピを選択し、差分のみを編集することにより少ない手間で自分のレシピを入力できる。このシステムを作り、構造化されたレシピのデータセットを構築することが次年度以降の課題である。
また、特許中のフローチャート画像からの説明文の自動生成に取り組んだ。説明文生成器の構築は、(1)フローチャート画像からの文字列の抽出、(2)機械学習用データの作成、(3)T5を用いた説明文生成器の構築、の3つの手順から構成される。11,188件のフローチャート画像と説明文の対を用いて、画像からの説明文生成器を構築した。実験の結果、質の高い説明文が生成できることが確認できた。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
ロボットの制御のための動画からのフレームの取り出しや、動作結果の画像の選択課題に注力したこともあって、言語内での関係の推定については後回しにした。言語内のみでの関係推定についてはその次の優先順位として取り組んでいるが、学会発表に至るまでの進捗にはならなかった。なお、ロボットの制御を目的とした研究は十分に進捗している。レシピ以外の分野への一般化は応用も含めて進展した。
|
| 今後の研究の推進方策 |
当初予定した、上位下位関係と部分全体関係をそれぞれのグラフ構造の制約下での探索する手法を実装し評価したい。暗黙の道具や動作の結果得られる物のベクトルについても、同様である。最終年度であるので、構築したデータやシステムを整理し、論文発表以外の方法でも学会に貢献する。
|
