| Project/Area Number |
20H04210
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
森 信介 京都大学, 学術情報メディアセンター, 教授 (90456773)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
難波 英嗣 中央大学, 理工学部, 教授 (50345378)
亀甲 博貴 京都大学, 学術情報メディアセンター, 助教 (50827524)
山肩 洋子 東京大学, 大学院情報理工学系研究科, 准教授 (60423018)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥17,680,000 (Direct Cost: ¥13,600,000、Indirect Cost: ¥4,080,000)
Fiscal Year 2023: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
Fiscal Year 2022: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
Fiscal Year 2021: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2020: ¥5,460,000 (Direct Cost: ¥4,200,000、Indirect Cost: ¥1,260,000)
|
|---|
| Keywords | 固有表現認識 / フローグラフ / マルチモダリティー / 上位下位関係 / 部分全体関係 / 部分全体関 / 単語分割 / 動作 / 自然言語処理 / 自然言語理解 / 知識 |
|---|
| Outline of Research at the Start |
本研究では、対象を手順文書に限定し、(1) どの程度の量と質の知識が言語理解に有効か、(2) 有効であるといえる知識をどのように獲得するかという問いに取り組む。獲得対象とする知識は、1. 上位下位関係、2. 部分全体関、3. 動作とその結果、4. 動作に必要な暗黙の道具である。自動獲得の正確性を人手で記述した知識との比較により評価するとともに、知識の量的十分性を以下の応用における有用性として調査する(外因評価)。
|
| Outline of Annual Research Achievements |
機械による手順書の理解を目的として、 我々が提案したレシピフローグラフの一般化について考察した。食材を構成要素（部品など）とすることで、様々な手順書を記述できることを示し、wikiHow Flow Graph (wikiHow-FG) コーパスを構築した。
加えて、応用システムの構築も行った。従来のレシピは自由文入力で記述されているため、自然言語処理技術を用いてその手順構造を解析する手法を開発してきたが、構造化されたレシピの正解データが不足していることが精度向上の妨げとなっていた。そこで今年度は、ユーザーが構造化されたレシピを直接記述することのできるシステムを開発した。ユーザは予め用意した標準レシピの中から自分が作りたいものに最も近いレシピを選択し、差分のみを編集することにより少ない手間で自分のレシピを入力できる。このシステムを作り、構造化されたレシピのデータセットを構築することが次年度以降の課題である。
また、特許中のフローチャート画像からの説明文の自動生成に取り組んだ。説明文生成器の構築は、(1)フローチャート画像からの文字列の抽出、(2)機械学習用データの作成、(3)T5を用いた説明文生成器の構築、の3つの手順から構成される。11,188件のフローチャート画像と説明文の対を用いて、画像からの説明文生成器を構築した。実験の結果、質の高い説明文が生成できることが確認できた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
ロボットの制御のための動画からのフレームの取り出しや、動作結果の画像の選択課題に注力したこともあって、言語内での関係の推定については後回しにした。言語内のみでの関係推定についてはその次の優先順位として取り組んでいるが、学会発表に至るまでの進捗にはならなかった。なお、ロボットの制御を目的とした研究は十分に進捗している。レシピ以外の分野への一般化は応用も含めて進展した。
|
| Strategy for Future Research Activity |
当初予定した、上位下位関係と部分全体関係をそれぞれのグラフ構造の制約下での探索する手法を実装し評価したい。暗黙の道具や動作の結果得られる物のベクトルについても、同様である。最終年度であるので、構築したデータやシステムを整理し、論文発表以外の方法でも学会に貢献する。
|
Report
(3 results)
Research Products
(27 results)
