2021 Fiscal Year Annual Research Report
| Project/Area Number |
20H04210
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
森 信介 京都大学, 学術情報メディアセンター, 教授 (90456773)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
難波 英嗣 中央大学, 理工学部, 教授 (50345378)
亀甲 博貴 京都大学, 学術情報メディアセンター, 助教 (50827524)
山肩 洋子 東京大学, 大学院情報理工学系研究科, 准教授 (60423018)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 上位下位関係 / 部分全体関 / マルチモダリティー |
|---|
| Outline of Annual Research Achievements |
上位下位関係の推定のために、前年までに実装した個別の用語対が上位下位関係にある度合いを推定する手法の結果に、最大全域木を計算する方法を考案し設計した。部分全体関係についても同様であるが、木構造ではなく非巡回有向グラフになるという制約での探索を考案した。両方の実装を途中まで行った。
応用として、基本のレシピをもとに、自分のレシピと異なる部分だけを編集することでレシピを記録することができるアプリRecipeLogを開発している。このアプリを改良し、各家庭のレシピのどこがどのように違うのかを特定する仕組みを構築した。
加えて、提案手法を特許文に対して適用することも試みた。特許の要約と代表図面に着目し、特許データから手順オントロジーを構築する手法を提案した。また、その第一歩として、機械学習に基づく特許画像からのフローチャートの抽出と特許要約の構造解析手法について実験を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
ロボットの制御のための動画からのフレームの取り出しや、動作結果の画像の選択課題に注力したこともあって、言語内での関係の推定については後回しにした。言語内のみでの関係推定についてはその次の優先順位として取り組んでいるが、学会発表に至るまでの進捗にはならなかった。
|
| Strategy for Future Research Activity |
上位下位関係と部分全体関係をそれぞれのグラフ構造の制約下での探索する手法を実装し評価する。
動作の結果得られる物のベクトルについては、調理実施動画のフレームを選択する取組を行った。名称がある物については、これのベクトルについても推定する手法を考案するとともに、画像との比較も行う。
暗黙の道具や動作の結果得られる物のベクトルについても、上位下位関係と部分全体関係と同様に行う。この関係につては、グラフ構造の制約がないだろうと想定しているが、何らかの制約がないかを考察し、それも用いた精度向上を目指す。
得られた結果をレシピを記録することができるアプリRecipeLogに応用する。また、特許データに対しても適用し、手法の一般性を確認する。
|
