| Project/Area Number |
20H04210
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
MORI Shinsuke 京都大学, 学術情報メディアセンター, 教授 (90456773)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
難波 英嗣 中央大学, 理工学部, 教授 (50345378)
亀甲 博貴 京都大学, 学術情報メディアセンター, 助教 (50827524)
山肩 洋子 東京大学, 情報基盤センター, 教授 (60423018)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥17,680,000 (Direct Cost: ¥13,600,000、Indirect Cost: ¥4,080,000)
Fiscal Year 2023: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
Fiscal Year 2022: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
Fiscal Year 2021: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2020: ¥5,460,000 (Direct Cost: ¥4,200,000、Indirect Cost: ¥1,260,000)
|
|---|
| Keywords | 言語処理 / 画像認識 / 手順書 / 実施動画 / 生化学実験 / 実験室DX / 動作結果予測 / 作業支援 / 固有表現認識 / フローグラフ / マルチモダリティー / 上位下位関係 / 部分全体関係 / 部分全体関 / 単語分割 / 動作 / 自然言語処理 / 自然言語理解 / 知識 |
|---|
| Outline of Research at the Start |
本研究では、対象を手順文書に限定し、(1) どの程度の量と質の知識が言語理解に有効か、(2) 有効であるといえる知識をどのように獲得するかという問いに取り組む。獲得対象とする知識は、1. 上位下位関係、2. 部分全体関、3. 動作とその結果、4. 動作に必要な暗黙の道具である。自動獲得の正確性を人手で記述した知識との比較により評価するとともに、知識の量的十分性を以下の応用における有用性として調査する(外因評価)。
|
| Outline of Final Research Achievements |
Here is the abstract of the most fruitful result of this project. In this study, we propose an egocentric biochemical video-and-language dataset called BioVL2 comprising eight videos for each of four experiments, with a total duration of 2.5 hours for all 32 samples. Each video corresponds to a protocol and two types of linguistic annotations are provided: (1) video-and-text alignment and (2) bounding boxes linked to objects in the protocol. As an application of the BioVL2 dataset, we consider the task of generating a protocol from an experimental video. Our experimental results show that the proposed system can generate better protocols than a weak baseline designed to output objects appearing in the video frames. The BioVL2 dataset will be released for research purposes only.
|
| Academic Significance and Societal Importance of the Research Achievements |
本課題を含む一連の研究をいわゆる Wet Lab. に応用する端緒となった。本課題提案前から、レシピと調理動画はデータの取得やアノテーションが容易であることを理由に対象としていたが、研究の有用性としては Wet Lab. への応用を目指していた。本課題及びそれ以前の研究により、Wet Lab. に協力をお願いできる成果を得ていたので、大阪医科薬科大学にてその研究発表を行い、データ取得協力の合意を得たことによる。そのデータにこれまでに得た知見を用いて有用なアノテーションを行い、データセットとして公開するとともに、論文誌上で発表した。その先駆性が評価され、言語処理学会の論文賞を受賞した。
|
