| 研究課題/領域番号 |
22KJ1666
|
|---|
| 補助金の研究課題番号 |
21J20250 (2021-2022)
|
|---|
| 研究種目 |
特別研究員奨励費
|
| 配分区分 | 基金 (2023)
補助金 (2021-2022) |
|---|
| 応募区分 | 国内 |
|---|
| 審査区分 |
小区分61030:知能情報学関連
|
|---|
| 研究機関 | 京都大学 |
|---|
研究代表者 |
西村 太一 京都大学, 情報学研究科, 特別研究員(DC1)
|
|---|
| 研究期間 (年度) |
2023-03-08 – 2024-03-31
|
| 研究課題ステータス |
中途終了 (2023年度)
|
| 配分額 *注記 |
2,200千円 (直接経費: 2,200千円)
2023年度: 700千円 (直接経費: 700千円)
2022年度: 700千円 (直接経費: 700千円)
2021年度: 800千円 (直接経費: 800千円)
|
|---|
| キーワード | 作業映像 / 手順書 / 実験動画 / マルチメディア / コンピュータビジョン / 自然言語処理 |
|---|
| 研究開始時の研究の概要 |
本研究では、エージェントと人間の共同作業のための基盤技術として、作業映像から手順書を生成する課題に取り組む。この課題は、これを達成する上で、モデルは (1) 作業映像中から重要なシーンを抽出し、(2) 抽出したシーンに対応する文を生成する必要がある。本研究課題では、(2)のみに焦点を当てたモデルの開発、(1), (2)を同時に学習する手法の提案を行う。料理ドメインにてこれらの検証を行い、提案手法が有用であることを示す。また、料理よりも文書化することの需要の高い生化学分野において実験映像を撮影し、映像から手順書を生成する手法を確立する。
|
| 研究実績の概要 |
最終年度の半年間は、一人称視点の化学実験映像の解析を進めた。前年度の検証の結果、物体の見た目にほとんど差がないため、物体を識別することができないことが問題であるとわかった。これを解決するため、QRコードを物体に貼り付けて撮影した新たなデータセットを構築した。このデータセットをもとに、前年度開発したプロトコル生成手法を検証し、結果を評価し、これらの結果をまとめて論文にし、国際学会に投稿した。
|
