2021 Fiscal Year Annual Research Report
| Project/Area Number |
21J20250
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
西村 太一 京都大学, 情報学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2021-04-28 – 2024-03-31
|
| Keywords | マルチメディア / 手順書 / 作業映像 / 自然言語処理 / コンピュータビジョン |
|---|
| Outline of Annual Research Achievements |
本研究では作業映像から手順書を生成することを目的とする。この課題の達成のために、(1) 映像から正しい文を生成できる手法の確立、(2) 映像からのイベントの抽出と文生成モデルの学習、(3) 生化学分野への応用の3つに取り組む。(3)については新型コロナウイルスの影響により撮影を行うことが困難となったため、(1)と(2)に焦点を当てて研究に取り組んだ。その結果、(1)において材料の性質変化をモデル化することで正しく手順書を生成できることを発見し、それをモデル化した新しい手法を開発した。この結果はマルチメディア分野のトップカンファレンスのACM Multimediaに採択され、国際学会で発表するに至った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
前述した課題の(1)は順調に進めることができ、マルチメディア分野のトップカンファレンスであるACM Multimediaにて国際学会に論文が採択されたため。また、その結果を拡張した研究を国際ジャーナルであるMultimedia tools and applicationsに投稿でき、順調に進んでいると言える。
|
| Strategy for Future Research Activity |
今後は課題の(2), (3)を重点的に進めていきたい。とくに、新型コロナウイルスが落ち着き次第、(3)の映像撮影およびデータセットの構築を早く進めていく予定である。
|
