| Project/Area Number |
22KJ1355
|
|---|
| Project/Area Number (Other) |
22J21786 (2022)
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Multi-year Fund (2023)
Single-year Grants (2022) |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Ochanomizu University |
|---|
Principal Investigator |
黒田 彗莉 お茶の水女子大学, 人間文化創成科学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-03-08 – 2025-03-31
|
| Project Status |
Completed (Fiscal Year 2024)
|
| Budget Amount *help |
¥2,500,000 (Direct Cost: ¥2,500,000)
Fiscal Year 2024: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2023: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2022: ¥900,000 (Direct Cost: ¥900,000)
|
|---|
| Keywords | 実世界理解 / 予測 / 言語生成 / 物理特性 / グラフ埋め込み / 変化点抽出 / 物理的関係の階層構造 |
|---|
| Outline of Research at the Start |
ヒトの予測機能は視覚から取り入れた情報から物体の種類や物理特性といった詳細な情報を捉えた後に予測を行うが、従来の予測を対象にした研究の多くは動画像のピクセルの遷移から予測画像を生成している。よりヒトらしい予測機能をもつ機械学習モデルの構築のために、実世界に存在する物体や事象についての物理的因果特性を捉えた予測モデルを構築する。またヒトは実世界で起きている事象を視覚から取り入れ、その状況を言語に置き換えて理解をする。ヒトの言語を用いた実世界理解についての理解を深めるために、構築した予測モデルを用いて予測した内容を実画像だけでなく言語でも説明可能な手法の開発を目指す。
|
| Outline of Annual Research Achievements |
今年度の研究の目的は、人間のように実世界の物理法則を認識し、予測内容を言語でも説明できるモデルを開発することである。従来の機械学習における予測を対象にした研究の多くは、入力情報である画像の逐次予測の生成結果を実世界の変化とみなしてきた。今年度の研究活動では、実際のヒトの予測機能に近い、観測した出来事の重要な点を予測するようなモデルを構築し、予測内容を画像だけでなく言語としても生成することで、解釈可能性を高めることに取り組んだ。変化点予測モデルの構築には複数の予測モデルを元にし、物体の衝突といった一連の動きの重要な点（変化点）のタイミングを抽出できるモデルを作成した。さらに予測した結果を画像だけでなく言語として生成するために、自然言語処理手法の一つである Transformer を用いて、実世界にある物体の物理状態の変化から予測した状態を説明する文章を生成した。結果として、予測モデルの予測精度が上がることで生成文の精度も上がることを確認した。さらに限定的な環境（本研究では立方体や円柱などの物体）に関して、予測モデルから生成した文章に、事前に環境や物体についての知識を適用させることでさらに予測内容について知識と経験を含んだ文章を生成することができるようになった。
また本研究における衝突状況の予測や衝突状況の言語生成は、大規模言語モデル(LLM)での生成結果と比べても高い精度で生成できることがわかった。これは本研究で提案した変化点予測モデルは環境の物体の動きを高い精度で理解できているのに対し、LLM は環境状況の理解が難しかったためである。
本研究における成果を論文誌 2 報(うち 1 件は査読中)、国際学会 2 件、国内学会 2 件で発表した。
|
