Language explanations about real-world based on human predictive functions that capture the physical environment
| Project/Area Number |
22KJ1355
|
|---|
| Project/Area Number (Other) |
22J21786 (2022)
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Multi-year Fund (2023)
Single-year Grants (2022) |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Ochanomizu University |
|---|
Principal Investigator |
黒田 彗莉 お茶の水女子大学, 人間文化創成科学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-03-08 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥2,500,000 (Direct Cost: ¥2,500,000)
Fiscal Year 2024: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2023: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2022: ¥900,000 (Direct Cost: ¥900,000)
|
|---|
| Keywords | 物理特性 / グラフ埋め込み / 変化点抽出 / 物理的関係の階層構造 |
|---|
| Outline of Research at the Start |
ヒトの予測機能は視覚から取り入れた情報から物体の種類や物理特性といった詳細な情報を捉えた後に予測を行うが、従来の予測を対象にした研究の多くは動画像のピクセルの遷移から予測画像を生成している。よりヒトらしい予測機能をもつ機械学習モデルの構築のために、実世界に存在する物体や事象についての物理的因果特性を捉えた予測モデルを構築する。またヒトは実世界で起きている事象を視覚から取り入れ、その状況を言語に置き換えて理解をする。ヒトの言語を用いた実世界理解についての理解を深めるために、構築した予測モデルを用いて予測した内容を実画像だけでなく言語でも説明可能な手法の開発を目指す。
|
| Outline of Annual Research Achievements |
今年度はヒトのように実世界に存在する物体や事象についての物理的因果特性を捉え、次ステップ先の変化点を予測できる機械学習モデルを構築する。モデルを構築するにあたり、動画像のワンシーンに写っている対象を正しく認識したうえで、その対象の物理特性を捉えられるように機械学習モデルを構築する。本研究では画像そのものを入力情報とするのではなく、画像内に写っている物体をグラフ構造として表現した情報を用いる。画像内に写る物体を形状・色・素材を用いて物体認識をし、物体の種類と位置を取得することでグラフ構造を作成する。また同時に得られた位置情報から各物体の速度や加速度といった物理特性を算出する。これらの情報をあわせて訓練データを作成し、本研究の先行研究であるVariational Temporal Abstraction(VTA)を用いて実世界で起きている現象の変化点の抽出した。また正しく変化点が抽出できたかどうかを精度を算出して検証した。結果から物理特性の変化からも実環境の変化点を抽出することができた。
また変化点として出力されたグラフを入力情報とした、将来のイベントに関する変化点予測モデルを構築した。構築したモデルの機能の正当性を検証するために、予測画像と予測変化点の抽出をし、変化点については正解データとの精度を算出した。結果から新たに構築した変化点予測モデルで、次ステップの変化点抽出とそのときの予測画像について正しく生成することができた。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
当初の計画のとおり実世界のイベントについて、変化点を抽出するモデル、変化点予測モデルを構築し、それぞれについてモデルの精度を算出することで正当性の検証を行った。
さらにそこから2年目に実施予定である予測内容についての文章生成についてもすでに取り組んでいる。また今年度の成果については、第36回人工知能学会全国大会、情報処理学会第85回全国大会にて口頭発表を行った。また2つの国際学会にも研究成果を投稿中である。
|
| Strategy for Future Research Activity |
変化点予測モデルからの生成文の生成精度をあげることや、より実世界に近いデータセットを用いても今年度の結果と同等の精度が得られるかを検証する。またヒトのような物理的な常識をもった文章を再生成する手法の開発も行う。
|
Report
(1 results)
Research Products
(4 results)
