Development of real-world simulations based on symbolic manipulation using language
| Project/Area Number |
23K28143
|
|---|
| Project/Area Number (Other) |
23H03453 (2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
Basic Section 60030:Statistical science-related
Sections That Are Subject to Joint Review: Basic Section60030:Statistical science-related , Basic Section61030:Intelligent informatics-related
|
|---|
| Research Institution | Ochanomizu University |
|---|
Principal Investigator |
小林 一郎 お茶の水女子大学, 基幹研究院, 教授 (60281440)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
持橋 大地 統計数理研究所, 数理・推論研究系, 准教授 (80418508)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥18,590,000 (Direct Cost: ¥14,300,000、Indirect Cost: ¥4,290,000)
Fiscal Year 2025: ¥4,940,000 (Direct Cost: ¥3,800,000、Indirect Cost: ¥1,140,000)
Fiscal Year 2024: ¥7,670,000 (Direct Cost: ¥5,900,000、Indirect Cost: ¥1,770,000)
Fiscal Year 2023: ¥5,980,000 (Direct Cost: ¥4,600,000、Indirect Cost: ¥1,380,000)
|
|---|
| Keywords | 実世界環境の認識 / 自然言語推論 / 言語と動作 / 予測 / 因果知識 / 大規模言語モデル / 実世界 / ファジィ推論 |
|---|
| Outline of Research at the Start |
ヒトと機械が共生する環境において観察した事象に対する経験や感覚を共有し、円滑なコミュニケーションを実現するために、機械に実世界の 物理環境を理解させ予測可能とし、その状態を言語で認識し、言語による記号操作に基づいた行動計画により、実世界での行動を可能にする基盤技術を以下の3つの項目実現しつつ開発する. (1)実世界環境の予測モデルの構築.(2)実世界を認識しつつ観察対象の物理特性の常識を踏まえた自然言語推論の開発.(3)実世界で の言語理解:1と2で得られた知識を踏まえて言語指示を理解し、環境に適切な動作インタラクションするエージェントを構築する.
|
| Outline of Annual Research Achievements |
（因果関係に基づく自然言語推論）ヒトは形式的な命題推論だけでなく，言語そのものを用いて事象の因果性を捉えた推論を行っている．言語による推論とは，観察対象の言語による認識からそれに対する因果的な帰結を説明するという形で行われ，それは前提となる情報から，結論の言語を生成するという自然言語文生成とみなすことができる．この際，一般的に前件の観察対象の情報に加えて，それに関する知識を踏まえて因果関係の帰結となる言語を生成することが想定できる．
（実世界を対象にした自然言語推論）また，ヒトは実世界環境における現象の記述や理解に言語を使用している．言語という記号を用いて実世界の現象を記述し，言語を用いてその現象の動静を推論することが可能である．これと同様の概念として，Zadehは”Computing with words"という言葉で計算をするという概念を提案している．近年，十分な大きさを持つ言語モデルには，Chain of Thought（Wei et al.,2022）など多段の手続きによる人間の思考過程の模倣を始めとし，様々な推論能力が備わっていることが確認されている．
上記のことから，前者では，前提から結論を導くに至って想起される知識を推定し，推論過程に取り込むことにより，前提に対してよりよい結論を導く自然言語による推論を提案、開発した．具体的には，質疑応答コーパスを元に大規模言語モデルによって可能な推論過程を生成し，正しい回答を導けるようにモデルを学習する手法を開発した．
後者では、大規模言語モデルに実世界における物理的推論能力を組み込むことを考え，推論のなかでも，実世界で観測された現象を曖昧な言語を用いて表現し，定量的に推論を行うファジィ推論を組み込む手法を開発した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
（因果関係に基づく自然言語推論）因果関係に基づく自然言語推論を対象に開発した手法は，前提として与えられる入力文から知識を表現する自然言語文を生成し，言語による推論過程の一部を表すデータとして収集した．具体的には，「Yahoo! 知恵袋データ」の質問に対し，言語モデルを用いて知識を生成し，正解の回答を導くのに最も有効だった知識を収集し，質問と併せてペアデータセットを構築し，それを用いて質問に対してfew-Shotで正答に至るための有効な知識を生成できるように学習をおこなった．質問，知識，回答の推論過程を表すデータセットを用いて言語モデルのファインチューニングを行うことで，モデルによって生成される回答が質問に沿ったものになり，生成される回答の精度を，知識を与えない推論と比べ，BERT-ScoreおよびBLEUスコアの双方で精度を向上させることができた．
（実世界を対象にした自然言語推論）物理環境における因果性にまつわる常識が記述された自然言語データセット（田屋 他, 2023）を用いて，物体が衝突する際の条件を与えて衝突後の様子を自然言語で推論させる手法を開発した．物体どうしが衝突する前の挙動を示す観測状況を記述した自然言語文を入力し、大規模言語モデルT5を用いて物体がその後どのような状態になるのかを記述する自然言語文を生成させることで、自然言語による推論を表現した。また，自然言語推論で生成される自然言語文中の表現に含まれる「遠く」「かなり」などの曖昧な表現を実世界においてグラウンディングさせるために、その推定量をニューラルネットワークを学習させメンバーシップ関数を意に沿った形で導き出させることで，大規模言語モデルを用いたファジィ推論を実現した．実験結果から，衝突の条件や衝突時の描写のパターンを踏まえて衝突後に飛ばされる距離を導き出せることがわかった．
|
| Strategy for Future Research Activity |
（因果関係に基づく自然言語推論）現在、入力自然言語文から生成される知識を経由して帰結に至る自然言語推論の実現に取り組んでいるが，それら生成される知識を複数介すような多段の推論の開発を進めたい．これにより，ヒトの言語による思考に近い情報処理を目指す．
（実世界を対象にした自然言語推論）現在，推論対象の世界を積み木が衝突する世界に限定して、大規模言語モデルを用いたファジィ推論を実現しているが、背が「高い」、ビルが「高い」、物価が「高い」というように言葉の文脈によってその意味や対応する量が異なる．今後は、さまざまなドメインでも文脈に応じて定量化が可能になるような大規模言語モデルをベースにしたファジィ推論の開発を目指す．
|
Report
(1 results)
Research Products
(4 results)
