| 研究課題/領域番号 |
23H03453
|
|---|
| 配分区分 | 補助金 |
|---|
| 研究機関 | お茶の水女子大学 |
|---|
研究代表者 |
小林 一郎 お茶の水女子大学, 基幹研究院, 教授 (60281440)
|
|---|
| 研究分担者 |
持橋 大地 統計数理研究所, 数理・推論研究系, 准教授 (80418508)
|
|---|
| 研究期間 (年度) |
2023-04-01 – 2026-03-31
|
| キーワード | 自然言語推論 / 因果知識 / 大規模言語モデル / 実世界 / ファジィ推論 |
|---|
| 研究実績の概要 |
（因果関係に基づく自然言語推論）ヒトは形式的な命題推論だけでなく，言語そのものを用いて事象の因果性を捉えた推論を行っている．言語による推論とは，観察対象の言語による認識からそれに対する因果的な帰結を説明するという形で行われ，それは前提となる情報から，結論の言語を生成するという自然言語文生成とみなすことができる．この際，一般的に前件の観察対象の情報に加えて，それに関する知識を踏まえて因果関係の帰結となる言語を生成することが想定できる．
（実世界を対象にした自然言語推論）また，ヒトは実世界環境における現象の記述や理解に言語を使用している．言語という記号を用いて実世界の現象を記述し，言語を用いてその現象の動静を推論することが可能である．これと同様の概念として，Zadehは”Computing with words"という言葉で計算をするという概念を提案している．近年，十分な大きさを持つ言語モデルには，Chain of Thought（Wei et al.,2022）など多段の手続きによる人間の思考過程の模倣を始めとし，様々な推論能力が備わっていることが確認されている．
上記のことから，前者では，前提から結論を導くに至って想起される知識を推定し，推論過程に取り込むことにより，前提に対してよりよい結論を導く自然言語による推論を提案、開発した．具体的には，質疑応答コーパスを元に大規模言語モデルによって可能な推論過程を生成し，正しい回答を導けるようにモデルを学習する手法を開発した．
後者では、大規模言語モデルに実世界における物理的推論能力を組み込むことを考え，推論のなかでも，実世界で観測された現象を曖昧な言語を用いて表現し，定量的に推論を行うファジィ推論を組み込む手法を開発した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
（因果関係に基づく自然言語推論）因果関係に基づく自然言語推論を対象に開発した手法は，前提として与えられる入力文から知識を表現する自然言語文を生成し，言語による推論過程の一部を表すデータとして収集した．具体的には，「Yahoo! 知恵袋データ」の質問に対し，言語モデルを用いて知識を生成し，正解の回答を導くのに最も有効だった知識を収集し，質問と併せてペアデータセットを構築し，それを用いて質問に対してfew-Shotで正答に至るための有効な知識を生成できるように学習をおこなった．質問，知識，回答の推論過程を表すデータセットを用いて言語モデルのファインチューニングを行うことで，モデルによって生成される回答が質問に沿ったものになり，生成される回答の精度を，知識を与えない推論と比べ，BERT-ScoreおよびBLEUスコアの双方で精度を向上させることができた．
（実世界を対象にした自然言語推論）物理環境における因果性にまつわる常識が記述された自然言語データセット（田屋 他, 2023）を用いて，物体が衝突する際の条件を与えて衝突後の様子を自然言語で推論させる手法を開発した．物体どうしが衝突する前の挙動を示す観測状況を記述した自然言語文を入力し、大規模言語モデルT5を用いて物体がその後どのような状態になるのかを記述する自然言語文を生成させることで、自然言語による推論を表現した。また，自然言語推論で生成される自然言語文中の表現に含まれる「遠く」「かなり」などの曖昧な表現を実世界においてグラウンディングさせるために、その推定量をニューラルネットワークを学習させメンバーシップ関数を意に沿った形で導き出させることで，大規模言語モデルを用いたファジィ推論を実現した．実験結果から，衝突の条件や衝突時の描写のパターンを踏まえて衝突後に飛ばされる距離を導き出せることがわかった．
|
| 今後の研究の推進方策 |
（因果関係に基づく自然言語推論）現在、入力自然言語文から生成される知識を経由して帰結に至る自然言語推論の実現に取り組んでいるが，それら生成される知識を複数介すような多段の推論の開発を進めたい．これにより，ヒトの言語による思考に近い情報処理を目指す．
（実世界を対象にした自然言語推論）現在，推論対象の世界を積み木が衝突する世界に限定して、大規模言語モデルを用いたファジィ推論を実現しているが、背が「高い」、ビルが「高い」、物価が「高い」というように言葉の文脈によってその意味や対応する量が異なる．今後は、さまざまなドメインでも文脈に応じて定量化が可能になるような大規模言語モデルをベースにしたファジィ推論の開発を目指す．
|
