本研究は,大規模言語モデル(LLM)の説明可能性を高めるため,独自に構築した単語ベクトルの数理分析手法を応用し,LLMを解釈する手法を新たに構築することを目指す. 単語ベクトル表現が自然言語の構造を反映した代数系にあるとの立場から,LLMの内部計算と言語の意味合成を構造的に対応づけ(同型を構成)することで内部挙動を解明する. そのために,1)文や句を構成する単語のベクトルに対して,文・句の分散表現を与えるような合成関数を特定し,2)そのような合成関数を演算として持つ代数系を構成することで,言語の意味理解や意味生成が代数系の演算操作に対応することを示す.
|