2022 Fiscal Year Annual Research Report
他者との言語的接触を考慮した個人が用いることばの意味の動的計算モデル
| Project/Area Number |
22J14451
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
大葉 大輔 東京大学, 情報理工学系研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2022-04-22 – 2024-03-31
|
| Keywords | 自然言語処理 / 個人適応 / 単語埋め込み / エンティティリンキング |
|---|
| Outline of Annual Research Achievements |
本研究では任意の書き手が任意の時点で単語に込める意味を数理的に表現する方法論を確立する．自然言語の意味は (A) 話題に対する専門性等により個人レベルで異なるだけでなく，(B) 他者の言語を読む・聞くことで変化する．これらの性質を考慮した表現を獲得できれば，ソーシャルメディア投稿のような多種多様な人間が発信する時系列テキストを正確に理解することができる．
本年度は，まず書き手レベルで単語の意味表現を計算するための基盤モデル [Oba et al., 2020] の妥当性検証に取り組んだ．実験では，訓練データにおける系列長・ドメイン・各書き手のサンプル数等の分布が計算結果に与える影響を定量化し手法の頑健性を検証することに加え，意味空間上で観測される書き手間の齟齬がテキスト上でも観測されることを定性的に示した．
加えて本年度は大規模言語モデル (LLMs) の個人適応技術に関しても研究を行なった．これは，自然言語における意味の変動性 (B) を捉える部分課題を，文脈を考慮することが得意なLLMsの性質により代替する次善策である．その過程で，LLMsを個人適応する既存手法が抱えていた，適用可能データセットの広範さを大幅に改善する手法を開発した．巨大なパラメタ集合 (i.e., LLMs) を書き手間で共有することで過疎性改善にも寄与すると考えられる．
本研究内容が着目する書き手・時間といった要素以外にも，高精度なテキスト理解のための言語外情報として世界知識（例: テキスト背景のエンティティ集合）が注目されている．これまでに世界知識を明示的に参照・利用する手法が開発されているが，知識の変動（例: 新エンティティの出現）に対しては対応できておらず，再学習等のコストを払う必要がある．そこで世界知識の連続表現を説明文等から動的に推定・補完する手法を提案し，国際会議EMNLPに採択された．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
任意の書き手および任意の時間あたりのテキストに対して単語ベクトルを計算する際に課題となる「データの過疎性を解決すること」が当初の計画にあったが，本年度に行った計算モデルの包括的検証により，安定的な学習に必要とされるデータの数や分布に関する知見を得ることが出来た．また，大規模言語モデル (LLMs) の巨大なパラメタを個人間で共有することで過疎性を抑制した上で書き手特有の文脈や少数パラメタに基づいて個人適応するという異なるアプローチの有効性をテキスト理解タスクを用いた実験で確認した．加えて，テキスト表層外にある世界知識を多種多様なドメインにおいて参照可能にしたことで，データ拡張的な観点からデータの過疎性抑制に貢献することが出来た．以上より，当初の計画に対して一定の成果を挙げたと言える．
|
| Strategy for Future Research Activity |
研究計画として予定していた通り，書き手間のインタラクションを追加の計算資源として利用する手法の実装および評価を行う．その際に，本年度新たに導入した LLMs を用いた単語ベクトル計算手法を基盤とする実装も両輪で進めていく．
|
