| Project/Area Number |
22K12167
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
土屋 雅稔 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (70378256)
|
|---|
| Project Period (FY) |
2022-04-01 – 2027-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2026: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2025: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2024: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2023: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2022: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
|
|---|
| Keywords | 深層学習 / 質問応答 / 含意関係認識 / 自然言語理解 |
|---|
| Outline of Research at the Start |
本研究は，質問応答タスクを題材として，深層学習によって得られたモデルの解釈性・信頼性に関する2つの目標を達成するためのデータセットを設計・構築する研究である．第1の目標は，評価対象モデルが，どのような質問に対して回答できるのかを予測することである．ある質問に対して人間が正しく推論できた場合，人間であれば正しく推論できるはずの別の質問を用意することによって，質問相互の性能の関係を評価できるよう設計する．第2の目標は，質問そのものに対する精度，信頼性を評価できる構成とすることである．収録する質問に対して複数の根拠テキストと回答を用意することにより，1つの質問に対する性能を評価できるように設計する．
|
| Outline of Annual Research Achievements |
本研究は，質問応答タスクを含む自然言語処理タスクを題材として，以下の2つの目標を達成するためのタスク定義とデータセットを設計・構築する方法を研究する．
第1の目標は，データセットから深層学習によって得られたモデルが，どのような範囲の質問に対して回答できるのか，を予測することである．既存の質問応答データセットの作成にあたっては，収録されている複数の質問q1,q2,...は，お互いに独立している．そのため，ある質問qに対してモデルが正しく推論できた場合に，別の質問q'に対しても正しく推論できるかどうかを予測する方法は，基本的には存在しない．本研究では逆に，ある質問qに対して人間が正しく推論できた場合，人間であれば正しく推論できるはずの別の質問q'を用意することによって，モデルが人間をどこまで模倣できているかを検証できるよう設計するという方針を検討する．
第2の目標は，質問そのものに対する精度，信頼性を評価できる構成とすることである．従来の質問応答タスクにおいては，質問q1と文脈テキストC1の対を入力として学習を行い，異なる質問q2と文脈テキストC2の対を入力としてテストを行っている．このタスク定義は，学習によって得られたモデルMが質問q1と文脈テキストC1の対を理解しているか調べる問題設定になっているが，モデルMが質問q1を理解しているか調べる問題設定としては不十分である．同一の質問q1を異なる文脈テキストC1およびC2に対して適用した時，そして，両方の文脈テキストに対して正しく回答できた場合，そのモデルMが質問q1を理解しているとみなすことができるはずである．そこで，本研究では，1つの質問に対して複数の文脈テキストを用意したデータセットを構築する方法を研究する．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2023年度は，2022年度に引き続き，日本語Wikipediaを対象として構築された既存の質問応答データセットから収集した質問qと文脈テキストC，回答aを対象として，異なる文脈テキストC1,C2,...を用意する方法について検討した．具体的には，ウェブから収集した大規模テキストコーパスから，大規模言語モデルに基づいて，回答aを含み文脈テキストCと類似しているテキスト候補を収集し，収集されたテキスト候補が本当に文脈テキストとして利用可能であるかをクラウドソーシングにより判定する作業を実施した．先行研究と比較してクラウドソーシングの信頼性が低いことが明らかになったため，基盤言語モデルを用いたフィルタリングとクラウドソーシングの規模の変更などの工夫を行った．加えて，既存の質問応答データセットから学習されたモデルが，これらの新規の文脈テキストに対して，どのように振る舞うかを調査した．
また，各種のデータセットの提案・構築・評価を進め，研究発表を行った．
|
| Strategy for Future Research Activity |
近年の深層学習モデルの急速な発展に伴い，深層学習モデルの信頼性や説明可能性を評価する手法の重要性は増すばかりである．そのため，引き続き，データセットから深層学習によって得られたモデルが，どのような範囲の質問に対して回答できるのか，質問そのものに対する精度，信頼性を評価できるか，という2つの目標を達成できるデータセットの構築方法についての検討を進める．
ただし，近年の急速な大規模基盤モデルと Zero-shot アプローチの発展に対応する方針を併せて検討する．
|
