2023 Fiscal Year Annual Research Report
Computational Modeling of Argumentation Understanding
| Project/Area Number |
22H00524
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
乾 健太郎 東北大学, 言語AI研究センター, 教授 (60272689)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
井之上 直也 北陸先端科学技術大学院大学, 先端科学技術研究科, 准教授 (80778605)
中川 智皓 大阪公立大学, 大学院工学研究科, 准教授 (70582336)
HEINZERLING BENJAMIN 国立研究開発法人理化学研究所, 革新知能統合研究センター, 副チームリーダー (50846491)
|
|---|
| Project Period (FY) |
2022-04-01 – 2027-03-31
|
| Keywords | 自然言語処理学 / 論述診断 / 論理構造解析 / 論述学習支援 |
|---|
| Outline of Annual Research Achievements |
課題①「微細領域論述知識ベースの動的構築」および課題②「ニューラル仮説推論による論理構造解析」に取り組んだ。
課題①については、前年度に設計・構築した特定の微細領域に関する論理構造注釈付き反論コーパスを教育的フィードバック生成への有用性の観点からさらに再整理し、注釈の仕様から過度に複雑な部分を削除した新たな仕様を作成した。また、クラウドソーシングによる注釈付けのためのツール群も整備し、クラウドソーシングによって反論に対する論理構造の注釈付けが可能であることを示した。
また、反論に加えて、hasty generalizationなど論述に潜む誤謬についても本研究のアプローチで分析し、上記の論理構造を拡張によって自然にその論理的誤謬の構造を捉えることができることを明らかにした。この分析に基づき、誤謬の論理構造の注釈の設計、データセットの構築を行った。
課題②については、課題①で構築した反論コーパスを用いて、反論の論理構造の解析という新しい課題に着手し、初手として大規模言語モデル（LLM）を用いたベースラインの調査を行った。これまでの実験結果からは、現在入手可能なLLMは訓練された人間に比べ著しくパフォーマンスが低いことがわかった。このことから、我々が設計した論理構造タスクは、教育的フィードバック生成に有用であり、人間には解くことができる課題でありながら、現在のLLMの技術では解決が難しことがわかり、学術的に価値のある課題であることが示された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
課題①の目標はすでに達成できており、課題②についても予備調査が終了し、技術的な核心部分に着手するところまで到達できている。また、当初計画では想定していなかった論述の誤謬についても、本研究のアプローチが有効である可能性が明らかになり、この部分ついては想定以上の進展があった。
|
| Strategy for Future Research Activity |
反論、誤謬の2つの副領域について並行で当初計画を推進する予定である。
|
