| Project/Area Number |
23KJ1134
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
塚越 駿 名古屋大学, 情報学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-04-25 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥3,000,000 (Direct Cost: ¥3,000,000)
Fiscal Year 2025: ¥1,000,000 (Direct Cost: ¥1,000,000)
Fiscal Year 2024: ¥1,000,000 (Direct Cost: ¥1,000,000)
Fiscal Year 2023: ¥1,000,000 (Direct Cost: ¥1,000,000)
|
|---|
| Keywords | 文ベクトル / 自然言語処理 / 埋め込み表現 / 深層学習 / 大規模言語モデル |
|---|
| Outline of Research at the Start |
自然言語処理技術は、深層学習の発展とともに目覚ましい進歩を続け、今日の社会を支える必要不可欠な技術となった。
特にベクトル表現は、深層学習の基盤技術として盛んに研究されており、その中の一つである文ベクトルは、計算機が扱いやすいベクトルという形式で文を表現でき有用である。
しかし、文ベクトルの応用先は極めて多岐に渡り、タスクごとに文ベクトルが備えるべき性質は異なるものの、既存手法は文の限られた側面にしか着目しておらず、多様な応用タスクに汎用的に利用できるとは言えない。
そこで本研究では、文の複数の側面を捉え、汎用性に優れた文ベクトルのための基盤モデルを開発することでこの問題の解決を目指す。
|
| Outline of Annual Research Achievements |
文ベクトルとは自然言語文を密ベクトルとして表現したものであり、類似文検索や特徴抽出など自然言語処理において広く利用されており、文ベクトルは広範な自然言語処理モデルを支える基礎技術であると言える。しかし、近年大規模言語モデルをはじめとした多数の自然言語処理モデルが開発されているものの、文ベクトルのためのより効率的な手法・モデル開発は限定的である。特に、あらゆる文ベクトルの基礎となるような基盤モデルが開発されていない。本研究課題は文ベクトルにおける基盤モデルを開発し、自然言語処理技術全体の底上げを見込むものである。
特に当該年度は、研究課題「文ベクトルのための基盤モデルの開発」遂行のため、モデル構築やデータセット収集などといいった基礎的な研究を行った。特に、潤沢な計算資源を用いた文ベクトルモデル開発の方策や、近年発展している大規模言語モデルを用いた文ベクトルモデルの構築について調査・研究を行い、Technical ReportやPreprintという形で外部に成果を発表した。これらについては内容を発展させ、次年度に国際学会へ採択されることを目指している。さらに、昨年度論文誌「自然言語処理」に採択されていた論文『定義文を用いた文埋め込み構成法』が優秀論文賞を受賞したため、2024年3月開催の言語処理学会にて招待論文講演を行った。2024年3月の言語処理学会では、文ベクトルに関する共著の発表も2件行い、どちらも高い評価を得た。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
文ベクトルのための基盤モデル開発のためには、大規模なモデル学習のための方策や、モデル学習のための広範な知識が不可欠である。当該年度は、基盤モデル開発のため多数のGPUを用いた並列分散学習の検証や、知識蒸留等の発展的な技術を用いた文ベクトルモデル構築の試行錯誤を網羅的に実施した。副次的な成果として、日本語における文ベクトルモデル構築の詳細な技術レポートをプレプリントとして公開もしている。
また、文ベクトルのための基盤モデルが将来的にどのような用途に利用されるかを見据えるため、近年需要の高まっている検索拡張生成技術に対して、文ベクトルモデルがどのような性質を持つべきか検証した論文を執筆・公開した。
さらに、近年目覚ましい発展を遂げている大規模言語モデルを用いた文ベクトルモデル構築のための手法について研究し、国内学会にて発表を行った。
以上のように、当該年度は基盤モデル開発に向けた学習手法の検討、および、文ベクトルモデル構築に有用と思われる新規の手法について研究を行った上で、将来的にも陳腐化しないモデル構築のため方針検討を着実に進めることができたため、評価を「（２）おおむね順調に進展している」とした。
|
| Strategy for Future Research Activity |
近年発展している大規模言語モデルは、その応用範囲や影響力にめざましいものがある。自然言語処理分野では今後も大規模言語モデルに関連する研究開発が推し進められると考えられるため、本研究課題でも大規模言語モデルを用いた文ベクトルモデル開発を強く検討したい。既存の大規模言語モデルを用いる際の問題として、大規模言語モデルは「テキストを生成するモデル」であり「テキストをベクトルにするモデル」としては訓練されていないことがある。つまり、本研究課題で志向する文ベクトルのための基盤モデルとしては、大規模言語モデルをそのまま利用するだけでは不十分だと考えられる。そこで、来年度は大規模言語モデルを文ベクトルのための基盤モデルとして活用するための手法開発を優先して行いたい。特に、モデルをより高速化するような工夫を加えたモデル開発を行いたい。これにより、大規模言語モデルが持つ高度な言語理解能力を転用した、汎用的で高速な文ベクトルモデルが開発できると考えている。このような手法を中心に、来年度は文ベクトルのための基盤モデルを実際に構築し、トライアンドエラーを繰り返すことで手法の改善を目指したい。
|
Report
(1 results)
Research Products
(5 results)
