| 研究課題/領域番号 |
23KJ1134
|
|---|
| 研究機関 | 名古屋大学 |
|---|
研究代表者 |
塚越 駿 名古屋大学, 情報学研究科, 特別研究員(DC1)
|
|---|
| 研究期間 (年度) |
2023-04-25 – 2026-03-31
|
| キーワード | 文ベクトル / 自然言語処理 / 埋め込み表現 / 深層学習 / 大規模言語モデル |
|---|
| 研究実績の概要 |
文ベクトルとは自然言語文を密ベクトルとして表現したものであり、類似文検索や特徴抽出など自然言語処理において広く利用されており、文ベクトルは広範な自然言語処理モデルを支える基礎技術であると言える。しかし、近年大規模言語モデルをはじめとした多数の自然言語処理モデルが開発されているものの、文ベクトルのためのより効率的な手法・モデル開発は限定的である。特に、あらゆる文ベクトルの基礎となるような基盤モデルが開発されていない。本研究課題は文ベクトルにおける基盤モデルを開発し、自然言語処理技術全体の底上げを見込むものである。
特に当該年度は、研究課題「文ベクトルのための基盤モデルの開発」遂行のため、モデル構築やデータセット収集などといいった基礎的な研究を行った。特に、潤沢な計算資源を用いた文ベクトルモデル開発の方策や、近年発展している大規模言語モデルを用いた文ベクトルモデルの構築について調査・研究を行い、Technical ReportやPreprintという形で外部に成果を発表した。これらについては内容を発展させ、次年度に国際学会へ採択されることを目指している。さらに、昨年度論文誌「自然言語処理」に採択されていた論文『定義文を用いた文埋め込み構成法』が優秀論文賞を受賞したため、2024年3月開催の言語処理学会にて招待論文講演を行った。2024年3月の言語処理学会では、文ベクトルに関する共著の発表も2件行い、どちらも高い評価を得た。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
文ベクトルのための基盤モデル開発のためには、大規模なモデル学習のための方策や、モデル学習のための広範な知識が不可欠である。当該年度は、基盤モデル開発のため多数のGPUを用いた並列分散学習の検証や、知識蒸留等の発展的な技術を用いた文ベクトルモデル構築の試行錯誤を網羅的に実施した。副次的な成果として、日本語における文ベクトルモデル構築の詳細な技術レポートをプレプリントとして公開もしている。
また、文ベクトルのための基盤モデルが将来的にどのような用途に利用されるかを見据えるため、近年需要の高まっている検索拡張生成技術に対して、文ベクトルモデルがどのような性質を持つべきか検証した論文を執筆・公開した。
さらに、近年目覚ましい発展を遂げている大規模言語モデルを用いた文ベクトルモデル構築のための手法について研究し、国内学会にて発表を行った。
以上のように、当該年度は基盤モデル開発に向けた学習手法の検討、および、文ベクトルモデル構築に有用と思われる新規の手法について研究を行った上で、将来的にも陳腐化しないモデル構築のため方針検討を着実に進めることができたため、評価を「（２）おおむね順調に進展している」とした。
|
| 今後の研究の推進方策 |
近年発展している大規模言語モデルは、その応用範囲や影響力にめざましいものがある。自然言語処理分野では今後も大規模言語モデルに関連する研究開発が推し進められると考えられるため、本研究課題でも大規模言語モデルを用いた文ベクトルモデル開発を強く検討したい。既存の大規模言語モデルを用いる際の問題として、大規模言語モデルは「テキストを生成するモデル」であり「テキストをベクトルにするモデル」としては訓練されていないことがある。つまり、本研究課題で志向する文ベクトルのための基盤モデルとしては、大規模言語モデルをそのまま利用するだけでは不十分だと考えられる。そこで、来年度は大規模言語モデルを文ベクトルのための基盤モデルとして活用するための手法開発を優先して行いたい。特に、モデルをより高速化するような工夫を加えたモデル開発を行いたい。これにより、大規模言語モデルが持つ高度な言語理解能力を転用した、汎用的で高速な文ベクトルモデルが開発できると考えている。このような手法を中心に、来年度は文ベクトルのための基盤モデルを実際に構築し、トライアンドエラーを繰り返すことで手法の改善を目指したい。
|
| 次年度使用額が生じた理由 |
当該年度は計算機として研究室内部のものを想定より多く利用できたため、計算機のための設備投資として予定していた予算に余剰があった。翌年度は、2024年5月にNTTコミュニケーション科学基礎研究所との共同研究にて国際学会出張が決定しているほか、複数の国際・国内学会に主著論文を投稿予定であるため、主にそれらの出張費に使用するほか、OpenAIのGPT-4をはじめとする民間企業のAPI利用料金・クラウドソーシングの費用として使用する。
|
