自然言語処理に最適な語彙と分割の仕方を自動で獲得する人工知能の創出

• 研究課題/領域番号: 24K20852
• 研究種目: 若手研究
• 配分区分: 基金
• 審査区分: 小区分61030:知能情報学関連
• 研究機関: 富士通株式会社(富士通研究所)
• 研究代表者: 平岡 達也 富士通株式会社(富士通研究所), その他部局等, 研究員 (90911305)
• 研究期間 (年度): 2024-04-01 – 2027-03-31
• 研究課題ステータス: 交付 (2024年度)
• 配分額: 4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円); 2026年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円); 2025年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円); 2024年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
• キーワード: 自然言語処理

研究開始時の研究の概要

多くの自然言語処理では，テキストをトークンと呼ばれる単位に分割してからシステムに入力する．どのようにテキストを分割するかによって自然言語処理の性能に差が出ることが知られており，性能向上に繋がるようなトークン分割の発見は自然言語処理全体の貢献になる．本研究では，自然言語処理の性能向上に繋がるトークン分割の方法を自動で見つける手法について開発する．さらに，トークン分割に使用できるトークンの集合（語彙）についても，性能の向上に寄与するものを自動的に選択できるような手法を開発する．