2021 Fiscal Year Research-status Report
| Project/Area Number |
21K11967
|
|---|
| Research Institution | Yokohama City University |
|---|
Principal Investigator |
越仲 孝文 横浜市立大学, データサイエンス学部, 教授 (60895928)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 深層学習 / ニューラルネットワーク / Transformer / 自然言語処理 / 生体認証 |
|---|
| Outline of Annual Research Achievements |
本研究では、音声に含まれる個人性のうち、これまであまり研究されてこなかった言語的な個人性、すなわちテキスト情報に現れる書き手の特徴について明らかにする。研究成果は、音声通話やネット投稿のなりすましのような犯罪の防止などに有用である。
初年度は、テキストからその筆者を予測する文書分類問題を想定し、ベースラインシステムの構築に注力した。すなわち、テキストから特徴量を抽出する処理、および特徴量を所定の筆者クラスに分類する処理を実行するプログラムを作成した。前者は、基本単位であるトークンの出現頻度に基づくTF-IDF特徴量を抽出する。後者はロジスティック回帰や多層パーセプトロン(MLP)に基づく分類器である。また、特徴抽出と分類を統合した、深層ニューラルネットワークによるend-to-endシステムも構築した。こちらは長短期記憶(LSTM)機構を備える双方向リカレントニューラルネット(bidirectional RNN)および注意機構を備えるTransformerなどのモデルを含む。End-to-endシステムでは、ニューラルネットの隠れ層から入力テキストの分散表現(埋め込みベクトル)を得ることも可能である。
公開データセットである「青空文庫」から作品数の多い著名筆者10人を選び、日本語作品の段落単位での分類実験を実施した。段落総数は約33,000である。深層ニューラルネットに基づくシステムの分類精度が65%で最も高く、TF-IDF特徴量を用いる従来型システムの52%を大きく上回った。関連する研究成果を人工知能学会全国大会(JSAI2022)で発表予定。
実験の効率化のために、NVIDIA RTX A6000搭載のGPUサーバ1台を購入した。また、将来の国際会議や雑誌での論文発表に備えてLanguage Data Consortium (LDC)の音声言語データを入手した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
ベースラインシステムの構築、研究用データと計算機環境の整備という所期の目的を達成し、計画通り順調に進展している。
|
| Strategy for Future Research Activity |
実験に用いるデータの規模(テキストの総量および筆者数)を増強し、特に深層ニューラルネットワークを用いたend-to-endシステムの分類精度向上を図りつつ、日本語以外の言語も含む多様なデータでの評価を行う。併せて、ニューラルネットワークから得られる入力テキストの分散表現がどのような個人性を有しているのかを、Transformerモデルの注意機構の振舞いなどの分析を通して明らかにしたい。この分散表現を用いれば、与えられた2つのテキストが同一人によって書かれたものか否かを推論するより基本的かつ汎用的な処理モジュールを構成することが可能となる。
|
| Causes of Carryover |
参加予定だった国際会議(IEEE ICASSP, INTERSPEECH)がフルオンラインでの開催となり、旅費を使用しなかったため。次年度の研究環境改善のため有効活用したい(GPUサーバの増強、クラウドサービス利用など)。
|
