2021 Fiscal Year Research-status Report

Construction of efficient machine learning models using domain knowledge

Research Project

Project/Area Number	20K11960
Research Institution	Meiji University
Principal Investigator	櫻井義尚明治大学, 総合数理学部, 専任教授 (30408653)
Co-Investigator(Kenkyū-buntansha)	櫻井恵里子産業能率大学, 経営学部, 准教授 (00763567)
Project Period (FY)	2020-04-01 – 2024-03-31
Keywords	機械学習 / 転移学習 / ドメイン知識 / メタラーニング / 自然言語処理 / 蒸留モデル / 教師データ / タスクベクトル
Outline of Annual Research Achievements	本研究の目的は、大量の教師データだけに頼らず、ドメイン知識やノウハウを活用することで、少ない教師データから精度の高い機械学習モデルを構築することである。現在、機械学習による高精度な予測、分類を実現するためには、教師データと呼ばれる正解ラベル付けされたデータが大量に必要となるが、実問題への適用では、「十分なデータが用意できない」、「教師データを人手で作成する工数が膨大」などの理由で機械学習モデルを構築できないケースが多数存在する。そこで、ドメイン知識を活用することで、データ不足を補う方法について、実験と検証を進めた。今年度は特に、少ない教師データから精度の高い機械学習モデルを構築するための転移学習手法やData Augmentation手法を中心に研究を進めた。転移学習とは、ある課題で学習したこと(学習済みモデル)を別の課題において活用することで、効率的に教師あり学習を行う方法である。ある特定のタスク（課題）に対して、有効に機能する別タスク、学習済みモデルについて実験・検証を重ね、その有効性を検証したり、タスクをベクトル化することによりタスク間距離を計算し、転移学習に適したタスクを推定する手法などの検証を行った。また、Data Augmentationは教師データを増やす手法である。画像処理では類似画像が作り易く、有効性が高いためによく利用されるが、自然言語処理では、課題が多い。日本語特有のドメイン知識を用いたData Augmentation手法について検証を行った。応用課題としては、マーケティングなど市場調査において重要となるSNSからの意見抽出、市場環境を把握するための自然言語処理において、検証を行い、学会発表を行った。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason コロナ禍の影響もあり、国際交流が難しかったり、被験者実験が難しいなどの影響もあったが、転移学習を中心に少ない教師データから精度の高い機械学習モデルを構築するための知見が得られており、学会発表も行えたことから、おおむね順調に研究は進展しているものと判断する。
Strategy for Future Research Activity	少ない教師データから精度の高い機械学習モデルを構築するためのアルゴリズム、データについての研究を引き続き進めていく。特に、日本語自然言語処理のタスクにおいて、ドメインに特化した転移学習や教師データの特性の分析、ルールベースを活用した機械学習モデルの構築などを行っていく。
Causes of Carryover	新型コロナの影響により、学会発表での現地出席が無くなったため、今年度は旅費の出費が無くなった。また、同じく新型コロナの影響により、被験者実験の実施が困難となり、被験者謝金の出費がなくなった。残りは、今後の国際会稽への旅費や被験者謝金として利用する予定。