2018 Fiscal Year Research-status Report
行列分解に基づく効率的なニューラルネットワーク学習法の研究
| Project/Area Number |
18K11457
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
林 克彦 大阪大学, 産業科学研究所, 助教 (50725794)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高瀬 翔 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 協創情報研究部, リサーチアソシエイト (40817483) [Withdrawn]
上垣外 英剛 東京工業大学, 科学技術創成研究院, 助教 (40817649)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 行列分解 / ニューラルネットワーク |
|---|
| Outline of Annual Research Achievements |
本年度は深層学習モデルのパラメータ行列に制限を加えてモデルを圧縮する技術を開発した。
林はブロック巡回行列を利用して、モデルの表現力（非可換性）を残しつつ、双線形モデルの行列・テンソルパラメータを大幅に削減するモデルを考案した。知識グラフデータに対する質問応答問題で高い性能を実験的に確認した。成果は情報処理学会自然言語処理研究会において優秀研究賞を受賞した。現在、国際ジャーナルに執筆中である。
上垣外は再帰型ニューラルネットワークにおけるアテンション機構を多段とするため、行列積のカスケードでそれを表現するモデルを提案した。文書要約問題において高い性能を実験的に確認した。成果は国際会議NAACL18に採録され、発表を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初計画していた各種モデルの実装、実験は完了しており、概ね順調である。一方で、分担者の高瀬が抜けたため、その担当分に関わる論文執筆が行えなくなった。
|
| Strategy for Future Research Activity |
高瀬が担当分の内容については、上垣外が担当している内容と並行に進められる内容であり、どちらも提案法の傾向を評価するための内容である。現在までの結果では、どちらのアプローチでも提案法の有効性に関わる傾向は大きく変わらないため、後者で代用して対応していく予定である。
今後は提案モデルの評価をより厳密に行うためのデータセットの整備を行っていく予定である。
|
| Causes of Carryover |
年度末に購入予定であった書籍（通常であれば検収可能な日程での注文）が相手業者の不手際により、納品が不可能となったため、繰り越し金が発生した。次年度に該当書籍を購入予定である。
|
