2020 Fiscal Year Annual Research Report
| Project/Area Number |
18H03268
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
宮尾 祐介 東京大学, 大学院情報理工学系研究科, 教授 (00343096)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 意味表現 / 自然言語処理 / 画像処理 |
|---|
| Outline of Annual Research Achievements |
本年度は、画像・映像データに対する 1. エンティティリンキング、2. 構成的意味計算の応用、3. 意味計算を用いたデモシステムについて、以下の研究を行なった。
1. 画像に対するエンティティリンキングの高精度化：Wikimediaから構築した画像とエンティティがペアになったデータを用いて、エンティティリンキング手法の実装および評価実験を行なった。深層学習以前の画像特徴量を用いてランキングする手法と、深層学習による一般物体認識手法を応用した手法を構築した。評価実験により、一般物体認識を応用した手法によりエンティティの曖昧性が少ない場合は一定の精度が得られるものの、エンティティの候補数が大きい場合には現在の技術では限界があることが示された。
2. 画像と意味表現断片を入力して説明文を生成する手法：画像説明文生成タスクを拡張し、意味表現の断片を追加入力として与えることで説明文生成をコントロールする手法の研究を行なった。問題設定と評価データの構築を行い、画像説明文生成モデルを拡張した手法を提案した。評価実験では、意味表現の一部を入力として与えることで、生成された説明文がその意味表現を含むようにコントロールすることが可能であることが示された。
3. 画像の意味表現を利用するデモシステムの構築：本研究で開発した意味解析技術を応用し、意味表現を用いて画像検索を行うデモシステムを構築した。大規模画像データに対してあらかじめ意味解析技術を適用し、述語項構造のデータベースを構築する。自然言語で検索クエリを与えると、その述語項構造とデータベースとを照合し、適合する画像を出力する。画像と言語を同じベクトル空間に埋め込む手法によって同様の技術が実現されているが、述語項構造は離散的かつ解釈可能なデータ構造であり、検索結果の解釈性の高さがデモシステムによって示された。
|
| Research Progress Status |
令和2年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和2年度が最終年度であるため、記入しない。
|
Research Products
(1 results)
