| 研究課題/領域番号 |
19H04172
|
|---|
| 研究種目 |
基盤研究(B)
|
| 配分区分 | 補助金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分61030:知能情報学関連
|
|---|
| 研究機関 | 大阪学院大学 (2020-2022)
神戸大学 (2019) |
|---|
研究代表者 |
上原 邦昭 大阪学院大学, 経営学部, 教授 (60160206)
|
|---|
| 研究分担者 |
白浜 公章 近畿大学, 情報学部, 准教授 (30467675)
松原 崇 大阪大学, 大学院基礎工学研究科, 准教授 (70756197)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2023-03-31
|
| 研究課題ステータス |
完了 (2022年度)
|
| 配分額 *注記 |
17,160千円 (直接経費: 13,200千円、間接経費: 3,960千円)
2022年度: 3,900千円 (直接経費: 3,000千円、間接経費: 900千円)
2021年度: 3,900千円 (直接経費: 3,000千円、間接経費: 900千円)
2020年度: 4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2019年度: 5,070千円 (直接経費: 3,900千円、間接経費: 1,170千円)
|
|---|
| キーワード | 深層学習 / マルチモーダルデータ / epistemic uncertainty / aleatoric uncertainty / マルチモーダル検索 / 機械学習 / マルチモーダルデータ検索エンジン / 再起型ニューラルネットワーク / 埋め込み / 検索クエリ / 映像検索手法 / 人間の認知システム / マルチモーダル / 検索エンジン / 認知システム / 情報検索 / 表現学習 / 不確実性 / TRECVID |
|---|
| 研究開始時の研究の概要 |
深層学習の発達により，画像分類の問題ならば性能は人間を上回っている．しかし，画像やテキストに複数の概念（物体や動作)）が含まれ，概念間の関係性が重要である場合，それらの認識はいまだ困難である．これは，従来の学習法では複合概念を分解したり，分解した個々の概念のマッチングができないためである．すなわち，複合概念は組み合わせ数だけ存在するため，単純にデータ量を増やすだけでは問題を解決することはできない．本研究課題では「人間や生物が持つ認知システムの特性が概念の分解に貢献するのではないか？」という問いを基に，深層学習の構成と訓練方法を改良し，高性能なマルチモーダルデータ検索エンジンを研究・開発する．
|
| 研究成果の概要 |
本研究では，画像とテキストを意味的に対応づける埋め込みという技術に焦点を当て，人間や生物が持つ認知システムの特性に基づいて，複雑な意味を構成要素となる概念に分解したり，各概念の性質や概念間の関係性を分析するアプローチを探求した．具体的には，不確実性を考慮して意味空間に概念を埋め込むことで，情報の重要性を自動的に評価する手法と検索結果の信頼性を評価する手法を開発した．また，注意機構に基づくテキスト中の単語・句と画像中の領域を逐次的に対応づける手法を開発した．そして，大規模ベンチマークデータの使用や国際競争型ワークショップ（TRECVID）への参加を通して，開発手法の有効性を確認した．
|
| 研究成果の学術的意義や社会的意義 |
深層学習の発達や大規模データの整備によって，物体やシーンといった単純な意味に関する画像分類ならば性能は人間を上回っている．しかし，従来手法では，複数の概念間の関係性が重要である複合概念を分解したり，分解した個々の概念のマッチングが行えない．そこで，本研究では，埋め込みに基づく画像とテキストの相互検索を題材として，概念の重要度や信頼性を評価する手法や，下位の概念から上位の概念の意味を動的に導出し，画像とテキストに含まれる概念を逐次的に対応づける手法を開発した．これらの手法は，例えば動画とテキスト，音楽と感情など，様々なマルチモーダルデータの意味的なマッチングに汎用的に応用可能である．
|
