| 研究課題/領域番号 |
23K11340
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分62020:ウェブ情報学およびサービス情報学関連
|
|---|
| 研究機関 | 広島市立大学 |
|---|
研究代表者 |
田村 慶一 広島市立大学, 情報科学研究科, 教授 (80347616)
|
|---|
| 研究期間 (年度) |
2023-04-01 – 2027-03-31
|
| 研究課題ステータス |
交付 (2023年度)
|
| 配分額 *注記 |
4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2026年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
2025年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2024年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2023年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
|
|---|
| キーワード | シズル表現 / クロスモーダル深層学習 / ソーシャルメディアデータ |
|---|
| 研究開始時の研究の概要 |
人の飲食物に対する食欲や購買意欲を高める感覚をシズル感といい，シズル感を含む表現をシズル表現と呼ぶ．本研究ではソーシャルメディア上に投稿されるデータ（ソーシャルメディアデータ）を対象に，シズル表現を含むテキストデータと画像データに対するクロスモーダル深層学習の基盤技術の開発に取り組む．ソーシャルメディア上には一般の人が投稿した飲食物に対する感想や意見（テキストデータ）と写真（画像データ）が同時に投稿されており，テキストデータと画像データのモダリティ間における関係性を明らかにすることができれば，感性の集合知としてソーシャルメディアデータの利活用を加速することができる．
|
| 研究実績の概要 |
本研究はソーシャルメディア上に投稿されるデータ（ソーシャルメディアデータ）を対象としたシズル表現を含むテキストデータと画像データに対するクロスモーダル深層学習に関する基盤技術の確立を目的とする．具体的には，シズル表現を含むマルチモーダルデータを対象とした表現学習，ノイズを多く含むデータに頑強な学習モデル，また，表現学習で獲得したクロスモーダル特徴量空間を用いたモダリティ変換技術とスタイル変換技術の研究開発を行う．また，シズル表現のクロスモーダル深層学習の基盤技術を確立することで，言語と視覚が持つシズル表現の関係性も明らかにする．
2023年（令和5年）度は「サブテーマ（A）：シズル表現と対象物の自動抽出手法」，「サブテーマ（B）：シズル表現のクロスモーダル表現学習」の2つのサブテーマに取り組んだ．ブログ等に投稿される食レビューを対象として，シズルワードを基準としてソーシャルメディアデータからシズル表現を含むテキストデータ，その対象物と画像データを特定する抽出器を構築した．シズルワードを含むテキストデータと画像データの増強方法を工夫することで精度を向上させることができた．シズル表現を含むテキストデータ，その対象物と画像データを特定する抽出器については，ブログデータに含まれるシズル感を含むテキストデータと画像データの整合を行う問題を仮定してその整合方法について開発を行った．また，シズル表現を含むテキストデータと画像データを共通の特徴量空間へ写像する表現学習に関する研究開発に着手した．2023年（令和5年）度は主に，既存のモデルを対象としてノイズを多く含むデータに頑強な表現学習モデルの開発を行った．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
全研究期間中に研究目的を達成するために，「サブテーマ（A）：シズル表現と対象物の自動抽出手法」，「サブテーマ（B）：シズル表現のクロスモーダル表現学習」，「サブテーマ（C）：モダリティ変換とスタイル変換技術」，「サブテーマ（D）：複合的なシズル表現に関する知識」の体系化の4つのサブテーマに取り組むこととしている．2023年（令和5）度はサブテーマ（A）とサブテーマ（B）に取り組む予定としており，実際にこの２つのテーマについてその内容を着実に実施することができた．
|
| 今後の研究の推進方策 |
2024年（令和6年）度は，2023年（令和5）度の研究成果を踏まえて，サブテーマ（A）とサブテーマ（B）を完成させるとともに，「サブテーマ（C）：モダリティ変換とスタイル変換技術」について取り組む．「サブテーマ（A）：シズル表現と対象物の自動抽出手法について」はその精度について課題が残っているので，多様なデータセットを使って検証を行い，その精度向上を引き続き行っていく．「サブテーマ（B）：シズル表現のクロスモーダル表現学習」については2023年（令和5年）度に着手を行ったところであるが，シズル表現を含むテキストデータと画像データを共通の特徴量空間へ写像する表現学習に関する研究開発を行う．また，サブテーマ（A）と（B）の進捗に合わせて 「サブテーマ（C）：モダリティ変換とスタイル変換技術」にも着手する．モダリティ変換では当初予定していたスタイル変換系深層学習モデルのみならずマルチモーダルLLMなど最新の深層学習モデルの応用も視野に入れながら研究を進めていく．開発を行った手法を実際に実装し，テスト・評価も行う予定である．研究をスムーズに実施するために研究協力者として学部生・大学院生2名にデータの加工やプログラム作成の補助を行ってもらう．
|
